AdaFair-MARL: Enforcing Adaptive Fairness Constraints in Multi-Agent Reinforcement Learning

तकनीकी सारांश: AdaFair-MARL

AdaFair-MARL: मल्टी-एजेंट रीइन्फोर्समेंट लर्निंग में एडेप्टिव फेयरनेस कंस्ट्रेंट्स को लागू करना

1. समस्या विवरण (Problem Statement)

विषम (heterogeneous) मल्टी-एजेंट रीइन्फोर्समेंट लर्निंग (MARL) सिस्टम में, जहाँ एजेंट एक साझा लक्ष्य की ओर काम करते हैं, कार्यभार (workload) का न्यायसंगत वितरण प्राप्त करना एक महत्वपूर्ण चुनौती है। MARL में निष्पक्षता (fairness) के पारंपरिक दृष्टिकोण आमतौर पर रिवॉर्ड-शेपिंग (reward-shaping) पर निर्भर करते हैं, जहाँ रिवॉर्ड फंक्शन में हीयुरिस्टिक दंड (heuristic penalties) या स्केलर संशोधनों के माध्यम से निष्पक्षता पेश की जाती है। हालाँकि, इन विधियों के कई दोष हैं:

• मैनुअल ट्यूनिंग (Manual Tuning): इनके लिए अभ्यासकर्ताओं को दंड गुणांक ($\lambda$) को मैन्युअल रूप से ट्यून करने की आवश्यकता होती है, जो कठिन है और अक्सर उप-इष्टतम (sub-optimal) प्रदर्शन की ओर ले जाता है।
• कोई गारंटी नहीं (No Guarantees): वे इस बात की कोई औपचारिक गारंटी नहीं देते कि एक विशिष्ट स्तर की निष्पक्षता प्राप्त की जाएगी।
• अक्षमता/अस्थिरता (Inefficiency/Instability): निश्चित दंड (fixed penalties) परस्पर विरोधी प्रोत्साहन पैदा कर सकते हैं, जिससे प्रशिक्षण अस्थिरता या टीम के कार्य प्रदर्शन में महत्वपूर्ण गिरावट आ सकती है।

लेखक एक ऐसे फ्रेमवर्क की आवश्यकता पहचानते हैं जो निष्पक्षता को रिवॉर्ड में एक "सॉफ्ट" सुझाव के रूप में नहीं, बल्कि एक स्पष्ट, नियंत्रणीय बाधा (explicit, controllable constraint) के रूप में मानता है।

2. कार्यप्रणाली (Methodology)

लेखक AdaFair-MRL का प्रस्ताव करते हैं, जो एक कंस्ट्रेंड कोऑपरेटिव MARL फ्रेमवर्क है। इसके मुख्य तकनीकी घटक शामिल हैं:

• निष्पक्षता मीट्रिक (जैन का फेयरनेस इंडेक्स - JFI): यह फ्रेमवर्क वर्कलोड संतुलन को मापने के लिए JFI का उपयोग करता है। एक वर्कलोड वेक्टर $w$ के लिए, JFI को इस प्रकार परिभाषित किया गया है:
  $$F(w) = \frac{(\sum_{i=1}^{n} w_i)^2}{n \sum_{i=1}^{n} w_i^2}$$
  लेखक गणितीय रूप से सिद्ध करते हैं कि बाधा $F(w) \geq \tau$ (जहाँ $\tau$ एक वांछित निष्पक्षता थ्रेशोल्ड है) एक कॉन्वेक्स सेट (convex set) को परिभाषित करती है क्योंकि इसे एक सेकंड-ऑर्डर कोन (second-order cone - SOC) बाधा के रूप में दर्शाया जा सकता है। यह ज्यामितीय गुण सिद्धांतपूर्ण अनुकूलन (principled optimization) के लिए अत्यंत महत्वपूर्ण है।
• प्राइमल-डुअल ऑप्टिमाइज़ेशन (Primal-Dual Optimization): निश्चित दंड के बजाय, यह फ्रेमवर्क एक लैग्रेंजियन डुअल-असेंट (Lagrangian dual-ascent) तंत्र का उपयोग करता है।
  • प्राइमल स्टेप (Primal Step): एजेंट एक शेप्ड रिवॉर्ड $\tilde{r}_t = r(s_t, a_t) - \lambda(\tau - F(w_t))$ को अधिकतम करते हैं, जहाँ $\lambda$ लैग्रेंज मल्टीप्लायर है।
  • डुअल स्टेप (Dual Step): मल्टीप्लायर $\lambda$ को बाधा उल्लंघन के आधार पर अनुकूल रूप से अपडेट किया जाता है: $\lambda \leftarrow [\lambda + \eta_\lambda \bar{g}(\pi)]_+$.
  • एडेप्टिव मैकेनिज्म (Adaptive Mechanism): यदि निष्पक्षता बाधा का उल्लंघन होता है, तो $\lambda$ बढ़ता है ताकि अनफेयरनेस को अधिक दंडित किया जा सके; यदि बाधा संतुष्ट होती है, तो $\lambda$ शून्य की ओर घटता है ताकि कार्य प्रदर्शन को प्राथमिकता दी जा सके।
• गणितीय आधार (Mathematical Foundation): लेखक एक कोऑपरेटिव मार्कोव गेम के भीतर इस फ्रेमवर्क को व्युत्पन्न करते हैं और लैग्रेंजियन के इष्टतम सैडल पॉइंट (optimal saddle point) को स्पष्ट करने के लिए KKT (करुश-कुह्न-टकर) स्थितियों का उपयोग करते हैं।

3. मुख्य योगदान (Key Contributions)

1. बाधा के रूप में निष्पक्षता का औपचारिकीकरण: MARL में हीयुरिस्टिक रिवॉर्ड-शेपिंग से हटकर एक औपचारिक कंस्ट्रेंड ऑप्टिमाइज़ेशन समस्या की ओर बढ़ना।
2. JFI का SOC प्रतिनिधित्व: यह सिद्ध करना कि जैन का फेयरनेस इंडेक्स कंस्ट्रेंट्स सेकंड-ऑर्डर कोन द्वारा दर्शाने योग्य है, जो यह सुनिश्चित करता है कि फेसिबल सेट (feasible set) कॉनवेक्स है।
3. एडेप्टिव डुअल-असेंट एल्गोरिदम: एक ऐसा एल्गोरिदम जो उपयोगकर्ता-निर्धारित थ्रेशोल्ड $\tau$ के आधार पर प्रवर्तन शक्ति (enforcement strength) को स्वचालित रूप से समायोजित करके मैनुअल पेनल्टी ट्यूनिंग की आवश्यकता को समाप्त करता है।
4. नया बेंचमार्क अनुप्रयोग: एक जटिल, विषम स्वास्थ्य देखभाल समन्वय वातावरण (MARLHospital) में इस फ्रेमवर्क का प्रदर्शन।

4. प्रयोगात्मक परिणाम (Experimental Results)

फ्रेमवर्क का मूल्यांकन MARLHospital वातावरण में किया गया, जो क्रमिक समन्वय (sequential coordination) की आवश्यकता वाले उच्च-जोखिम वाले मेडिकल रिससिटेशन कार्य का अनुकरण करता है।

• बाधा संतुप्ति (Constraint Satisfaction): फिक्स्ड-पेनल्टी बेसलाइन्स के विपरीत, AdaFair-MARL ने सभी परीक्षण किए गए निष्पक्षता थ्रेशोल्ड ($\tau$) के लिए लगभग पूर्ण बाधा संतुप्ति (0.99–1.00) प्राप्त की।
• निष्पक्षता-दक्षता ट्रेड-ऑफ (Fairness-Efficiency Trade-off): लेखकों ने प्रदर्शित किया कि $\tau$ एक "कंट्रोल नॉब" के रूप में कार्य करता है।
  • एक कम $\tau$ (जैसे, 0.55) ने उच्च कार्य सफलता दर (0.93) प्रदान की।
  • एक उच्च $\tau$ (जैसे, 0.85) ने प्रतिस्पर्धी कार्य सफलता (0.86) बनाए रखते हुए बहुत अधिक वर्कलोड निष्पक्षता (JFI 0.93) प्रदान की।
• बेसलाइन्स पर श्रेष्ठता: AdaFair-MARL ने सांख्यिकीय महत्व (Mann-Whitney U परीक्षणों के माध्यम से बड़े प्रभाव आकार) के साथ वर्कलोड JFI में फिक्स्ड-पेनल्टी QMIX विधियों से काफी बेहतर प्रदर्शन किया।

5. महत्व (Significance)

यह कार्य महत्वपूर्ण है क्योंकि यह सुरक्षा-क्रिटिकल और संसाधन-सीमित वातावरण (जैसे स्वास्थ्य सेवा या लॉजिस्टिक्स) में एजेंट व्यवहार को प्रबंधित करने का एक सिद्धांतिक, स्केलेबल और नियंत्रणीय तरीका प्रदान करता है। निष्पक्षता को एक "ट्यूनिंग सिरदर्द" से बदलकर एक "उपयोगकर्ता-निर्धारित पैरामीटर" में परिवर्तित करके, AdaFair-MARL डिजाइनरों को यह स्पष्ट रूप से तय करने की अनुमति देता है कि वे कार्य दक्षता (task efficiency) के बदले कितनी निष्पक्षता का व्यापार करने के लिए तैयार हैं, जिससे यह सुनिश्चित होता है कि एजेंट अत्यधिक काम करने या अकुशल विशेषज्ञता के बिना उत्पादक बने रहें।