Past-Discounting is Key for Learning Markovian Fairness with Long Horizons

तकनीकी सारांश: दीर्घकालिक क्षितिज के लिए मार्कोवियन निष्पक्षता सीखने हेतु पास्ट-डिस्काउंटिंग (Past-Discounting)

1. समस्या विवरण

बहु-एजेंट प्रणालियों में गतिशील संसाधन आवंटन के लिए दक्षता और निष्पक्षता के बीच संतुलन बनाना आवश्यक है। मौजूदा दृष्टिकोणों के सामने एक मौलिक दुविधा है:

• मायोपिक (तत्काल) निष्पक्षता (Myopic Fairness): यह केवल वर्तमान आवंटन चरण के आधार पर निष्पक्षता का मूल्यांकन करती है। हालांकि यह गणनात्मक रूप से सरल है, लेकिन यह ऐतिहासिक संदर्भ की अनदेखी करती है, जिससे समय के साथ संचयी असमानताएं उत्पन्न होती हैं।
• परफेक्ट-रिकॉल निष्पक्षता (Perfect-Recall Fairness): यह दीर्घकालिक समानता सुनिश्चित करने के लिए सभी पिछले उपयोगिता (utility) योगों को ट्रैक करती है। हालांकि यह सैद्धांतिक रूप से न्यायसंगत है, लेकिन यह एक महत्वपूर्ण विफलता मोड पेश करती है: संचयी उपयोगिता को ट्रैक करने के लिए आवश्यक संवर्धित अवस्था स्थान (augmented state space) दीर्घकालिक क्षितिज के साथ अनिश्चित रूप से बढ़ता जाता है। यह अवस्था विस्फोट (state explosion) सुदृढीकरण शिक्षण (reinforcement learning - RL) एल्गोरिदम को गणनात्मक रूप से अव्यवहार्य बना देता है और दीर्घकालिक क्षितिज वाले परिवेश में निष्पक्ष नीतियों के अभिसरण (convergence) को रोकता है।

मुख्य चुनौती एक ऐसी स्मृति तंत्र (memory mechanism) डिजाइन करने की है जो मार्कोव गुण (मार्कोव प्रॉपर्टी) को संरक्षित करे (जिससे गणनात्मक रूप से व्यवहार्य शिक्षण संभव हो सके) और बिना ऐतिहासिक असमानताओं के बारे में सोचने की क्षमता खोए, एक सीमित, क्षितिज-स्वतंत्र अवस्था स्थान बनाए रखे।

2. कार्यप्रणाली

लेखक पास्ट-डिस्काउंटेड फेयरनेस (Past-Discounted Fairness) का प्रस्ताव करते हैं, जो व्यवहार संबंधी अर्थशास्त्र और नैतिक मनोविज्ञान से प्रेरित एक ढांचा है, जो यह प्रतिपादित करते हैं कि मानवीय निष्पक्षता निर्णय स्वाभाविक रूप से दूर की घटनाओं को कम महत्व (discount) देते हैं। इस कार्यप्रणाली में तीन प्रमुख घटक शामिल हैं:

A. डिस्काउंटेड-रिकॉल मेमोरी मैकेनिज्म (Discounted-Recall Memory Mechanisms)
सभी पिछले उपयोगिताओं के योग ($Z_t = \sum u_\tau$) के बजाय, यह ढांचा ऐतिहासिक उपयोगिताओं पर एक ट्यूनेबल डिस्काउंट फैक्टर $\gamma_p \in [0, 1]$ लागू करता है। दो विशिष्ट स्वरूप परिभाषित किए गए हैं:

1. एडिटिव डिस्काउंटेड रिकॉल (Additive Discounted Recall): स्मृति अवस्था को $Z_t = \gamma_p Z_{t-1} + u_t$ के रूप में अपडेट किया जाता है। यहाँ $\gamma_p=0$ होने पर यह 'इंस्टेंटेनियस फेयरनेस' बन जाता है, और $\gamma_p=1$ होने पर यह 'परफेक्ट रिकॉल' को पुनः प्राप्त कर लेता है।
2. एवरेज्ड डिस्काउंटेड रिकॉल (Averaged Discounted Recall): इसमें संचित उपयोगिता और प्रभावी समय विभाजक (time denominator) दोनों को डिस्काउंट किया जाता है, जिससे औसत निकालते समय भी स्मृति अवस्था सीमित रहती है।

B. अवस्था स्थान का सैद्धांतिक विश्लेषण (Theoretical Analysis of State Space)
लेखक विभिन्न प्रतिमानों के अवस्था स्थान गुणों की तुलना करने के लिए कठोर प्रमाण प्रदान करते हैं:

• परफेक्ट रिकॉल (एडिटिव): थ्योरम 3 सिद्ध करता है कि अवस्था स्थान प्रति समन्वय (coordinate) समय क्षितिज $t$ के साथ रैखिक रूप से और एजेंटों की संख्या $n$ के साथ चरघातांकीय (exponentially) रूप से बढ़ता है। इससे अनबाउंडेड (unbounded) अवस्था स्थान उत्पन्न होता है, जिससे दीर्घकालिक क्षितिज के लिए निश्चित-रिज़ॉल्यूशन विखंडन (fixed-resolution discretization) असंभव हो जाता है।
• परफेक्ट रिकॉल (एवरेज्ड): थ्योरम 5 दिखाता है कि जबकि औसत उपयोगिता मान सीमित रहता है, मार्कोव गुण बनाए रखने के लिए समय सूचकांक $t$ (या इसके समान विभाजक) को अवस्था के हिस्से के रूप में ले जाना आवश्यक है, जो अभी भी अनबाउंडेड है।
• पास्ट-डिस्काउंटेड (एडिटिव और एवरेजड): थ्योरम 4 और 6 सिद्ध करते हैं कि $\gamma_p < 1$ के साथ, स्मृति अवस्था $Z_t$ को $u_{max} / (1 - \gamma_p)$ द्वारा समान रूप से सीमित (uniformly bounded) किया जाता है। महत्वपूर्ण रूप से, संवर्धित अवस्था स्थान का आकार समय क्षितिज से स्वतंत्र हो जाता है, जो व्यवहार्य शिक्षण के लिए आवश्यक शर्तों को पूरा करता है।

C. कंट्रोल थ्योरी कनेक्शन (Control Theory Connection)
लेखक निष्पक्षता स्मृति को एक लीनियर टाइम-इनवेरिएंट (LTI) सिस्टम के रूप में मॉडल करके अपने विश्लेषण का विस्तार करते हैं। वे प्रदर्शित करते हैं कि स्मृति अवस्था के सीमित रहने के लिए, मेमोरी ट्रांजिशन मैट्रिक्स का स्पेक्ट्रल रेडियस एक से कम होना चाहिए ($\rho(A) < 1$)। परफेक्ट रिकॉल एक आइडेंटिटी मैट्रिक्स ($\rho=1$) के अनुरूप है, जो अस्थिर है, जबकि पास्ट-डिस्काउंटिंग एक स्केल्ड आइडेंटिटी ($\rho = \gamma_p < 1$) के अनुरूप है, जो स्थिरता की गारंटी देती है।

D. हाफ-लाइफ और प्रभावी विंडो (Half-Life and Effective Window)
अभ्यासकर्ताओं को $\gamma_p$ चुनने में सहायता के लिए, पेपर "हाफ-लाइफ" ($t_{1/2}$) और "इफेक्टिव विंडो" ($W_{eff} = 1/(1-\gamma_p)$) की अवधारणा पेश करता है। ये मेट्रिक्स यह मात्रात्मक रूप से बताते हैं कि कितने पिछले चरणों का वर्तमान निष्पक्षता मूल्यांकन पर सार्थक प्रभाव पड़ता है, जिससे मेमोरी डेप्थ और गणनात्मक व्यवहार्यता के बीच एक सिद्धांत आधारित समझौता (trade-off) संभव होता है।

3. प्रयोगात्मक परिणाम

लेखक एक डायनेमिक रिसोर्स एलोकेशन वातावरण (10 एजेंट, प्रति स्टेप 2 रिसोर्स) में प्रॉक्सिमल पॉलिसी ऑप्टिमाइजेशन (PPO) एजेंट के साथ मल्टी-एजेंट रीइन्फोर्समेंट लर्निंग (MARL) सेटअप का उपयोग करके अपने सिद्धांत को अनुभवजन्य रूप से मान्य करते हैं।

• सेटअप: एजेंटों को तीन मेमोरी कॉन्फ़िगरेशन के तहत अलग-अलग क्षितिज ($T=100$ से $T=10,000$) पर प्रशिक्षित किया गया था: मायोपिक ($\gamma_p=0$), परफेक्ट-रिकॉल ($\gamma_p=1$), और पास्ट-डिस्काउंटेड ($\gamma_p \in \{0.9, 0.99, 0.999\}$)।
• निष्कर्ष:
  • मायोपिक एजेंट: ऐतिहासिक संदर्भ की कमी के कारण निष्पक्ष नीतियां सीखने में विफल रहे, जिसके परिणामस्वरूप उच्च असमानता (उच्च गिनी गुणांक) देखी गई।
  • परफेक्ट-रिकॉल एजेंट: छोटे क्षितिज ($T \le 500$) पर अच्छा प्रदर्शन किया लेकिन क्षितिज बढ़ने के साथ उनके प्रदर्शन में भारी गिरावट आई। $T=10,000$ पर, उनकी निष्पक्षता बनाए रखने की क्षमता मायोपिक एजेंटों के स्तर तक गिर गई, जो अवस्था-स्थान विस्फोट के सैद्धांतिक पूर्वानुमान की पुष्टि करती है।
  • पास्ट-डिस्काउंटेड एजेंट: सभी क्षितिजों में सफल रूप से मजबूत निष्पक्ष नीतियां सीखीं। सीमित अवस्था प्रतिनिधित्व ने PPO एल्गोरिदम को अभिसरण (converge) करने की अनुमति दी।
  • पैरामीटर संवेदनशीलता: इष्टतम $\gamma_p$ निष्पक्षता सिग्नल के घनत्व (density) पर निर्भर था। घने सिग्नल्स (नैश वेलफेयर) के लिए, छोटा मेमोरी ($\gamma_p=0.9$) पर्याप्त था। विरल सिग्नल्स (इगलिटेरियन वेलफेयर) के लिए, पर्याप्त जानकारी संचित करने हेतु लंबे मेमोरी ($\gamma_p=0.99$) की आवश्यकता थी।

4. मुख्य योगदान

1. विफलता मोड की पहचान: यह शोध पत्र औपचारिक रूप से सिद्ध करता है कि परफेक्ट-रिकॉल निष्पक्षता अनबाउंडेड अवस्था-स्थान वृद्धि का कारण बनती है, जिससे दीर्घकालिक शिक्षण अव्यवहार्य हो जाता है।
2. नया ढांचा: यह पास्ट-डिस्काउंटेड फेयरनेस का प्रस्ताव करता है, जो एक ज्यामितीय रूप से घटने वाले भार (weight) का उपयोग करके इंस्टेंटेनियस और परफेक्ट-रिकॉल निष्पक्षता के बीच के अंतर को पाटता है।
3. सैद्धांतिक गारंटी: यह प्रमाण प्रदान करता है कि पास्ट-डिस्काउंटिंग एक सीमित, क्षितिज-स्वतंत्र संवर्धित अवस्था स्थान की गारंटी देता है, जिससे मार्कोव गुण बहाल होता है और गणनात्मक व्यवहार्यता सुनिश्चित होती है।
4. अनुभवजन्य सत्यापन: यह प्रदर्शित करता है कि पास्ट-डिस्काउंटिंग का उपयोग करने वाले RL एजेंट किसी भी क्षितिज पर निष्पक्ष नीतियां सीख सकते हैं, जबकि परफेक्ट रिकॉल का उपयोग करने वाले एजेंट क्षितिज बढ़ने पर विफल हो जाते हैं।

5. महत्व और दावे

शोध का दावा है कि पास्ट-डिस्काउंटिंग केवल एक ह्यूरिस्टिक (heuristic) नहीं है, बल्कि स्केलेबल और न्यायसंगत संसाधन आवंटन प्रणाली बनाने के लिए एक व्यावहारिक आवश्यकता है। अवस्था स्थान को सीमित और क्षितिज-स्वतंत्र रखकर, यह ढांचा उन दीर्घकालिक सेटिंग्स में निष्पक्ष नीतियां सीखने की क्षमता को अनलॉक करता है जहाँ पारंपरिक परफेक्ट-रिकॉल विधियां विफल हो जाती हैं।

लेखक इस कार्य को एक "तीसरे प्रतिमान" (third paradigm) के रूप में प्रस्तुत करते हैं जो मायोपिक निष्पक्षता की गणनात्मक सरलता और परफेक्ट रिकॉल की सैद्धांतिक समानता (लेकिन गणनात्मक अव्यवहार्यता) के बीच व्यावहारिक मध्य मार्ग बनाता है। इसका महत्व व्यवहार संबंधी अंतर्दृष्टि और कठोर कंट्रोल-थ्योरेटिक स्थिरता स्थितियों पर आधारित, तत्काल परिणामों और ऐतिहासिक संदर्भ के बीच के समझौते को प्रबंधित करने के लिए एक सिद्धांत आधारित तंत्र प्रदान करने में निहित है।