Decoding fairness: a reinforcement learning perspective

तकनीकी सारांश: निष्पक्षता को डिकोड करना: एक सुदृढीकरण शिक्षण (Reinforcement Learning) परिप्रेक्ष्य

समस्या विवरण
अल्टीमेटम गेम (Ultimatum Game - UG) निष्पक्षता के उद्भव को समझने के लिए एक प्राथमिक मॉडल के रूप में कार्य करता है। पारंपरिक अर्थशास्त्र, जो होमो इकोनॉमिकस (Homo economicus) की धारणा पर निर्भर करता है, यह भविष्यवाणी करता है कि तर्कसंगत, स्व-हितकारी एजेंट न्यूनतम संभव प्रस्ताव देंगे और किसी भी गैर-शून्य प्रस्ताव को स्वीकार कर लेंगे (जिसके परिणामस्वरूप अत्यधिक असमानता होगी); हालाँकि, व्यवहार संबंधी प्रयोग लगातार दिखाते हैं कि मनुष्य निष्पक्ष विभाजन (आमतौर पर 40-50%) पसंद करते हैं और कम प्रस्तावों को अस्वीकार कर देते हैं। इस विसंगति के मौजूदा सैद्धांतिक स्पष्टीकरण मुख्य रूप से इमिटेशन लर्निंग (Imitation Learning) ढांचे पर निर्भर करते हैं, जो निष्पक्षता को जनसंख्या संरचना, प्रतिष्ठा, द्वेष या सहानुभूति जैसे बाह्य कारकों (Exogenous factors) के कारण बताते हैं। यह शोध पत्र इस बात की जांच करता है कि क्या सुदृढीकरण शिक्षण (Reinforcement Learning - RL) प्रतिमान के भीतर अंतर्जात कारकों (Endogenous factors) के माध्यम से निष्पक्षता उत्पन्न हो सकती है, जहाँ एजेंट अपने साथियों के सफल होने का अनुकरण करने के बजाय आत्म-चिंतन और अपने वातावरण के साथ अंतःक्रिया के माध्यम से अपनी रणनीतियों को अनुकूलित करते हैं।

कार्यप्रणाली (Methodology)
लेखक Q-learning का उपयोग करके एक दो-खिलाड़ी UG परिदृश्य को मॉडल करते हैं, जो एक मानक RL एल्गोरिदम है।

• एजेंट आर्किटेक्चर: प्रत्येक खिलाड़ी को प्रस्तावक (Proposer) की भूमिका के लिए एक अलग Q-टेबल और प्रतिवादी (Responder) की भूमिका के लिए एक अलग Q-टेबल दी जाती है।
• स्टेट और एक्शन स्पेस:
  • एक्शन (Actions): प्रस्तावक तीन प्रस्तावों ($p_l < 0.5$, $p_m = 0.5$, $p_h > 0.5$) में से चुनते हैं; प्रतिवादी तीन स्वीकृति थ्रेशोल्ड ($q_l, q_m, q_h$) में से चुनते हैं।
  • स्टेट्स (States): स्टेट स्पेस नौ संयोजनों ($S = \{s_1, ..., s_9\}$) से बना है जो पिछले दौर के एक्शन युग्मों (Action pairs) का प्रतिनिधित्व करते हैं।
• लर्निंग डायनेमिक्स:
  • एजेंट बेलमैन समीकरण (Bellman equation) का उपयोग करके Q-वैल्यू को अपडेट करते हैं: $Q_{s,a}(t+1) = (1-\alpha)Q_{s,a}(t) + \alpha(\pi(t) + \gamma \max_{a'} Q_{s',a'}(t))$।
  • $\alpha$ (लर्निंग रेट): वर्तमान अनुभव के भार को नियंत्रित करता है; उच्च $\alpha$ "भुलक्कड़पन" का संकेत देता है, जबकि निम्न $\alpha$ ऐतिहासिक अनुभव को बनाए रखने का संकेत देता है।
  • $\gamma$ (डिस्काउंट फैक्टर): भविष्य के पुरस्कारों के भार को नियंत्रित करता है; उच्च $\gamma$ "दीर्घकालिक दृष्टि" का संकेत देता है, जबकि निम्न $\gamma$ "अल्पकालिक दृष्टि" का संकेत देता है।
  • एक्सप्लोरेशन (Exploration): एजेंट $\epsilon$ प्रायिकता के साथ यादृच्छिक (Random) कार्यों का अन्वेषण करते हैं और अन्यथा उच्चतम Q-वैल्यू का लाभ (Exploit) उठाते हैं।
• मेट्रिक्स: अध्ययन प्रस्तावों और स्वीकृति थ्रेशोल्ड के स्थिर अंशों (Stationary fractions) को ट्रैक करता है, विशेष रूप से निष्पक्ष विकल्प ($p_m, q_m$) बनाम तर्कसंगत विकल्प ($p_l, q_l$) के प्रसार की निगरानी करता है।

मुख्य परिणाम

1. अंतर्जात कारकों के माध्यम से निष्पक्षता का उद्भव: निष्पक्षता प्रमुखता से तब उभरती है जब एजेंटों के पास निम्न लर्निंग रेट ($\alpha$, ऐतिहासिक अनुभव को महत्व देना) और उच्च डिस्काउंट फैक्टर ($\gamma$, भविष्य के पुरस्कारों को महत्व देना) दोनों होते हैं। इस पैरामीटर शासन (Regime) में, प्रणाली उच्च संभावना के साथ निष्पक्ष प्रस्तावों ($p_m$) और निष्पक्ष स्वीकृति थ्रेशोल्ड ($q_m$) के साथ स्थिर होती है।
2. दो-चरणीय विकासवादी तंत्र (Two-Phase Evolutionary Mechanism):
   • चरण I (सौदे करना): यादृच्छिक कॉन्फ़िगरेशन से शुरू होकर, सौदों की विफलता (जैसे उच्च प्रस्ताव $p_h$ या उच्च थ्रेशोल्ड $q_h$) की ओर ले जाने वाली रणनीतियाँ कम पे-ऑफ के कारण समाप्त हो जाती हैं। सिस्टम तीन जीवित रहने वाली रणनीतियों पर अभिसरित होता है: $(p_m, q_m)$, $(p_l, q_l)$, और $(p_m, q_l)$।
   • चरण II (ब्रांचिंग प्रोसेस): एक संक्रमण गतिशीलता (Transition dynamic) होती है जहाँ मिश्रित रणनीति $(p_m, q_l)$ अस्थिर है। सिस्टम दो स्थिर अवस्थाओं में विभाजित हो जाता है: निष्पक्ष रणनीति $(p_m, q_m)$ या तर्कसंगत रणनीति $(p_l, q_l)$। संक्रमण पथ की पहचान $(p_m, q_l) \to (p_l, q_l) \to (p_m, q_m)$ के रूप में की गई है।
3. व्यवहार संबंधी प्रयोगों के साथ संरेखण: मॉडल प्रमुख प्रयोगात्मक अवलोकनों को पुनरुत्पादित करता है:
   • उच्च प्रस्तावों के साथ सफल सौदों की संभावना बढ़ती है।
   • 20% से कम के प्रस्तावों को अक्सर अस्वीकार कर दिया जाता है (मॉडल में लगभग 80% अस्वीकृति की संभावना), जबकि 45-50% के बीच के प्रस्तावों को उच्च स्तर पर स्वीकार किया जाता है।
4. पैरामीटर संवेदनशीलता (Parameter Sensitivity):
   • $\alpha$ और $\gamma$: उच्च $\alpha$ (भुलक्कड़) या निम्न $\gamma$ (अल्पकालिक) वाले एजेंट तर्कसंगत, अनुचित रणनीति की ओर लौट जाते हैं।
   • गेम पैरामीटर्स ($l, h$): प्रस्तावों की निचली सीमा ($l$) संतुलन को महत्वपूर्ण रूप से प्रभावित करती है; जैसे-जैसे $l$ बढ़ता है, तर्कसंगत रणनीतियों का अंश बढ़ जाता है। ऊपरी सीमा ($h$) का प्रभाव मामूली है।
5. मजबूती (Robustness): निष्पक्षता का उद्भव तब भी बना रहता है जब भूमिका असाइनमेंट को रोटेटिंग से बदलकर रैंडम या फिक्स्ड कर दिया जाता है, और जब परिदृश्य को एक लैटिस आबादी (Latticed population) तक विस्तारित किया जाता है।

महत्व और दावे
यह शोध पत्र दावा करता है कि सुदृढीकरण शिक्षण प्रतिमान के भीतर अंतर्जात प्रेरणा (Endogenous motivation) निष्पक्षता के उद्भव की व्याख्या करने के लिए पर्याप्त है, जिससे इस विशिष्ट परिणाम के लिए बाह्य कारकों (जैसे प्रतिष्ठा या सामाजिक मानदंड) की आवश्यकता समाप्त हो जाती है। यह प्रदर्शित करके कि जो एजेंट "पिछले अनुभवों का सम्मान करते हैं" और "भविष्य के पुरस्कारों की योजना बनाते हैं", स्वाभाविक रूप से निष्पक्ष रणनीतियों की ओर विकसित होते हैं, यह अध्ययन इमिटेशन लर्निंग ढांचे से अलग एक नया दृष्टिकोण प्रदान करता है। निष्कर्ष बताते हैं कि मानवीय निष्पक्षता समय के साथ संचित पे-ऑफ को अधिकतम करने के उद्देश्य से अनुकूलन योग्य शिक्षण प्रक्रियाओं का परिणाम हो सकती है, न कि केवल एक सामाजिक या सांस्कृतिक निर्माण। यह कार्य निष्कर्ष निकालता है कि RL की आत्म-चिंतनशील प्रकृति इस बात का मौलिक स्पष्टीकरण प्रदान करती है कि मनुष्य अल्टीमेटम गेम में होमो इकोनॉमिकस की भविष्यवाणी से क्यों विचलित होते हैं।