Empathy Modeling in Active Inference Agents for Perspective-Taking and Alignment

यहाँ शोध पत्र "Empathy Modeling in Active Inference Agents for Perspective-Taking and Alignment" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

यह शोध पत्र कृत्रिम बुद्धिमत्ता (AI) में "सहानुभूति अंतराल" (empathy gap) को संबोधित करता है, जहाँ वर्तमान एजेंट अक्सर दूसरों की मानसिक अवस्थाओं की वास्तविक समझ के बजाय सतही पैटर्न पहचान या पूर्व-निर्धारित प्रतिक्रियाओं पर निर्भर करते हैं। AI सहानुभूति के पारंपरिक दृष्टिकोणों में मानवीय सहानुभूति की घटनात्मक नींव (phenomenological grounding) का अभाव होता है, जिससे ऐसे एजेंट बनते हैं जो उपयुक्त तो प्रतीत हो सकते हैं लेकिन जटिल सामाजिक अंतःक्रियाओं में मानवीय मूल्यों के साथ संरेखित होने में विफल रहते हैं।

मुख्य चुनौती एक ऐसा कम्प्यूटेशनल ढांचा बनाने की है जहाँ एजेंट सक्षम हों:

1. अनुमान लगाने में (Infer): दूसरों के विश्वासों, लक्ष्यों और प्राथमिकताओं को समझने में (Theory of Mind)।
2. आंतरिक बनाने में (Internalize): दूसरों के कल्याण को अपनी निर्णय लेने की प्रक्रिया में शामिल करने में (Empathic Concern)।
3. समन्वय करने में (Coordinate): बिना किसी स्पष्ट संचार या बाहरी पुरस्कार शेपिंग के, रणनीतिक दुविधाओं (जैसे प्रिज़नर्स डिलेमा) में प्रभावी ढंग से कार्य करने में।

2. कार्यप्रणाली (Methodology)

लेखक एक ढांचा प्रस्तावित करते हैं जो एक्टिव इन्फरेंस (Active Inference) पर आधारित है, जो परिप्रेक्ष्य लेने (perspective-taking) और सामाजिक मूल्यांकन को शामिल करने के लिए मानक धारणा-क्रिया लूप (perception-action loop) का विस्तार करता है।

A. जेनेरेटिव मॉडल और परिप्रेक्ष्य लेना (Generative Model and Perspective-Taking)

• संरचनात्मक मिलान (Structural Matching): विभिन्न एजेंटों के लिए अलग-अलग, मनमाने मॉडल बनाए रखने के बजाय, प्रत्येक एजेंट $i$ स्वयं को ($M_{self}$) और प्रतिद्वंद्वी को ($M_{other}$) एक संरचनात्मक रूप से मेल खाते जेनेरेटिव आर्किटेक्चर का उपयोग करके मॉडल करता है। प्रतिद्वंद्वी मॉडल स्वयं-मॉडल के समान स्टेट स्पेस, ऑब्जर्वेशन मॉडल और इन्फरेंस मशीनरी साझा करता है, लेकिन प्रतिद्वंद्वी-विशिष्ट मापदंडों (व्यवहार संबंधी पूर्वाग्रह, परिशुद्धता, सहानुभूति) को ऑनलाइन अनुमानित किए जाने वाले अव्यक्त चरों (latent variables) के रूप में मानता है।
• छिपी हुई अवस्थाएँ (Hidden States): छिपी हुई अवस्था $s_\tau$ एक दौर के संयुक्त परिणाम (जैसे $CC, CD, DC, DD$) को कूटबद्ध करती है।
• सामाजिक अपेक्षित मुक्त ऊर्जा (Social Expected Free Energy - EFE): मुख्य नवाचार एजेंट के उद्देश्य फलन (objective function) का संशोधन है। केवल स्वयं-उन्मुख अपेक्षित मुक्त ऊर्जा ($G_{self}$) को कम करने के बजाय, एजेंट एक सामाजिक EFE को कम करता है:
  $$G_{social}(a_i) = (1 - \lambda) G_{self}(a_i) + \lambda \mathbb{E}_{q(a_j|h_t)}[G_{other}(a_j)]$$
  जहाँ:
  • $\lambda \in [0, 1]$ सहानुभूति पैरामीटर (empathy parameter) है।
  • $\lambda = 0$: पूर्णतः स्व-हितकारी।
  • $\lambda = 1$: पूर्णतः परोपकारी।
  • मध्यवर्ती मान व्यावहारिक स्व-हित और प्रतिद्वंद्वी के कल्याण के बीच एक संतुलन (trade-off) बनाते हैं।

B. अनुमान और योजना (Inference and Planning)

• थ्योरी ऑफ माइंड (ToM): एजेंट प्रतिद्वंद्वी की प्रतिक्रिया $q(a_j | h_t)$ की भविष्यवाणी करने के लिए डेप्थ-1 ToM मॉड्यूल का उपयोग करता है। यह भविष्यवाणी प्रतिद्वंद्वी के गुप्त मापदंडों (सहयोग पूर्वाग्रह $\alpha$, पारस्परिकता $\rho$, परिशुद्धता $\beta$, और सहानुभूति $\lambda_j$) के एक पोस्टीरियर वितरण पर आधारित है।
• पार्टिकल फ़िल्टरिंग (Particle Filtering): अनिश्चितता को संभालने के लिए, एजेंट प्रतिद्वंद्वी के मापदंडों पर एक पार्टिकल फ़िल्टर बनाए रखता है। यह अंतःक्रिया के इतिहास के आधार पर एक सीखे हुए पोस्टीरियर (learned posterior) और एक स्थिर ToM प्रायर (static ToM prior) के बीच स्विच करता है।
• एपिस्टेमिक वैल्यू (Epistemic Value): क्योंकि प्रतिद्वंद्वी की सहानुभूति $\lambda_j$ एक छिपी हुई चर है, एजेंट को उन कार्यों के माध्यम से एपिस्टेमिक वैल्यू प्राप्त होती है जो प्रतिद्वंद्वी के सामाजिक स्वभाव के बारे में अनिश्चितता को कम करते हैं।
• योजना क्षितिज (Planning Horizons): ढांचा मायोपिक प्लानिंग ($H=1$, सिंगल-स्टेप) और सोफिस्टिकेटेड प्लानिंग ($H>1$, मल्टी-स्टेप फॉरवर्ड रोलआउट्स) दोनों का मूल्यांकन करता है।

3. प्रमुख योगदान (Key Contributions)

1. एकीकृत सहानुभूति ढांचा (Unified Empathy Framework): एक्टिव इन्फरेंस औपचारिकता के भीतर $\lambda$ पैरामीटर के माध्यम से संज्ञानात्मक सहानुभूति (मानसिक अवस्थाओं का अनुमान लगाना) और भावात्मक/प्रेरक सहानुभूति (दूसरों के परिणामों को महत्व देना) का एक सिद्धांतगत एकीकरण।
2. सामाजिक अंतःक्रिया के लिए संरचनात्मक प्रायर (Structural Prior for Social Interaction): यह प्रदर्शित करना कि सहानुभूति एक सीखा हुआ व्यवहार संबंधी रणनीति होने के बजाय, एक संरचनात्मक प्रायर के रूप में कार्य करती है जो इक्विलिब्रियम चयन को आकार देती है।
3. विश्वास और प्रेरणा का पृथक्करण (Decoupling Belief from Motivation): यह दिखाना कि प्रतिद्वंद्वी की सहकारिता के बारे में सटीक विश्वास होने से सहयोग की गारंटी नहीं मिलती; प्रेरणा (सहानुभूति पैरामीटर) ही प्रेरक शक्ति है।
4. रणनीतिक परिष्कार का विश्लेषण (Analysis of Strategic Sophistication): यह जांचना कि योजना की गहराई (planning depth) बढ़ने से सहयोग कैसे प्रभावित होता है, जो तर्कसंगतता और प्रोसोशल व्यवहार के बीच एक विरोधाभासी संबंध को प्रकट करता है।

4. मुख्य परिणाम (Key Results)

इस ढांचे का परीक्षण इटरेटेड प्रिज़नर्स डिलेमा (IPD) में किया गया था।

A. सहयोग परिदृश्य और चरण संक्रमण (Cooperation Landscape and Phase Transition)

• तीव्र दहलीज (Sharp Threshold): सहयोग एक चरण-संक्रमण (phase-transition) जैसा व्यवहार प्रदर्शित करता है। एक महत्वपूर्ण सहानुभूति दहलीज ($\lambda^* \approx 0.25$ मायोपिक एजेंटों के लिए) है, जिससे नीचे आपसी विश्वासघात (defection) हावी रहता है और इसके ऊपर निरंतर आपसी सहयोग उभरता है।
• समरूपता की आवश्यकता (Symmetry Requirement): सहयोग केवल सममित सहानुभूति (symmetric empathy) के तहत स्थिर होता है। विषम सहानुभूति (asymmetric empathy) से व्यवस्थित शोषण होता है, जहाँ कम-सहानुभूति वाला एजेंट उच्च-सहानुभूति वाले एजेंट का शोषण करता है।

B. अस्थायी गतिशीलता (Temporal Dynamics)

• निहित संचार (Implicit Communication): उच्च-सहानुभूति वाले एजेंट "क्षमा-प्रार्थना" चक्र प्रदर्शित करते हैं। यदि कोई स्टोकेस्टिक विश्वासघात (stochastic defection) होता है, तो उच्च-सहानुभूति वाले युग्म (dyads) तेजी से सहयोग पर वापस आ जाते हैं, जबकि निम्न-सहानुभूति वाले युग्म स्थायी विश्वासघात की ओर गिर जाते हैं।
• सीमा अस्थिरता (Boundary Instability): संक्रमण दहलीज ($\lambda \approx 0.25$) के पास, अंतःक्रियाएं उच्च विचरण (variance), लंबे ट्रांजिएंट्स और दोलनों (oscillations) को दर्शाती हैं, जो शासन सीमाओं (regime boundaries) के पास की विशिष्ट गतिकी है।

C. सीखना बनाम सहानुभूति (Learning vs. Empathy)

• सीखना सहयोग प्रेरित नहीं करता (Learning Does Not Induce Cooperation): प्रतिद्वंद्वी के मापदंडों को सीखने के लिए पार्टिकल फ़िल्टर से लैस एजेंट सटीक विश्वासों तक तेजी से पहुँचते हैं। हालाँकि, केवल सीखना सहयोग को प्रेरित नहीं करता है।
• "शोषण" प्रभाव (The "Exploitation" Effect): निम्न सहानुभूति स्तरों पर, एक सहकारी प्रतिद्वंद्वी का अधिक सटीक मॉडल होना वास्तव में शोषण को बढ़ाता है, क्योंकि एजेंट अधिकतम लाभ के लिए विश्वासघात के अवसर की सटीक पहचान कर लेता है। सहयोग सहानुभूति पैरामीटर $\lambda$ द्वारा संचालित होता है, न कि प्रतिद्वंद्वी के मॉडल की सटीकता द्वारा।

D. परिष्कार की लागत (The Cost of Sophistication - Planning Depth)

• विरोधाभासी निष्कर्ष (Counter-Intuitive Finding): मध्यम सहानुभूति स्तरों पर योजना का क्षितिज ($H > 1$) बढ़ाने से सहयोग कम हो जाता है।
• तंत्र (Mechanism): परिष्कृत एजेंट कई चरणों में विश्वासघात के संचयी लाभ (cumulative temptation payoff) का अनुमान लगाते हैं। पर्याप्त उच्च सहानुभूति के बिना जो इस दीर्घकालिक रणनीतिक लाभ को संतुलित कर सके, परिष्कृत एजेंट मायोपिक एजेंटों की तुलना में कम सहकारी होते हैं।
• स्थानांतरित दहलीज (Shifted Threshold): सहयोग के लिए आवश्यक सहानुभूति दहलीज मायोपिक ($\lambda \approx 0.25$) से बढ़कर सोफिस्टिकेटेड ($\lambda \approx 0.45$) हो जाती है। यह सुझाव देता है कि बिना प्रोसोशल प्रेरणा में वृद्धि के एजेंट की रणनीतिक क्षमता (planning capability) बढ़ाने से विरोधाभासी रूप से उसका संरेखण (alignment) बिगड़ सकता है।

5. महत्व और निहितार्थ (Significance and Implications)

• AI संरेखण (AI Alignment): परिणाम AI सुरक्षा में एक महत्वपूर्ण जोखिम को उजागर करते है: एक एजेंट की रणनीतिक क्षमता (planning depth) को उसके प्रोसोशल प्रेरणा (सहानुभूति) में समान वृद्धि के बिना बढ़ाने से सहकारी व्यवहार घट सकता है। संरेखण के लिए यह आवश्यक है कि "दूसरों का कल्याण" एजेंट के उद्देश्य फलन में संरचनात्मक रूप से समाहित हो, न कि केवल एक रणनीति के रूप में सीखा जाए।
• नकल से परे (Beyond Mimicry): यह ढांचा व्यवहारिक नकल से आगे बढ़कर आंतरिक सिमुलेशन (internal simulation) की ओर बढ़ता है। एजेंट इसलिए समन्वय करते हैं क्योंकि वे अपने कार्यों के दूसरों पर पड़ने वाले परिणामों का आंतरिक रूप से अनुकरण करते हैं, जिससे दोनों पक्षों के लिए आश्चर्य (surprise) कम होता है।
• मजबूती (Robustness): सहानुभूतिपूर्ण एजेंट स्टोकेस्टिक गड़बड़ियों के प्रति मजबूत होते हैं और त्रुटियों से तेजी से उबरते हैं, जो मानवीय सामाजिक लचीलेपन की नकल करते हैं।
• भविष्य की दिशाएँ (Future Directions): शोध पत्र $\lambda$ को गतिशील रूप से अनुमानित करने (अनुकूली सहानुभूति) की अनुमति देने के लिए मॉडल का विस्तार करने और इसे बहु-एजेंट समूहों तक स्केल करने का सुझाव देता है, हालांकि ये कम्प्यूटेशनल चुनौतियाँ पेश करते हैं।

निष्कर्षतः, यह शोध पत्र स्थापित करता है कि सहानुभूति एक्टिव इन्फरेंस एजेंटों में एक संरचनात्मक प्रायर के रूप में कार्य करती है। यह वह तंत्र है जो शुद्ध स्व-हित के खेल को एक सहकारी सामाजिक गतिशीलता में बदल देता है, यह सुनिश्चित करता है कि बुद्धिमान एजेंट अपनी रणनीतिक क्षमताओं के बढ़ने के बावजूद मानवीय मूल्यों के साथ संरेखित रहें।