तकनीकी सारांश: निष्पादन शोर के तहत इरादा अनुमान (Intention Inference Under Execution Noise)

समस्या विवरण

इटरेटेड प्रिज़नर्स डिलेमा (IPD) जैसे सामाजिक द्वंद्वों (social dilemmas) में, सहयोग की स्थिरता इस बात पर निर्भर करती है कि एजेंट एक-दूसरे के विकल्पों को विश्वसनीय रूप से देख सकें। हालाँकि, निष्पादन शोर (execution noise) के तहत, इरादतन कार्यों को क्रियान्वयन से पहले स्टोकेस्टिक रूप से दूषित कर दिया जाता है (जैसे, एक सहकारी इरादे को दलबदल/defection के रूप में निष्पादित किया जाता है)। यह एक आरोपण समस्या (attribution problem) पैदा करता है: देखा गया दलबदल या तो शत्रुतापूर्ण इरादे से उपजा है या केवल एक क्रिया त्रुटि से।

मानक मार्कोव निर्णय प्रक्रिया (MDP) सूत्रकरण क्रियान्वित कार्यों को अवस्था स्थान (state space) के रूप में मानते हैं। यह संरचनात्मक विकल्प इरादे और निष्पादन के बीच अंतर करने की संभावना को समाप्त कर देता है, जिससे एजेंट सभी देखे गए दलबदलों को जानबूझकर किए गए कार्य के रूप में मानने के लिए मजबूर हो जाते हैं। फलस्वरूप, मानक एजेंट व्यवस्थित अति-प्रतिशोध (systematic over-retaliation) प्रदर्शित करते हैं, जो सहयोग को अस्थिर कर देता है। जबकि इंजीनियर की गई क्षमा रणनीतियाँ (जैसे, जेनेरस टिट-फॉर-टैट) व्यावहारिक समाधान प्रदान करती हैं, उनमें इस बात का कोई सिद्धांतगत विवरण नहीं है कि साक्ष्य द्वारा कितनी क्षमा उचित है और वे विशिष्ट विरोधियों के अनुकूल नहीं हो सकतीं। सुदृढीकरण शिक्षण (Reinforcement learning) दृष्टिकोण अक्सर अंतर्निहित इरादों को मॉडल करने में विफल रहते हैं, जिससे वही संरचनात्मक अक्षमता आती है जहाँ एजेंट यह परिकल्पना नहीं कर पाता कि विरोधी ने "सहयोग करने का इरादा रखा था लेकिन गलत निष्पादन हुआ।"

कार्यप्रणाली

लेखक एक पार्शियली ऑब्जर्वेबल मार्कोव निर्णय प्रक्रिया (POMDP) प्रस्ताव देते हैं जिसे एक्टिव इन्फरेंस (AIF) ढांचे के भीतर हल किया गया है।

1. लेटेंट इंटेंशन POMDP (The Latent Intention POMDP)

मुख्य नवाचार एलेयटोरिक अनिश्चितता (aleatoric uncertainty - निष्पादन शोर) को एपिस्टेमिक अनिश्चितता (epistemic uncertainty - इरादे के बारे में अनिश्चितता) से अलग करना है।

• अवस्थाएँ (States - $S$): निष्पादन से पूर्व संयुक्त इरादतन कार्यों (लेटेंट अवस्थाओं) को एनकोड करती हैं (जैसे, $CC$, $CD$, $DC$, $DD$)।
• अवलोकन (Observations - $O$): निष्पादित संयुक्त कार्यों के अनुरूप होते हैं, जो अवस्थाओं के शोर वाले संस्करण हैं।
• ऑब्जर्वेशन मॉडल (Observation Model - $A$): एक निश्चित बाइनरी सिमेट्रिक चैनल है जिसमें शोर पैरामीटर $\epsilon$ होता है, जो इरादतन अवस्थाओं को देखे गए कार्यों में मैप करता है।
• ट्रांजिशन मॉडल (Transition Model - $B$): विरोधी की प्रतिक्रियात्मक नीति (कि उनका अगला इरादा पिछले संयुक्त परिणाम पर कैसे निर्भर करता है) को एनकोड करता है। यह मैट्रिक्स अज्ञात है और ऑनलाइन सीखा जाता है।
• वरीयताएं (Preferences - $C$): पेऑफ संरचना (जैसे, $T > R > P > S$) से प्राप्त अवलोकनों पर लॉग-वरीयताएं।

2. एक्टिव इन्फरेंस समाधान

एजेंट एक्सपेक्टेड फ्री एनर्जी (G) को कम करता है, जो दो घटकों में विभाजित है:

• प्रैग्मैटिक वैल्यू (Pragmatic Value): एजेंट को पसंदीदा, उच्च-पेऑफ अवलोकनों की ओर ले जाता है (शोषण/exploitation)।
• एपिस्टेमिक वैल्यू (Epistemic Value): सूचना-खोजने वाली क्रियाओं को संचालित करता है जो अनिश्चितता को दूर करती हैं। इसे आगे दो भागों में विभाजित किया गया है:
  • स्टेट इंफॉर्मेशन गेन: विरोधी के वर्तमान लेटेंट इरादे के बारे में अनिश्चितता को कम करना।
  • पैरामीटर इंफॉर्मेशन गेन: विरोधी के ट्रांजिशन मॉडल (प्रतिक्रियात्मक नीति) के बारे में अनिश्चितता को कम करना।

3. ऑनलाइन लर्निंग

एजेंट डिरिचलेट काउंट एक्युमुलेशन (Dirichlet count accumulation) के माध्यम से विरोधी की प्रतिक्रियात्मक नीति ($B$ मैट्रिक्स) को सीखता है। छिपी हुई अवस्थाओं पर विश्वास अपडेट (Belief updates) डिरिचलेट काउंट्स के लिए एक "स्वच्छ" प्रशिक्षण संकेत प्रदान करते हैं, जो निष्पादन के शोर से विरोधी की रणनीति के सीखने को अलग करता है। यह एक युग्मित प्रणाली बनाता है जहाँ सटीक इरादा अनुमान, नीति सीखने में सुधार करता है, और सटीक नीति सीखना, इरादा अनुमान में सुधार करता है।

मुख्य योगदान

1. POMDP सूत्रकरण: एलेयटोरिक निष्पादन शोर और इरादे के बारे में एपिस्टेमिक अनिश्चितता का एक अभिनव पृथक्करण, जिसमें पेऑफ संरचनाओं के अनुरूप वरीयताएं शामिल हैं।
2. ऑनलाइन लर्निंग तंत्र: डिरिचलेट पोस्टीरियर्स के माध्यम से स्टेट इन्फरेंस और मॉडल लर्निंग को जोड़ना, जिससे एजेंट शोर के माध्यम से विरोधी की प्रतिक्रियात्मक नीति को सक्रिय रूप से सीख सकता है।
3. क्रिटिकल नॉइज़ थ्रेशोल्ड विश्लेषण: सहयोग के पतन को नियंत्रित करने वाले एक सैद्धांतिक थ्रेशोल्ड का व्युत्पत्ति। लेखक पहचानते हैं कि सहयोग इसलिए विफल नहीं होता क्योंकि एजेंट शोर और शत्रुता के बीच अंतर नहीं कर सकते (भेदभाव क्षमता), बल्कि इसलिए होता है क्योंकि सहयोगी इरादे के बने रहने की संभावना नियोजन क्षितिज (planning horizon) के दौरान एक महत्वपूर्ण बिंदु से नीचे गिर जाती है।
4. अनुभवजन्य सत्यापन (Empirical Validation): विभिन्न विरोधियों के विरुद्ध प्रदर्शन का प्रदर्शन: यह दिखाता है कि इरादा अनुमान का मूल्य संदर्भ-निर्भर है, जो पारस्परिक रूप से प्रतिक्रिया देने वाले विरोधियों के विरुद्ध लाभ दिखाता है, लेकिन उच्च शोर वाले स्व-खेल (self-play) में नाजुकता भी दिखाता है।

परिणाम

विभिन्न विरोधियों के विरुद्ध प्रदर्शन

• स्व-खेल (Self-Play: POMDP बनाम POMDP):
  • कम शोर ($\epsilon \le 0.10$) पर, POMDP लगभग पूर्ण सहयोग बनाए रखता है, जो MDP बेसलाइन से बेहतर प्रदर्शन करता है।
  • एक महत्वपूर्ण थ्रेशोल्ड ($\epsilon \in [0.10, 0.15]$) पर, POMDP सहयोग में एक तीव्र, विनाशकारी पतन (catastrophic collapse) का अनुभव करता है। यह सहसंबद्ध विश्वास गतिशीलता (correlated belief dynamics) द्वारा संचालित है: जब एक एजेंट शोर के कारण प्रतिशोध लेता है, तो दूसरा एजेंट शत्रुतापूर्ण इरादे को सही ढंग से पहचान लेता है और प्रतिशोध लेता है, जिससे एक स्व-सुदृढ़ चक्र बन जाता है।
  • MDP बेसलाइन बिना किसी तीव्र थ्रेशोल्ड के धीरे-धीरे खराब होता है, क्योंकि इसमें इस विशिष्ट विश्वास-संचालित कैस्केड को ट्रिगर करने के लिए लेटेंट इरादा परत का अभाव है।
• बनाम टिट-फॉर-टैट (TFT):
  • POMDP सभी शोर स्तरों पर निरंतर लाभ बनाए रखता है। चूंकि TFT की नीति स्थिर (stationary) है, इसलिए फोकल एजेंट की विश्वास गतिशीलता विरोधी को अस्थिर नहीं करती है, जिससे वह सहसंबद्ध पतन रुक जाता है जो स्व-खेल में देखा गया था।
• बनाम विन-स्टे लूज-शिफ्ट (WSLS):
  • दोनों सूत्रकरण किसी भी $\epsilon > 0$ पर शोषण (DC/DD चक्र) में गिर जाते हैं। POMDP का क्षमाशील स्वभाव इस संक्रमण को विलंबित करता है, जिसके परिणामस्वरूप MDP की तुलना में मामूली रूप से कम स्कोर मिलता है, जो WSLS का शोषण करने के लिए तेजी से अनुकूलित होता है।

विफलता का तंत्र

एक्सपेक्टेड फ्री एनर्जी के अपघटन का विश्लेषण करने पर पता चलता है कि POMDR में, ज्ञात ऑब्जर्वेशन मॉडल शोर को अवशोषित कर लेता है, जिससे स्टेट इंफॉर्मेशन गेन शून्य की ओर हल हो जाता है। इसके विपरीत, MDP अपरिहार्य अवस्था अनिश्चितता (irreducible state uncertainty) से ग्रस्त होता है, जिससे निरंतर अनिर्णय और प्रतिबद्धता रहित नीतियां उत्पन्न होती हैं।

क्रिटिकल नॉइज़ थ्रेशोल्ड उस बिंदु के रूप में व्युत्पन्न किया गया है जहाँ सहयोगी अस्तित्व की संभावना ($p_t(CC)^h$) 0.5 से नीचे गिर जाती है। इस बिंदु के परे, नियोजन क्षितिज के दौरान देखे गए दलबदलों के लिए "शत्रुतापूर्ण" परिकल्पना अधिक संभावित स्पष्टीकरण बन जाती है, जिससे प्रतिशोध लेना एक तर्कसंगत प्रतिक्रिया बन जाता है, भले ही एजेंट शोर और इरादे के बीच पूरी तरह से अंतर करने में सक्षम हो।

महत्व और दावे

यह शोध पत्र दावा करता है कि प्रतिनिधित्व का चुनाव (representational choice)—कि क्या अवस्था है और क्या अवलोकन है—यह निर्धारित करता है कि शोर के तहत मौलिक सहयोग संरचनात्मक रूप से संभव है या नहीं।

• प्रतिनिधित्व और प्रेरणा की आवश्यकता: सहकारी लाभ विशेष रूप से POMDP संरचना (जो एलेयटोरिक शोर को अलग करती है) और एपिस्टेमिक ड्राइव (जो सक्रिय रूप से विरोधी की नीति की जांच करती है) के बीच की अंतःक्रिया से उत्पन्न होते हैं। अकेले इनमें से कोई भी घटक पर्याप्त नहीं है; एपिस्टेमिक शब्दों को हटाने से "एक्सप्लोर-देन-कमिट" प्रक्षेपवक्र समाप्त हो जाता है, जबकि एपिस्टेमिक ड्राइव के बिना POMDP का उपयोग करने से कोई सुधार नहीं होता है।
• संदर्भ-निर्भर मूल्य: इरादा अनुमान उन मामलों में फायदेमंद है जहाँ प्रतिशोध लेने वाले विरोधी होते हैं, लेकिन उच्च-शोर वाले स्व-खेल परिदृश्यों में यह एक देनदारी बन जाता है जहाँ आपसी अनुमान प्रतिशोध के फीडबैक लूप का निर्माण करता है।
• रणनीतिक संरचना: यह लाभ उन खेलों के लिए विशिष्ट है जहाँ इरादा आरोपण निर्णय-प्रासंगिक है (जैसे, IPD जहाँ $T > R$)। स्टैग हंट ($T < R$) जैसे खेलों में, जहाँ शोषण का प्रलोभन नहीं है, POMDP और MDP समान प्रदर्शन करते हैं, क्योंकि त्रुटि और इरादे के बीच का अंतर कम महत्वपूर्ण हो जाता है।
• सीमाएं: लेखक नोट करते हैं कि स्व-खेल में तीव्र पतन पारस्परिक अनुमान (mutual inference) का गुण है, न कि स्वयं मॉडल की खामी। मॉडल एक स्थिर विरोधी नीति मानता है; जब दोनों एजेंट सह-विकसित (co-evolve) होते हैं, तो यह धारणा खंडित हो जाती है, जिससे मॉडल मिस-स्पेसिफिकेशन होता है। शोध पत्र सुझाव देता है कि भविष्य के कार्य में 'फॉरगेटिंग मैकेनिज्म' या 'चेंज-पॉइंट डिटेक्शन' इसे कम कर सकते हैं।

निष्कर्षतः, यह शोध पत्र तर्क देता है कि शोर के तहत सटीक अनुमान उस संदर्भ द्वारा सीमित होता है जिसमें यह कार्य करता है: जबकि शोर को इरादे से अलग करना स्थिर या प्रति đáp देने वाले रणनीतियों के विरुद्ध मजबूत सहयोग की अनुमति देता है, यह स्व-खेल वाले परिवेश में एक नाजुकता भी पेश करता है जहाँ आपसी अनुमान प्रतिशोध के स्व-सुदृढ़ संक्रमण को ट्रिगर कर सकता है।