💻 computer science

Expected Return Symmetries

यह शोध पत्र "अपेक्षित प्रतिफल समरूपताओं" (expected return symmetries) को प्रस्तुत करता है, जो पारंपरिक परिवेश समरूपताओं को समाहित करने वाला एक व्यापक वर्ग है, जिससे विकेंद्रीकृत बहु-एजेंट परिवेशों में एजेंटों को वास्तविक समरूपताओं के पूर्व ज्ञान की आवश्यकता के बिना बेहतर ज़ीरो-शॉट समन्वय प्राप्त करने में सक्षम बनाया जा सके।

मूल लेखक: Darius Muglich, Johannes Forkel, Elise van der Pol, Jakob Foerster

प्रकाशित 2026-06-04

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Darius Muglich, Johannes Forkel, Elise van der Pol, Jakob Foerster

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ "Expected Return Symmetries" पेपर का सरल भाषा और रचनात्मक उपमाओं (analogies) के साथ विवरण दिया गया है।

बड़ी समस्या: "बाएं हाथ" बनाम "दाएं हाथ" की दुविधा

कल्पना कीजिए कि दो रोबोटों को एक सहयोगात्मक खेल खेलने के लिए अलग-अलग प्रशिक्षित किया गया है, जैसे कि Hanabi (एक कार्ड गेम जहाँ आप अपने कार्ड नहीं देख सकते) या Overcooked (एक अराजक कुकिंग सिम्युलेटर) का हाई-स्टेक्स वर्शन। वे अपने आप के साथ खेलते समय खेल में बहुत शानदार हैं।

हालाँकि, जब आप रोबोट A को रोबोट B के साथ पहली बार जोड़ते हैं, तो वे बुरी तरह विफल हो जाते हैं। क्यों?

क्योंकि अपने एकल प्रशिक्षण (solo training) के दौरान, उन्होंने अनजाने में अपनी गुप्त भाषा बना ली थी।

रोबोट A ने सीखा कि यदि दूसरा खिलाड़ी एक कार्ड नीचे रखता है, तो इसका मतलब है "मैं खुश हूँ।"
रोबोट B ने सीखा कि वही क्रिया "मैं गुस्से में हूँ" का संकेत देती है।

पेपर के शब्दों में, इसे mutually incompatible symmetry breaking कहा जाता है। रोबोटों ने एक ऐसा समाधान खोज लिया जो उनके व्यक्तिगत रूप से काम करता था, लेकिन क्योंकि वे इस बात पर सहमत नहीं थे कि किस संस्करण का उपयोग करना है, वे समन्वय करने में असमर्थ रहे। यह वैसा ही है जैसे दो लोग हाथ मिलाने की कोशिश कर रहे हों, लेकिन एक अपना बायां हाथ आगे बढ़ाता है और दूसरा अपना दायां। वे दोनों अपने मन में "सही" हैं, लेकिन वे तालमेल नहीं बिठा पा रहे हैं।

पुराना समाधान: "Other-Play" (नियम पुस्तिका वाला दृष्टिकोण)

पहले, शोधकर्ताओं ने रोबोटों को पर्यावरण की समरूपता (environment's symmetries) का सम्मान करना सिखाकर इसे ठीक करने की कोशिश की।

खेल के वातावरण को चार समान दरवाजों वाले कमरे के रूप में सोचें। यदि आप उत्तर (North) दरवाजे से चलते हैं, तो आपको एक इनाम मिलता है। यदि आप दक्षिण (South) दरवाजे से चलते हैं, तो आपको बिल्कुल वही इनाम मिलता है। कमरा "सममित" (symmetric) है।

पुराना तरीका: शोधकर्ताओं ने रोबोटों से कहा, "हे, उत्तर और दक्षिण एक ही हैं। केवल 'उत्तर अच्छा है' याद मत करो। बल्कि यह याद रखो कि 'कोई भी दरवाजा जो उत्तर जैसा दिखता है, वह अच्छा है'।"
सीमा: यह रंगों या दिशाओं जैसी स्पष्ट चीजों के लिए अच्छा काम करता है। लेकिन यह तब विफल हो जाता है जब "समानता" कमरे के लेआउट के बारे में नहीं, बल्कि स्वयं रणनीति के बारे में होती है। यह रोबोटों को यह बताने जैसा है कि, "इससे कोई फर्क नहीं पड़ता कि आप लाल टोपी पहनते हैं या नीली," लेकिन यह समझने में विफल रहता है कि कभी-कभी, एक विशिष्ट प्रकार की टोपी पहनना ही साथी को "मैं खाना बनाने के लिए तैयार हूँ" का संकेत देने का एकमात्र तरीका होता है।

नया समाधान: "Expected Return Symmetries" ("क्या काम करता है" वाला दृष्टिकोण)

इस पेपर के लेखक इन छिपे हुए कनेक्शनों को खोजने के लिए एक स्मार्ट तरीका प्रस्तावित करते हैं। पर्यावरण (environment) के नियमों को देखने के बजाय, वे परिणामों (rewards) को देखते हैं।

वे Expected Return Symmetries की अवधारणा पेश करते हैं।

उपमा: "जादुई दर्पण" (The Magic Mirror)
कल्पना कीजिए कि आपके पास एक जादुई दर्पण है। यदि आप उसके सामने खड़े होकर एक विशिष्ट डांस मूव करते हैं, तो आपको एक गोल्ड स्टार मिलता है।

पुराना दृष्टिकोण: दर्पण केवल उन चीजों को दर्शाता है जो बिल्कुल एक जैसी दिखती हैं (जैसे, यदि आप अपना बायां हाथ उठाते हैं, तो उसका प्रतिबिंब अपना दायां हाथ उठाता है)।
नया दृष्टिकोण (Expected Return): दर्पण अधिक स्मार्ट है। वह पूछता है, "यदि मैं आपके डांस मूव को पूरी तरह से अलग चीज़ में बदल दूँ, तो क्या आपको फिर भी गोल्ड स्टार मिलेगा?"

यदि उत्तर हाँ है, तो वे दो अलग-अलग डांस मूव्स, इस पेपर की दृष्टि में "सममित" (symmetric) हैं। वे दिखने में पूरी तरह से अलग हो सकते हैं, लेकिन वे सफलता की ओर ले जाते हैं।

पेपर का तर्क है कि इन "परिणाम-आधारित" (result-based) समरूपताओं को पहचानने के लिए प्रशिक्षित होकर, रोबोट कहीं अधिक लचीले बन जाते हैं। वे सीखते हैं कि "क्रिया X" और "क्रिया Y" आपस में बदली जा सकती हैं क्योंकि दोनों ही सुखद परिणाम की ओर ले जाती हैं, भले ही खेल के नियम स्पष्ट रूप से यह न कहें कि वे एक ही हैं।

उन्होंने यह कैसे किया (एक "ट्रायल एंड एरर" मशीन)

पेपर केवल अंदाज़ा नहीं लगाता; उन्होंने इन समरूपताओं को स्वचालित रूप से खोजने के लिए एक विधि बनाई है।

विशेषज्ञों का समूह (The Pool of Experts): उन्होंने पहले कई रोबोटों को खेल का विशेषज्ञ बनने के लिए प्रशिक्षित किया (Self-Play नामक विधि का उपयोग करके)।
शफलिंग गेम (The Shuffling Game): फिर उन्होंने इन विशेषज्ञ रोबोटों को लिया और उनके व्यवहार को "शफल" (shuffle) करना शुरू किया। उन्होंने क्रियाओं को बदलने, ऑब्जर्वेशन को बदलने और रणनीतियों को मिलाने का प्रयास किया।
स्कोरकीपर (The Scorekeeper): उन्होंने पूछा, "यदि हम रोबोट A की रणनीति को रोबोट B की रणनीति से बदल दें, तो क्या उन्हें अभी भी उच्च स्कोर मिलेगा?"
- यदि स्कोर ऊँचा बना रहता है, तो वह बदलाव एक वैध "Expected Return Symmetry" है।
- यदि स्कोर गिर जाता है, तो वह बदलाव खराब है।
परिणाम: उन्होंने ऐसे "मैजिक स्वैप्स" (magic swaps) खोजे जो खेल की सफलता को बनाए रखते हैं। फिर उन्होंने नए रोबोटों को प्रशिक्षण के दौरान इन स्वैप्स का उपयोग करना सिखाया।

परिणाम: यह क्यों मायने रखता है

उन्होंने इस परीक्षण को तीन अलग-अलग परिदृश्यों पर किया:

एक सरल लीवर गेम: एक बुनियादी समन्वय कार्य।
Overcooked V2: एक जटिल कुकिंग गेम जहाँ टाइमिंग और संचार महत्वपूर्ण हैं।
Hanabi: एक बहुत कठिन कार्ड गेम जिसमें छिपी हुई जानकारी होती है।

निष्कर्ष:

"Expected Return" विधि के साथ प्रशिक्षित रोबोटों ने अजनबियों के साथ पुराने "Environment Symmetry" विधि वाले रोबोटों की तुलना में काफी बेहतर समन्वय दिखाया।
Overcooked गेम में, नए तरीके ने "अपने आप के साथ खेलने" और "एक अजनबी के साथ खेलने" के बीच के अंतर को बहुत बड़े अंतर से कम कर दिया।
Hanabi में, जो AI के समन्वय के लिए बहुत कठिन माना जाता है, नए तरीके ने पिछले स्टेट-ऑफ-द-आर्ट तरीकों को पछाड़ दिया, भले ही नए तरीके के पास खेल के नियमों की कोई "चीट शीट" (जैसे कि लाल और नीला केवल रंग के बदलाव हैं) नहीं थी।

निचोड़ (The Bottom Line)

पेपर का दावा है कि बिना पूर्व समन्वय के AI एजेंटों को एक साथ काम करने के लिए, हमें उन्हें केवल खेल के नियम नहीं सिखाने चाहिए। इसके बजाय, हमें उन्हें यह पहचानना सिखाना चाहिए कि कौन से अलग व्यवहार सफलता की ओर ले जाते हैं।

केवल इनपुट (पर्यावरण के लेआउट) के बजाय परिणाम (expected return) पर ध्यान केंद्रित करके, रोबोट "सीक्रेट हैंडशेक" का एक व्यापक और अधिक लचीला सेट सीख जाते हैं। यह उन्हें नए पार्टनर्स के साथ बहुत तेज़ी से और अधिक प्रभावी ढंग से अनुकूलित होने की अनुमति देता है, जिससे उस "बाएं हाथ बनाम दाएं हाथ" की समस्या का समाधान होता है जिसने वर्षों से मल्टी-एजेंट AI को परेशान किया है।

तकनीकी सारांश: अपेक्षित प्रतिफल समरूपता (Expected Return Symmetries)

समस्या विवरण
सहकारी मल्टी-एजेंट सुदृढीकरण शिक्षण (Cooperative Multi-Agent Reinforcement Learning - MARL) में, एक मौलिक चुनौती जीरो-शॉट समन्वय (Zero-Shot Coordination - ZSC) है: स्वतंत्र रूप से प्रशिक्षित एजेंटों की क्षमता कि वे बिना पूर्व संचार के, परीक्षण के समय नए भागीदारों के साथ प्रभावी ढंग से समन्वय कर सकें। ZSC में एक प्राथमिक विफलता मोड परस्पर असंगत समरूपता भंग (Mutually Incompatible Symmetry Breaking) है। जब एजेंट अलगाव में प्रशिक्षण लेते हैं, तो वे समान लेकिन असंगत नीतियों पर अभिसरित (converge) हो सकते हैं (उदाहरण के लिए, एक टीम नीले रंग के साथ "खेलें" का संकेत देने के लिए सहमत होती है, जबकि दूसरी टीम लाल रंग का उपयोग करती है)।

मौजूदा समाधान, जैसे कि अदर-प्ले (Other-Play - OP) उद्देश्य, इसे Dec-POMDP समरूपताओं (अवस्थाओं, क्रियाओं और अवलोकनों का पुनरलेबलिंग जो ट्रांज़िशन और रिवॉर्ड फंक्शन को अपरिवर्तित छोड़ देता है) के तहत समकक्ष नीतियों के बीच अनुकूलता लागू करके संबोधित करते हैं। हालाँकि, इस दृष्टिकोण की दो सीमाएँ हैं:

समन्वय विफलता मोड: पर्यावरणीय समरूपता भंग केवल एक प्रकार की समन्वय विफलता है। एजेंट गैर-तुच्छ (non-trivial) Dec-POMDP समरूपताओं की अनुपस्थिति में भी अत्यधिक विशिष्ट परंपराएँ बनाने के लिए अति-समन्वय (over-coordinate) कर सकते हैं।
समरूपताओं की सुलभता: वर्तमान विधियों के लिए पर्यावरण की समरूपताओं का पूर्व ज्ञान (a priori knowledge) आवश्यक है। बड़े पैमाने के Dec-POMDPs में इन समरूपताओं को स्वचालित रूप से खोजना अक्सर कम्प्यूटेशनल रूप से अव्यवहार्य होता है, और कई विधियाँ विशेषाधिकार प्राप्त जानकारी (जैसे ग्राउंड ट्रुथ डायनेमिक्स या समरूपता समूह) पर निर्भर करती हैं जो वास्तविक दुनिया की सेटिंग्स में उपलब्ध नहीं होती है।

कार्यप्रणाली (Methodology)
यह शोध पत्र अपेक्षित प्रतिफल (Expected Return - ER) समरूपता को पेश करता है, जो ER समरूपताओं का एक व्यापक वर्ग है जिसमें Dec-POMDP समरूपताएं एक उपसमूह (subgroup) के रूप में शामिल हैं।

परिभाषा: एक रूपांतरण $\phi$ एक ER समरूपता है यदि वह स्व-खेल इष्टतम बोल्ट्ज़मैन-एक्सप्लोरेटरी नीतियों ( $\Pi^*_\alpha$ ) के सेट को संरक्षित करता है। विशेष रूप से, $\Phi_{ER} = \{ \phi \in \Psi \mid \forall \pi \in \Pi^*_\alpha: \phi(\pi) \in \Pi^*_\alpha \}$ । Dec-POMDP समरूपताओं के विपरीत, जिन्हें ट्रांज़िशन और रिवॉर्ड फंक्शन की अपरिवर्तनीयता की आवश्यकता होती है, ER समरूपताओं के लिए केवल यह आवश्यक है कि रूपांतरण इष्टतम नीतियों को अन्य इष्टतम नीतियों में मैप करे (अपेक्षित प्रतिफल को संरक्षित करे)।
सैद्धांतिक गुण: लेखक सिद्ध करते हैं कि $\Phi_{ER}$ फलन संयोजन (function composition) के तहत एक समूह (group) बनाता है। महत्वपूर्ण रूप से, $\Phi_{ER}$ कई मामलों में Dec-POMDP समरूपताओं का एक सख्त सुपरसेट है, जो केवल लेबल परम्यूटेशन के बजाय रणनीति के आधार पर समन्वय अंतर को कैप्चर करता है।
लर्निंग एल्गोरिदम: चूंकि $\Phi_{ER}$ $Φ_{E R}$ पूर्व-निर्धारित नहीं है, इसलिए यह शोध पत्र ग्राउंड ट्रुथ समरूपताओं या पर्यावरण डायनेमिक्स तक पहुँच के बिना, ग्रेडिएंट-आधारित अनुकूलन (gradient-based optimization) का उपयोग करके अनुमानित ER समरूपताओं को सीखने के लिए स्केलेबल तरीके प्रस्तावित करता है।
- उद्देश्य 1 (प्रतिफल संरक्षण): रूपांतरित नीतियों के अपेक्षित प्रतिफल को अधिकतम करना: $\max_\theta \mathbb{E}_{\pi \sim \Pi'} [J(\phi_\theta(\pi))]$ , जहाँ $\Pi'$ स्व-खेल इष्टतम नीतियों का एक पूल है।
- उद्देश्य 2 (संयोजकता और व्युत्क्रमणीयता): एक नियमित (regularized) उद्देश्य पेश किया गया है ताकि यह सुनिश्चित हो सके कि सीखे गए रूपांतरण एक समूह बनाते हैं (क्लोजर और व्युत्क्रमणीयता को लागू करना) द्वारा दोहरा अनुप्रयोग के बाद पहचान (identity) से विचलन को दंडित करना और संयोजित रूपांतरणों के तहत रिटर्न को अधिकतम करना।
- उद्देश्य 3 (क्रॉस-प्ले मैक्सिमाइजेशन): एक वैकल्पिक दृष्टिकोण नीतियों के जोड़े के बीच सीधे क्रॉस-प्ले प्रदर्शन को अनुकूलित करता है।
- विधि न्यूनतम संरचना मानती है: यह अवस्था रूपांतरण को 'आइडेंटिटी' पर स्थिर रखती है और अवलोकन एवं क्रिया रूपांतरणों को सीखती है (अक्सर क्रिया परम्यूटेशन पर खोज और न्यूरल नेटवर्क के माध्यम से अवलोकनों के लिए)।

मुख्य योगदान

ER समरूपता की परिभाषा: यह पेपर एक नया समरूपता समूह परिभाषित करता है जो अपेक्षित प्रतिफल के संरक्षण पर आधारित है, जो पारंपरिक Dec-POMDP समरूपताओं को समाहित करता है।
मॉडल-फ्री डिस्कवरी: लेखक शुद्ध रूप से एजेंट-पर्यावरण इंटरैक्शन से इन समरूपताओं को सीखने के लिए एल्गोरिदम पेश करते हैं, जिसमें पर्यावरण की संरचना या डायनेमिक्स के बारे में किसी विशेषाधिकार प्राप्त जानकारी की आवश्यकता नहीं होती है।
बेहतर ZSC प्रदर्शन: यह पेपर प्रदर्शित करता है कि learned ER समरूपताओं के साथ OP लर्निंग रूल को मिलाने से ओवर-कोऑर्डिनेशन को रोकने में मानक सेल्फ-प्ले और Dec-POMDP समरूपताओं वाले OP की तुलना में काफी बेहतर प्रदर्शन होता है।
चुनौतीपूर्ण सेटिंग्स में मजबूती: यह विधि उन वातावरणों में सफल होने में सक्षम है जहाँ स्टेट-ऑफ-द-आर्ट विधियाँ जैसे ऑफ-बलीफ लर्निंग (OBL) और कॉग्निटिव हायरार्कीज़ विफल हो जाती हैं (जैसे विशिष्ट लीवर गेम्स और ओवरकुक्ड V2)।

प्रायोगिक परिणाम
लेखक चार वातावरणों में अपने तरीके का मूल्यांकन करते हैं:

इटरेटेड थ्री-लीवर गेम: इस सेटिंग में, ER समरूपताएं Dec-POMDP समरूपताओं के अनुरूप हैं, और विधि सफलतापूर्वक इष्टतम ZSC नीति को रिकवर करती है।
टॉय कोऑर्डिनेशन गेम: विधि सफलतापूर्वक एक गैर-तुच्छ ER समरूपता (एक एक्शन स्वैप) को रिकवर करती है जो कि एक Dec-POMDP समरूपता नहीं है, जो पारंपरिक समूह के बाहर की समरूपताओं को खोजने की क्षमता को प्रदर्शित करती है।
ओवरकुक्ड V2: इस एसिमेट्रिक, स्टोकेस्टिक बेंचमार्क में, सीखे गए ER समरूपताओं का उपयोग करने वाले एजेंटों ने 15.8 का माध्य क्रॉस-प्ले (XP) स्कोर प्राप्त किया, जो सेल्फ-प्ले बेसलाइन (6.74) से काफी बेहतर है और समन्वय परिणामों में भिन्नता को कम करता है।
हानाबी (Hanabi): इस जटिल कार्ड गेम में, 11 सीखे गए ER समरूपताओं का उपयोग करने वाले एजेंटों ने 21.64 का माध्य XP स्कोर प्राप्त किया, जो मानक IPPO बेसलाइन (4.02) और सभी 12 कौतुक ज्ञात Dec-POMDP समरूपताओं द्वारा बाधित IPPO बेसलाइन (8.61) से बेहतर प्रदर्शन करता है। परिणाम दर्शाते हैं कि ER समरूपताएं अनुकूलता लागू करते हुए इष्टतमता को बेहतर ढंग से संरक्षित करती हैं।

महत्व और दावे
शोध पत्र का दावा है कि अपेक्षित प्रतिफल समरूपता (ER Symmetries) निम्नलिखित द्वारा ZSC में एक महत्वपूर्ण प्रगति का प्रतिनिधित्व करती है:

समरूपता का सामान्यीकरण: कठोर पर्यावरणीय अपरिवर्तनीयता से परे जाकर, एक अधिक लचीले, नीति-केंद्रित समरूपता की परिभाषा की ओर बढ़ना जो इष्टतम रणनीतियों की विविधता को बेहतर ढंग से संबोधित करती है।
विशेषाधिकार प्राप्त जानकारी को हटाना: बिना किसी पूर्व ज्ञान या डायनेमिक्स के समरूपता-आधारित विधियों को बेहतर बनाने वाली पहली विधि होना, जिससे यह उन सेटिंग्स में लागू करने योग्य हो जाती है जहाँ ऐसी जानकारी उपलब्ध नहीं है।
समन्वय विफलताओं को हल करना: ओवर-कोऑर्डिनेशन के लिए एक समाधान प्रदान करना जो उन वातावरणों में भी प्रभावी है जहाँ पिछले समरूपता-आधारित या विविधता-आधारित तरीके (जैसे OBL) विफल हो जाते हैं।

लेखक सीमाओं को स्वीकार करते हैं, यह नोट करते हुए कि खोज स्थान की अभिव्यंजकता (जो क्रिया/अवलोकन स्थानों पर बाइजेक्शन तक सीमित है) सभी वातावरणों (जैसे टू-लीवर गेम वेरिएंट) के लिए पर्याप्त नहीं हो सकती है, और विधि की सफलता उन नीतियों की गुणवत्ता पर निर्भर करती है जिनका उपयोग समरूपता सीखने के लिए किया जाता है।