🤖 AI

Dreaming Of Others: Latent Teammate Modeling In World Models For Multi-Agent Reinforcement Learning

यह शोध पत्र एक नवीन मल्टी-एजेंट रीइन्फोर्समेंट लर्निंग फ्रेमवर्क प्रस्तावित करता है जो लेटेंट स्टेट्स को एनवायरनमेंट और टीममेट घटकों में विभाजित करके और पार्टनर की मंशा का अनुमान लगाने के लिए 'थ्योरी-ऑफ-माइंड' हेड का उपयोग करके ड्रीमर-शैली के वर्ल्ड मॉडल्स को बेहतर बनाता है, जिससे एजेंट सामाजिक व्यवहार के सिमुलेशन के माध्यम से ज़ीरो-शॉट और फ्यू-शॉट कोआर्डिनेशन प्राप्त करने में सक्षम होते हैं।

मूल लेखक: Tomas Leroy-Stone

प्रकाशित 2026-06-01

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Tomas Leroy-Stone

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

मुख्य विचार: अपने साथियों के बारे में सपने देखना

कल्प Imagine कीजिए कि आप एक साथी के साथ एक जटिल वीडियो गेम खेल रहे हैं। आप गेम की दुनिया को देख सकते हैं, लेकिन आप अपने साथी की स्क्रीन, उनके विचार या उनकी गुप्त योजना को नहीं देख सकते। आप केवल वही देखते हैं जो वे करते हैं।

आर्टिफिशियल इंटेलिजेंस (AI) की दुनिया में, यह एक बहुत बड़ी समस्या है। अधिकांश AI सिस्टम जो गेम खेलने के लिए सीखते हैं (जिन्हें "वर्ल्ड मॉडल्स" कहा जाता है) वे पर्यावरण कैसे बदलता है (जैसे गुरुत्वाकर्षण या दीवारें) इसकी भविष्यवाणी करने में माहिर होते हैं। लेकिन जब बात एक साथी के क्या करने की आती है, तो वे आमतौर पर साथी को रैंडम शोर (static noise) या खराब मौसम की तरह मानते हैं। वे बस अनुमान लगाते हैं, "शायद वे बाएं जाएंगे, शायद दाएं," बिना वास्तव में यह समझे कि वे ऐसा क्यों कर रहे हैं।

यह पेपर इन AI दिमागों को बनाने का एक नया तरीका प्रस्तावित करता है। साथियों को रैंडम शोर मानने के बजाय, लेखक सुझाव देते हैं कि हमें AI को यह सिखाना चाहिए कि वह साथियों को अनुमान लगाने योग्य, संरचित पात्रों (structured characters) के रूप में देखे, जिनके अपने व्यक्तित्व और लक्ष्य होते हैं।

"ड्रिमर" (Dreamer) इंजन

इसे समझने के लिए, आपको पहले "ड्रिमर" के बारे में जानना होगा। ड्रिमर को एक ऐसे AI के रूप में सोचें जो सपनों (daydreaming) के माध्यम से सीखता है।

वास्तविक जीवन में लाखों बार गेम खेलने के बजाय (जिसमें बहुत समय लगता है), AI दुनिया का एक मानसिक मानचित्र (mental map) बनाता है।
यह अपनी आँखें बंद करता है और हजारों परिदृश्यों की कल्पना करता है: "अगर मैं यहाँ कूदता हूँ, तो दीवार गिर जाएगी। अगर मैं बाईं ओर जाता हूँ, तो दुश्मन दिखाई देगा।"
यह केवल परीक्षण और त्रुटि (trial and error) के माध्यम से नहीं, बल्कि अपनी कल्पना में अभ्यास करके गेम के नियमों को सीखता है।

समस्या: "घोस्ट" (Ghost) साथी

समस्या यह है कि टीम गेम में, "नियम" बदल जाते हैं क्योंकि आपका साथी अपना मन बदल देता है।

पुराना तरीका: AI सोचता है, "मेरा साथी अप्रत्याशित है। मैं बस अच्छे की उम्मीद करूँगा।" यह कार चलाने की कोशिश करने जैसा है जहाँ आप मान लेते हैं कि दूसरा ड्राइवर अचानक बिना किसी कारण के बाएं या दाएं मुड़ सकता है।
नया तरीका (यह पेपर): AI महसूस करता है, "मेरा साथी रैंडम नहीं है। उनका एक 'स्टाइल' है। शायद वे सतर्क हैं, या शायद वे आक्रामक हैं। मुझे उन्हें समझने के लिए उनके स्टाइल को समझना होगा।"

समाधान: "टीममेट डिकोडर" (Teammate Decoder)

लेखक एक नया आर्किटेक्चर प्रस्तावित करते हैं जो AI के मानसिक मानचित्र को दो अलग-अलग हिस्सों में विभाजित करता है, जैसे कि एक दो-लेन वाला हाईवे:

एनवायरनमेंट लेन (Environment Lane): यह हिस्सा भौतिक दुनिया (दीवारें, लक्ष्य, गुरुत्वाकर्षण) को ट्रैक करता है।
टीममेट लेन (Teammate Lane): यह नया आविष्कार है। यह साथी की छिपी हुई स्थिति (hidden state) को ट्रैक करता है।

AI एक विशेष उपकरण का उपयोग करता है जिसे "थ्योरी ऑफ माइंड" (ToM) हेड कहा जाता है। इसे एक "शरलॉक होम्स मॉड्यूल" के रूप में सोचें।

यह साथी के कार्यों को देखता है (जैसे, "उन्होंने एक चाबी उठाई लेकिन उसका उपयोग नहीं किया")।
यह एक छिपे हुए "लेटेंट कोड" (एक डिजिटल फिंगरप्रिंट) का अनुमान लगाता है जो साथी के इरादे (intent) या चरित्र का प्रतिनिधित्व करता है।
यह पूछता है: "क्या यह साथी 'रश' (Rush) प्रकार का है? या 'स्ट्रेटजी' (Strategy) प्रकार का?"

व्यवहार में यह कैसे काम करता है

एक बार जब AI के पास यह "टीममेट लेन" और "शरलॉक होम्स" मॉड्यूल आ जाता है, तो यह अपने सपनों (daydreaming) को बदलने का तरीका बदल देता है:

पहले: AI सपने देखता है, "अगर मैं यहाँ जाता हूँ, तो दुनिया बदल जाती है।"
अब: AI सपने देखता है, "अगर मैं यहाँ जाता हूँ, और मेरा साथी 'रश' प्रकार का है, तो वे मेरे पीछे आएंगे। यदि वे 'स्ट्रेटजी' प्रकार के हैं, तो वे प्रतीक्षा करेंगे।"

अपनी कल्पना में अपने साथी के विभिन्न संस्करणों का अनुकरण करके, AI किसी के भी साथ काम करने के लिए तैयार हो सकता है।

ज़ीरो-शॉट कोऑर्डिनेशन (Zero-Shot Coordination): AI एक नया साथी मिल सकता है जिसे उसने पहले कभी नहीं देखा है और फिर भी तुरंत उसके साथ अच्छी तरह काम कर सकता है, क्योंकि वह कुछ ही चालों से उनके स्टाइल का अनुमान लगा सकता है।
फ्यू-शॉट अडैप्टेशन (Few-Shot Adaptation): यदि साथी गेम के बीच में अपना इरादा बदल देता है, तो AI अपने "शरलॉक होम्स" अनुमान को अपडेट करता है और तुरंत अपनी योजना को समायोजित करता है।

यह पेपर वास्तव में क्या दावा करता है

यह ध्यान रखना महत्वपूर्ण है कि यह पेपर अभी तक क्या नहीं करता है:

कोई परिणाम नहीं: लेखक स्वीकार करते हैं कि यह एक प्रस्ताव (proposal) है। उन्होंने ब्लूप्रिंट और गणित तो तैयार कर दिया है, लेकिन उन्होंने अभी तक पूरा रोबोट नहीं बनाया है और न ही इसका परीक्षण किया है।
कोई वास्तविक दुनिया के अनुप्रयोग नहीं: वे यह दावा नहीं कर रहे हैं कि यह अभी ट्रैफिक को ठीक करेगा या बीमारियों का इलाज करेगा। वे सख्ती से सहकारी वीडियो गेम और सिमुलेशन में AI को बेहतर बनाने के बारे में बात कर रहे हैं।

लक्ष्य

अंतिम लक्ष्य एक ऐसा AI बनाना है जो न केवल दुनिया को समझता है, बल्कि दुनिया के भीतर मौजूद मस्तिष्कों को भी समझता है। साथियों को रैंडम शोर के बजाय संरचित, सीखने योग्य पात्रों के रूप में मानकर, AI मनुष्यों और अन्य AI के लिए एक बेहतर, अधिक अनुकूलन योग्य साथी बन सकता है।

संक्षेप में: यह पेपर सुझाव देता है कि AI को यह सीखना चाहिए कि अपने साथी के क्या करने का अनुमान लगाना छोड़ दें और उन्हें मॉडल (model) करना शुरू करें, ताकि वह उनके साथ मिलकर भविष्य की कल्पना कर सके, न कि केवल उनके आसपास।

तकनीकी सारांश: दूसरों के सपने देखना – मल्टी-एजेंट सुदृढीकरण शिक्षण (MARL) के लिए वर्ल्ड मॉडल्स में लेटेंट टीममेट मॉडलिंग

समस्या विवरण (Problem Statement)
सहकारी मल्टी-एजेंट सुदृढीकरण शिक्षण (MARL) में, एजेंटों को उन साथियों के साथ समन्वय करना होता है जिनकी आंतरिक नीतियां और इरादे सीधे तौर पर अवलोकन योग्य (observable) नहीं होते हैं। जबकि सिंगल-एजेंट सेटिंग्स में कंपैक्ट लेटेंट डायनेमिक्स सीखने के लिए 'ड्रीमर' (Dreamer) परिवार जैसे वर्ल्ड मॉडल्स ने मजबूत सामान्यीकरण (generalization) और सैंपल दक्षता प्रदर्शित की है, MARL में उनका अनुप्रयोग वर्तमान में सीमित है। मुख्य चुनौती यह है कि टीममेट का व्यवहार एक गैर-स्थिर (non-stationary), आंशिक रूप से अवलोकन योग्य संरचना पेश करता है जिसे आमतौर पर बिना किसी अंतर के शोर (noise) के रूप में मॉडल में संकुचित कर दिया जाता है। यह एजेंटों को पार्टनर की आंतरिक अवलोकनों या नीतियों तक पहुँच के बिना, पार्टनर की परिवर्तनशीलता का पूर्वानुमान लगाने या अनदेखे सहयोगियों के अनुकूल होने से रोकता है। इसके अलावा, मानक सहकारी MARL दृष्टिकोण अक्सर केंद्रीकृत प्रशिक्षण (centralized training) या स्पष्ट संचार चैनलों जैसे सरलीकरणों पर निर्भर करते हैं, जो वास्तविक मानव-AI सहयोग परिदृश्यों में उपलब्ध नहीं होते हैं।

कार्यप्रणाली (Methodology)
यह शोध पत्र एक "टीममेट-कंडीशन्ड वर्ल्ड मॉडल" (Teammate-Conditioned World Model) प्रस्तावित करता है जो टीममेट्स को केवल बाहरी शोर के रूप में नहीं, बल्कि एजेंट के अपने वर्ल्ड मॉडल के भीतर संरचित, सीखने योग्य घटकों के रूप में पुनर्गठित करता है। कार्यप्रणाली एक 'ड्रीमर-शैली' के रिकरेंट स्टेट-स्पेस मॉडल (RSSM) पर आधारित है जिसमें निम्नलिखित वास्तुशिल्प (architectural) और उद्देश्य संबंधी नवाचार हैं:

फैक्टरयुक्त लेटेंट स्टेट (Factorized Latent State): स्टोकेस्टिक लेटेंट स्टेट $z_t$ $z_{t}$ को दो अलग-अलग घटकों में विभाजित किया गया है: $z_t = [z^{env}_t, z^{team}_t]$ $z_{t} = [z_{t}^{e n v}, z_{t}^{t e am}]$ ।
- $z^{env}_t$ भौतिक वातावरण की नियतात्मक (deterministic) और स्टोकेस्टिक गतिशीलता को कैप्चर करता है।
- $z^{team}_t$ टीममेट के अनुमानित व्यवहार, चरित्र और इरादे को एनकोड करता है।
वास्तुकला (Architecture):
- एनकोडर (Encoder): नियंत्रित एजेंट के अवलोकन $x_t$ और क्रिया $a^0_t$ का उपभोग करता है ताकि एक नियतात्मक हिडन स्टेट $h_t$ उत्पन्न किया जा सके।
- डिकोडर्स (Decoders): दो डिकोडर फैक्टरयुक्त लेटेंट्स पर कार्य करते हैं। एक ऑब्जर्वेशन डिकोडर $z^{env}_t$ से पर्यावरण की स्थिति $\hat{x}_t$ का पुनर्निर्माण करता है। एक समर्पित "टीममेट-पॉलिसी डिकोडर" $z^{team}_t$ को टीममेट की अगली क्रिया $\hat{\pi}^j_t(\cdot)$ के प्रेडिक्टिव डिस्ट्रीब्यूशन पर मैप करता है।
- एक्टर-क्रिटिक कंडीशनिंग (Actor-Critic Conditioning): इमेजिनेशन चरण के दौरान, हिडन स्टेट और सैम्पल्ड टीममेट लेटेंट्स एक्टर और क्रिटिक हेड्स को कंडीशन करते हैं, जिससे एजेंट विविध पार्टनर व्यवहारों को ध्यान में रखते हुए नीतियां बनाने में सक्षम होता है।
थ्योरी-ऑफ-माइंड (ToM) ऑब्जेक्टिव: टीममेट के व्यवहार के निष्कर्ष (inference) को सुपरवाइज करने के लिए एक समर्पित लॉस फंक्शन, $\mathcal{L}_{ToM}$ पेश किया गया है। यह ऑब्जेक्टिव अनुभवजन्य टीममेट एक्शन डिस्ट्रीब्यूशन और मॉडल के प्रेडिक्शन के बीच एक कैलिब्रेटेड क्रॉस-एन्ट्रॉपी को कम करता है, जिसे अनुमानित टीममेट लेटेंट की टेम्पोरल कंसिस्टेंसी सुनिश्चित करने के लिए एक क्लैब-के-ली (KL) रेगुलराइजेशन टर्म द्वारा बढ़ाया गया है:
$\mathcal{L}_{ToM} = \mathbb{E}_t \left[ -\sum_a \pi^j_t(a) \log \hat{\pi}^j_t(a) \right] + \alpha \text{KL}\left( q(z^{team}_t | h_t) \parallel p(z^{team}_t | h_{t-1}, a_{t-1}) \right)$
इसे मानक ड्रीमर ट्रेनिंग ऑब्जेक्टिव्स में $\lambda_{ToM}$ वेटिंग हाइपरपैरामीटर के साथ जोड़ा जाता है।

प्रमुख योगदान (Key Contributions)

वैचारिक ढांचा (Conceptual Framework): यह शोध पत्र MARL के लिए एक नया दृष्टिकोण प्रस्तावित करता है जहाँ वर्ल्ड मॉडल्स केवल पर्यावरणीय गतिशीलता के ही नहीं, बल्कि सामाजिक व्यवहार के सिम्युलेटर के रूप में भी कार्य करते हैं। यह एजेंटों को गैर-स्थिरता (non-stationarity) को कम करने के लिए टीममेट्स को संरचित लेटेंट प्रक्रियाओं के रूप में मॉडल करने की वकालत करता है।
नवीन वास्तुकला (Novel Architecture): यह एक विशिष्ट RSSM आर्किटेक्चर पेश करता है जो पर्यावरणीय और टीममेट लेटेंट्स को स्पष्ट रूप से अलग करता है, साथ ही आंशिक प्रक्षेप पथों (trajectories) से पार्टनर के इरादे को समझने के लिए एक ToM हेड से लैस है।
प्रशिक्षण प्रोटोकॉल (Training Protocol): यह कार्य एक ऐसा प्रशिक्षण प्रोटोकॉल रेखांकित करता है जो साझा इमेजिनेशन, केंद्रीकृत नीतियों, या एजेंटों के बीच स्पष्ट संचार चैनलों की आवश्यकता के बिना ज़ीरो-शॉट और फ्यू-शॉट समन्वय (coordination) को सक्षम बनाता है।
मूल्यांकन प्रस्ताव (Evaluation Proposal): लेखक विविध पार्टनर आबादी और सामाजिक संदर्भों में सामान्यीकरण, सैंपल दक्षता और मजबूती का आकलन करने के लिए मल्टी-एजेंट पार्टिकल एनवायरनमेंट्स, ओवरकुक्ड-AI (Overcooked-AI), और मेल्टिंग पॉट (Melting Pot) का उपयोग करते हुए एक कठोर मूल्यांकन प्रोटोकॉल का प्रस्ताव करते हैं।

परिणाम (Results)
यह शोध पत्र स्पष्ट रूप से कहता है कि यह एक चर्चा को प्रेरित करने के लिए बनाया गया प्रस्ताव है और यह कोई अनुभवजन्य परिणाम (empirical results) रिपोर्ट नहीं करता है। फलस्वरूप, इस कार्य में कोई प्रायोगिक निष्कर्ष, प्रदर्शन मेट्रिक्स या तुलनात्मक बेंचमार्क प्रस्तुत नहीं किए गए हैं। योगदान विशुद्ध रूप से वास्तुशिल्प और सैद्धांतिक है, जो यह बताता है कि ऐसा सिस्टम कैसे कार्य करेगा और इसका मूल्यांकन कैसे किया जाना चाहिए।

महत्व और दावे (Significance and Claims)
यह शोध पत्र खुद को "मानव-अनुकूल AI" की दिशा में एक कदम के रूप में स्थापित करता है जहाँ पार्टनर आंशिक रूप से अवलोकन योग्य और विषम (heterogeneous) होते हैं। लेखकों का दावा है कि टीममेट्स को शोर के बजाय संरचित लेटेंट प्रक्रियाओं के रूप में मानकर, यह दृष्टिकोण निम्नलिखित के लिए मार्ग प्रशस्त करता है:

कम हुई गैर-स्थिरता (Reduced Non-Stationarity): सामाजिक गतिशीलता को भौतिक गतिशीलता से अलग करने से सहकारी सेटिंग्स में लर्निंग को स्थिर करने में मदद मिल सकती है।
बेहतर समन्वय (Improved Coordination): एजेंटों को अनदेखे सहयोगियों (ज़ीरो-शॉट) के अनुकूल होने और सीमित बातचीत के साथ तेजी से सुधार करने (फ्यू-शॉट) में सक्षम बनाना।
व्याख्यात्मकता (Interpretability): ऐसे लेटेंट रिप्रेजेंटेशन प्रदान करना जो स्पष्ट रूप से पार्टनर के चरित्र और इरादे को एनकोड करते हैं।

जैसा कि लेखकों द्वारा फ्रेम किया गया है, इसका अंतिम महत्व यह है कि वर्ल्ड मॉडल्स उन उपकरणों से विकसित हो सकते हैं जो "उन दुनियाओं के सपने देखते हैं जिनमें वे रहते हैं" से बदलकर ऐसे उपकरण बन सकते हैं जो "उन दिमागों के सपने देखते हैं जो उन्हें साझा करते हैं", जिससे अधिक मजबूत और अनुकूल मानव-AI सहयोग सुगम हो सके।