💻 computer science

R3DM: Enabling Role Discovery and Diversity Through Dynamics Models in Multi-agent Reinforcement Learning

यह शोध पत्र R3DM को प्रस्तुत करता है, जो एक नवीन मल्टी-एजेंट सुदृढीकरण लर्निंग फ्रेमवर्क है जो भूमिकाओं, पिछले प्रक्षेप पथों और भविष्य के व्यवहारों के बीच पारस्परिक सूचना को अधिकतम करने के लिए एक डायनेमिक्स मॉडल के माध्यम से उभरती हुई भूमिकाओं को सीखकर समन्वय को बढ़ाता है, जिससे अत्याधुनिक तरीकों की तुलना में जटिल कार्यों में बेहतर प्रदर्शन प्राप्त होता है।

मूल लेखक: Harsh Goel, Mohammad Omama, Behdad Chalaki, Vaishnav Tadiparthi, Ehsan Moradi Pari, Sandeep Chinchali

प्रकाशित 2026-05-01

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Harsh Goel, Mohammad Omama, Behdad Chalaki, Vaishnav Tadiparthi, Ehsan Moradi Pari, Sandeep Chinchali

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि ड्रोन्स का एक समूह दो अलग-अलग आग बुझाने की कोशिश कर रहा है। एक मानक परिदृश्य में, यदि ड्रोन्स एक ही शुरुआती बिंदु को देखते हैं, तो वे दोनों यह तय कर सकते हैं कि, "मैं बाईं ओर की आग पर जाऊँगा!" और "मैं भी बाईं ओर की आग पर जाऊँगा!" वे दोनों एक ही आग पर भीड़ लगा देते हैं जबकि दूसरी तरफ आग जलती रहती है, क्योंकि वे केवल वही कॉपी कर रहे होते हैं जो उन्होंने पहले किया है या जो वे अभी देख रहे हैं। उन्होंने वास्तव में यह नहीं समझा है कि टीम में उन्हें कौन होना चाहिए।

यह शोध पत्र AI एजेंटों (जैसे कि ये ड्रोन्स) के लिए बेहतर तरीके से मिलकर काम करने के लिए एक नया तरीका पेश करता है। लेखक इस विधि को R3DM (Role Discovery and Diversity through Dynamics Models) कहते हैं।

यहाँ मुख्य विचार दिया गया है, जिसे सरल उपमाओं के माध्यम से समझाया गया है:

समस्या: "पीछे देखना" बनाम "आगे देखना"

अधिकांश वर्तमान AI टीमें अपने अतीत को देखकर भूमिकाएँ सीखती हैं। यह एक कोच की तरह है जो कहता है, "तुमने पिछले गेम में रक्षा (defense) अच्छी की थी, इसलिए तुम डिफेंडर हो।" समस्या यह है कि यदि सभी का अतीत एक जैसा था, तो वे सभी एक ही भूमिका अपना लेंगे और वे सभी एक ही काम करेंगे। उनमें विविधता की कमी होती है।

शोध पत्र का तर्क है कि एक भूमिका केवल इतिहास पर आधारित लेबल नहीं होनी चाहिए; बल्कि एक भूमिका भविष्य के लिए एक योजना होनी चाहिए। यदि आप "स्काउट" हैं, तो आपका भविष्य का रास्ता "टैंक" से अलग दिखना चाहिए।

समाधान: "क्रिस्टल बॉल" दृष्टिकोण

R3DM एजेंटों को एक "क्रिस्टल बॉल" (एक Dynamics Model) देता है। केवल यह पूछने के बजाय कि "मैंने क्या किया?", सिस्टम पूछता है, "यदि मैं यह विशिष्ट भूमिका अपनाता हूँ, तो मेरा भविष्य कैसा दिखेगा?"

क्रिस्टल बॉल (Dynamics Model): AI यह अनुमान लगाना सीखता है कि इसके वर्तमान कार्यों के आधार पर आगे क्या होगा। यह भविष्य का अनुकरण (simulate) करता है।
परीक्षण: सिस्टम जाँचता है: "यदि एजेंट A भूमिका X लेता है, तो क्या क्रिस्टल बॉल एक अनूठा भविष्य का रास्ता दिखाती है? और यदि एजेंट B भूमिका Y लेता है, तो क्या यह एक अलग अनूठा रास्ता दिखाता है?"
पुरस्कार: यदि एजेंट ऐसी भूमिकाएँ चुनते हैं जो अलग और गैर-अतिव्यापी (non-overlapping) भविष्य की ओर ले जाती हैं, तो उन्हें एक विशेष "बोनस पॉइंट" (एक intrinsic reward) मिलता है। यदि वे ऐसी भूमिकाएँ चुनते हैं जिनसे वे बिल्कुल एक जैसा काम करते हैं, तो उन्हें कोई बोनस नहीं मिलता।

दो-चरणीय नृत्य (Two-Step Dance)

इसे काम करने के लिए, R3DM एक दो-चरणीय प्रक्रिया का उपयोग करता है, जो एक नृत्य की तरह है:

चरण 1: दर्पण (Contrastive Learning): सबसे पहले, एजेंट अपने पिछले व्यवहार को देखते हैं और खुद को "टीमों" या भूमिकाओं में वर्गीकृत करते हैं जो उन्होंने अब तक किया है। यह खिलाड़ियों को उनकी जर्सी के रंगों के आधार पर समूहों में छाँटने जैसा है।
चरण 2: भविष्य का विजन (The Dynamics Model): इसके बाद, सिस्टम क्रिस्टल बॉल का उपयोग यह देखने के लिए करता है कि क्या वे समूह वास्तव में अलग भविष्य की ओर ले जाते हैं। यह एजेंटों को ऐसी भूमिकाएँ चुनने के लिए प्रोत्साहित करता है जो उन्हें मैप के अलग-अलग हिस्सों को खोजने या अलग-अलग कार्यों को संभालने के लिए मजबूर करती हैं।

यह क्यों काम करता है (आग बुझाने की उपमा)

आइए वापस उन दो ड्रोन्स और दो आगों पर चलते हैं।

पुराना तरीका: दोनों ड्रोन्स आग देखते हैं। दोनों सोचते हैं, "मैं बाईं ओर जाऊँगा।" वे बाईं ओर की आग पर एक-दूसरे से टकरा जाते हैं।
R3DM तरीका: सिस्टम कहता है, "ड्रोन A, यदि तुम 'बाईं-आग' की भूमिका चुनते हो, तो तुम्हारा भविष्य का रास्ता अद्वितीय होगा। ड्रोन B, यदि तुम 'दाईं-आग' की भूमिका चुनते हो, तो तुम्हारा भविष्य का रास्ता भी अद्वितीय होगा।"
क्योंकि सिस्टम उन्हें अलग-अलग भविष्य के रास्ते रखने के लिए पुरस्कृत करता है, ड्रोन A स्वाभाविक रूप से बायां रोल चुनता है, और ड्रोन B दायां रोल चुनता है। वे बिना किसी मानवीय निर्देश के पूरी तरह से विभाजित हो जाते हैं।

परिणाम

लेखकों ने जटिल वीडियो गेम युद्ध परिदृश्यों (विशेष रूप से StarCraft मैप्स) पर इनका परीक्षण किया।

उन्होंने पाया कि R3DM ने AI टीमों को मौजूदा सर्वोत्तम तरीकों की तुलना में 20% अधिक बार जीतने में मदद की।
AI ने बेहतर समन्वय करना सीखा, जिससे वह इस गलती से बच गया कि सभी एक ही समय में एक ही चीज़ करें।

संक्षेप में

R3DM AI टीमों को केवल अपने अतीत की नकल करना बंद करने और अपने भविष्य की योजना बनाना सिखाता है। एक "क्रिस्टल बॉल" का उपयोग करके कि आगे क्या होने वाला है, यह टीम के सदस्यों को ऐसी अनूठी भूमिकाएँ खोजने के लिए मजबूर करता है जो एक-दूसरे की पूरक हों, जिससे एक अराजक भीड़ एक सुव्यवस्थित टीम में बदल जाती है।

यहाँ शोध पत्र "R3DM: Enabling Role Discovery and Diversity Through Dynamics Models in Multi-agent Reinforcement Learning" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

मल्टी-एजेंट सुदृढीकरण शिक्षण (Multi-agent Reinforcement Learning - MARL) ने ट्रैफिक कंट्रोल और रोबोटिक्स जैसे जटिल डोमेन में सफलता प्राप्त की है, जो अक्सर सेंट्रलाइज्ड ट्रेनिंग डिसेंट्रलाइज्ड एक्जीक्यूशन (CTDE) प्रतिमानों (जैसे QMIX, MAPPO) का उपयोग करते हैं। हालाँकि, मानक CTDE विधियाँ साझा नीति मापदंडों (shared policy parameters) पर निर्भर करती हैं, जो अक्सर प्रभावी समन्वय के लिए आवश्यक विविध व्यवहारों को सीखने में बाधा डालती हैं।

मौजूदा भूमिका-आधारित (role-based) MARL दृष्टिकोण एजेंटों के पिछले अवलोकनों (past observations) से उभरती हुई भूमिकाओं को सीखने का प्रयास करते हैं ताकि पूरक व्यवहारों को प्रोत्साहित किया जा सके। यह शोध पत्र इन विधियों में एक महत्वपूर्ण दोष की पहचान करता है:

सीमा (The Limitation): केवल पिछले अनुभव से भूमिकाएँ निकालना इस बात को समझने में विफल रहता है कि एक भूमिका एजेंट के भविष्य के प्रक्षेपवक्र (future trajectory) को कैसे प्रभावित करती है।
परिणाम (The Consequence): समान प्रारंभिक अवलोकनों वाले एजेंट शुरुआती दौर में समान भूमिकाएँ अपना सकते हैं, जिससे प्रभावी वितरण और समन्वय के बजाय रेडंडेंट (redundant) व्यवहार (जैसे, दो ड्रोन दोनों एक ही आग की ओर उड़ रहे हैं) उत्पन्न होता है।
अंतर्दृष्टि (The Insight): एक एजेंट की भूमिका को सक्रिय रूप से उसके भविष्य के व्यवहार को आकार देना चाहिए। यदि एक एजेंट एक विशिष्ट भूमिका अपनाता है, तो उसके भविष्य के अवलोकन और क्रियाएँ अन्य भूमिकाओं वाले एजेंटों से स्वाभाविक रूप से भिन्न होनी चाहिए ताकि प्रभावी समन्वय सुनिश्चित हो सके।

2. कार्यप्रणाली: R3DM (Methodology: R3DM)

लेखक Role Discovery and Diversity through Dynamics Models (R3DM) का प्रस्ताव करते हैं, जो एक ऐसा ढांचा है जो सूचना सिद्धांत (information theory) और वर्ल्ड मॉडल्स (world models) का उपयोग करके एजेंट की वर्तमान भूमिका को उसके अपेक्षित भविष्य के व्यवहार से जोड़ता है।

मुख्य उद्देश्य (Core Objective)

R3DM तीन चरों के बीच पारस्परिक सूचना (Mutual Information - MI) को अधिकतम करता है:

समय $t$ पर एजेंट की भूमिका ( $m^t_i$ )।
समय $t$ तक देखा गया प्रक्षेपवक्र ( $\tau^t_i$ )।
अपेक्षित भविष्य का प्रक्षेपवक्र ( $\tau^{t+1:t+k}_i$ )।

ऑब्जेक्टिव फंक्शन को इस प्रकार तैयार किया गया है:
$I(\tau^{t+k}_i; m^t_i | \tau^t_i)$
चूंकि इसे सीधे अधिकतम करना कठिन है, लेखकों ने एक सुलभ निचली सीमा (tractable lower bound) निकाली है जिसे दो घटकों में विभाजित किया गया है:

भूमिका एम्बेडिंग लर्निंग (Role Embedding Learning): अवलोकन-क्रिया इतिहास से मध्यवर्ती भूमिका एम्बेडिंग ( $z^t_i$ ) सीखना।
भविष्य के व्यवहार की विविधता (Future Behavior Diversity): इन भूमिका एम्बेडिंग और भविष्य के प्रक्षेपवक्र के बीच MI को अधिकतम करना।

मुख्य घटक (Key Components)

A. मध्यवर्ती भूमिका एम्बेडिंग लर्निंग (कंट्रास्टिव लर्निंग)

यह एजेंटों को उनके पिछले अवलोकन-क्रिया इतिहास के आधार पर विशिष्ट भूमिकाओं में क्लस्टर करने के लिए एक कंट्रास्टिव लर्निंग फ्रेमवर्क (ACORM पर आधारित) का उपयोग करता है।
यह एम्बेडिंग उत्पन्न करने के लिए एक प्रक्षेपवपथ एनकोडर ( $\theta_e$ ) और एक रोल एनकोडर ( $\theta_r$ ) का उपयोग करता है।
यह सुनिश्चित करने के लिए एक कंट्रास्टिव लॉस को ऑप्टिमाइज़ करता है कि समान व्यवहार पैटर्न वाले एजेंटों को एक साथ समूहबद्ध किया जाए, जबकि भिन्न पैटर्न वाले एजेंटों को अलग किया जाए।

B. डायनेमिक्स मॉडल के माध्यम से आंतरिक पुरस्कार (Intrinsic Rewards via Dynamics Models)
यह सुनिश्चित करने के लिए कि भूमिकाएँ भविष्य के व्यवहार को आकार दें, R3DM दो आंतरिक पुरस्कार पेश करता है जो MI निचली सीमा से प्राप्त होते हैं:

पॉलिसी आंतरिक पुरस्कार ( $r_{pol}$ ):
- यह भूमिका के आधार पर क्रिया चयन में विविधता को प्रोत्साहित करता है।
- इसे भूमिका-सशर्त (role-conditioned) नीति और औसत (भूमिका-अज्ञेय/role-agnostic) नीति के बीच कुलबैक-लीब्लर (KL) डाइवर्जेंस के रूप में गणना किया जाता है।
- फॉर्मूला: $r_{i,pol} = \sum D_{KL}(\text{SoftMax}(Q_i(\cdot|\tau, z)) || p(\cdot|\tau))$ ।
डायनेमिक्स आंतरिक पुरस्कार ( $r_{dyn}$ ):
- यह एक अभिनव योगदान है। यह इस बात को मापता है कि भूमिका एम्बेडिंग भविष्य के अवलोकनों के पूर्वानुमान को कितना प्रभावित करती है।
- यह दो रिकरेंट स्टेट स्पेस मॉडल्स (RSSM) (DreamerV3 पर आधारित) का उपयोग करता है:
  - भूमिका-सशर्त मॉडल ( $q_\psi$ ): प्रक्षेपपथ और भूमिका एम्बेडिंग दिए जाने पर भविष्य के अवलोकनों की भविष्यवाणी करता है।
  - भूमिका-अज्ञेय मॉडल ( $p_\phi$ ): केवल प्रक्षेपपथ दिए जाने पर भविष्य के अवलोकनों की भविष्यवाणी करता है (बिना भूमिका के)।
- पुरस्कार दोनों मॉडलों के बीच लॉग-लाइक्लीहुड (log-likelihood) का अंतर है। यदि भूमिका-सशर्त मॉडल, अज्ञेय मॉडल की तुलना में भविष्य की बेहतर भविष्यवाणी करता है, तो एजेंट को उच्च पुरस्कार मिलता है, जो भूमिका को भविष्य के व्यवहार के लिए भविष्य कहने योग्य (predictive) बनाने के लिए प्रेरित करता है।
- फॉर्मूला: $r_{i,dyn} = \sum [\log q_\psi - \log p_\phi]$ ।

C. अंतिम लर्निंग ऑब्जेक्टिव (Final Learning Objective)
MARL एजेंट के लिए कुल पुरस्कार टास्क रिवॉर्ड ( $r_t$ ) और आंतरिक पुरस्कारों का संयोजन है:
$r_{total} = r_t + \alpha r_{int}$
जहाँ $r_{int} = \beta_3 r_{pol} + r_{dyn}$ । इस संयुक्त पुरस्कार का उपयोग मानक TD-लर्निंग के माध्यम से Q-नेटवर्क्स को अपडेट करने के लिए किया जाता है।

3. मुख्य योगदान (Key Contributions)

नया सूचना-सैद्धांतिक उद्देश्य: एक ऐसा उद्देश्य प्रस्तावित करता है जो भूमिकाओं, पिछले प्रक्षेपपथों और अपेक्षित भविष्य के प्रक्षेपपथों के बीच MI को अधिकतम करता है, जिससे ध्यान 'पिछले-आधारित भूमिका अनुमान' से बदलकर 'भविष्य-आकार देने वाली भूमिकाओं' पर केंद्रित होता है।
डायनेमिक्स-संचालित आंतरिक पुरस्कार: भविष्य के व्यवहार को लागू करने के लिए वर्ल्ड मॉडल्स (RSSM) का उपयोग करने वाला एक तंत्र पेश करता है, जो अन्वेषण (exploration) और भूमिका विशेषज्ञता के बीच संतुलन बनाता है।
CTDE के साथ एकीकरण: यह बिना सैंपल दक्षता (sample efficiency) से समझौता किए मौजूदा भूमिका-आधारित MARL विधियों (विशेष रूप से ACORM/QMIX) में इस ढांचे को सफलतापूर्वक एकीकृत करता है।
अनुभवजन्य सत्यापन (Empirical Validation): चुनौतीपूर्ण बेंचमार्क पर अत्याधुनिक प्रदर्शन प्रदर्शित करता है।

4. प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने SMAC (StarCraft Multi-Agent Challenge) और SMACv2 वातावरणों पर R3DM का मूल्यांकन किया।

प्रदर्शन: R3DM अत्याधुनिक बेसलाइनों (QMIX, ACORM, CIA, GoMARL, CDS, और EMC सहित) से बेहतर प्रदर्शन करता है।
- कठिन मानचित्रों (जैसे 3s5z vs 3s6z, Corridor, 6h vs 8z) पर जीत की दर में 20% तक सुधार किया।
- बेहतर सैंपल दक्षता और तेज़ अभिसरण (convergence) दिखाया।
SMACv2: स्टोकेस्टिक वातावरणों (बदलती प्रारंभिक स्थितियों) में, R3DM ने विषम परिदृश्यों (जैसे Protoss 10 vs 11) में बेसलाइनों से बेहतर प्रदर्शन करते हुए मजबूत प्रदर्शन बनाए रखा।
गुणात्मक विश्लेषण (Qualitative Analysis): 3s5z vs 3s6z मानचित्र के विज़ुअलाइज़ेशन ने दिखाया कि जहाँ ACORM एजेंट मास-अटैक व्यवहार की ओर बढ़े, वहीं R3DM एजेंटों ने विशिष्ट उप-टीमों (जैसे, एक एजेंट दुश्मनों को लुभाते हुए जबकि अन्य फ्लैंक करते हैं) में विभाजित होने के लिए सीखा, जो वास्तविक भूमिका विभेदन (role differentiation) को दर्शाता है।
एब्लेशन अध्ययन (Ablation Studies):
- इमेजिनेशन होराइजन (Imagination Horizon): छोटे होराइजन ( $k=1$ या $2$) सबसे अच्छा काम करते थे; लंबे होराइजन ने संचयी भविष्यवाणी त्रुटियों (compounding prediction errors) को बढ़ाया।
- भूमिका कार्डिनैलिटी (Role Cardinality): मध्यम संख्या में भूमिकाओं (जैसे, 3) ने उच्च कार्डिनैलिटी की तुलना में समन्वय और विशेषज्ञता को बेहतर ढंग से संतुलित किया।
- घटक: इष्टतम प्रदर्शन के लिए कंट्रास्टिव लर्निंग और आंतरिक पुरस्कार दोनों को आवश्यक पाया गया।

5. महत्व और प्रभाव (Significance and Impact)

प्रतिमान परिवर्तन (Paradigm Shift): R3DM भूमिका-आधारित MARL के क्षेत्र को पूर्वव्यापी (retrospective) भूमिका असाइनमेंट (जो हुआ उस पर आधारित) से भावी (prospective) भूमिका असाइनमेंट (जो होने वाला है उस पर आधारित) की ओर ले जाता है।
समन्वय तंत्र: भूमिकाओं को भविष्य की गतिशीलता (dynamics) से जोड़कर, यह विधि "रेडंडेंसी" की समस्या को स्वाभाविक रूप से हल करती है जहाँ समान इतिहास वाले एजेंट समन्वय करने में विफल रहते हैं।
MARL में मॉडल-आधारित RL: यह शोध पत्र मॉडल-फ्री MARL और मॉडल-आधारित दृष्टिकोणों (आंतरिक प्रेरणा के लिए वर्ल्ड मॉडल्स का उपयोग करते हुए) के बीच के अंतर को सफलतापूर्वक पाटता है, जो अधिक परिष्कृत समन्वय रणनीतियों के लिए मार्ग प्रशस्त करता है।
व्यावहारिक अनुप्रयोग: यह दृष्टिकोण ड्रोन झुंड (drone swarms), स्वायत्त वाहन बेड़े, और रोबोटिक टीमों जैसे वास्तविक दुनिया के मल्टी-एजेंट सिस्टम के लिए अत्यधिक प्रासंगिक है जहाँ कई उद्देश्यों को एक साथ संभालने के लिए विशिष्ट भूमिकाएँ गतिशील रूप से सौंपी जानी चाहिए।