🤖 machine learning

MAGIC: Multi-Step Advantage-Gated Causal Influence for Multi-agent Reinforcement Learning

यह शोध पत्र MAGIC को पेश करता है, जो एक मल्टी-एजेंट सुदृढ़ीकरण लर्निंग (multi-agent reinforcement learning) फ्रेमवर्क है जो कॉज़ल इंटरवेंशन (causal intervention) और कंडीशनल म्यूचुअल इंफॉर्मेशन (conditional mutual information) के माध्यम से दीर्घकालिक कॉज़ल प्रभावों को परिमाणित करके समन्वय को बढ़ाता है, और फिर इन प्रभावों को एक एडवांटेज-आधारित गेटिंग मैकेनिज्म (advantage-based gating mechanism) के माध्यम से आंतरिक पुरस्कारों में परिवर्तित करके मानक बेंचमार्क पर अत्याधुनिक तरीकों से बेहतर प्रदर्शन करता है।

मूल लेखक: Haohan Yu, Jinmiao Cong, Shengzhi Wang, Lu Wang, Chanjuan Liu

प्रकाशित 2026-05-05

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Haohan Yu, Jinmiao Cong, Shengzhi Wang, Lu Wang, Chanjuan Liu

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक सॉकर टीम को कोचिंग दे रहे हैं। एक मानक प्रशिक्षण सत्र में, हर खिलाड़ी खेल के अंत में प्राप्त स्कोर के आधार पर अपने स्वयं के मूव्स (चालें) सीखने की कोशिश करता है। समस्या क्या है? यदि खिलाड़ी A, खिलाड़ी B को गेंद पास करता है, और खिलाड़ी B गोल करता है, तो खिलाड़ी A को शायद यह एहसास न हो कि उसका पास ही उस गोल का असली कारण था। इससे भी बुरा यह है कि खिलाड़ी A गलती से खिलाड़ी B का रास्ता रोक सकता है, जिससे गड़बड़ी हो सकती है, लेकिन फिर भी उसे एक "अच्छा" स्कोर मिल सकता है क्योंकि वह पूरी मेहनत कर रहा था।

यह मल्टी-एजेंट रीइन्फोर्समेंट लर्निंग (MARL) की चुनौती है: कई AI एजेंटों (जैसे रोबोट या सॉफ्टवेयर प्रोग्राम) को एक-दूसरे के रास्ते में आए बिना या यह समझे बिना कि किसने क्या किया, एक साथ काम करना सिखाना।

यह पेपर एक नई विधि पेश करता है जिसे MAGIC (Multi-step Advantage-Gated Causal Influence) कहा जाता है। यह कैसे काम करता है, इसे सरल अवधारणाओं में यहाँ समझाया गया है:

1. समस्या: "प्रभाव" (Influence) हमेशा "मददगार" नहीं होता

दो शिकारियों (predators) की कल्पना करें जो एक शिकार का पीछा कर रहे हैं।

परिदृश्य A: शिकारी A, शिकारी B को शिकार पकड़ने देने के लिए एक तरफ हट जाता है। यह एक स्मार्ट, सहयोगात्मक चाल है। हालाँकि, अगले ही सेकंड में, शिकारी A ऐसा लग सकता है जैसे वह कुछ नहीं कर रहा है (वह बस स्थिर खड़ा है)। पुराने तरीके सोच सकते हैं, "इस एजेंट ने बहुत कम किया, इसलिए इसे कम स्कोर दें।"
परिदृश्य B: शिकारी A मैदान में बेतहाशा दौड़ता है, जिससे शिकार डर जाता है और शिकारी B को मुड़ने के लिए मजबूर होना पड़ता है। यह एक बड़ा "प्रभाव" है—शिकारी A ने निश्चित रूप से अगली स्थिति को बदल दिया! लेकिन यह एक बुरी चाल थी जिससे शिकार भाग निकला। पुराने तरीके सोच सकते हैं, "वाह, इस एजेंट का बहुत बड़ा प्रभाव पड़ा! चलिए इन्हें रिवॉर्ड देते हैं!"

गलती: पिछले AI तरीके अक्सर टीम की मदद करने के बजाय केवल "बड़े प्रभाव" (influence) को पुरस्कृत करते थे। उन्होंने "बड़ा प्रभाव डालने" और "टीम को जीतने में मदद करने" के बीच भ्रम पैदा कर दिया।

2. समाधान: MAGIC की दो-चरणीय रणनीति

MAGIC इसे एक दूरबीन वाले कोच और एक रेफरी का उपयोग करके ठीक करता है।

टूल 1: दूरबीन (Multi-Step Causal Influence)

केवल अगले सेकंड को देखने के बजाय (जैसे एक मानक कैमरा), MAGIC भविष्य के कई कदमों को देखने के लिए एक "दूरबीन" का उपयोग करता है।

यह कैसे काम करता है: AI अपने दिमाग में कुछ संभावित भविष्यों का अनुकरण (simulate) करता है। यह पूछता है: "यदि मैं अभी यह कदम उठाता हूँ, तो 3 या 4 सेकंड में मेरे साथियों की स्थिति कैसे बदलेगी?"
उपमा: यह शतरंज के खिलाड़ी की तरह है जो सोचता है, "अगर मैं यहाँ अपना नाइट चलता हूँ, तो मेरा प्रतिद्वंद्वी अपना बिशप चलाएगा, और फिर मेरा रूक सुरक्षित रहेगा।" MAGIC आपके एक्शन और आपके साथी की भविष्य की स्थिति के बीच के कारण संबंध (causal link) की गणना करता है। यह रैंडम शोर (noise) को अनदेखा करता है और ध्यान केंद्रित करता है: "क्या मेरे एक्शन ने मेरे साथी को बाद में बेहतर (या बदतर) स्थिति में पहुँचाया?"

टूल 2: रेफरी (Advantage Gating)

सिर्फ इसलिए कि आपने अपने साथी के भविष्य में बदलाव लाया है, इसका मतलब यह नहीं है कि आपको पुरस्कृत किया जाना चाहिए।

कैसे काम करता है: MAGIC "टीम स्कोर" (Advantage) की जाँच करता है।
- यदि टीम अच्छा कर रही है और आपके एक्शन ने उन्हें सही रास्ते पर बनाए रखने में मदद की, तो "रेफरी" कहता है, "हाँ, वह प्रभाव अच्छा था! यहाँ एक बोनस है।"
- यदि टीम संघर्ष कर रही है या आपके एक्शन ने चीज़ों को बदतर बना दिया (भले ही वह एक बड़ा बदलाव था), तो "रेफरी" कहता है, "रुको! वह प्रभाव हानिकारक था। कोई बोनस नहीं।"
उपमा: एक माता-पिता की कल्पना करें जो बच्चे को गोल्ड स्टार देते हैं।
- पुराना तरीका: "तुमने फूलदान हिला दिया! वह एक बड़ा एक्शन था! गोल्ड स्टार!" (भले ही फूलदान टूट गया हो)।
- MAGIC: "तुमने फूलदान हिलाया, लेकिन फूलदान टूट गया। वह एक बड़ा एक्शन था, लेकिन वह बुरा था। कोई गोल्ड स्टार नहीं।"
- MAGIC केवल तभी "गोल्ड स्टार" (intrinsic reward) देता है जब वह एक्शन प्रभावशाली (influential) और लाभकारी (beneficial) दोनों हो।

3. यह बेहतर क्यों है

पेपर ने कई खेलों पर MAGIC का परीक्षण किया, जिसमें शामिल हैं:

प्रिडेटर-प्रे (Predator-Prey): जहाँ एजेंटों को एक लक्ष्य का मिलकर पीछा करना होता है।
स्टारक्राफ्ट (SMAC): एक जटिल रणनीति गेम जहाँ यूनिट्स को वास्तविक समय में समन्वय करना होता है।

परिणाम:
MAGIC ने लगातार मौजूदा सर्वोत्तम तरीकों को पछाड़ दिया। मुख्य परीक्षणों में, इसने टीम के प्रदर्शन में कम से कम 10.1% का सुधार किया।

इसने उन "निस्वार्थ" चालों (जैसे शिकारी का एक तरफ हट जाना) को सीखना सीखा जो बाद में फायदेमंद होती हैं।
इसने उन "स्वार्थी" चालों को पुरस्कृत करना बंद कर दिया जो प्रभावशाली दिखती थीं लेकिन टीम को नुकसान पहुँचाती थीं।

सारांश

MAGIC को एक स्मार्ट कोच के रूप में समझें जो केवल खेल के अंत में स्कोरबोर्ड को नहीं देखता है। इसके बजाय, कोच:

भविष्य का अनुकरण करता है यह देखने के लिए कि आपकी चाल बाद में आपके साथियों को कैसे प्रभावित करती है।
संदर्भ की जाँच करता है यह सुनिश्चित करने के लिए कि प्रशंसा देने से पहले आपकी चाल ने वास्तव में टीम को जीतने में मदद की है।

लंबे समय की दृष्टि (long-term vision) को टीम-वैल्यू चेक्स के साथ जोड़कर, MAGIC AI एजेंटों को केवल बड़ा प्रभाव डालने वाले व्यक्तियों के बजाय सच्चे टीम के साथी बनना सिखाता है।

तकनीकी सारांश: MAGIC (Multi-Step Advantage-Gated Causal Influence)

समस्या विवरण (Problem Statement)

मल्टी-एजेंट सुदृढीकरण शिक्षण (Multi-Agent Reinforcement Learning - MARL) में, एक प्राथमिक चुनौती ऐसे लर्निंग सिग्नल्स को डिजाइन करना है जो एजेंटों के बीच समन्वय (coordination) को प्रभावी ढंग से बढ़ावा दे सकें। जबकि सेंट्रलाइज्ड ट्रेनिंग विद डिसेंट्रलाइज्ड एक्जीक्यूशन (CTDE) फ्रेमवर्क (जैसे MADDPG, QMIX) प्रशिक्षण के दौरान नॉन-स्टेशनैरिटी (non-stationarity) को कम करते हैं, एजेंटों के पास निष्पादन (execution) के समय समन्वित व्यवहार को निर्देशित करने के लिए अक्सर स्पष्ट संकेत नहीं होते हैं।

समन्वय में सुधार के लिए मौजूदा दृष्टिकोण आमतौर पर इंटर-एजेंट इन्फ्लुएंस या सांख्यिकीय निर्भरता (जैसे म्यूचुअल इंफॉर्मेशन) से प्राप्त आंतरिक पुरस्कारों (intrinsic rewards) पर निर्भर करते हैं। हालाँकि, इन विधियों के सामने दो महत्वपूर्ण सीमाएँ हैं:

अल्पदर्शिता (Short-sightedness): अधिकांश विधियाँ सिंगल-स्टेप डायनेमिक्स पर निर्भर करती हैं, जिससे वे बहु-चरणीय सहकारी प्रभावों (delayed cooperative effects) को पकड़ने में विफल रहती हैं जो कई इंटरेक्शन स्टेप्स के बाद ही उभर सकते हैं।
गलत संरेखण (Misalignment): उच्च प्रभाव या मजबूत सांख्यिकीय सहसंबंध का अर्थ यह गारंटी नहीं है कि परिणाम लाभकारी होंगे। एक एजेंट अपने साथी की स्थिति को इस तरह प्रभावित कर सकता है जो टीम के दीर्घकालिक रिटर्न को नुकसान पहुँचाता है (जैसे किसी साथी का रास्ता रोकना)। वर्तमान विधियों में लाभकारी और हानिकारक प्रभाव के बीच अंतर करने वाले तंत्रों की कमी है।

कार्यप्रणाली: MAGIC फ्रेमवर्क (Methodology: MAGIC Framework)

लेखक MAGIC (Multi-step Advantage-Gated Interventional Causal MARL) प्रस्तावित करते हैं, जो एक फ्रेमवर्क है जिसे बहु-चरणीय कारण प्रभावों (multi-step causal influences) को निकालने और उन्हें चुनिंदा रूप से आंतरिक पुरस्कारों में बदलने के लिए डिज़ाइन किया गया है। MAGIC एक मानक CTDE बैकबोन में दो मुख्य मॉड्यूल जोड़ता है:

1. मल्टी-स्टेप इंटरवेंशनल कॉज़ल इन्फ्लुएंस मॉड्यूल (Multi-Step Interventional Causal Influence Module)

यह मॉड्यूल मात्रा निर्धारित करता है कि एक एजेंट का वर्तमान एक्शन, एक सीमित क्षितिज (finite horizon) $H$ के भीतर उसके साथियों की भविष्य की स्थानीय अवस्थाओं (local states) को कैसे कारणवश प्रभावित करता है।

इंटरवेंशनल परिभाषा: सहसंबंधों को देखने के बजाय, MAGIC 'कॉज़ल इंटरवेंशन' का उपयोग करता है। एक स्रोत एजेंट $i$ , प्राप्तकर्ता $j$ , और क्षितिज $h$ के लिए, प्रभाव को संदर्भ $U_t$ (वर्तमान स्थिति और अन्य एजेंटों के एक्शन) पर आधारित हस्तक्षेप किए गए एक्शन $A^i_t$ और साथी की भविष्य की स्थिति $S^{j}_{t+h}$ के बीच कंडीशनल म्यूचुअल इंफॉर्मेशन (CMI) के रूप में परिभाषित किया जाता है।
$CI^{(h)}_{i \to j}(t; u) = I_{do}(A^i_t; S^{j}_{t+h} \mid U_t = u)$
लर्नड रोलआउट्स (Learned Rollouts): काउंटरफैक्चुअल एनवायरनमेंट इंटरेक्शन के बिना इसका अनुमान लगाने के लिए, MAGIC एक सेंट्रलाइज्ड फॉरवर्ड डायनेमिक्स मॉडल ( $f_\phi$ ) को प्रशिक्षित करता है। यह "इंटरवेंशन रोलआउट्स" करता है जहाँ एजेंट $i$ के एक्शन को एक इंटरवेंशन एक्शन $\tilde{a}^i_t$ से बदल दिया जाता है, जबकि अन्य एजेंट अपनी नीतियों का पालन करते हैं।
ICMI क्रिटिक: एक क्रिटिक नेटवर्क ( $T_\psi$ ) नॉइज़-कॉन्ट्रास्टिव एस्टीमेशन (NWJ) शैली के ऑब्जेक्टिव का उपयोग करके CMI का अनुमान लगाता है, जो मैच किए गए इंटरवेंशन-आउटकम पेयर्स और मिसमैच किए गए पेयर्स के बीच अंतर करता है।
एकत्रीकरण (Aggregation): प्रभाव स्कोर को सभी साथियों और कई क्षितिजों ( $h=1 \dots H$ ) में एकत्रित किया जाता है ताकि एक रॉ मल्टी-स्टेप इन्फ्लुएंस स्कोर $\hat{c}_i(t; u)$ बनाया जा सके।

2. एडवांटेज-गेटिंग मॉड्यूल (Advantage-Gating Module)

यह सुनिश्चित करने के लिए कि उच्च प्रभाव लाभकारी समन्वय में परिवर्तित हो, MAGIC एक एडवांटेज-गेटिंग तंत्र पेश करता है।

एक्सट्रिंसिक एडवांटेज: एक सेंट्रलाइज्ड वैल्यू फंक्शन $V_\omega$ मूल कार्य रिवॉर्ड के आधार पर टीम के एक्सट्रिंसिक एडवांटेज $A^{ext}_{team}(t)$ का अनुमान लगाता है।
गेटिंग फंक्शन: एक सिग्मॉइड फंक्शन $g(a) = \sigma(\beta a)$ $g (a) = σ (β a)$ एक्सट्रिंसिक एडवांटेज को गेट वैल्यू $\kappa_t \in (0, 1)$ $κ_{t} \in (0, 1)$ में मैप करता है।
- यदि ट्रांजिशन टीम रिटर्न में सुधार करता है (पॉजिटिव एडवांटेज), तो गेट खुला रहता है, जिससे इन्फ्लुएंस सिग्नल पॉलिसी को सुदृढ़ करने की अनुमति मिलती है।
- यदि ट्रांजिशन टीम रिटर्न को नुकसान पहुँचाता है (नेगेटिव एडवांटेज), तो गेट इन्फ्लुएंस सिग्नल को दबा देता है।
इंट्रिंसिक रिवॉर्ड: अंतिम आंतरिक पुरस्कार गेट और रॉ इन्फ्लुएंस का गुणनफल है: $r^{int}_{i,t} = \lambda_{int} \cdot \kappa_t \cdot \hat{c}_i(t; u)$ । यह रिवॉर्ड केवल प्रशिक्षण के दौरान एक्सट्रिंसिक रिवॉर्ड में जोड़ा जाता है।

मुख्य योगदान (Key Contributions)

मल्टी-स्टेप कॉज़ल मॉडलिंग: MAGIC लर्नड डायनेमिक्स रोलआउट्स का उपयोग करके लॉन्ग-होरिज़न कॉज़ल इन्फ्लुएंस को स्पष्ट रूप से मॉडल करता है, जो उन विलंबित सहकारी प्रभावों को कैप्चर करता है जिन्हें सिंगल-स्टेप विधियाँ मिस कर देती हैं।
टास्क-अलाइन्ड गेटिंग: फ्रेमवर्क एक एडवांटेज-गेटिंग तंत्र पेश करता है जो टास्क परफॉरमेंस के आधार पर कॉज़ल इन्फ्लुएंस सिग्नल्स को फ़िल्टर करता है। यह टीम के लिए हानिकारक उच्च-इन्फ्लुएंस व्यवहारों को सुदृढ़ करने से रोकता है।
सैद्धांतिक विश्लेषण:
- लेखक मल्टी-स्टेप कॉज़ल इन्फ्लुएंस एस्टीमेटर के लिए कंसिस्टेंसी और एरर बाउंड्स स्थापित करते हैं, जिससे पता चलता है कि रोलआउट क्षितिज और मॉडल की सटीकता सिग्नल की गुणवत्ता को कैसे प्रभावित करती है।
- वे एडवांटेज गेट को एक बाउंडेड रिवॉर्ड-शेपिंग टर्म के रूप में औपचारिक रूप देते हैं, यह सिद्ध करते हुए कि उपयुक्त वेट्स के तहत, यह मूल कार्य की ऑप्टिमल जॉइंट पॉलिसी को नहीं बदलता है।
प्लग-एंड-प्ले डिज़ाइन: इस मॉड्यूल को बिना निष्पादन इंटरफेस में बदलाव किए मानक CTDE बैकबोंन्स (जैसे MADDPG, MAPPO) में एकीकृत करने के लिए डिज़ाइन किया गया है।

प्रयोगात्मक परिणाम (Experimental Results)

MAGIC का मूल्यांकन मल्टी-एजेंट पार्टिकल एनवायरनमेंट (MPE) और स्टारक्राफ्ट मल्टी-एजेंट चैलेंज (SMAC/SMACv2) सहित मानक MARL बेंचमार्क पर किया गया।

परफॉरमेंस: MAGIC ने स्टेट-ऑफ-द-आर्ट बेसलाइन्स (SI, PMIC, SCIC, GradPS, QMIX, और MAPPO सहित) को काफी बेहतर प्रदर्शन किया।
- MPE कार्यों पर, MAGIC ने Predator Prey, Cooperative Navigation, और Cooperative Competitive पर SCIC की तुलना में फाइनल टीम रिटर्न में क्रमशः 26.9%, 17.5%, और 36.4% का सुधार हासिल किया।
- SMAC/SMACv2 पर, MAGIC ने SCIC (78.1%) और MAPPO (73.3%) की तुलना में 86.0% की औसत जीत दर प्राप्त की।
एब्लेशन स्टडीज (Ablation Studies):
- मल्टी-स्टेप इन्फ्लुएंस घटक को हटाने से सबसे बड़ी गिरावट आई, जो विलंबित प्रभावों को कैप्चर करने की आवश्यकता की पुष्टि करती है।
- एडवांटेज गेट को हटाने से भी महत्वपूर्ण गिरावट हुई, जो यह दर्शाता है कि रॉ इन्फ्लुएंस अकेले हानिकारक व्यवहारों को पुरस्कृत कर सकता है।
विश्वसनीयता: पेपर लर्नड रोलआउट्स की विश्वसनीयता का विश्लेषण करता है, जो दिखाता है कि प्रदर्शन एक विशिष्ट क्षितिज (जैसे $H=3$ ) पर चरम पर होता है जहाँ विलंबित प्रभाव दृश्यमान होते हैं लेकिन मॉडल एरर ने इंटरवेंशन आउटकम्स की सेपरेबिलिटी को नष्ट नहीं किया होता है।

महत्व और दावे (Significance and Claims)

पेपर दावा करता है कि MAGIC MARL में एक मौलिक अंतर को संबोधित करता है, जो एक ऐसा लर्निंग सिग्नल प्रदान करता है जो कॉज़ली ग्राउंडेड (इंटरवेंशन के माध्यम से) और टास्क-अलाइन्ड (एडवांटेज गेटिंग के माध्यम से) दोनों है।

पूर्ववर्ती कार्य से भिन्नता: उन विधियों के विपरीत जो तत्काल प्रभाव या सरल सहसंबंध पर निर्भर करती हैं, MAGIC क्रियाओं के दीर्घकालिक प्रभाव को कैप्चर करता है। उन विधियों के विपरीत जो समन्वय के प्रत्यक्ष प्रॉक्सी के रूप में प्रभाव का उपयोग करती हैं, MAGIC यह सुनिश्चित करता है कि प्रभाव केवल तभी सुदृढ़ किया जाए जब वह कार्य की सफलता के साथ संरेखित हो।
व्यावहारिक प्रभाव: फ्रेमवर्क समन्वय में सुधार करता है, विशेष रूप से स्पार्स-रिवॉर्ड और पार्शियल-ऑब्जर्वेबिलिटी सेटिंग्स (जैसे SMAC) में जहाँ मानक CTDE विधियाँ संघर्ष करती हैं।
सैद्धांतिक सुरक्षा: लेखक दावा करते हैं कि एडवांटेज-गेटिंग मैकेनिज्म एक सुरक्षित रिवॉर्ड-शेपिंग टर्म के रूप में कार्य करता है जो अंतिम पॉलिसी की अनुकूलता (optimality) से समझौता किए बिना प्रशिक्षण को स्थिर करता है।

पेपर निष्कर्ष निकालता है कि MAGIC स्पष्ट रूप से मल्टी-स्टेप कॉज़ल इन्फ्लुएंस को मॉडल और फ़िल्टर करके सहकारी MARL को बढ़ाने के लिए एक मजबूत, सामान्यीकरण योग्य दृष्टिकोण प्रदान करता है।