🤖 machine learning

Focusing Influence Mechanism for Multi-Agent Reinforcement Learning

यह शोध पत्र फोकसिंग इन्फ्लुएंस मैकेनिज्म (FIM) का प्रस्ताव करता है, जो एक एंट्रॉपी-आधारित मानदंड और एलिजिबिलिटी ट्रेसेस का उपयोग करके एजेंटों को कम-अन्वेषित अवस्था क्षेत्रों की ओर निर्देशित करने और समन्वित संयुक्त व्यवहार को बनाए रखने के माध्यम से विरल पुरस्कारों (sparse rewards) के तहत सहकारी मल्टी-एजेंट सुदृढीकरण शिक्षण (multi-agent reinforcement learning) को उन्नत करता है।

मूल लेखक: Yisak Park, Sunwoo Lee, Seungyul Han

प्रकाशित 2026-05-13

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Yisak Park, Sunwoo Lee, Seungyul Han

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि दोस्तों का एक समूह एक अंधेरे कमरे में मिलकर एक विशाल, जटिल पहेली को सुलझाने की कोशिश कर रहा है। वे केवल अपने सामने पहेली के एक छोटे से हिस्से को ही देख सकते हैं, और उन्हें तब तक कोई "शाबाशी" या "फिर से प्रयास करें" का संकेत नहीं मिलता जब तक कि पूरी तस्वीर पूरी नहीं हो जाती। यह कोऑपरेटिव मल्टी-एजेंट रीइन्फोर्समेंट लर्निंग (MARL) की चुनौती है, जो स्पार्स रिवॉर्ड्स (sparse rewards) वाले वातावरण में होती है।

इन परिदृश्यों में, एजेंट अक्सर बेतरतीब ढंग से इधर-उधर घूमते रहते हैं, व्यक्तिगत रूप से टुकड़ों से टकराते रहते हैं। क्योंकि उन्हें फीडबैक बहुत कम मिलता है, इसलिए उन्हें यह समझने में संघर्ष करना पड़ता है कि किसी विशिष्ट भारी टुकड़े को हिलाने के लिए उन्हें एक साथ काम करने की आवश्यकता है। वे बिखर जाते हैं, प्रत्येक व्यक्ति अलग दिशा में धक्का देता है, और पहेली कभी हल नहीं हो पाती।

यह पेपर FIM (फोकसिंग इन्फ्लुएंस मैकेनिज्म) नामक एक नई रणनीति पेश करता है ताकि इन दोस्तों को इधर-उधर भटकने के बजाय एक तालमेल वाली टीम के रूप में काम करने में मदद मिल सके। यह कैसे काम करता है, इसके लिए सरल उपमाओं का उपयोग किया गया है:

समस्या: "बिखरी हुई भीड़"

FIM के बिना, एजेंट एक कॉन्सर्ट में मौजूद लोगों की भीड़ की तरह हैं जो एक भारी स्टेज प्रॉप (सामान) को धकेलने की कोशिश कर रहे हैं। हर कोई धक्का देता है, लेकिन वे अलग-अलग हिस्सों पर और अलग-अलग समय पर धक्का देते हैं। प्रॉप मुश्किल से हिलता है। वे वातावरण को "प्रभावित" (influence) तो कर रहे हैं, लेकिन उनका प्रभाव कमजोर और अप्रभावी है क्योंकि वे एक ही स्थान पर केंद्रित नहीं हैं।

समाधान: FIM के पास दो विशेष उपकरण हैं

लेखकों ने बिखराव को ठीक करने के लिए FIM को दो मुख्य "उपकरणों" के साथ डिज़ाइन किया है:

1. "टीम हडल" टूल (एजेंट फोकसिंग इन्फ्लुएंस - AFI)

कल्पना कीजिए कि दोस्तों को एहसास होता है कि उन्हें प्रॉप के एक ही स्थान पर एक ही समय में धक्का देने की आवश्यकता है।

यह कैसे काम करता है: FIM एक मेमोरी ट्रिक का उपयोग करता है जिसे एलिजिबिलिटी ट्रेस (eligibility trace) कहा जाता है। इसे एक "स्टिकी नोट" की तरह समझें जो किसी ने छूने के बाद कुछ समय के लिए पहेली के एक विशिष्ट हिस्से पर चिपका रहता है।
जादू: यदि एजेंट A एक बॉक्स को धक्का देता है, और एजेंट B एक क्षण बाद उसी बॉक्स को धक्का देता है, तो "स्टिकी नोट" मजबूत हो जाता है। सिस्टम कहता है, "अरे, तुम दोनों इस विशिष्ट चीज़ पर एक साथ काम कर रहे हो!" यह उन्हें उस साझा लक्ष्य पर टिके रहने के लिए एक बोनस (एक आंतरिक इनाम/intrinsic reward) देता है।
परिणाम: बेतरतीब चीजों को धकेलने के बजाय, एजेंट एक ही लक्ष्य पर ध्यान केंद्रित करने और उसे हिलाने तक अपना प्रयास बनाए रखने के लिए "हडल" (समूह बनाना) सीखते हैं।

2. "फ्लैशलाइट" टूल (स्टेट फोकसिंग इन्फ्लुएंस - SFI)

अब, कल्पना कीजिए कि दोस्त एक समूह बना रहे हैं, लेकिन वे गलत चीज़ पर ध्यान केंद्रित कर रहे हैं। शायद वे उस दीवार को धकेल रहे हैं जिसे हिलाने की ज़रूरत नहीं है, जबकि वास्तविक पहेली का टुकड़ा (बॉक्स) अछूता पड़ा है।

समस्या: उन्हें कैसे पता चलेगा कि किस पर ध्यान केंद्रित करना है?
समाधान: FIM एन्ट्रॉपी (Entropy) पर आधारित एक फ्लैशलाइट का उपयोग करता है। सरल शब्दों में, एन्ट्रॉपी "आश्चर्य" या "विविधता" को मापती है।
- यदि पहेली का एक हिस्सा (जैसे एक बॉक्स) कभी नहीं हिलता, तो उसमें कम एन्ट्रॉपी (low entropy) है (वह उबाऊ/स्थिर है)।
- यदि पहेली का एक हिस्सा (जैसे खिलाड़ी की स्थिति) हमेशा हिलता रहता है, तो उसमें उच्च एन्ट्रॉपी (high entropy) है (वह व्यस्त है)।
जादू: सिस्टम उन "उबाऊ" हिस्सों पर एक तेज़ रोशनी डालता है (कम एन्ट्रॉपी), क्योंकि इसका मतलब है कि अभी तक कोई भी उनकी जांच नहीं कर रहा है। यह एजेंटों को बताता है: "व्यस्त चीजों को देखना बंद करें; उन शांत, अनछुए हिस्सों की जांच करने जाएं जिन्हें आपकी मदद की ज़रूरत है!"
परिणाम: एजेंटों को पहेली के उन हिस्सों की ओर निर्देशित किया जाता है जिन्हें उनकी मदद की सबसे अधिक आवश्यकता है।

सबको एक साथ लाना: "केंद्रित टीम"

जब आप टीम हडल (AFI) और फ्लैशलाइट (SFI) को मिलाते हैं, तो एजेंट एक सुपर-एफिशिएंट टीम बन जाते हैं:

फ्लैशलाइट उन्हें बताता है, "उस भारी बॉक्स को देखो; अभी तक किसी ने उसे छुआ नहीं है।"
टीम हडल यह सुनिश्चित करता है कि एक बार जब वे उसे ढूंढ लेते हैं, तो वे सिर्फ एक बार धक्का देकर छोड़ नहीं देते। इसके बजाय, वे लगातार, एक साथ मिलकर उसे धकेलने पर ध्यान केंद्रित करते हैं जब तक कि वह अपनी जगह पर न आ जाए।

वास्तविक दुनिया के परीक्षण (प्रमाण)

लेखकों ने इस विचार का परीक्षण तीन अलग-अलग "गेम्स" में किया:

पुश-2-बॉक्स (Push-2-Box): एक सरल खेल जहाँ दो रोबोटों को एक बॉक्स को दीवार तक धकेलना होता है। FIM के बिना, वे विफल हो जाते हैं। FIM के साथ, वे सफल होते हैं क्योंकि वे एक साथ एक ही बॉक्स को धकेलना सीख जाते हैं।
स्टारक्राफ्ट (SMAC): एक रणनीति गेम जहाँ इकाइयों को दुश्मनों से लड़ना होता है। FIM ने इकाइयों को अपने हमलों को बिखेरने के बजाय विशिष्ट दुश्मनों (जैसे दुश्मन की हेल्थ) पर ध्यान केंद्रित करने में मदद की, जिससे जीत बढ़ी।
गूगल फुटबॉल (GRF): एक सॉकर सिमुलेशन। FIM ने खिलाड़ियों को गोलकीपर की स्थिति (खेल का एक कठिन हिस्सा) पर ध्यान केंद्रित करने में मदद की ताकि स्कोर करने के अवसर बनाए जा सकें।

मुख्य निष्कर्ष

पेपर का दावा है कि एजेंटों को सही लक्ष्यों पर अपने प्रभाव को केंद्रित करने (फ्लैशलाइट का उपयोग करके) और उन लक्ष्यों पर टिके रहने (टीम हडल का उपयोग करके) की शिक्षा देकर, वे कठिन सहकारी कार्यों को बहुत तेज़ी से हल कर सकते हैं, भले ही उन्हें अपने प्रयासों के लिए शायद ही कभी कोई "रिवॉर्ड" या "इनाम" मिले। यह एक बिखरे हुए, भ्रमित समूह को एक समन्वित, दृढ़ टीम में बदल देता है।

तकनीकी सारांश: मल्टी-एजेंट सुदृढीकरण शिक्षण (Multi-Agent Reinforcement Learning) के लिए फोकसिंग इन्फ्लुएंस मैकेनिज्म (Focusing Influence Mechanism)

समस्या विवरण (Problem Statement)

स्पार्स रिवॉर्ड्स (sparse rewards) के तहत सहकारी मल्टी-एजेंट सुदृढीकरण शिक्षण (Cooperative Multi-Agent Reinforcement Learning - MARL) एक मौलिक चुनौती बनी हुई है। उन वातावरणों में जहाँ एजेंटों को कार्य पूरा होने पर ही फीडबैक मिलता है (जैसे कि युद्ध जीतना या गोल करना), मानक सेंट्रलाइज्ड ट्रेनिंग विद डिसेंट्रलाइज्ड एक्जीक्यूशन (Centralized Training with Decentralized Execution - CTDE) विधियाँ अक्सर विफल हो जाती हैं। मुख्य समस्या जो पहचानी गई है वह यह है कि एजेंटों को स्टेट स्पेस (state space) के विशिष्ट, कम-अन्वेषित (under-explored) हिस्सों पर अपना प्रभाव केंद्रित करने में कठिनाई होती है। इसके बजाय, उनके अन्वेषण संबंधी कार्य (exploratory actions) बिना किसी साझा उद्देश्यों पर अभिसरण (converge) किए, कई लक्ष्यों पर बिखरे हुए रहते हैं, जिससे प्रभाव तनु (diluted) और अप्रभावी हो जाता है। इसके अलावा, मौजूदा विधियों में अक्सर उन स्टेट डाइमेंशन्स (state dimensions) को प्राथमिकता देने के लिए कोई सिद्धांत आधारित मानदंड नहीं होता है जो वर्तमान व्यवहार नीति (behavior policy) के सापेक्ष कम-अन्वेषित हैं, जिसके कारण एजेंट स्थानीय इष्टतम (local optima) में फंस जाते हैं या आवश्यक समन्वित व्यवहारों (जैसे कि एक भारी वस्तु को एक साथ धकेलना) को खोजने में विफल रहते हैं।

कार्यप्रणाली: फोकसिंग इन्फ्लुएंस मैकेनिज्म (FIM)

लेखक फोकसिंग इन्फ्लुएंस मैकेनिज्म (FIM) का प्रस्ताव करते हैं, जो एक ऐसा ढांचा है जिसे एजेंटों को साझा, कम-अन्वेषित स्टेट डाइमेंशन्स पर अपने प्रभाव को संरेखित करने के लिए प्रोत्साहित करने हेतु डिज़ाइन किया गया है। FIM, CTDE प्रतिमान (paradigm) के भीतर कार्य करता है और दो पूरक घटकों को एकीकृत करता है:

1. एजेंट फोकसिंग इन्फ्लुएंस (AFI)

AFI एजेंटों को साझा लक्ष्यों पर समन्वित व्यवहार बनाए रखने की आवश्यकता को संबोधित करता है। यह समय के साथ सामूहिक प्रभाव को संचित करने के लिए एलिजिबिलिटी ट्रेसेस (eligibility traces) का उपयोग करता है।

काउंटरफैक्चुअल इन्फ्लुएंस (Counterfactual Influence): यह विधि समन्वित संयुक्त कार्यों बनाम स्वतंत्र व्यवहार के माध्यम से होने वाले अतिरिक्त स्टेट परिवर्तन को एक काउंटरफैक्चुअल फॉर्मूलेशन का उपयोग करके मापती है। एक स्टेट डाइमेंशन $d$ के लिए, प्रभाव $Infd_t$ को वास्तविक स्टेट ट्रांज़िशन की तुलना उस काउंटरफैक्चुअल परिदृश्य से करके निकाला जाता है जहाँ एक एजेंट के कार्य को रैंडम पॉलिसी द्वारा बदल दिया जाता है।
एलिजिबिलिटी ट्रेसेस (Eligibility Traces): निरंतरता सुनिश्चित करने के लिए, एक एलिजिबिलिटी ट्रेस $e^d_t$ को $e^d_t = \gamma \cdot e^d_{t-1} + Infd_t$ के रूप में अपडेट किया जाता है। यह पिछले प्रभाव संकेतों को एकत्रित करता है, जो यह दर्शाता है कि एक डाइमेंशन को कितनी निरंतरता से संयुक्त रूप से प्रभावित किया गया है।
इंट्रिंसिक रिवॉर्ड (Intrinsic Reward): AFI इंट्रिंसिक रिवॉर्ड को $r^{AFI}_t = \sum_{d \in D} Infd_t \cdot \max(e^d_{t-1}, 1)$ के रूप में परिभाषित किया गया है। यह उन डाइमेंशन्स के लिए रिवॉर्ड को बढ़ाता है जिन्हें निरंतर संयुक्त ध्यान प्राप्त होता है, जिससे एजेंटों को क्षणिक इंटरैक्शन के बजाय सुसंगत संयुक्त व्यवहार बनाए रखने के लिए प्रोत्साहित किया जाता है।

2. स्टेट फोकसिंग इन्फ्लुएंस (SFI)

AFI अकेले प्रभाव को सभी स्टेट डाइमेंशन्स में बहुत व्यापक रूप से फैला सकता है। SFI उन डाइमेंशन्स को चुनिंदा रूप से प्राथमिकता देने के लिए एक तंत्र पेश करता है जो कम-अन्वेषित हैं।

एंट्रॉपी-आधारित मानदंड (Entropy-Based Criterion): यह विधि मानती है कि कम-अन्वेषित डाइमेंशन्स प्रेरित ट्रांज़िशन में कम विविधता प्रदर्शित करते हैं, जिसे निम्न कंडीशनल एंट्रॉपी (conditional entropy) $E_\beta[H(s^d_{t+1} | s_t)]$ द्वारा पहचाना जाता है।
नॉर्मलाइजेशन (Normalization): डाइमेंशन्स के बीच स्केल के अंतर को संभालने के लिए, स्टेट परिवर्तनों को वर्तमान नीति $\beta$ के तहत अपेक्षित परिमाण द्वारा नॉर्मलाइज़ किया जाता है।
वेटिंग (Weighting): इन नॉर्मलाइज़्ड परिवर्तनों की एंट्रॉपी $H(d)$ का अनुमान लगाया जाता है। कम एंट्रॉपी (जो कम अन्वेषण का संकेत देती है) वाले डाइमेंशन्स को एक सॉफ्टमैक्स फंक्शन के माध्यम से उच्च भार $w_d$ दिया जाता है: $w_d = \text{Softmax}(-H(d))$ ।
अनुकूलन (Adaptation): इन वेट्स को विकसित होती व्यवहार नीति के अनुकूल होने के लिए एक एक्सपोनेंशियल मूविंग एवरेज का उपयोग करके अपडेट किया जाता है।

3. एकीकृत ढांचा (Integrated Framework)

अंतिम इंट्रिंसिक रिवॉर्ड दोनों घटकों को जोड़ता है:
$r^{FIM}_t = \sum_{d \in D} w_d \cdot Infd_t \cdot \max(e^d_{t-1}, 1)$
इस रिवॉर्ड को एक्सट्रिंसिक रिवॉर्ड ( $r_t = r^{ext}_t + \alpha \cdot r^{FIM}_t$ ) में जोड़ा जाता है ताकि संयुक्त वैल्यू फंक्शन (जैसे कि बैकबोन के रूप में QMIX का उपयोग करके) के लर्निंग को निर्देशित किया जा सके। फ्रेमवर्क काउंटरफैक्चुअल इन्फ्लुएंस की गणना करने के लिए एक लाइटवेट डायनेमिक्स मॉडल $\hat{s}$ का भी उपयोग करता है।

मुख्य योगदान (Key Contributions)

समन्वय विफलता की पहचान: पेपर यह पहचानता है कि स्पार्स-रिवॉर्ड MARL की विफलता अक्सर एजेंटों द्वारा साझा लक्ष्यों पर अपने प्रभाव को केंद्रित करने में विफल होने और कम-अन्वेषित स्टेट डाइमेंशन्स को प्राथमिकता देने के मानदंड की कमी से उत्पन्न होती है।
नया तंत्र (FIM): एक दोहरे घटक वाले ढांचे (AFI और SFI) का प्रस्ताव, जो निरंतरता बनाए रखने के लिए एलिजिबिलिटी ट्रेसेस का उपयोग करता है और कम-अन्वेषित डाइमेंशन्स को लक्षित करने के लिए एंट्रॉपी-आधारित वेटिंग का उपयोग करता है।
सैद्धांतिक अंतर्दृष्टि: एक प्रस्ताव जो यह दर्शाता है कि कम कंडीशनल एंट्रॉपी वाले डाइमेंशन्स को पर्याप्त अन्वेषण कवरेज प्राप्त करने के लिए असमान रूप से लंबे हॉरिज़न्स (horizons) की आवश्यकता होती है, जो स्पष्ट लक्ष्यीकरण की आवश्यकता को न्यायसंगत बनाता है।
अनुभवजन्य सत्यापन (Empirical Validation): व्यापक प्रयोग जो यह प्रदर्शित करते हैं कि FIM उन कार्यों को हल करने में सक्षम है जिन्हें मानक CTDE विधियाँ और अन्य अन्वेषण बेसलाइन स्पार्स रिवॉर्ड्स के तहत हल करने में विफल रहते हैं।

प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने विविध बेंचमार्क पर FIM का मूल्यांकन किया:

Push-2-Box: एक खिलौना वातावरण जिसमें दो एजेंटों को एक बॉक्स को दीवार तक एक साथ धकेलने की आवश्यकता होती है। जबकि मानक QMIX और अन्य अन्वेषण विधियाँ (LAIES, CDS, FoX) इस कार्य को हल करने में विफल रहीं, FIM ने बॉक्स की स्थिति पर संयुक्त प्रभाव को केंद्रित करके उच्च सफलता दर प्राप्त की।
SMAC & SMACv2: स्टारक्राफ्ट II कॉम्बैट परिदृश्यों में, जहाँ स्पार्स विन/लॉस रिवॉर्ड्स होते हैं, FIM ने हार्ड और सुपर-हार्ड मैप्स (जैसे 3s_vs_5z, corridor) पर बेसलाइन्स (QMIX, QPLEX, COMA, RODE, और LAIES सहित) को लगातार पछाड़ दिया। पद्धति ने विशिष्ट दुश्मनों पर ध्यान केंद्रित करने (हेल्थ कम करने) और हमलों के समन्वय को सफलतापूर्वक सीखा।
Google Research Football (GRF): सॉकर सिमुलेशन में, FIM ने हाफ-फील्ड और चुनौतीपूर्ण फुल-फील्ड मैप्स दोनों पर बेसलाइन्स से बेहतर प्रदर्शन किया। इसने गोलकीपर की स्थिति को नियंत्रित करना सफलतापूर्वक सीखा, जो एक ऐसा डाइमेंशन है जो असंबद्ध नीतियों के तहत स्थिर (कम एंट्रॉपी) रहता है।
Overcooked: एक पिक्सेल-आधारित वातावरण में, FIM ने संरचित स्टेट रिप्रेजेंटेशन से परे प्रभावशीलता प्रदर्शित की, जो अप्रत्यक्ष रूप से प्रासंगिक इमेज क्षेत्रों (जैसे सूप का स्थान) पर ध्यान केंद्रित करता है।

एब्लेशन स्टडीज (Ablation studies) ने पुष्टि की कि दोनों AFI और SFI आवश्यक हैं; इनमें से किसी एक को हटाने से प्रदर्शन में गिरावट आती है। हाइपरपैरामीटर विश्लेषण ने इंट्रिंसिक रिवॉर्ड स्केल ( $\alpha$ ) और अपडेट रेट ( $\phi$ ) के बदलावों के प्रति मजबूती दिखाई।

महत्व और दावे (Significance and Claims)

पेपर का दावा है कि FIM स्पार्स-रिवॉर्ड MARL वातावरण में लर्निंग एफिशिएंसी और कोऑर्डिनेशन में महत्वपूर्ण सुधार करता है। एजेंटों को कम-अन्वेषित डाइमेंशन्स में लक्षित और निरंतर स्टेट ट्रांज़िशन उत्पन्न करने के लिए निर्देशित करके, FIM उन जटिल सहकारी व्यवहारों की खोज को सक्षम बनाता है जो अन्यथा अप्राप्य होते हैं।

लेखक FIM को "डाइल्यूटेड इन्फ्लुएंस" (diluted influence) समस्या के समाधान के रूप में देखते हैं, जहाँ एजेंट एक सुसंगत इकाई के बजाय व्यक्तिगत रूप से कार्य करते हैं। इसका महत्व उन कार्यों को हल करने की क्षमता में निहित है जिनमें सिंक्रोनाइज्ड, लॉन्ग-हॉरिजन सहयोग की आवश्यकता होती है, और इसके लिए डेंस रिवॉर्ड्स या स्टेट सिलेक्शन के लिए मानव-निर्धारित ह्यूरिस्टिक्स पर निर्भर रहने की आवश्यकता नहीं होती है। पेपर नोट करता है कि हालांकि डायनेमिक्स मॉडल के कारण FIM में मध्यम कंप्यूटेशनल ओवरहेड होता है, लेकिन यह लागत मानक QMIX ट्रेनिंग के बराबर है और प्रदर्शन में भारी सुधार के कारण उचित है। यह कार्य सुझाव देता है कि इन्फ्लुएंस-गाइडेड लर्निंग वास्तविक दुनिया के स्पार्सली रिवॉर्डेड परिदृश्यों में मजबूत मल्टी-एजेंट सहयोग की ओर एक व्यवहार्य मार्ग है।