🤖 AI

Coordination Graphs for Constrained Multi-Agent Reinforcement Learning

यह शोध पत्र CG-CMARL प्रस्तुत करता है, जो एक ऐसा ढांचा है जो समन्वय ग्राफ (coordination graphs) और लैग्रेंजियन द्वैतता (Lagrangian duality) का लाभ उठाकर बाधाओं वाले मल्टी-एजेंट सुदृढीकरण शिक्षण (multi-agent reinforcement learning) समस्याओं को कुशलतापूर्वक हल करने के लिए संयुक्त क्रिया स्थान (joint action space) को युग्मवार अंतःक्रियाओं (pairwise interactions) में विभाजित करता है, जिससे स्केलेबल प्रशिक्षण, व्याख्या योग्य त्रुटि सीमाएं और बिना पुन: प्रशिक्षण के पारेटो-इष्टतम (Pareto-optimal) नीतियों का सृजन सक्षम होता है।

मूल लेखक: Santiago Amaya-Corredor, Miguel Calvo-Fullana, Anders Jonsson

प्रकाशित 2026-06-02

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Santiago Amaya-Corredor, Miguel Calvo-Fullana, Anders Jonsson

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक बड़ी फुटबॉल टीम के कोच हैं। आपका लक्ष्य सरल है: गेंद को गोल तक पहुँचाना (यह प्राथमिक उद्देश्य है)। लेकिन एक शर्त है: आपको खिलाड़ियों को आपस में टकराने दिए बिना यह करना होगा (यह प्रतिबंध/constraint है)।

आर्टिफिशियल इंटेलिजेंस की दुनिया में, रोबोटों (या एजेंटों) के एक समूह को एक साथ काम करना सिखाना अविश्वसनीय रूप से कठिन है। यदि आपके पास 3 रोबोट हैं, तो यह प्रबंधनीय है। यदि आपके पास 10 हैं, तो उनके एक साथ चलने के संभावित तरीके इतने विशाल हो जाते हैं कि सबसे तेज़ सुपरकंप्यूटर भी उन्हें समझने की कोशिश में फंस जाता है। यह "एक्सपोनेंशियल एक्सप्लोजन" (exponential explosion) की समस्या है।

इसके अलावा, अधिकांश AI प्रशिक्षण विधियाँ "गोल तक पहुँचने" और "टक्कर से बचने" को एक ही जटिल मिश्रण के रूप में मानती हैं। यदि आप चाहते हैं कि रोबोट अधिक सुरक्षित हों, तो आपको उन्हें नियमों के एक अलग सेट के साथ फिर से प्रशिक्षित करना होगा। यदि आप चाहते हैं कि वे तेज़ हों, तो आपको फिर से प्रशिक्षण देना होगा।

यह शोध पत्र एक नया ढांचा पेश करता है जिसे CG-CMARL (Coordination Graphs for Constrained Multi-Agent Reinforcement Learning) कहा जाता है। इसे एक स्मार्ट, विकेंद्रीकृत (decentralized) प्लेबुक के रूप में समझें जो "बहुत अधिक खिलाड़ी" और "सुरक्षा बनाम गति" दोनों समस्याओं को एक साथ हल करती है।

यह कैसे काम करता है, यहाँ सरल अवधारणाओं में दिया गया है:

1. "जोड़ी-काम" रणनीति (कोऑर्डिनेशन ग्राफ्स)

एक विशाल मस्तिष्क से 10 रोबोटों को एक साथ निर्देश देने के बजाय (जो कि असंभव है), यह प्रणाली टीम को जोड़ियों में विभाजित करती है।

उपमा: एक विशाल डांस फ्लोर की कल्पना करें जहाँ 100 लोग हैं। एक कोरियोग्राफर द्वारा हर व्यक्ति के हर कदम को निर्देशित करने के बजाय, आप हर व्यक्ति को केवल उस व्यक्ति पर ध्यान देने के लिए कहते हैं जो उनके ठीक बगल में खड़ा है।
यह कैसे मदद करता है: AI एक बार में केवल दो एजेंटों के बीच होने वाली बातचीत को सीखता है। चाहे आपके पास 3 एजेंट हों या 100, "मस्तिष्क" को केवल यह समझने की आवश्यकता है कि दो एजेंट एक साथ कैसे काम करते हैं। इससे गणित सरल और तेज़ रहता है, चाहे टीम कितनी भी बड़ी क्यों न हो।

2. "दो-सिर वाला" मस्तिष्क

आमतौर पर, एक AI एक बड़ा स्कोर सीखता है: "वह चाल कितनी अच्छी थी?" इस शोध पत्र ने प्रत्येक एजेंट की जोड़ी के लिए एक दो-सिर वाला मस्तिष्क दिया है:

सिर 1 (लक्ष्य का पीछा करने वाला): यह सिर सीखता है कि गेंद को गोल तक कैसे पहुँचाया जाए। इसे केवल अंकों (points) की परवाह है।
सिर 2 (सुरक्षा की निगरानी करने वाला): यह सिर सीखता है कि टक्करों से कैसे बचा जाए। इसे केवल सुरक्षा की परवाह है।
जादू: क्योंकि ये सिर अलग-अलग हैं, इसलिए AI "लक्ष्य" और "सुरक्षा" के नियमों को स्वतंत्र रूप से सीखता है। यह सीखने की प्रक्रिया के दौरान संतुलन बनाने की कोशिश में भ्रमित नहीं होता है।

3. "वॉल्यूम नॉब" (लैग्रेंजियन मल्टीप्लायर)

यह इस शोध पत्र की सबसे बड़ी चाल है। अन्य तरीकों में, यदि आप यह बदलना चाहते हैं कि AI सुरक्षा या गति को कितना महत्व देता है, तो आपको प्रशिक्षण रोकना होगा और नए सेटिंग्स के साथ फिर से शुरू करना होगा।

CG-CMARL में, आप AI को एक बार प्रशिक्षित करते हैं। एक बार प्रशिक्षित होने के बाद, आप AI का उपयोग करते समय ही एक "वॉल्यूम नॉब" (जिसे लैग्रेंजियन मल्टीप्लायर या $\lambda$ कहा जाता है) को घुमा सकते हैं।

नॉब को कम करने पर: AI एक लापरवाह स्पीडस्टर बन जाता है, जो तेज़ी से गोल करने के लिए टक्करों को अनदेखा कर देता है।
नॉब को बढ़ाने पर: AI एक सतर्क कछुआ बन जाता है, जो सुरक्षा को प्राथमिकता देता है भले ही इसका मतलब धीमी गति से चलना हो।
परिणाम: आपको एक ही प्रशिक्षित मॉडल से पूरे विकल्पों का एक स्पेक्ट्रम (एक "पारेटो फ्रंट") मिलता है। आपको हर नई सुरक्षा आवश्यकता के लिए फिर से प्रशिक्षित करने की आवश्यकता नहीं है; आप बस नॉब घुमाते हैं।

4. "व्हिस्पर नेटवर्क" (मैक्स-सम मैसेज पासिंग)

बिना किसी केंद्रीय बॉस के जोड़ियाँ एक-दूसरे से कैसे बात करती हैं? वे एक "व्हिस्पर नेटवर्क" (फुसफुसाहट नेटवर्क) का उपयोग करती हैं।

उपमा: एजेंटों को नोट्स पास करते हुए कल्पना करें। एजेंट A, एजेंट B को बताता है, "यदि मैं बाईं ओर जाता हूँ, तो तुम्हें टक्कर से बचने के लिए दाईं ओर जाना चाहिए।" एजेंट B वह जानकारी एजेंट C को पास करता है।
गणित: इसे मैक्स-सम मैसेज पासिंग कहा जाता है। यह एजेंटों को स्थानीय स्तर पर अपने कदमों का समन्वय करने की अनुमति देता है, जिससे "हम सभी को क्या करना चाहिए?" की पहेली को हल करने के लिए किसी केंद्रीय कंप्यूटर द्वारा हर संभावना की गणना करने की आवश्यकता नहीं होती है।

उन्होंने क्या सिद्ध किया?

लेखकों ने केवल एक खिलौना नहीं बनाया; उन्होंने गणितीय रूप से सिद्ध किया कि:

यह काम करता है: कुछ शर्तों के तहत यह प्रणाली एक अच्छे समाधान तक पहुँचने की गारंटी देती है।
यह सटीक है: उन्होंने विस्तार से बताया कि त्रुटियाँ कहाँ से आ सकती हैं (जैसे, जब एजेंट बहुत अधिक भीड़भाड़ वाले होते हैं) और दिखाया कि ये त्रुटियाँ छोटी और प्रबंधनीय हैं।
यह स्केल करता है: उन्होंने 3, 4, 6 और यहाँ तक कि 10 एजेंटों की टीमों के साथ इसका परीक्षण किया। जैसे-जैसे टीम बढ़ी, पुराने तरीके (जैसे, एक केंद्रीय मस्तिष्क से सभी को नियंत्रित करने का प्रयास करना) विफल हो गए या बहुत धीमे हो गए। CG-CMALM सुचारू रूप से काम करता रहा।

निचोड़ (The Bottom Line)

CG-CMARL रोबोट टीमों के लिए एक सार्वभौमिक अनुवादक (universal translator) की तरह है। यह जटिल समूह समस्याओं को सरल दो-व्यक्ति बातचीत में तोड़ता है, "लक्ष्य" और "सुरक्षा" के नियमों को अलग-अलग सीखता है, और आपको पुन: प्रशिक्षण के बिना चलते-फिरते गति और सुरक्षा के बीच संतुलन को समायोजित करने की अनुमति देता है। यह रोबोट टीमों को सुरक्षित और कुशलतापूर्वक समन्वय करने की अनुमति देता है, जो पहले कंप्यूटर के लिए संभालना बहुत कठिन था।

तकनीकी सारांश: बाधाओं वाले मल्टी-एजेंट सुदृढीकरण शिक्षण के लिए समन्वय ग्राफ (CG-CMARL)

1. समस्या का निरूपण

यह शोध पत्र बाधाओं वाले मल्टी-एजेंट सुदृढीकरण शिक्षण (Constrained Multi-Agent Reinforcement Learning - CMARL) को संबोधित करता है, जो एक ऐसा क्षेत्र है जहाँ कई सहकारी एजेंटों को सुरक्षा बाधाओं (जैसे, टकराव से बचना, ऊर्जा बजट) को पूरा करते हुए एक प्राथमिक उद्देश्य को अधिकतम करना होता है। लेखक दो परस्पर जुड़े हुए चुनौतियों की पहचान करते हैं:

स्केलेबिलिटी (Scalability): संयुक्त क्रिया स्थान (joint action space) एजेंटों की संख्या ( $N$ ) के साथ तेजी से बढ़ता है, जिससे मध्यम टीम आकार के लिए केंद्रीकृत दृष्टिकोण अव्यवहार्य हो जाता है।
बाधा युग्मन (Constraint Coupling): सुरक्षा बाधाएं अक्सर एजेंटों को उन तरीकों से जोड़ती हैं जिन्हें केवल रिवॉर्ड संरचनाएं ही कैप्चर नहीं कर पाती हैं। स्वतंत्र शिक्षार्थी जो अपने स्वयं के लैग्रेंज मल्टीप्लायर को अनुकूलित करते हैं, वे सामूहिक रूप से वैश्विक बाधाओं का उल्लंघन कर सकते हैं, जबकि केंद्रीकृत प्रिमल-ड्यूल (primal-dual) विधियों को वैश्विक स्थिति और संयुक्त क्रिया स्थान तक पहुंच की आवश्यकता होती है, जो फैक्टर्ड दृष्टिकोणों के लाभों को समाप्त कर देता है।

समस्या को एक कंस्ट्रेंड मार्कोव डिसीजन प्रोसेस (CMDP) के रूप में औपचारिक रूप दिया गया है जहाँ लक्ष्य अपेक्षित डिस्काउंटेड प्राथमिक रिवॉर्ड $V^\pi_0$ को अधिकतम करना है, जबकि बाधा रिवॉर्ड्स $V^\pi_j$ विशिष्ट थ्रेशोल्ड से अधिक हों। लेखक स्वतंत्र ट्रांज़िशन (एजेंटों की अगली स्थिति केवल उनकी अपनी क्रियाओं पर निर्भर करती है) और एक समन्वय ग्राफ पर एडिटिव रिवॉर्ड फैक्टराइजेशन (जहाँ रिवॉर्ड्स क्षेत्रीय घटकों, विशेष रूप से पेयरवाइज़ क्षेत्रों में विभाजित होते हैं) को मानते हैं।

2. कार्यप्रणाली: CG-CMARL

प्रस्तावित ढांचा, CG-CMARL, स्केलेबल, विकेंद्रीकृत बाधा संतुष्टि प्राप्त करने के लिए समन्वय ग्राफ (Coordination Graphs - CG) को लैग्रेंज द्वैत (Lagrangian duality) के साथ एकीकृत करता है। यह विधि सेंट्रलइज़्ड ट्रेनिंग, डिसेंट्रलाइज्ड एक्जीक्यूशन (CTDE) प्रतिमान के तहत कार्य करती है।

2.1 टू-हेड Q-फंक्शन आर्किटेक्चर

एक संयुक्त रिवॉर्ड सिग्नल के लिए एकल Q-फंक्शन सीखने के बजाय (जिसके लिए विभिन्न ट्रेड-ऑफ के लिए पुन: प्रशिक्षण की आवश्यकता होती है), CG-CMARL प्रति क्षेत्र दो अलग-अलग Q-फंक्शन्स बनाए रखता है:

प्राइमरी हेड ( $Q_{prim}$ ): मानक Q-लर्निंग का उपयोग करके प्राथमिक उद्देश्य के लिए इष्टतम क्षेत्रीय Q-फंक्शन सीखता है।
कॉस्ट हेड ( $Q_{cost}$ ): (प्राइमरी हेड द्वारा प्रेरित ग्रीडी पॉलिसी के तहत) अपेक्षित बाधा रिवॉर्ड (जैसे, टकराव की लागत) को सीखता है। महत्वपूर्ण बात यह है कि कॉस्ट हेड अपने स्वयं के मान को अधिकतम नहीं करता है; यह प्राथमिक एजेंट के निर्णयों के परिणामों का मूल्यांकन करता है। यह क्रिया चयन के समय सुसंगत संरचना सुनिश्चित करता है।

2.2 लैग्रेंजियन ट्रेड-ऑफ और पारेटो स्वीपिंग

एक्जीक्यूशन के समय, दोनों हेड्स को एक लैग्रेंजियन मल्टीप्लायर $\lambda$ के माध्यम से जोड़ा जाता है:
$Q_{aug, R}(s_R, a_R) = Q_{prim, R}(s_R, a_R) + \lambda Q_{cost, R}(s_R, a_R)$

ट्रेनिंग: एजेंट स्थानीय मल्टीप्लायर्स $\lambda_i$ बनाए रखते हैं जिन्हें देखे गए बाधा उल्लंघन के आधार पर प्रोजेक्टेड ड्यूल एसेंट (projected dual ascent) के माध्यम से अपडेट किया जाता है। क्रिया चयन के दौरान औसत मल्टीप्लायर $\bar{\lambda}$ का उपयोग किया जाता है।
मूल्यांकन: एक एकल प्रशिक्षित मॉडल पर $\lambda$ को एक रेंज में स्वीप करके, सिस्टम बिना पुन: प्रशिक्षण के पूर्ण ऑब्जेक्टिव-कंस्ट्रेंट पारेटो फ्रंट (Pareto front) को ट्रेस करता है। यह बाधा ट्रेड-ऑफ को लर्निंग प्रक्रिया से अलग करता है।

2.3 मैक्स-सम मैसेज पासिंग (Max-Sum Message Passing)

केंद्रीकृत गणना के बिना फैक्टर ग्राफ में क्रियाओं को समन्वित करने के लिए, यह विधि मैक्स-सम मैसेज पासिंग का उपयोग करती है:

एजेंट (वेरिएबल नोड्स) और क्षेत्रीय Q-फंक्शन्स (फैक्टर नोड्स) कॉम्बिनेटोरियल ऑप्टिमाइज़ेशन $\max_a \sum_R Q_{aug, R}(s_R, a_R)$ को हल करने के लिए संदेशों का आदान-प्रदान करते हैं।
डैम्पिंग (Damping): चूंकि पेयरवाइज़ कोऑर्डिनेशन ग्राफ $N \ge 3$ के लिए साइकल (cycles) होते हैं, इसलिए अभिसरण (convergence) को स्थिर करने के लिए मैसेज डैम्पिंग लागू की जाती है।
जटिलता: प्रति स्टेप जटिलता $N$ में बहुपद (polynomial) है ( $O(N^2 |A| K)$ ), जो कि एग्जॉस्टिव सर्च के घातीय (exponential) $O(|A|^N)$ की तुलना में एक महत्वपूर्ण सुधार है।

2.4 पैरामीटर शेयरिंग

सभी पेयरवाइज़ क्षेत्र Q-फंक्शन मापदंडों के एक ही सेट को साझा करते हैं। चूंकि प्रत्येक क्षेत्र में ठीक दो एजेंट होते हैं, इसलिए सीखे गए मॉडलों की संख्या टीम के आकार $N$ के बावजूद $O(1)$ रहती है, जो बड़ी टीमों तक स्केल करने में सक्षम बनाती है।

3. सैद्धांतिक योगदान

यह शोध पत्र हल्के अनुमानों (स्वतंत्र ट्रांज़िशन, रिवॉर्ड फैक्टराइजेशन, स्लेटर की स्थिति) के तहत कठोर सैद्धांतिक गारंटी प्रदान करता है:

अभिसरण (Convergence): दो-हेड Q-लर्निंग लगभग निश्चित रूप से इष्टतम क्षेत्रीय Q-फंक्शन और प्राथमिक ग्रीडी पॉलिसी के तहत बाधा मान की ओर अभिसरित होती है। औसत लैग्रेंजियन मल्टीप्लायर इष्टतम ड्यूल समाधान की ओर अभिसरित होता है।
कंपोजिशनल एरर बाउंड: पेपर इष्टतम समाधान और वास्तविक समाधान के बीच के अंतर पर एक बाउंड प्रदान करता है, जो त्रुटि को चार व्याख्या योग्य स्रोतों में विभाजित करता है:
1. स्ट्रक्चरल एरर ( $\beta$ ): यह फैक्टराइजेशन एप्रोक्सिमेशन (ओवरलैपिंग रीजन्स) से उत्पन्न होता है।
2. कोऑर्डिनेशन एरर ( $\epsilon_{MS}$ ): यह लूपी ग्राफ्स (loopy graphs) पर मैक्स-सम के अनुमानित स्वभाव से उत्पन्न होता है।
3. सैंपलिंग एरर: सीमित डेटा ( $O(1/\sqrt{n})$ ) के कारण।
4. रिप्रेजेंटेशन एरर: फंक्शन एप्रोक्सिमेशन ( $\epsilon_{NN}$ ) के कारण।
  यह बाउंड मात्रात्मक रूप से बताता है कि ये त्रुटियां बेलमैन बैकअप (Bellman backup) के माध्यम से कैसे प्रसारित होती हैं, जो सिस्टम डिज़ाइन के लिए गुणात्मक मार्गदर्शन प्रदान करती हैं।

4. प्रयोगात्मक परिणाम

इस विधि का मूल्यांकन सिंपल स्प्रेड (Simple Spread) सहकारी नेविगेशन बेंचमार्क (PettingZoo/MPE) पर टीम आकार $N \in \{3, 4, 6, 10\}$ के साथ किया गया।

बेसलाइन्स: IQL, QMIX, डीप कोऑर्डिनेशन ग्राफ्स (DCG), MAPPO, और MAPPO-Lagrangian के विरुद्ध तुलना की गई।
प्रदर्शन: CG-CMARL ऐसे पारेटो फ्रंट बनाता है जो सभी बेसलाइन्स पर हावी (dominate) है। जबकि अन्य विधियाँ (QMIX, MAPPO, आदि) फिक्स्ड रिवॉर्ड-शेपिंग रेश्यो के लिए अलग-अलग ट्रेनिंग रन की आवश्यकता रखती हैं (जिससे सिंगल ऑपरेटिंग पॉइंट्स मिलते हैं), CG-CMAL एक ही मॉडल से पूरे ट्रेड-ऑफ कर्व को ट्रेस करता है।
स्केलेबिलिटी: यह विधि $N=10$ एजेंटों तक स्केल करती है, जहाँ केंद्रीकृत दृष्टिकोण अव्यवहार्य हो जाते हैं। जैसे-जैसे $N$ के साथ पेयरवाइज़ कोऑर्डिनेशन ग्राफ का घनत्व बढ़ता है, विधि प्रदर्शन बनाए रखती है, और लैंडमार्क रिवॉर्ड्स के सापेक्ष पेयरवाइज़ कोलिजन पेनल्टी के कमजोर युग्मन के कारण स्ट्रक्चरल एरर वास्तव में छोटा रहता है।
सुरक्षा: विधि कवरेज (प्राथमिक उद्देश्य) और टकराव से बचने (बाधा) के बीच प्रभावी ढंग से संतुलन बनाती है, जिसमें लैग्रेंजियन मल्टीप्लायर नीति को व्यवहार्यता (feasibility) की ओर सफलतापूर्वक निर्देशित करता है।

5. महत्व और दावे

यह शोध पत्र दावा करता है कि CG-CMARL पहला कार्य है जो विकेंद्रीकृत आर्किटेक्चर में अभिसरण गारंटी के साथ फैक्टर्ड वैल्यू फंक्शन्स (कोऑर्डिनेशन ग्राफ के माध्यम से) की स्केलेबिलिटी को लैग्रेंजियन विधियों की बाधा-हैंडलिंग क्षमताओं के साथ जोड़ता है।

मुख्य दावों में शामिल हैं:

लर्निंग और ट्रेड-ऑफ का अलगाव: प्राथमिक और बाधा रिवॉर्ड्स को अलग करके, यह विधि पुन: प्रशिक्षण के बिना पोस्ट-हॉक पारेटो फ्रंट एक्सप्लोरेशन की अनुमति देती है, जो कि मानक कंस्ट्रेंड RL दृष्टिकोणों में एक कमी है।
स्केलेबल डिसेंट्रलाइजेशन: यह ढांचा $O(1)$ मॉडल जटिलता और बहुपद क्रिया चयन जटिलता प्राप्त करता है, जो मल्टी-एजेंट संयुक्त क्रिया स्थानों के "डायमेंशनलिटी के अभिशाप" (curse of dimensionality) को दूर करता है।
व्याख्यात्मकता (Interpretability): कंपोजिशनल एरर बाउंड प्रदर्शन अंतराल को विशिष्ट डिज़ाइन विकल्पों (ग्राफ टोपोलॉजी, सैंपलिंग, नेटवर्क क्षमता) से स्पष्ट रूप से जोड़ता है, जो सिस्टम को सुधारने के लिए एक सिद्धांत आधारित तरीका प्रदान करता है।

लेखक सीमाओं को स्वीकार करते हैं, यह नोट करते हुए कि बड़े $N$ के लिए पेयरवाइज़ ग्राफ घना हो जाता है (मैक्स-सम गणना को बढ़ाता है), और दो-हेड फॉर्मूलेशन में एक रूढ़िवादी अनुमान (कॉस्ट हेड प्राथमिक-ग्रीडी पॉलिसी का मूल्यांकन करता है, न कि अंतिम पॉलिसी का) शामिल है। वे सुझाव देते कि भविष्य के कार्य स्पार्स/डायनेमिक ग्राफ टोपोलॉजी और $\lambda$ -अगमेंटेड फॉर्मूलेशन (Q-फंक्शन को सीधे $\lambda$ पर कंडीशन करना) का पता लगा सकते हैं, ताकि सैद्धांतिक रूप से रूढ़िवादी अनुमान को हल किया जा सके, हालांकि इसके लिए बढ़ी हुई सैंपल कॉम्प्लेक्सिटी की लागत चुकानी पड़ सकती है।