🤖 AI

Graphon Mean-Field Subsampling for Cooperative Heterogeneous Multi-Agent Reinforcement Learning

यह शोधपत्र GMFS प्रस्तुत करता है, जो एक स्केलेबल फ्रेमवर्क है सहकारी विषम बहु-एजेंट सुदृढीकरण शिक्षण (cooperative heterogeneous multi-agent reinforcement learning) के लिए, जो कम कम्प्यूटेशनल जटिलता के साथ निकट-इष्टतम प्रदर्शन प्राप्त करने के लिए ग्राफोन-आधारित मीन-फील्ड थ्योरी और इंटरेक्शन-अवेयर सबसैंपलिंग का लाभ उठाता है।

मूल लेखक: Emile Anand, Richard Hoffmann, Sarah Liaw, Adam Wierman

प्रकाशित 2026-02-19

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Emile Anand, Richard Hoffmann, Sarah Liaw, Adam Wierman

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप 10,000 संगीतकारों वाले एक विशाल ऑर्केस्ट्रा के कंडक्टर (संचालक) हैं। आपका लक्ष्य उन सभी को पूर्ण सामंजस्य (perfect harmony) में बजाने के लिए प्रेरित करना है ताकि एक सुंदर सिम्फनी (यह "सामूहिक पुरस्कार" या collective reward है) बनाई जा सके।

मल्टी-एजेंट रीइन्फोर्समेंट लर्निंग (MARL) की दुनिया में, "संगीतकार" एजेंट (जैसे रोबोट, सेल्फ-ड्राइविंग कारें, या ड्रोन) हैं, और "सिम्फनी" वह परिणाम है जो वे मिलकर हासिल करते हैं।

समस्या: "बहुत अधिक संगीतकार" की दुविधा

यदि आप हर एक संगीतकार को ठीक वही करने के लिए बताने की कोशिश करते हैं जो वे दूसरे हर संगीतकार के आधार पर कर रहे हैं, तो आप एक बड़ी समस्या का सामना करते हैं: जटिलता विस्फोट (Complexity Explosion)।

यदि आपके पास 10 संगीतकार हैं, तो यह प्रबंधनीय है।
यदि आपके पास 10,000 संगीतकार हैं, तो कौन क्या कर रहा है, इसके संभावित संयोजनों की संख्या इतनी विशाल है कि सबसे तेज़ सुपरकंप्यूटर भी एक आदर्श योजना बनाने में ब्रह्मांड की आयु से भी अधिक समय ले लेगा। इसे "डायमेंशनलिटी का अभिशाप" (Curse of Dimensionality) कहा जाता है।

पुराने समाधान (और वे क्यों विफल रहे)

"औसत" दृष्टिकोण (Mean-Field): चीजों को सरल बनाने के लिए, पिछले तरीकों ने कहा, "आइए मान लें कि सभी समान हैं। आइए भीड़ के औसत व्यवहार को देखें।"
- दोष: वास्तविक जीवन में, सभी एक जैसे नहीं होते। एक भीड़भाड़ वाली गली में मौजूद रोबोट को खाली हॉलवे में मौजूद रोबट से अलग तरह से चलने की आवश्यकता होती है। इन अंतरों को अनदेखा करने से दुर्घटनाएं या अक्षमता आती है।
"ग्राफ" दृष्टिकोण (Graphons): नए तरीकों ने एक विशाल वेब (ग्राफ) का उपयोग करके यह मैप करने की कोशिश की कि वास्तव में कौन किससे इंटरैक्ट करता है।
- दोष: हालांकि यह सटीक है, लेकिन 10,000 नोड्स वाले वेब के लिए एकदम सही योजना की गणना करना अभी भी बहुत धीमा और महंगा है।

नया समाधान: GMFS (एक "स्मार्ट सबसैंपलिंग" ऑर्केस्ट्रा)

यह लेख GMFS (Graphon Mean-Field Subsampling) पेश करता है। यह कैसे काम करता है, इसका एक सरल उदाहरण यहाँ दिया गया है:

उपमा: "इन्फ्लुएंसर" रणनीति

कल्पना कीजिए कि आप एक व्यस्त गोदाम में एक रोबोट हैं। आपको यह जानने की आवश्यकता है कि अन्य रोबोट कहाँ हैं ताकि आप टक्करों से बच सकें।

पुराना तरीका: आप हर सेकंड पूरे गोदाम (10,000 रोबोट) को स्कैन करने की कोशिश करते हैं। आपका दिमाग (कंप्यूटर) पिघल जाता है।
GMFS का तरीका: आप महसूस करते हैं कि आपको वास्तव में केवल अपने बगल के रोबोटों की चिंता करने की आवश्यकता है।
- हालाँकि, यह केवल दूरी के बारे में नहीं है। कुछ रोबोट "भारी" होते हैं (वे धीरे चलते हैं और रास्ता रोकते हैं), जबकि अन्य "हल्के" होते हैं (वे तेजी से निकल जाते हैं)।
- GMFS एक विशेष मानचित्र का उपयोग करता है जिसे Graphon कहा जाता है। Graphon को "प्रभाव का हीट मैप" (Heat Map of Influence) समझें। यह आपको बताता है: "रोबोट A की आपसे प्रभावित करने की संभावना 90% है, जबकि रोबोट B की केवल 5% है।"

जादुई ट्रिक: वेटेड सैंपलिंग (Weighted Sampling)

सभी को देखने के बजाय, GMFS प्रत्येक एजेंट को अपने पड़ोसियों के एक छोटे समूह (मान लीजिए 8 या 10 रोबोट) को सुनने के लिए कहता है।

महत्वपूर्ण विवरण: यह उन्हें पासे फेंकने की तरह यादृच्छिक (randomly) रूप से नहीं चुनता है। यह उन्हें Graphon हीट मैप के आधार पर चुनता है।
यदि रोबोट A एक "भारी इन्फ्लुएंसर" है, तो GMFS के द्वारा आपको अपने छोटे समूह में रोबोट A को चुनने की बहुत अधिक संभावना है।
यदि रोबोट B एक "हल्का इन्फ्लुएंसर" है, तो GMFS उन्हें छोड़ सकता है।

इस छोटे, समझदारी से चुने गए समूह को सुनकर, एजेंट पूरी भीड़ की आश्चर्यजनक रूप से सटीक तस्वीर प्राप्त कर लेता है। यह पूरे शहर के तापमान का अनुमान लगाने के लिए हर घर की जांच करने के बजाय, केवल सबसे गर्म और सबसे ठंडे स्थानों पर रखे गए कुछ थर्मामीटरों की जांच करने जैसा है।

यह एक बड़ी बात क्यों है?

गति: 10,000 डेटा पॉइंट्स को प्रोसेस करने के बजाय, रोबोट केवल 10 को प्रोसेस करता है। यह गणित को घातीय रूप से तेज़ (exponentially faster) बनाता है।
सटीकता: क्योंकि यह "प्रभावशाली" पड़ोसियों को चुनता है, इसलिए यह सिस्टम की बारीकियों को नहीं खोता है। यह इस तथ्य को संभालता है कि कुछ एजेंट दूसरों की तुलना में अधिक महत्वपूर्ण हैं।
गारंटी: लेखकों ने गणितीय रूप से सिद्ध किया है कि जैसे-जैसे आप अपने सैंपल साइज को बढ़ाते हैं (10 से 20 से 50 तक), आपका प्रदर्शन "आदर्श" योजना के करीब पहुंचता जाता है, लेकिन आपको एक साथ पूरी भीड़ को देखने की आवश्यकता नहीं होती है।

वास्तविक दुनिया के उदाहरण

रोबोट वेयरहाउस: बक्से ले जाने वाले रोबोटों का एक झुंड। एक संकीली गली में मौजूद रोबोट को केवल उसी गली के रोबोटों के बारे में जानने की आवश्यकता है, न कि अगली इमारत में मौजूद रोबोटों के बारे में। GMFS उन्हें बिना किसी केंद्रीय मस्तिष्क के तुरंत समन्वय करने में सक्षम बनाता है।
सेल्फ-ड्राइविंग कारें: ट्रैफिक जाम में, आपकी कार को अपने सामने वाली कार और बगल से आने वाली कार पर प्रतिक्रिया देने की आवश्यकता होती है। उसे 5 मील दूर चल रही कार की सटीक गति जानने की आवश्यकता नहीं है। GMFS कारों को स्मार्ट, स्थानीय निर्णय लेने में मदद करता है जो पूरे ट्रैफिक प्रवाह को सुचारू रूप से बनाए रखते हैं।

मुख्य निष्कर्ष

GMFS "सही लोगों को सुनने" की कला है।
यह एजेंटों के विशाल समूहों को प्रबंधित करने की समस्या को हल करता है क्योंकि यह समझता है कि पूरी बातचीत को समझने के लिए आपको हर आवाज सुनने की आवश्यकता नहीं है। आपको बस उन कुछ आवाजों को सुनने की आवश्यकता है जो वास्तव में आपको प्रभावित करती हैं, और यह इस बात पर निर्भर करता है कि वे आपको कितना प्रभावित करती हैं। यह बड़े पैमाने पर सहयोग को तेज़, कुशल और स्मार्ट बनाता है।

यहाँ शोध पत्र "ग्राफोन मीन-फील्ड सबसैंपलिंग फॉर कोऑपरेटिव हेट्रोजेनिअस मल्टी-एजेंट रीइन्फोर्समेंट लर्निंग" (GMFS) का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

यह शोध पत्र कोऑपरेटिव मल्टी-एजेंट रीइन्फोर्समेंट लर्निंगिंग (MARL) में स्केलेबिलिटी की चुनौती को संबोधित करता है, जिसमें एजेंटों की एक बड़ी और विषम (Heterogeneous) आबादी शामिल होती है।

आयाम का अभिशाप (The Curse of Dimensionality): मानक MARL में, संयुक्त अवस्था-क्रिया स्थान (joint state-action space) एजेंटों की संख्या ( $n$ ) के साथ तेजी से बढ़ता है, जिससे सटीक समाधान निकालना गणनात्मक रूप से असंभव हो जाता है।
मौजूदा विधियों की सीमाएँ:
- मानक मीन-फील्ड (Standard MF): यह मानता है कि एजेंट समरूप (homogeneous) हैं और जनसंख्या के औसत के साथ समान रूप से परस्पर क्रिया करते हैं। यह वास्तविक दुनिया की प्रणालियों (जैसे ट्रैफ़िक, रोबोटिक्स) में विफल रहता है जहाँ अंतःक्रियाएं गैर-समान और एजेंट-विशिष्ट होती हैं।
- ग्राफोन मीन-फील्ड (Graphon Mean-Field): यह 'ग्राफोन' (एक लिमिट फंक्शन $W(x, y)$ जो लेटेंट एजेंट स्थितियों के बीच अंतःक्रिया शक्ति को परिभाषित करता है) के माध्यम से विषमता को कैप्चर करता है। हालाँकि, मौजूदा ग्राफोन-आधारित विधियों को प्रत्येक समय चरण पर संपूर्ण जनसंख्या ( $n$ ) से जानकारी एकत्रित करने की आवश्यकता होती है, जो कम्प्यूटेशनल रूप से महंगा बना हुआ है और विशाल प्रणालियों तक स्केल नहीं कर पाता है।
मुख्य प्रश्न: क्या हम एक ऐसा MARL एल्गोरिदम डिज़ाइन कर सकते हैं जो विषम अंतःक्रियाओं (ग्राफोन के माध्यम से) को संभाल सके और साथ ही कंप्यूटेशनल जटिलता को कुल जनसंख्या $n$ के बजाय केवल एक छोटे उपनमूना आकार (subsample size) $\kappa$ पर निर्भर करा सके?

2. कार्यप्रणाली: ग्राफोन मीन-फील्ड सबसैंपलिंग (GMFS)

लेखक GMFS प्रस्तावित करते हैं, जो प्रत्येक एजेंट के लिए पड़ोसियों के एक छोटे समूह ( $\kappa \ll n$ ) को उपनमूना बनाकर (subsampling) ग्राफोन-भारित मीन-फील्ड अंतःक्रियाओं का अनुमान लगाता है।

मुख्य घटक:

ग्राफोन मॉडलिंग (Graphon Modeling):
- एजेंटों को लेटेंट कोऑर्डिनेट्स $\alpha_i \in [0, 1]$ आवंटित किए जाते हैं।
1. अंतःक्रियाओं को एक सिमेट्रिक ग्राफोन फंक्शन $W(\alpha_i, \alpha_j)$ द्वारा परिभाषित किया जाता है, जो एजेंट $i$ और $j$ के बीच अंतःक्रिया भार $w_{ij}$ निर्धारित करता है।
2. एजेंट $i$ के लिए वास्तविक मीन-फील्ड फीचर (नेबरहुड डिस्ट्रीब्यूशन) को परिभाषित करने के लिए सामान्यीकृत भार $\bar{w}_{ij}$ का उपयोग किया जाता है।
ग्राफोन-वेटेड सबसैंपलिंग (Graphon-Weighted Subsampling):
- सभी $n-1$ अन्य एजेंटों को देखने के बजाय, एजेंट $i$ अपने $\kappa$ पड़ोसियों के एक मल्टिसैट (multiset) $\Delta_i$ को सैंपल करता है।
- महत्वपूर्ण नवाचार: पड़ोसियों को सामान्यीकृत ग्राफोन भार $\bar{w}_{i,\cdot}$ के अनुसार गैर-समान रूप से (non-uniformly) सैंपल किया जाता है। यह सुनिश्चित करता है कि जिन एजेंटों का प्रभाव अधिक होता है (उच्च अंतःक्रिया भार), उनके चुने जाने की संभावना अधिक होती है, जिससे "पोजीशन-डिपेंडेंट वेरिएंस" की समस्या हल हो जाती है जो यूनिफॉर्म सैंपलिंग को अप्रभावी बनाती है।
सरोगेट डायनेमिक्स और लर्निंग (Surrogate Dynamics & Learning):
- यह एल्गोरिथ्म एक ( $\kappa + 1$ )-एजेंट सरोगेट मॉडल पर पॉलिसी सीखता है।
- यह इन सबसैम्पल्ड एग्रीगेट्स के आधार पर एक सैम्पल्ड बेलमैन ऑपरेटर ( $\hat{T}_\kappa$ ) को परिभाषित करता है।
- विकेंद्रीकृत निष्पादन (Decentralized Execution): निष्पादन के दौरान, प्रत्येक एजेंट ग्राफोन वेट्स के आधार पर स्वतंत्र रूप से $\kappa$ पड़ोसियों को सैंपल करता है, एक स्थानीय अनुभवजन्य हिस्टोग्राम (empirical histogram) बनाता है, और सीखी गई पॉलिसी का उपयोग करके एक्शन चुनता है। यह सुनिश्चित करता है कि प्रति-एजेंट कंप्यूटेशनल लागत $n$ से स्वतंत्र है।
एल्गोरिथम प्रवाह (Algorithm Flow):
- ऑफलाइन ट्रेनिंग: यह वैल्यू इटरेशन का उपयोग करके सबसैम्पल स्पेस पर क्यू-फंक्शन ( $\hat{Q}_\kappa$ ) को पुनरावृत्ति से अपडेट करने के लिए एक जेनेरेटिव ओरैकल का उपयोग करता है।
- ऑनलाइन निष्पादन: एजेंट अपने स्थानीय अवलोकनों और अपने सैंपलड नेबरहुड फीचर्स के आधार पर कार्य करते हैं।

3. प्रमुख योगदान

GMFS एल्गोरिथ्म: सहयोग आधारित MARL के लिए एक नवीन सबसैंपलिंग फ्रेमवर्क जो स्कैलेबिलिटी प्राप्त करने के लिए ग्राफोन के माध्यम से विषम अंतःक्रियाओं को संभालता है।
सैद्धांतिक गारंटी (Theoretical Guarantees):
- अभिसरण (Convergence): सिद्ध किया गया कि सैम्पल्ड बेलमैन ऑपरेटर एक $\gamma$ -कॉन्ट्रैक्शन है, जो एक अद्वितीय फिक्स्ड पॉइंट की उपस्थिति सुनिश्चित करता है।
- अनुकूलतम अंतराल (Optimality Gap): स्थापित किया गया कि सीखी गई पॉलिसी और अनुकूलतम ग्राफोन मीन-फील्ड पॉलिसी के बीच प्रदर्शन अंतर $\tilde{O}(1/\sqrt{\kappa})$ की दर से घटता है।
- सैंपल कॉम्प्लेक्सिटी: दिखाया गया कि सैंपल कॉम्प्लेक्सिटी $n$ के बजाय $\kappa$ में बहुपद (polynomial) है ( $\text{poly}(\kappa, |S|, |A|)$ )। विशेष रूप से, यदि $\kappa = O(\log n)$ है, तो जटिलता $n$ में पॉलीलॉगारिदमिक (polylogarithmic) हो जाती है, जो स्टैंडर्ड मीन-फील्ड वैल्यू इटरेशन की तुलना में घातीय गति प्रदान करती है।
लिप्सचिट्ज़ निरंतरता (Lipschitz Continuity): सिद्ध किया गया कि Q-फंक्शन मीन-फील्ड मेजर के संबंध में लिप्सचिट्ज़ कंटीन्यूअस है, जिससे कंसंट्रेशन इनइक्वेलिटीज के माध्यम से सबसैंपलिंग त्रुटि को सीमित किया जा सकता है।
विस्तार (Extensions): इस ढांचे को स्टोकेस्टिक रिवॉर्ड्स, ऑफ-पॉलिसी लर्निंग और निरंतर स्टेट स्पेस (लीनियर फंक्शन एप्रोक्सिमेशन और कवरिंग नंबर्स का उपयोग करके) को संभालने के लिए विस्तारित किया गया है।

4. परिणाम

सैद्धांतिक बाउंड्स (Theoretical Bounds):
- ऑप्टिमलिटी गैप को $1/\sqrt{\kappa}$ , ट्रांजिशन के लिप्सचिट्ज़ स्थिरांक ( $L_P$ ), और रिवॉर्ड बाउंड्स वाले पदों द्वारा बांधा गया है।
- विफलता की प्रायिकता (बाउंड से विचलन) $\kappa$ के साथ चरघातांकीय रूप से कम होती है।
संख्यात्मक सिमुलेशन (Numerical Simulations):
- परिदृश्य: वेयरहाउस वातावरण में 25 एजेंटों के साथ सहयोगात्मक रोबोटिक समन्वय कार्य।
- निष्कर्ष:
  - प्रदर्शन: जैसे-जैसे सबसमपल साइज $\kappa$ बढ़ता है, औसत डिस्काउंटेड रिटर्न लगातार बढ़ता है, जो पूर्णतः एग्जॉस्टिवटिव मीन-फील्ड लिमिट ( $\kappa = n-1$ ) के प्रदर्शन के करीब पहुँच जाता है। $\kappa \approx 8$ (कुल जनसंख्या का केवल 32%) के साथ लगभग अनुकूलतम प्रदर्शन प्राप्त किया गया था।
  - स्केलेबिलिटी: Q-टेबल (स्टेट स्पेस कॉम्प्लेक्सिटी) का आकार $\kappa$ के साथ बहुपद रूप से बढ़ता है, जो फुल-पॉपुलेशन मेथड्स की तुलना में कंप्यूटेशनल बोझ में कमी की पुष्टि करता है।
  - अभिसरण: अनुभवजन्य नेबरहुड डेंसिटी $(\kappa$ बढ़ने के साथ de facto ग्राफ़ोन-वेटेड डिस्ट्रीब्यूशन के प्रति तेज़ी से अभिसरित होती है।

5. महत्व

विषमता और स्केलेबिलिटी का मिलन: GMFS पहला ढांचा है जो ग्राफोन-आधारित विषमता की अभिव्यक्ति क्षमता को ग्राफोन-आधारित हेतरोजीनिटी के साथ जोड़कर नेबरहुड सबसैंपलिंग की कंप्यूटेशनल दक्षता को एकीकृत करता है। यह नॉन-यूनिफॉर्म इंटरैक्शन (जैसे ट्रैफिक फ्लो, सेंसर नेटवर्क) के यथार्थवादी मॉडलिंग की अनुमति देता है बिना $O(n)$ कंप्यूटेशनल बाधा के।
व्यावहारिक तैनाती: कुल जनसंख्या के आकार $n$ पर अपनी निर्भरता को ट्यून करने योग्य पैरामीटर $\kappa$ तक घटाकर, GMFS स्वायत्त ड्राइविंग स्वार्म्स, स्मार्ट ग्रिड और बड़े पैमाने पर रोबोटिक्स जैसे वास्तविक अनुप्रयोगों के लिए व्यापक स्तर पर सहकारी MARL को व्यवहार्य बनाता है।
सैद्धांतिक नींव: पेपर सबसैम्प्ल्ड और हेट्रोजेनियस सेटिंग में कन्वर्जेंस और ऑप्टिमेलिटी के लिए कठोर प्रमाण प्रदान करता है, जिससे जटिल नेटवर्कों में मीन-फील्ड अप्रोक्सिमेशन के विश्लेषण के लिए एक नया बेसलाइन स्थापित होता है।

संक्षेप में, GMFS विषम बहु-एजेंट प्रणालियों में "आयाम के अभिशाप" का एक सिद्धांतगत समाधान पेश करता है, यह सिद्ध करते हुए कि रणनीतिक रूप से चयनित पड़ोसियों के एक छोटे समूह के साथ बातचीत करके भी निकट-अनुकूल तालमेल हासिल किया जा सकता है।