🤖 AI

Distributionally Robust Cooperative Multi-Agent Reinforcement Learning via Robust Value Factorization

यह शोध पत्र डिस्ट्रीब्यूशनली रोबस्ट IGM (DrIGM) प्रस्तुत करता है, जो एक नवीन सिद्धांत और संबंधित वैल्यू-फैक्टरिज़ेशन फ्रेमवर्क है जो अनिश्चित वातावरण में सहकारी मल्टी-एजेंट सुदृढीकरण शिक्षण की विश्वसनीयता को बढ़ाने के लिए विकेंद्रीकृत ग्रीडी कार्यों को रोबस्ट टीम-इष्टतम संयुक्त कार्यों के साथ संरेखित करता है, जिससे बिना किसी प्रति-एजेंट रिवॉर्ड शेपिंग की आवश्यकता के आउट-ऑफ-डिस्ट्रीब्यूशन प्रदर्शन में सुधार होता है।

मूल लेखक: Chengrui Qu, Christopher Yeh, Kishan Panaganti, Eric Mazumdar, Adam Wierman

प्रकाशित 2026-02-13

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Chengrui Qu, Christopher Yeh, Kishan Panaganti, Eric Mazumdar, Adam Wierman

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक सॉकर टीम के कोच हैं। आपका लक्ष्य चैंपियनशिप जीतना है। एक आदर्श दुनिया में, आप एक शानदार, धूप वाले मैदान पर अभ्यास करते हैं जहाँ घास एकदम सही है, कोई हवा नहीं है, और रेफरी कभी गलती नहीं करते। आप अपने खिलाड़ियों को गेंद को एक विशिष्ट तरीके से पास करने के लिए प्रशिक्षित करते हैं जो गोल करना सुनिश्चित करता है।

लेकिन जब खेल का दिन आता है, तो वास्तविक दुनिया अव्यवस्थित होती है। बारिश हो सकती है, घास कीचड़ भरी हो सकती है, हवा तिरछी चल सकती है, और रेफरी थोड़े विचलित हो सकते हैं। यह "सिम-टू-रियल गैप" (Sim-to-Real Gap) है।

आर्टिफिशियल इंटेलिजेंस की दुनिया में, विशेष रूप से मल्टी-एजेंट रीइन्फोर्समेंट लर्निंग (MARL) में, हमारे पास AI एजेंटों (जैसे रोबोट या सॉफ्टवेयर प्रोग्राम) की टीमें हैं जो सहयोग करने की कोशिश कर रही हैं। वे आमतौर पर एक आदर्श कंप्यूटर सिमुलेशन ("सिम") में प्रशिक्षण लेते हैं और फिर वास्तविक दुनिया में प्रदर्शन करने का प्रयास करते हैं। समस्या यह है कि जब वास्तविक दुनिया सिमुलेशन से थोड़ी भी अलग होती है, तो टीम अक्सर बिखर जाती है। वे समन्वय करना बंद कर देते हैं, गलत चालें चलते हैं, और हार जाते हैं।

यह पेपर इन AI टीमों को प्रशिक्षित करने का एक नया तरीका पेश करता है ताकि वे केवल एक आदर्श अभ्यास मैदान को याद न करें, बल्कि यह सीखें कि खराब मौसम में भी कैसे जीतना है।

पुराना तरीका: "परफेक्ट प्रैक्टिस" का जाल

अधिकांश वर्तमान AI टीमें वैल्यू फैक्टराइजेशन (Value Factorization) नामक एक विधि का उपयोग करती हैं। इसे ऐसे समझें जैसे एक कोच प्रत्येक खिलाड़ी को एक व्यक्तिगत निर्देश पत्र देता है।

नियम: "यदि आप गेंद देखते हैं, तो वह करें जो आपके लिए सबसे अच्छा है।"
जादू: सैद्धांतिक रूप से, यदि प्रत्येक खिलाड़ी वह करता है जो उसके लिए सबसे अच्छा है, तो पूरी टीम स्वतः ही समूह के लिए सबसे अच्छा करती है। इसे IGM सिद्धांत (Individual-Global-Maximum) कहा जाता है।

समस्या: यह सिमुलेशन में बहुत अच्छा काम करता है। लेकिन वास्तविक दुनिया में, यदि खिलाड़ी A सोचता है कि हवा बाईं ओर चल रही है (एक सेंसर त्रुटि के कारण) और खिलाड़ी B सोचता है कि हवा दाईं ओर चल रही है, तो वे दोनों गेंद को विपरीत दिशाओं में किक करने की कोशिश कर सकते हैं। "परफेक्ट प्रैक्टिस" की रणनीति इसलिए टूट जाती है क्योंकि खिलाड़ी अब इस बात पर सहमत नहीं हैं कि "सबसे अच्छा" मूव क्या है।

नया विचार: "DrIGM" (साझा सबसे खराब स्थिति)

लेखक डिस्ट्रीब्यूशनली रोबस्ट IGM (DrIGM) नामक एक नया सिद्धांत प्रस्तावित करते हैं।

कल्पना कीजिए कि अपने खिलाड़ियों को एक आदर्श मैदान पर प्रशिक्षित करने के बजाय, आप उन्हें एक सिम्युलेटेड तूफान में प्रशिक्षित करते हैं। आप उनसे कहते हैं: "ठीक है, हवा के झोंके आ सकते हैं, घास फिसलन भरी हो सकती है, और गेंद अजीब तरह से उछल सकती है। आइए वह सबसे अच्छा मूव खोजें जो पूर्णतः सबसे खराब स्थिति (worst-case scenario) में भी काम करे।"

यहाँ उनके तरीके में एक चतुर मोड़ है:

व्यक्तिगत सबसे खराब स्थितियों की चिंता न करें: यदि आप खिलाड़ी A से पूछते हैं, "आपके लिए सबसे बुरा क्या हो सकता है?" और खिलाड़ी B से, "आपके लिए सबसे बुरा क्या हो सकता है?", तो वे अलग-अलग डरावनी स्थितियाँ बता सकते हैं। खिलाड़ी A को बारिश का डर हो सकता है; खिलाड़ी B को कीचड़ का डर हो सकता है। यदि वे इन अलग-अलग डरों पर काम करते हैं, तो वे समन्वय नहीं कर पाएंगे।
टीम की सबसे खराब स्थिति की चिंता करें: इसके बजाय, टीम एक ही साझा सबसे खराब स्थिति पर सहमत होती है। शायद सबसे खराब स्थिति एक "सुपर स्टॉर्म" है जहाँ गेंद अप्रत्याशित रूप से उछलती है।
सहमति: प्रत्येक खिलाड़ी सीखता है: "यदि हम इस सुपर स्टॉर्म में हैं, तो टीम को बचाने वाला एक ही मूव यहाँ है।"

चूंकि वे सभी एक ही सबसे खराब स्थिति के लिए योजना बना रहे हैं, इसलिए उनके व्यक्तिगत "सर्वश्रेष्ठ मूव" स्वाभाविक रूप से एक सीध में आ जाते हैं। उन्हें खेल के दौरान एक-दूसरे से बात करने की आवश्यकता नहीं होती है; वे बस अपने प्रशिक्षण का पालन करते हैं, और वे स्वचालित रूप से समन्वय करते हैं।

उन्होंने इसे कैसे किया (नुस्खा)

यह पेपर तीन प्रसिद्ध AI प्रशिक्षण विधियों (VDN, QMIX, और QTRAN) को लेता है और उनमें एक "रोबस्टनेस स्पाइस" (Robustness Spice) जोड़ता है।

मसाला (The Spice): वे गणित को इस तरह बदलते हैं कि AI केवल औसत परिणाम को न देखे। यह अनिश्चितता की एक निश्चित सीमा के भीतर "सबसे खराब संभावित परिणाम" को देखता है।
परिणाम: उन्होंने एक नए प्रकार का "रोबस्ट बेलमैन ऑपरेटर" बनाया। सरल शब्दों में, यह एक गणितीय नियम है जो AI को बताता है: "केवल धूप वाले दिन जीतने के लिए न सीखें। यह भी सीखें कि अगर हवा गेंद को रास्ते से 10% भटका दे, तब भी कैसे जीतना है।"

प्रमाण: क्या यह काम कर गया?

लेखकों ने दो बहुत अलग चीजों पर इसका परीक्षण किया:

स्मार्ट बिल्डिंग्स (HVAC कंट्रोल): एक इमारत की कल्पना करें जिसमें कई कमरे हैं। प्रत्येक कमरे में एक थर्मोस्टेट (एक AI एजेंट) है जो ऊर्जा बचाने के साथ-साथ तापमान को आरामदायक बनाए रखने की कोशिश करता है।
- परीक्षण: उन्होंने AI को एक गर्म, शुष्क रेगिस्तान (टक्सन) के सिमुलेशन में प्रशिक्षित किया। फिर उन्होंने इसे एक नम, बारिश वाले स्थान (न्यूयॉर्क) और विभिन्न मौसमों के दौरान टेस्ट किया।
- परिणाम: पुराने AI टीमें भ्रमित हो गईं और ऊर्जा बर्बाद की या कमरों को बहुत गर्म/ठंडा कर दिया। नए "रोबस्ट" टीमों ने मौसम के बदलावों को बखूबी संभाला, जिससे इमारत आरामदायक और कुशल बनी रही।
StarCraft II (वीडियो गेम): यह एक जटिल रणनीति गेम है जहाँ आप इकाइयों की एक सेना को नियंत्रित करते हैं।
- परीक्षण: उन्होंने गेम में "नॉइज़" (noise) जोड़ा, जिससे इकाइयों का विजन थोड़ा धुंधला या अस्थिर हो गया (जो सेंसर त्रुटियों का अनुकरण करता है)।
- परिणाम: रोबस्ट टीमों ने फिर भी युद्ध जीते, जबकि मानक टीमें बेवकूफी भरी गलतियाँ करने लगीं और हार गईं।

मुख्य निष्कर्ष

आमतौर पर, जब हम किसी AI को "रोबस्ट" (त्रुटियों के विरुद्ध सुरक्षित) बनाते हैं, तो वह "रूढ़िवादी" (जोखिम लेने से डरने वाला) हो जाता है और सामान्य स्थितियों में भी खराब प्रदर्शन करता है।

इस पेपर का आश्चर्यजनक निष्कर्ष: एक टीम सेटिंग में, रोबस्ट होना वास्तव में टीम को समन्वय करने में बेहतर बनाता है, यहाँ तक कि सामान्य स्थितियों में भी। एक साझा "सबसे खराब स्थिति की योजना" पर सहमत होकर, एजेंट एक-दूसरे पर संदेह करना बंद कर देते हैं। वे एक अधिक सुदृढ़, विश्वसनीय इकाई बन जाते हैं।

संक्षेप में: यह पेपर AI टीमों को एक आदर्श दिन के लिए अभ्यास करना छोड़कर तूफान के लिए प्रशिक्षण लेना सिखाता है। तूफान कैसा दिखेगा, इस पर सहमत होकर, वे एक-दूसरे के पैरों पर पैर रखे बिना बारिश में एक साथ नृत्य करना सीख जाते हैं।

यहाँ शोध पत्र "Distributionally Robust Cooperative Multi-Agent Reinforcement Learning via Robust Value Factorization" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

यह शोध पत्र सहकारी मल्टी-एजेंट रिइन्फोर्समेंट लर्निंग (Cooperative Multi-Agent Reinforcement Learning - MARL) में पर्यावरणीय अनिश्चितता (Environmental Uncertainty) की महत्वपूर्ण चुनौती को संबोधित करता है।

संदर्भ: अधिकांश सहकारी MARL सिस्टम सेंट्रलाइज्ड ट्रेनिंग विद डिसेंट्रलाइज्ड एक्जीक्यूशन (CTDE) प्रतिमान (paradigm) का उपयोग करते हैं, जो वैल्यू फैक्टराइजेशन (Value Factorization) विधियों (जैसे VDN, QMIX, QTRAN) पर निर्भर करते हैं। ये विधियाँ इंडिविजुअल-ग्लोबल-मैक्सिमम (IGM) सिद्धांत को लागू करती हैं, जो यह सुनिश्चित करती हैं कि स्थानीय अवलोकनों (local observations) के आधार पर लालची (greedy) व्यवहार करने वाले एजेंट सामूहिक रूप से टीम-इष्टतम संयुक्त क्रिया (team-optimal joint action) प्राप्त करें।
अंतराल (The Gap): जबकि IGM सिम्युलेटेड वातावरण में अच्छा काम करता है, यह वास्तविक दुनिया के परिनियोजन (deployments) में सिम-टू-रियल गैप (sim-to-real gap), मॉडल मिसमैच और सिस्टम नॉइज़ के कारण अक्सर विफल हो जाता है।
मुख्य कठिनाई: केवल सिंगल-एजेंट डिस्ट्रीब्यूशनली रोबस्ट RL (DR-RL) तकनीकों को MARL पर लागू करना विफल रहता है। सिंगल-एजेंट DR-RL में, एक एजेंट अपने स्वयं के सबसे खराब परिदृश्य (worst-case scenario) के लिए अनुकूलन करता है। हालाँकि, सहकारी MARL में, एक एजेंट के लिए "सबसे खराब" ट्रांज़िशन मॉडल दूसरे एजेंट के लिए सबसे खराब मॉडल से भिन्न हो सकता है। रोबस्ट व्यक्तिगत Q-वैल्यूज़ को अनिश्चितता सेटों के इन्फिमम (infimum) के रूप में परिभाषित करने से IGM गुण टूट जाता है, जिससे समन्वय विफलता (coordination failures) होती है जहाँ विकेंद्रीकृत लालची क्रियाएँ रोबस्ट टीम-इष्टतम संयुक्त क्रिया के साथ संरेखित नहीं हो पाती हैं।

2. कार्यप्रणाली: डिस्ट्रीब्यूशनली रोबस्ट IGM (DrIGM)

लेखक एक नया सैद्धांतिक ढांचा प्रस्तावित करते हैं जिसे डिस्ट्रीब्यूशनली रोबस्ट IGM (DrIGM) कहा जाता है, ताकि व्यक्तिगत मजबूती और टीम की मजबूती के बीच के मिसअलाइनमेंट को हल किया जा सके।

A. सैद्धांतिक आधार (Theoretical Foundation)

DrIGM की परिभाषा: रोबस्ट व्यक्तिगत एक्शन-वैल्यू फंक्शन $[Q_i^{rob}]$ तब DrIGM को संतुष्ट करते हैं जब व्यक्तिगत लालची क्रियाओं (व्यक्तिगत $Q_i^{rob}$ के आधार पर) से बनी संयुक्त क्रिया, रोबस्ट टीम-इष्टतम संयुक्त क्रियाओं (रोबस्ट संयुक्त वैल्यू फंक्शन $Q_{tot}^{rob}$ के आधार पर) का एक उपसमुच्चय (subset) होती है।
मुख्य अंतर्दृष्टि (Theorem 1): यह शोध पत्र सिद्ध करता है कि $Q_i^{rob} = \inf_{P} Q_i^P$ $Q_{i}^{r o b} = in f_{P} Q_{i}^{P}$ (व्यक्तिगत सबसे खराब स्थिति) के रूप में परिभाषित करना DrIGM को विफल कर देता है। इसके बजाय, DrIGM तब सुनिश्चित होता है जब रोबस्ट व्यक्तिगत मानों को एक एकल वैश्विक सबसे खराब मॉडल (single global worst-case model) के सापेक्ष परिभाषित किया जाता है, जिसे रोबस्ट संयुक्त लालची क्रिया पर मूल्यांकित किया जाता है।
- मान लीजिए $\bar{a}$ रोबस्ट संयुक्त लालची क्रिया है।
- मान लीजिए $P^{worst}$ वह ट्रांज़िशन मॉडल है जो $\bar{a}$ पर संयुक्त मान को न्यूनतम करता है।
- $Q_i^{rob}(h_i, a_i) = Q_i^{P^{worst}}(h_i, a_i)$ के रूप में परिभाषित करें।
- इस परिभाषा के तहत, व्यक्तिगत लालची क्रियाएँ संयुक्त रोबस्ट क्रिया के साथ संरेखित होती हैं।

B. मौजूदा आर्किटेक्चर के साथ अनुकूलता (Compatibility with Existing Architectures)

लेखक प्रदर्शित करते हैं कि $Q_i^{rob}$ की यह परिभाषा मानक फैक्टराइजेशन बाधाओं के अनुकूल है:

VDN: योगात्मक संरचना ( $Q_{tot} = \sum Q_i$ )।
QMIX: मोनोटोनिसिटी बाधा ( $\partial Q_{tot} / \partial Q_i \geq 0$ )।
QTRAN: निरंतरता बाधाएं (consistency constraints) जो सुनिश्चित करती हैं कि $Q_{tot}$ और $\sum Q_i$ इष्टतम क्रियाओं पर संरेखित हों।
परिणाम (Theorem 2): यदि अंतर्निहित गैर-रोबस्ट फैक्टराइजेशन IGM को संतुष्ट करता है, तो वैश्विक सबसे खराब मॉडल के माध्यम से निर्मित रोबस्ट वेरिएंट स्वचालित रूप से DrIGM को संतुष्ट करते हैं।

C. एल्गोरिदम कार्यान्वयन (Algorithmic Implementation)

शोध पत्र दो सामान्य अनिश्चितता सेटों के लिए रोबस्ट बेलमैन ऑपरेटर्स को व्युत्पन्न करता है:

$\rho$ -contamination: ट्रांज़िशन कर्नेल (transition kernel) नामित मॉडल और एक मनमाने सबसे खराब वितरण का मिश्रण है।
Total Variation (TV): ट्रांज़िशन कर्नेल नामित मॉडल से $\rho$ TV दूरी के भीतर है।

इन ऑपरेटर्स को रोबस्ट वैल्यू फैक्टराइजेशन फ्रेमवर्क (Algorithm 1) में एकीकृत किया गया है:

ट्रेनिंग: एजेंट रोबस्ट व्यक्तिगत Q-नेटवर्क्स (DRQN आर्किटेक्चर का उपयोग करके) और एक मिक्सिंग नेटवर्क सीखते हैं।
टारगेट जनरेशन: टारगेट वैल्यू की गणना रोबस्ट बेलमैन ऑपरेटर का उपयोग करके की जाती है, जो अनिश्चितता सेट पर सबसे खराब स्थिति के अपेक्षित मान (worst-case expectation) को शामिल करता है।
एक्जीक्यूशन: एजेंट बिना किसी वास्तविक समय संचार की आवश्यकता के अपने स्थानीय रोबस्ट Q-वैल्यूज़ के आधार पर लालची क्रिया करते हैं।

3. मुख्य योगदान (Key Contributions)

DrIGM सिद्धांत: एक नया सिद्धांत पेश किया जो IGM को डिस्ट्रीब्यूशनली रोबस्ट सेटिंग्स तक विस्तारित करता है, यह सिद्ध करते हुए कि विकेंद्रीकृत संरेखण सुनिश्चित करने के लिए रोबस्ट व्यक्तिगत मानों को संयुक्त सबसे खराब मॉडल से जुड़ा होना चाहिए।
सैद्धांतिक गारंटी: वैश्विक अनिश्चितता सेटों के तहत VDN, QMIX और QTRAN आर्किटेक्चर के लिए DrIGM की पुष्टि करने वाले प्रमाण प्रदान किए, जिससे यह सुनिश्चित हुआ कि विकेंद्रीकृत निष्पादन रोबस्ट टीम इष्टतम को पुनः प्राप्त करता है।
स्केलेबल एल्गोरिदम: रोबस्ट VDN, QMIX और QTRAN वेरिएंट विकसित किए जो मौजूदा कोडबेस के साथ सहजता से एकीकृत होते हैं, जिन्हें किसी विशेष प्रति-एजेंट रिवॉर्ड शेपिंग की आवश्यकता नहीं होती है, और जो स्केलेबिलिटी बनाए रखते हैं।
अनुभवजन्य सत्यापन (Empirical Validation): उच्च-सटीकता वाले सिमुलेटर और गेम वातावरण में आउट-ऑफ-डिस्ट्रीब्यूशन (OOD) प्रदर्शन में निरंतर सुधार प्रदर्शित किया।

4. प्रयोगात्मक परिणाम (Experimental Results)

इन विधियों का मूल्यांकन दो बेंचमार्क पर किया गया: SustainGym (स्मार्ट बिल्डिंग में HVAC नियंत्रण) और SMAC (StarCraft II)।

SustainGym (HVAC नियंत्रण):
- सेटअप: विशिष्ट जलवायु/स्थान कॉन्फ़िगरेशन (जैसे टक्सन) पर प्रशिक्षित किया गया और अनदेखे कॉन्फ़िगरेशन (जैसे न्यूयॉर्क, मौसमी बदलाव) पर परीक्षण किया गया।
- परिणाम: रोबस्ट विधियों ने लगातार गैर-रोबस्ट बेसलाइन (मानक VDN/QMIX/QTRAN) और एक हालिया रोबस्ट बेसलाइन (GroupDR) को पछाड़ दिया।
- मुख्य निष्कर्ष: चरम जलवायु और मौसमी बदलावों में, रोबस्ट विधियों ने 10–40% अधिक औसत रिवॉर्ड प्राप्त किया। सिंगल-एजेंट रोबस्ट RL के विपरीत, MARL में रोबस्ट ट्रेनिंग ने इन-डिस्ट्रीब्यूशन प्रदर्शन को दंडित नहीं किया; कुछ मामलों में, इसने स्थिरता और अनुकूलन क्षमता में सुधार किया।
SMAC (StarCraft II):
- सेटअप: दुश्मन की स्थिति के अवलोकनों में गॉसियन नॉइज़ (Gaussian noise) जोड़कर "3s vs 5z" मैप पर मूल्यांकन किया गया।
- परिणाम: रोबस्ट VDN और QMIX ने गैर-रोबस्ट बेसलाइन की तुलना में टेस्ट विन रेट में महत्वपूर्ण सुधार किया, विशेष रूप से छोटे से मध्यम अनिश्चितता स्तरों ( $\rho$ ) के लिए।
- अवलोकन: प्रदर्शन एक "स्वीट स्पॉट" कर्व का पालन करता है; बहुत कम $\rho$ बदलावों को संभालने में विफल रहा, जबकि बहुत अधिक $\rho$ अत्यधिक रूढ़वादी (conservative) नीतियों की ओर ले गया।

5. महत्व (Significance)

सिम-टू-रियल को जोड़ना: यह कार्य सहकारी MARL में विश्वसनीयता के अंतर के लिए एक सिद्धांत आधारित समाधान प्रदान करता है, जो मॉडल अनिश्चितता और नॉइज़ को संभालने के लिए "परफेक्ट वर्ल्ड" धारणाओं से आगे बढ़ता है।
विकेंद्रीकरण सुरक्षित है: महत्वपूर्ण रूप से, यह विकेंद्रीकृत निष्पादन गुण से समझौता किए बिना मजबूती प्राप्त करता है। अनिश्चितता को संभालने के लिए तैनाती के दौरान एजेंटों को संचार करने की आवश्यकता नहीं है।
प्रतिमान परिवर्तन (Paradigm Shift): यह इस अंतर्ज्ञान को चुनौती देता है कि मजबूती के लिए व्यक्तिगत एजेंटों को अपने स्थानीय वातावरण के प्रति "निराशावादी" होने की आवश्यकता है। इसके बजाय, यह दिखाता है कि टीम इष्टतमता बनाए रखने के लिए एजेंटों को एक साझा वैश्विक सबसे खराब परिदृश्य के विरुद्ध समन्वय करना चाहिए।
व्यावहारिक अनुप्रयोग: मौजूदा आर्किटेक्चर (VDN/QMIX/QTRAN) को अनुकूलित करके, यह दृष्टिकोण अत्यधिक अपनाने योग्य है और पावर ग्रिड, स्वायत्त वाहन बेड़े और बिल्डिंग मैनेजमेंट जैसे वास्तविक दुनिया के मल्टी-एजेंट सिस्टम के लिए उपयुक्त है।