🔢 mathematics

Regime-Conditional Stabilisation of LLM-Augmented Cooperative Multi-Agent Reinforcement Learning

यह शोध पत्र यह पहचान करता है कि सहकारी मल्टी-एजेंट सुदृढीकरण शिक्षण (multi-agent reinforcement learning) में LLM-जनित रिवॉर्ड वेट्स को गतिशील रूप से अपडेट करना स्टेशनैरिटी मान्यताओं का उल्लंघन करता है और प्रशिक्षण को अस्थिर करता है, तथा तीन अलग-अलग श्रेणियों में, जो बेसलाइन एजेंट की सक्षमता द्वारा परिभाषित हैं, प्रदर्शन को प्रभावी ढंग से स्थिर करने के लिए फेज-बेस्ड फ्रीज (Phase-Based Freeze) और EMA स्मूथिंग रणनीतियों का प्रस्ताव करता है।

मूल लेखक: Faid Keddouri, Sohaib Houhou, Aissa Boulmerka, Nadir Farhi

प्रकाशित 2026-07-07

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Faid Keddouri, Sohaib Houhou, Aissa Boulmerka, Nadir Farhi

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप तीन रोबोटों की एक टीम को कोचिंग दे रहे हैं ताकि वे मिलकर एक पहेली सुलझा सकें। आप चाहते हैं कि वे जल्दी सीखें, इसलिए आप एक "स्मार्ट कोच" (एक लार्ज लैंग्वेज मॉडल, या LLM) को काम पर रखते हैं ताकि वह उन्हें फीडबैक दे सके। जटिल कोड लिखने के बजाय, आप बस स्मार्ट कोच को साधारण अंग्रेजी में बताते हैं: "हे, कोशिश करो कि थोड़ा और फैल जाओ और एक-दूसरे से टकराने से बचो।" कोच आपके शब्दों को एक स्कोरकार्ड (रिवॉर्ड्स) में बदल देता है जो रोबोटों को बताता है कि वे कैसा प्रदर्शन कर रहे हैं।

यह शोध इस बात की जांच करता है कि क्या होता है जब आप इस स्मार्ट कोच को रोबोटों के अभ्यास करने के दौरान ही स्कोरकार्ड बदलने की अनुमति देते हैं।

समस्या: हिलता हुआ लक्ष्य (The Moving Goalpost)

शोधकर्ताओं ने एक छिपे हुए जाल की खोज की। मानक रोबोट प्रशिक्षण में, रोबोट अपनी गलतियों से सीखने के लिए पिछले खेलों के एक "रीप्ले बफर" (एक नोटबुक जिसमें पुराने खेल दर्ज हैं) को देखकर सीखते हैं।

हालाँकि, यदि स्मार्ट कोच प्रशिक्षण के दौरान हर एक एपिसोड में नियमों (स्कोरकार्ड पर वेट्स) को बदलता रहता है, तो वह नोटबुक एक गड़बड़ बन जाती है।

उपमा: कल्पना कीजिए कि एक छात्र गणित की परीक्षा के लिए एक पुरानी पाठ्यपुस्तक का उपयोग करके पढ़ाई कर रहा है। पाठ्यपुस्तक कहती है "2 + 2 = 4"। लेकिन सेमेस्टर के बीच में, शिक्षक नियम बदल देता है कि "2 + 2 = 5" और पाठ्यपुस्तक को अपडेट कर देता है। यदि छात्र पुराने नियमों के आधार पर समस्याओं को हल करने की कोशिश करता है जबकि शिक्षक नए नियम चिल्ला रहा है, तो छात्र भ्रमित हो जाता है। वे उन पुराने नियमों के आधार पर समस्याओं को हल करने की कोशिश कर रहे हैं जो अब लागू नहीं होते, जिससे प्रदर्शन पूरी तरह से गिर जाता है।

तकनीकी शब्दों में, यह पेपर इसे स्टेशनैरिटी (stationarity) का उल्लंघन कहता है। "पोटेंशियल" (रिवॉर्ड्स के पीछे का तर्क) लगातार बदलता रहता है, इसलिए रोबोट एक स्थिर रणनीति नहीं बना पाते।

समाधान: कोच को स्थिर करने के दो तरीके

इसे ठीक करने के लिए, लेखकों ने दो तरीके प्रस्तावित किए ताकि मानवीय निर्देश देने की अनुमति देते हुए भी प्रशिक्षण को स्थिर रखा जा सके:

"फ्रीज" विधि (फेज-बेस्ड फ्रीज):
- उपमा: इसे एक स्कूल सेमेस्टर की तरह समझें। आप शिक्षक को कहते हैं, "पहले महीने के लिए, नियम X हैं। उन्हें बदलें नहीं।" रोबोट उस पूरे महीने केवल उन्हीं नियमों का उपयोग करके प्रशिक्षण लेते हैं। फिर, आपके पास एक "सेमेस्टर ब्रेक" होता है, शिक्षक नियमों को Y में अपडेट करता है, और अगला महीना नए नियमों के साथ शुरू होता है।
- परिणाम: रोबोटों के पास नियमों के दोबारा बदलने से पहले सीखने के लिए एक स्थिर अवधि होती है।
"स्मूदी" विधि (एक्सपोनेंशियल मूविंग एवरेज):
- उपमा: ऐसा नहीं कि शिक्षक अचानक नया नियम चिल्लाता है, बल्कि वे पुराने नियम को नए के साथ मिला देते हैं। यदि पुराना नियम "तेज़ चलो" था और नया नियम "धीरे चलो" है, तो शिक्षक कहता है, "चलो मध्यम गति से चलते हैं।" अगली बार, वे इसे थोड़ा और "धीरे" की ओर मिला देंगे।
- परिणाम: नियम इतने धीरे-धीरे बदलते हैं कि रोबोट भ्रमित नहीं होते। "रीप्ले बफर" उपयोगी बना रहता है क्योंकि नियम उतने नाटकीय रूप से नहीं बदले हैं जितना कि उस समय के बीच जब रोबोट ने खेल खेला था और जब उसने अध्ययन किया था।

तीन परिदृश्य (रेजीम्स)

पेपर ने पाया कि यह "स्मार्ट कोच" मदद करता है या नुकसान पहुँचाता है, यह पूरी तरह से इस बात पर निर्भर करता है कि कोच के आने से पहले रोबोट कितने अच्छे थे। उन्होंने तीन अलग-अलग परिदृश्य पहचाने:

1. "ऑगमेंटेटिव" रेजीम (एक अच्छी टीम)

परिदृश्य: रोबोट पहले से ही कार्य में काफी अच्छे हैं (जैसे, लैंडमार्क कवर करना)। वे अपने आप लगभग 74% बार सफल होते हैं।
क्या होता है: यदि आप कोच को नियमों को बेतरतीब ढंग से बदलने देते हैं, तो रोबंड गिर जाते हैं और 85% बार विफल हो जाते हैं। बदलते नियमों का शोर मदद से अधिक नुकसानदेह है।
समाधान: यदि आप "स्मूदी" विधि का उपयोग करते हैं, तो रोबोट महत्वपूर्ण सुधार करते हैं, और 86.7% सफलता तक पहुँच जाते हैं।
सीख: जो टीमें पहले से ही काम कर रही हैं, उनके लिए आपको उनकी नींव को हिलाने में बहुत सावधान रहना चाहिए।

2. "एसेंशियल" रेजीम (एक टूटी हुई टीम)

परिदृश्य: रोबोट बहुत खराब हैं। वे लगभग 100% बार असफल होते हैं क्योंकि कार्य उनके लिए अकेले समझना बहुत कठिन है।
क्या होता है: बिना कोच के, वे कभी नहीं सीख पाते।
समाधान: कोच एक जीवन रक्षक है। "स्मूदी" विधि के साथ भी, रोबोट 0% सफलता से 95.9% सफलता तक पहुँच जाते हैं।
सीख: टूटी हुई टीमों के लिए, कोच सीखने की क्षमता को अनलॉक करने के लिए आवश्यक है।

3. "सप्लीमेंट्री" रेजीम (एक विशेषज्ञ टीम)

परिदृश्य: रोबोट पहले से ही लगभग पूर्ण विशेषज्ञ हैं (98.8% बार जीतते हैं)।
क्या होता है: कोच को जोड़ने से उन्हें बेहतर होने में वास्तव में कोई मदद नहीं मिलती क्योंकि वे पहले से ही शीर्ष पर हैं।
समाधान: यदि आप "स्मूदी" विधि का उपयोग करते हैं, तो वे शीर्ष पर बने रहते हैं (99.9%)। यदि आप कोच को नियमों को बेतरतीब ढंग से बदलने देते हैं, तो वे खराब नहीं होते, लेकिन वे अस्थिर और असंगत हो जाते हैं।
सीख: विशेषज्ञों के लिए, कोच केवल अतिरिक्त शोर है जब तक कि आप इसे बहुत स्थिर रखें।

मुख्य निष्कर्ष

पेपर निष्कर्ष निकालता है कि आप केवल एक ह्यूमन-इन-द-लूप AI कोच को रोबोट प्रशिक्षण प्रणाली में प्लग नहीं कर सकते और उम्मीद नहीं कर सकते कि यह काम करेगा।

यदि रोबोट पहले से ही अच्छे हैं, तो नियमों को बहुत तेज़ी से बदलना उन्हें तोड़ देगा।
यदि रोबोट बहुत खराब हैं, तो नियम ही उन्हें बचाने वाली एकमात्र चीज़ हैं।
यदि रोबोट विशेषज्ञ हैं, तो नियम ज्यादा मायने नहीं रखते, लेकिन स्थिरता अभी भी महत्वपूर्ण है।

इसे सफल बनाने की कुंजी स्थिरता है। आपको या तो टुकड़ों में नियमों को फ्रीज करना होगा या परिवर्तनों को स्मूथ (smooth) बनाना होगा ताकि रोबोट एक चलते हुए लक्ष्य से सीखने की कोशिश न करें।

तकनीकी सारांश: LLM-संवर्धित सहकारी बहु-एजेंट सुदृढीकरण शिक्षण (MARL) का शासन-सशर्त स्थिरीकरण

1. समस्या विवरण

लार्ज लैंग्वेज मॉडल्स (LLMs) को डायनेमिक रिवॉर्ड डिज़ाइनर के रूप में एकीकृत करना, जो सहकारी बहु-एजेंट सुदृढीकरण शिक्षण (Cooperative Multi-Agent Reinforcement Learning - MARL) में एक महत्वपूर्ण और कम खोजा गया विफलता मोड प्रस्तुत करता है। जबकि LLMs मानव उद्देश्यों को रिवॉर्ड सिग्नल में अनुवादित करने के लिए एक स्वाभाविक इंटरफ़ेस प्रदान करते हैं, उनका उपयोग ऑफ-पॉलिसी (off-policy) MARL एल्गोरिदम (जैसे QMIX) में 'पोटेंशियल-बेस्ड रिवॉर्ड शेपिंग' (PBRS) के लिए आवश्यक 'स्टेशनैरिटी धारणा' (stationarity assumption) का उल्लंघन करता है।

मानक ऑफ-पॉलिसी लर्निंग में, एक एक्सपीरियंस रिप्ले बफर विशिष्ट रिवॉर्ड वेट्स के तहत एकत्र किए गए ट्रांजिशन को संग्रहीत करता है। जब एक LLM मानव उद्देश्यों को प्रतिबिंबित करने के लिए इन शेपिंग वेट्स को प्रशिक्षण के दौरान गतिशील रूप से अपडेट करता है, तो संग्रहीत ट्रांजिशन "दूषित" हो जाते हैं। वे उन पुराने (stale) वेट्स के तहत गणना किए गए रिवॉर्ड लेबल्स को वहन करते हैं जो वर्तमान उद्देश्य को प्रतिबिंबित नहीं करते हैं। यह PBRS के टेलिस्कोपिंग सम (telescoping sum) गुण को तोड़ देता है, जो केवल तभी पॉलिसी इनवेरिएंस (policy invariance) की गारंटी देता है जब पोटेंशियल फंक्शन $\Phi$ स्थिर (stationary) हो। फलस्वरूप, लर्निंग एजेंट एक गैर-स्थिर लक्ष्य (non-stationary target) का सामना करता है, जिससे व्यवस्थित पूर्वाग्रह (systematic bias), वैल्यू-फंक्शन अस्थिरता और संभावित विनाशकारी प्रदर्शन पतन होता है।

2. कार्यप्रणाली (Methodology)

2.1. लैंग्वेज-टू-रिवॉर्ड पाइपलाइन

लेखक एक पाइपलाइन प्रस्तावित करते हैं जहाँ एक LLM "रिवॉर्ड आर्किटेक्ट" के रूप में कार्य करता है।

इनपुट: एक उच्च-स्तरीय प्राकृतिक भाषा निर्देश $I$ (जैसे, "गति की तुलना में सुरक्षा को प्राथमिकता दें")।
प्रक्रिया: LLM (Qwen 2.5 3B) निर्देश $I$ को $m=5$ व्याख्या योग्य फीचर फंक्शन्स $\phi(s)$ (जैसे, निकटता, कवरेज, टकराव बचाव) के लिए एक संरचित वेट वेक्टर $w_{LLM}$ में अनुवादित करता है।
आउटपुट: एक शेपिंग पोटेंशियल $\Phi(s; w) = w^\top \phi(s)$ , जो एक शेपिंग रिवॉर्ड $F(s, s') = \gamma\Phi(s') - \Phi(s)$ उत्पन्न करता है।
प्रतिबंध: बेस एनवायरनमेंट रिवॉर्ड के प्रभुत्व को रोकने के लिए वेट्स को $[0, 5]$ के बीच सीमित किया गया है ( $|F|/|r_{base}| \approx 0.05$ )।

2.2. गैर-स्थिरता तंत्र (Non-Stationarity Mechanism)

पेपर चार परस्पर क्रिया करने वाले तंत्रों की पहचान करता है जो ऑफ-पॉलिसी सेटिंग्स में विफलता का कारण बनते हैं:

PBRS उल्लंघन: समय-परिवर्तित पोटेंशियल टेलिस्कोपिंग सम को रद्द होने से रोकते हैं, जिससे एक व्यवस्थित पूर्वाग्रह उत्पन्न होता है जो पॉलिसी को इष्टतम (optimum) से दूर ले जाता है।
रिप्ले बफर संदूषण (Replay Buffer Contamination): बफर में संग्रहीत ट्रांजिशन पिछले वेट कॉन्फ़िगरेशन के रिवॉर्ड लेबल्स को बनाए रखते हैं। इन्हें नए वेट्स के तहत सैंपल करने से परस्पर असंगत उद्देश्यों पर आधारित ग्रेडिएंट्स बनते हैं।
चलता हुआ लक्ष्य (Moving Target): रिवॉर्ड फंक्शन वैल्यू फंक्शन के अनुकूल होने की तुलना में तेजी से बदलता है, जिससे एजेंट एक बदलते हुए उद्देश्य का पीछा करने लगता है।
वैल्यू-फंक्शन अस्थिरता: TD टारगेट्स शेपिंग टर्म को समाहित करते हैं; यदि टर्म टारगेट कंप्यूटेशन और ग्रेडिएंट एप्लीकेशन के बीच बदल जाता है, तो रिग्रेशन टारगेट्स शोर (noisy) बन जाते हैं।

2.3. स्थिरीकरण रणनीतियाँ

स्थिरता बहाल करने के लिए, दो रणनीतियाँ प्रस्तावित की गई हैं:

फेज़-आधारित फ्रीज शेड्यूल (Phase-Based Freeze Schedule): प्रशिक्षण को $K$ चरणों में विभाजित किया गया है। LLM प्रत्येक चरण की शुरुआत में वेट्स जेनरेट करता है, जिन्हें उस चरण की अवधि के लिए फ्रीज कर दिया जाता है। यह चरणों के भीतर सख्त स्थिरता सुनिश्चित करता है, लेकिन चरणों के बीच अचानक बदलाव लाता है।
एक्सपोनेंशियल मूविंग एवरेज (EMA) स्मूथिंग: कच्चे LLM वेट्स को लागू करने के बजाय, सिस्टम नए वेट्स को पिछले वेट्स के साथ ब्लेंड करता है: $w_t = \alpha \cdot w_{LLM} + (1-\alpha) \cdot w_{t-1}$ । यह पोटेंशियल फंक्शन के प्रति-एपिसोड ड्रिफ्ट को सीमित करता है। एक एब्लेशन स्टडी ने $\alpha = 0.2$ को इष्टतम के रूप में चुना।

3. मुख्य योगदान

थ्री-रेजीम टैक्सोनॉमी (Three-Regime Taxonomy): पेपर अनशेप्ड बेसलाइन की सक्षमता के आधार पर सहकारी वातावरणों का वर्गीकरण स्थापित करता है:
- ऑगमेंटेटिव रेजीम (Augmentative Regime): बेसलाइन कार्यात्मक है (जैसे, Simple Spread)। शेपिंग लर्निंग में सहायता करती है लेकिन यदि अस्थिर हो तो पतन का जोखिम उठाती है।
- एसेंशियल रेजीम (Essential Regime): बेसलाइन विफल है (जैसे, Level-Based Foraging)। कार्य को अनलॉक करने के लिए शेपिंग आवश्यक है।
- सप्लीमेंट्री रेजीम (Supplementary Regime): बेसलाइन लगभग संतृप्त (near-saturated) है (जैसे, SMAC 3m)। शेपिंग से घटते प्रतिफल मिलते हैं; स्थिरता प्राथमिक चिंता है ताकि वेरिएंस से बचा जा सके।
स्थिरीकरण तंत्र: ऑफ-पॉलिसी MARL में स्टेशनैरिटी लागू करने के लिए फेज़-बेस्ड फ्रीज और EMA स्मूथिंग का परिचय, जिसमें EMA को पोटेंशियल ड्रिफ्ट को प्रभावी ढंग से सीमित करने के लिए दिखाया गया है।
अनुभवजन्य सत्यापन (Empirical Validation): QMIX (और एक्सप्लोरेटरी VDN) का उपयोग करके तीन वातावरणों (Simple Spread, Level-Based Foraging, SMAC 3m) में पांच रैंडम सीड्स के साथ मल्टी-कंडीशन मूल्यांकन।

4. परिणाम

प्रयोगों से पता चलता है कि डायनेमिक LLM शेपिंग का प्रभाव पूरी तरह से रेजीम पर निर्भर करता है:

Simple Spread (Augmentative):
- बेसलाइन: 74.4% सफलता।
- स्थिर (EMA): 86.7% तक सुधार (+12.3 pp, $p < 0.01$ )।
- डायनेमिक (अस्थिर): 15.2% पर गिर गया।
- अवलोकन: इस रेजीम में, जब तक नियंत्रित न हो, गैर-स्थिरता का शोर शेपिंग के लाभ से अधिक होता है।
Level-Based Foraging (Essential):
- बेसलाइन: ~0.1% सफलता (कार्य असंभव है)।
- स्थिर (EMA): इसने कार्य को अनलॉक किया, 95.9% सफलता प्राप्त की।
- अवलोकन: यहाँ शेपिंग महत्वपूर्ण है; कोई भी स्थिर शेपिंग तंत्र लर्निंग को सक्षम बनाता है।
SMAC 3m (Supplementary):
- बेसलाइन: 98.8% सफलता (लगभग संतृप्त)।
- स्थिर (EMA): 99.9% सफलता।
- डायनेमिक (अस्थिर): काफी उच्च वेरिएंस के साथ 96.4% सफलता।
- अवलोकन: शेपिंग कोई प्रदर्शन लाभ नहीं जोड़ती है, लेकिन स्थिरीकरण अनावश्यक वेरिएंस को रोकता है।

5. महत्व और दावे

पेपर दावा करता है कि ऑफ-पॉलिसी MARL में LLMs को एकीकृत करने के लिए रिवॉर्ड-सिग्नल स्टेशनैरिटी एक आवश्यक डिज़ाइन बाधा है। यह तर्क देता है कि "डायनेमिक सेटिंग" (प्रशिक्षण के दौरान वेट्स को अपडेट करना) केवल एक कोना मामला (corner case) नहीं है, बल्कि ह्यूमन-इन-द-लूप सिस्टम का स्वाभाविक परिनियोजन मोड है।

लेखक अपने कार्य को एक स्थापित नियम के बजाय एक संगठित परिकल्पना के रूप में प्रस्तुत करते हैं, यह सुझाव देते हुए कि रेजीम प्लेसमेंट (बेसलाइन सक्षमता द्वारा निर्धारित) इस बात का व्यावहारिक भविष्यवक्ता है कि डायनेमिक LLM शेपिंग मदद करेगी या नुकसान पहुँचाएगी। वे स्पष्ट रूप से कहते हैं कि उनके निष्कर्ष TD-टारगेट बायस (bias) को वेट ड्रिफ्ट के फलन के रूप में औपचारिक रूप से परिमाणित नहीं करते हैं, इसे एक खुला सैद्धांतिक प्रश्न पहचानते हैं। यह अध्ययन बिना सोचे-समझे डायनेमिक अपडेट के खिलाफ एक चेतावनी के रूप में कार्य करता है और जटिल बहु-एजेंट सिस्टम में सुरक्षित रूप से लैंग्वेज-कंडीशन्ड रिवॉर्ड शेपिंग को तैनात करने के लिए एक सत्यापित ढांचा (EMA smoothing) प्रदान करता है।