तकनीकी सारांश: मल्टी-एजेंट सुदृढीकरण शिक्षण (MARL) में बदलते इष्टतमों (Optima) का अनुसरण करने के लिए उप-इष्टतम क्रियाओं को बनाए रखना

समस्या विवरण

सहकारी मल्टी-एजेंट सुदृढीकरण शिक्षण (MARL) में, सेंट्रलाइज्ड ट्रेनिंग विद डिसेंट्रलाइज्ड एक्जीक्यूशन (CTDE) प्रतिमान के तहत वैल्यू डिकम्पोजिशन विधियों, जैसे कि QMIX, ने महत्वपूर्ण सफलता प्राप्त की है। हालाँकि, ये विधियाँ इंडिविजुअल-ग्लोबल-मैक्स (IGM) स्थिति पर निर्भर करती हैं, जिसे मोनोटोनिसिटी बाधा (monotonicity constraint) के माध्यम से लागू किया जाता है, जो जॉइंट एक्शन-वैल्यू फंक्शन की अभिव्यक्ति (expressiveness) को सीमित करती है। इस कार्य में पहचाना गया एक महत्वपूर्ण दोष यह है कि मौजूदा विधियाँ तब अनुकूलित होने में असमर्थ रहती हैं जब अंतर्नि vực का वैल्यू फंक्शन प्रशिक्षण के दौरान गतिशील रूप से बदल जाता है।

पारंपरिक दृष्टिकोण आमतौर पर एक एकल इष्टतम जॉइंट एक्शन सीखने पर ध्यान केंद्रित करते हैं। जब वातावरण या पुरस्कार संरचना बदलती है, जिससे इष्टतम क्रिया बदल जाती है (जैसे, क्रिया $A$ से क्रिया $C$ में), तो एकल इष्टतम प्रक्षेपवक्र (trajectory) पर निर्भर करने वाली विधियाँ अक्सर नए इष्टतम को खोजने में विफल रहती हैं। यह बड़े जॉइंट एक्शन स्पेस में $\epsilon$-greedy नीतियों पर भारी निर्भरता के कारण और भी बढ़ जाता है, जहाँ कई एजेंटों के बीच वैकल्पिक उच्च-मूल्य वाली क्रियाओं की संयुक्त रूप से अन्वेषण (exploration) करने की संभावना तेजी से घटती है। फलस्वरूप, एजेंट अक्सर समय से पहले उप-इष्टतम नीतियों पर अभिसरित (converge) हो जाते हैं और चलते हुए इष्टतमों का पीछा करने में संघर्ष करते हैं।

कार्यप्रणाली: सक्सेसिव सब-वैल्यू Q-लर्निंग (S2Q)

इन सीमाओं को दूर करने के लिए, लेखक सक्सेसिव सब-वैल्यू Q-लर्निंग (S2Q) का प्रस्ताव करते हैं, जो एक ऐसा ढांचा है जिसे वैकल्पिक उच्च-मूल्य वाली क्रियाओं को बनाए रखने और बदलते इष्टतमों के प्रति तीव्र अनुकूलन सक्षम करने के लिए डिज़ाइन किया गया है।

मुख्य तंत्र

S2Q एकल-वैल्यू दृष्टिकोण से अलग हटकर $K+1$ सब-वैल्यू फंक्शन्स की एक श्रृंखला सीखने का काम करता है, जिन्हें $Q^{sub}_k$ ($k = 0, \dots, K$) के रूप में दर्शाया गया है।

• $Q^{sub}_0$: इसे ग्लोबल जॉइंट वैल्यू फंक्शन $Q_{tot}$ के रूप में परिभाषित किया गया है, जिसे IGM स्थिति के तहत वास्तविक इष्टतम क्रिया की पहचान करने के लिए प्रशिक्षित किया जाता है।
• $Q^{sub}_k$ ($k > 0$): इसे $k$-वें उप-इष्टतम जॉइंट एक्शन को कैप्चर करने के लिए डिज़ाइन किया गया है।

सीखने की प्रक्रिया एक सक्सेसिव सप्रेशन रणनीति (successive suppression strategy) का उपयोग करती है। जबकि $Q^{sub}_0$ ग्लोबल ऑप्टिमम को सीखता है, बाद के सब-वैल्यू फंक्शन्स को उन क्रियाओं के जॉइंट वैल्यू को अधिकतम करने के लिए प्रशिक्षित किया जाता है जिन्हें पिछले सब-वैल्यू फंक्शन्स द्वारा पहचाना गया है। यह एक सप्रेशन टर्म के साथ टेम्पोरल-डिफरेंस (TD) लर्निंग ऑब्जेक्टिव को संशोधित करके प्राप्त किया जाता है। एक दिए गए सब-वैल्यू फंक्शन $Q^{sub}_k$ के लिए, टारगेट वैल्यू को उन क्रियाओं को दबाने (suppress) के लिए समायोजित किया जाता है जो पहले से ही $Q^{sub}_0, \dots, Q^{sub}_{k-1}$ द्वारा इष्टतम या उप-इष्टतम के रूप में पहचानी जा चुकी हैं।

$Q^{sub}_k$ के लिए ऑब्जेक्टिव फंक्शन को इस प्रकार परिभाषित किया गया है:
$$\mathbb{E} \left[ w_k(s_t, a_t) \left( Q^{sub}_k(s_t, \tau_t, a_t) - \left( y_t - \alpha \mathbb{I}(a_t \in A_{k-1,t}) \cdot \max(Q^*_{targ}(s_t, \tau_t, a_t), C) \right) \right)^2 \right]$$
जहाँ $A_{k-1,t}$ पिछले सब-नेटवर्क्स द्वारा पहचानी गई क्रियाओं का सेट है, $\alpha$ एक सप्रेशन फैक्टर है, और $y_t$ एक अनकन्स्ट्रेंड वैल्यू फंक्शन $Q^*$ से प्राप्त टारगेट है। सैद्धांतिक विश्लेषण (थ्योरम 4.1) गारंटी देता है कि पर्याप्त बड़े $\alpha$ के साथ, प्रत्येक $Q^{sub}_k$ सफलतापूर्वक $k$-वें उप-इष्टतम एक्शन की पहचान करता है।

कम्युनिकेशन के माध्यम से समन्वित निष्पादन (Coordinated Execution)

इन सब-वैल्यू फंक्शन्स का प्रभावी ढंग से उपयोग करने के लिए, S2Q मानक $\epsilon$-greedy पॉलिसी के स्थान पर एक सॉफ्टमैक्स-आधारित व्यवहार नीति (Softmax-based behavior policy) का उपयोग करता है।

1. सैंपलिंग: प्रशिक्षण के दौरान, एजेंट ट्रैक किए गए उप-इष्टतम क्रियाओं के मूल्यों ($Q^*(a^*_{0,t}), \dots, Q^*(a^*_{K,t})$) के आधार पर एक सॉफ्टमैक्स वितरण $P_t$ से एक इंडेक्स $k$ का नमूना लेते हैं।
2. निष्पादन: एक बार $k$ चुने जाने के बाद, एजेंट संबंधित सब-वैल्यू फंक्शन $Q^{sub}_k$ की $\epsilon$-greedy पॉलिसी के अनुसार क्रियाएं निष्पादित करते हैं।
3. समन्वय: चूंकि विकेंद्रीकृत एजेंट वैश्विक वितरण $P_t$ को सीधे नहीं देख सकते, इसलिए S2Q प्रशिक्षण के दौरान एक एनकोडर-डिकोडर आर्किटेक्चर का उपयोग करता है। एनकोडर स्थानीय इतिहास को एक लेटेंट रिप्रेजेंटेशन $z_t$ में मैप करता है, और डिकोडर ग्लोबल स्टेट और अनुमानित वितरण $\hat{P}_t$ को पुनर्निर्मित करता है। एजेंट $\hat{P}_t$ के आधार पर $k$ के अपने चुनाव को सिंक्रोनाइज़ करते हैं।
4. विकेंद्रीकृत निष्पादन: महत्वपूर्ण रूप से, परीक्षण (test) के समय, संचार की आवश्यकता नहीं होती है। चूंकि $Q^{sub}_0$ (जो $Q_{tot}$ के समकक्ष है) ग्रीडी इष्टतम क्रिया उत्पन्न करने के लिए पर्याप्त है, इसलिए मूल्यांकन पूरी तरह से विकेंद्रीकृत और संचार-मुक्त रहता है। एक वेरिएंट, S2Q-Comm, भी प्रस्तावित किया गया है जो उन वातावरणों के लिए है जहाँ संचार अनिवार्य है, जो निष्पादन के दौरान लेटेंट $z_t$ प्रदान करता है।

मुख्य योगदान

1. डायनेमिक ऑप्टिमलिटी शिफ्ट्स की पहचान: पेपर इस बात पर प्रकाश डालता है कि मौजूदा वैल्यू डिकम्पोजिशन विधियाँ गतिशील इष्टतमों को ट्रैक करने में विफल रहती हैं क्योंकि वे एक एकल इष्टतम मिलने के बाद उप-इष्टतम क्रियाओं के बारे में जानकारी को हटा देती हैं।
2. सक्सेसिव सब-वैल्यू लर्निंग: एक ऐसे ढांचे की शुरुआत जो स्पष्ट रूप से कई उप-इष्टतम क्रियाओं को सीखता है और उन्हें बनाए रखता है, जिससे सिस्टम को इष्टतम क्रिया बदलने पर तेजी से मुड़ने (pivot) में मदद मिलती है।
3. सॉफ्टमैक्स-आधारित अन्वेषण: एक नवीन अन्वेषण रणनीति जो उनके अनुमानित मूल्यों के आधार पर आशाजनक उप-इष्टतम क्रियाओं पर जाने को प्राथमिकता देती है, जो $\epsilon$-greedy नीतियों में जॉइंट एक्सप्लोरेशन प्रोबेबिलिटी के घातीय क्षय (exponential decay) को पार करती है।
4. कम्युनिकेशन-एफिशिएंट डिज़ाइन: एक तंत्र जो केवल प्रशिक्षण के दौरान सब-वैल्यू चयन को सिंक्रोनाइज़ करने के लिए संचार का उपयोग करता है, जिससे निष्पादन के दौरान पूर्ण विकेंद्रीकरण बना रहता है।

प्रयोगात्मक परिणाम

लेखकों ने दो प्रमुख बेंचमार्क: स्टारक्राफ्ट मल्टी-एजेंट चैलेंज (SMAC) और गूगल रिसर्च फुटबॉल (GRF) पर S2Q का मूल्यांकन किया।

• SMAC-Hard+ और GRF: S2Q ने विभिन्न मैप्स (जैसे, 6h बनाम 8z, MMM2, Corridor) में विभिन्न स्टेट-ऑफ-द-आर्ट बेसलाइन्स (QMIX, WQMIX, DOP, FOP, PAC, RiskQ, और MARR सहित) को लगातार पछाड़ दिया। प्रदर्शन का अंतर उन परिदृश्यों में सबसे अधिक महत्वपूर्ण था जहाँ इष्टतम रणनीति प्रशिक्षण के दौरान बदल जाती है। S2Q ने तेज़ अभिसरण (convergence) और उच्च एसिम्प्टोटिक विन रेट प्रदर्शित किया।
• SMAC-Comm: उन कार्यों में जिनमें स्पष्ट संचार की आवश्यकता होती है (जैसे, 5z बनाम 1ul, bane बनाम hM), S2Q-Comm वेरिएंट ने संचार-केंद्रित बेसलाइन्स जैसे MASIA, NDQ, और CAMA पर पर्याप्त लाभ दिखाया, विशेष रूप से जटिल समन्वय कार्यों में।
• स्टोकेस्टिक वातावरण: S2Q ने SMACv2 (रैंडमाइज्ड टीम कंपोजिशन) और SMAC-Hard (मिक्सचर अपोनेंट) में बेहतर प्रदर्शन बनाए रखा, जो स्टोकेस्टिक डायनेमिक्स के प्रति मजबूती प्रदर्शित करता है।
• सामान्यीकरण (Generality): विधि को VDN और QPLEX जैसे अन्य CTDE बेसलाइन्स पर सफलतापूर्वक विस्तारित किया गया, जिससे निरंतर प्रदर्शन सुधार प्राप्त हुआ।
• एब्लेशन अध्ययन (Ablation Studies): प्रयोगों ने पुष्टि की कि सक्सेसिव सब-वैल्यू लर्निंग और सॉफ्टमैक्स-गाइडेड निष्पादन महत्वपूर्ण घटक हैं। सप्रेशन मैकेनिज्म या सॉफ्टमैक्स पॉलिसी को हटाने से प्रदर्शन में काफी गिरावट आई। सब-नेटवर्क्स की इष्टतम संख्या ($K$) 2 पाई गई, जो विविधता और स्थिरता के बीच संतुलन बनाती है।

महत्व और दावे

पेपर का दावा है कि S2Q सहकारी MARL की एक मौलिक सीमा को संबोधित करता है: एकल इष्टतम पॉलिसी की ओर अभिसरित होने वाली विधियों की कठोरता। उप-इष्टतम क्रियाओं को बनाए रखकर, S2Q एजेंटों को समय से पहले अभिसरण के बिना बदलते वैल्यू लैंडस्केप के प्रति तेजी से अनुकूलित होने में सक्षम बनाता है।

लेखक S2Q को एक व्यावहारिक और सामान्य ढांचे के रूप में प्रस्तुत करते हैं जो चुनौतीपूर्ण MARL वातावरण में अनुकूलन क्षमता और समग्र प्रदर्शन में सुधार करता है। वे इस बात पर जोर देते हैं कि यह विधि निष्पादन के दौरान संचार की आवश्यकता के बिना इन लाभों को प्राप्त करती है, जिससे यह वास्तविक दुनिया की तैनाती के लिए उपयुक्त हो जाती है जहाँ संचार बैंडविड्थ सीमित हो सकती है। यह कार्य सुझाव देता है कि वैकल्पिक विकल्पों को स्पष्ट रूप से ट्रैक करना मल्टी-एजेंट सिस्टम में अन्वेषण और मजबूती बढ़ाने के लिए एक व्यवहार्य और प्रभावी रणनीति है।