तकनीकी सारांश: CHMAS – मल्टी-एजेंट सुदृढ़ीकरण लर्निंग के लिए एक युग्मित पदानुक्रमित ढांचा (A Coupled Hierarchical Framework for Multi-Agent Reinforcement Learning)

1. समस्या विवरण (Problem Statement)

मल्टी-एजेंट सुदृढ़ीकरण लर्निंग (MARL) प्रणालियाँ विभिन्न टेम्पोरल और स्पेशियल स्केल्स पर वैश्विक समन्वय (global coordination) और स्थानीय निष्पादन (local execution) के बीच संतुलन बनाने में एक मौलिक चुनौती का सामना करती हैं। विशुद्ध रूप से केंद्रीकृत दृष्टिकोण "आयामों के अभिशाप" (curse of dimensionality) से ग्रस्त होते हैं, जहाँ एजेंटों की संख्या ($N$) के साथ संयुक्त अवस्था-क्रिया स्थान (joint state-action space) तेजी से बढ़ता है, जिससे वे गणनात्मक रूप से अव्यवहार्य हो जाते हैं। इसके विपरीत, विशुद्ध रूप से वितरित विधियाँ अक्सर दीर्घकालिक उद्देश्यों के लिए समन्वय की गुणवत्ता से समझौता करती हैं।

मौजूदा पदानुक्रमित MARL दृष्टिकोण बहु-स्तरीय निर्णय लेने का प्रयास करते हैं, लेकिन वे आमतौर पर एकदिशीय नियंत्रण (unidirectional control) पर निर्भर करते हैं, जहाँ उच्च-स्तरीय नीतियां निम्न-स्तरीय क्रियाओं को बिना किसी फीडबैक के निर्देशित करती हैं। यह दो प्राथमिक मुद्दे पैदा करता है:

1. गैर-स्थिरता (Non-stationarity): रणनीतिक परिवर्तन उन वातावरणों को बदल देते हैं जिन्हें सामरिक एजेंट (tactical agents) देखते हैं, जो स्थिर शिक्षण के लिए आवश्यक स्थिरता धारणाओं का उल्लंघन करते हैं।
2. व्यवहार्यता अंतराल (Feasibility Gap): उच्च-स्तरीय योजनाएं सामरिक वास्तविकताओं से विच्छेदित हो सकती हैं क्योंकि उनमें निम्न-स्तरीय नीतियों की निष्पादन गुणवत्ता के संबंध में फीडबैक का अभाव होता है।

यह शोध पत्र तर्क देता है कि एक ऐसे ढांचे की आवश्यकता है जो रणनीतिक और सामरिक परतों के बीच द्विदिश युग्मन (bidirectional coupling) का समर्थन करे, जो सूचना विषमता (वैश्विक बनाम स्थानीय) और टेम्पोरल एब्स्ट्रैक्शन (धीमी बनाम तेज़ अपडेट) को प्रबंधित करते हुए सैद्धांतिक अभिसरण (convergence) सुनिश्चित करे।

2. कार्यप्रणाली: CHMAS ढांचा (Methodology: The CHMAS Framework)

लेखक कपलड हिरार्किकल मल्टी-एजेंट सिस्टम (CHMAS) का प्रस्ताव करते हैं, जो निर्णय लेने को एक केंद्रीकृत रणनीतिक परत और एक वितरित सामरिक परत में विभाजित करता है जिसमें द्विदिश सूचना प्रवाह होता है।

A. वास्तुशिल्प घटक (Architectural Components)

1. रणनीतिक परत (Strategic Layer - कम आवृत्ति):

   • अवस्था (State): एक विशेष वैश्विक पर्यावरणीय अवस्था ($S_{env}$) के साथ सभी एजेंट अवस्थाओं ($S_{str} = S_{env} \times \prod S_i$) तक पहुँच प्राप्त करती है।
   • क्रिया (Action): प्रत्येक $T$ टाइमस्टेप के बाद प्रत्येक एजेंट के लिए व्यक्तिगत मार्गदर्शन क्रियाएं ($a^{str}_i$) उत्पन्न करती है। ये क्रियाएं अंतराल $[kT, (k+1)T)$ के लिए बनी रहती हैं।
   • पुरस्कार (Reward): एक कपलिंग गुणांक $\lambda$ द्वारा भारित संचित सामरिक फीडबैक के साथ वैश्विक उद्देश्यों ($R_{global}$) को एकीकृत करती है।
   • नीति (Policy): $\pi_{str}$ पूर्ण अवस्था अवलोकनों को मार्गदर्शन वितरण (guidance distributions) में मैप करती है।

2. सामरिक परत (Tactical Layer - उच्च आवृत्ति):

   • अवस्था (State): एजेंट केवल स्थानीय अवस्थाओं, पड़ोसी अवस्थाओं (एक संचार ग्राफ $G$ के माध्यम से), और वर्तमान रणनीतिक मार्गदर्शन ($o^{tac}_i$) का अवलोकन करते हैं।
   • क्रिया (Action): संवर्धित स्थानीय अवलोकनों के आधार पर वितरित नीतियों ($\pi^{tac}_i$) को निष्पादित करती है।
   • पुरस्कार (Reward): स्थानीय पुरस्कार ($R^{tac}_i$) जो रणनीतिक उद्देश्यों को शामिल करते हैं लेकिन स्थानीय रूप से अनुकूलित होते हैं।
   • संक्रमण (Transition): व्यवहार्यता बनाए रखने के लिए संचार ग्राफ पर फैक्टराइज (factorize) होता है।

3. द्विदिश युग्मन (Bidirectional Coupling):

   • नीचे की ओर (Downward): रणनीतिक मार्गदर्शन अवलोकन संवर्धन और पुरस्कार मॉड्यूलेशन के माध्यम से सामरिक व्यवहार को आकार देता है।
   • ऊपर की ओर (Upward): संचित सामरिक पुरस्कार रणनीतिक पुरस्कार फलन में कपलिंग गुणांक $\lambda$ के माध्यम से रणनीतिक उद्देश्यों को प्रभावित करते हैं:
     $$R_{str} = R_{global} + \lambda \sum_{t,i} r^{tac}_{i,t}$$
     यह सुनिश्चित करता है कि रणनीतिक योजनाएं सामरिक व्यवहार्यता में जमी रहें।

B. एसिंक्रोनस हिरार्किकल पॉलिसी ग्रेडिएंट (Asynchronous Hierarchical Policy Gradient - AHPG)

गैर-स्थिरता को संबोधित करने के लिए, पेपर एक एसिंक्रोनस अपडेट प्रोटोकॉल पेश करता है:

• टेम्पोरल सेपरेशन (Temporal Separation): रणनीतिक पैरामीटर केवल प्रत्येक $N_f$ सामरिक एपिसोड के बाद अपडेट होते हैं। रणनीतिक अपडेट के बीच के $N_f$ एपिसोड के दौरान, सामरिक एजेंट स्थिर मार्गदर्शन के साथ एक स्थिर वातावरण में कार्य करते हैं, जिससे उन्हें क्वासी-स्टेशनरी बिंदुओं पर अभिसरित होने की अनुमति मिलती है।
• अपडेट शेड्यूल (Update Schedule):
  • सामरिक पैरामीटर स्थानीय ग्रेडिएंट्स का उपयोग करके प्रत्येक एपिसोड के बाद अपडेट होते हैं।
  • रणनीतिक पैरामीटर प्रत्येक एपोक के अंत में घटते स्टेप साइज ($\eta_{str} \propto 1/\sqrt{k}$) का उपयोग करके अपडेट होते हैं।
• सूचना प्रवाह (Information Flow): रणनीतिक परत $S_{env}$ तक विशेष पहुंच बनाए रखती है, जो एक सूचना बाधा (information bottleneck) के रूप में कार्य करती है जो स्केलेबल वितरित निष्पादन को सक्षम बनाती है।

3. सैद्धांतिक योगदान (Theoretical Contributions)

पेपर प्रस्तावित ढांचे का एक कठोर विश्लेषण प्रदान करता है:

• समस्या सूत्रीकरण (Problem Formulation): प्रस्तावित ढांचे को द्विदिश युग्मन और सूचना विषमता के साथ एक द्वि-स्तरीय अनुकूलन कार्यक्रम (bi-level optimization program) के रूप में औपचारिक रूप देता है। यह एक सामान्य सूत्रीकरण और एक सुलभ एडिटिव एप्रोक्सिमेशन (additive approximation) प्रदान करता है जहाँ वैश्विक उद्देश्य रणनीतिक और सामरिक उद्देश्यों का योग है।
• अभिसरण गारंटी (Convergence Guarantees): मानक धारणाओं (स्मूथनेस, बाउंडेडनेस, सामरिक परतों के लिए पॉलीक-लोजासविच स्थिति, और लिप्सचिट्ज़ कपलिंग) के तहत, लेखक सिद्ध करते हैं कि AHPG एल्गोरिदम $K$ रणनीतिक अपडेट के बाद रणनीतिक परत के लिए $O(\log K / \sqrt{K})$ की अभिसरण दर प्राप्त करता है।
• बायस हैंडलिंग (Bias Handling): विश्लेषण स्पष्ट रूप से गैर-अभिसरित सामरिक पैरामीटर्स के साथ रणनीतिक ग्रेडिएंट्स का मूल्यांकन करने से उत्पन्न होने वाले बायस (bias) को ध्यान में रखता है, यह दिखाते हुए कि एसिंक्रोनस अपडेट शेड्यूल के कारण जैसे-जैसे लर्निंग आगे बढ़ती है, यह बायस समाप्त हो जाता है।

4. प्रयोगात्मक सत्यापन (Experimental Validation)

ढांचे को $25 \times 25$ ग्रिडवर्ल्ड वातावरण में 4 एजेंटों के साथ एक सहकारी मल्टी-एजेंट फोरेजिंग टास्क में सत्यापित किया गया।

• सेटअप (Setup):
  • वैश्विक अवस्था (Global State): सिस्टम-वाइड कवरेज को मापने के लिए सेल विज़िटेशन ($S_{env}$) को ट्रैक करता है।
  • रणनीतिक भूमिका (Strategic Role): प्रत्येक 5 टाइमस्टेप के बाद प्रत्येक एजेंट को एक विशिष्ट $9 \times 9$ क्षेत्र आवंटित करता है।
  • सामरिक भूमिका (Tactical Role): एजेंट निर्दिष्ट क्षेत्रों के भीतर संसाधनों (सेब) को इकट्ठा करने के लिए नेविगेट करते हैं जबकि सीमा उल्लंघन से बचते हैं।
  • कपलिंग (Coupling): $\lambda = 0.5$ वैश्विक कवरेज पुरस्कारों और स्थानीय संग्रह पुरस्कारों के बीच संतुलन बनाता है।
• परिणाम (Results):
  • सामरिक परत (Tactical Layer): एजेंटों ने क्षेत्र बाधाओं का सम्मान करते हुए कुशल संसाधन संग्रह रणनीतियाँ सफलतापूर्वक सीखीं, जहाँ Q-वैल्यू स्थिर हुई और रिटर्न $\approx -80$ से बढ़कर $\approx -10$ हो गया।
  • रणनीतिक परत (Strategic Layer): एसिंक्रोनस अपडेट्स ने रणनीतिक परत को वैश्विक कवरेज को अनुकूलित करने की अनुमति दी, जिससे रिटर्न $\approx -10$ से बढ़कर $\approx 15$ हो गया।
  • व्यवहार (Behavior): प्रशिक्षित मॉडल ने सफल स्थानिक विभाजन (spatial partitioning) प्रदर्शित किया, जहाँ एजेंटों ने गैर-ओवरलैपिंग क्षेत्रों के साथ ग्रिड को टाइल किया और अन्वेषण किए गए क्षेत्रों के अनुसार असाइनमेंट को अनुकूलित किया, जो द्विदिश पदानुक्रमित नियंत्रण की प्रभावशीलता को प्रमाणित करता है।

5. महत्व और दावे (Significance and Claims)

पेपर दावा करता है कि CHMAS एजेंटों को कई टेम्पोरल स्केल्स पर समन्वित करने के लिए एक नया वास्तुशिल्प प्रतिमान (architectural paradigm) प्रदान करता है। इसका महत्व निम्नलिखित में निहित है:

1. द्विदिश फीडबैक (Bidirectional Feedback): पारंपरिक टॉप-डाउन पदानुक्रमों के विपरीत, CHMAS एक फीडबैक तंत्र स्थापित करता है जहाँ सामरिक निष्पादन की गुणवत्ता रणनीतिक योजना को सूचित करती है, जिससे व्यवहार्यता सुनिश्चित होती है।
2. स्केलेबिलिटी (Scalability): वितरित सामरिक निष्पादन को बनाए रखते हुए और रणनीतिक परत तक सीमित गणना (जो कम आवृत्ति पर संचालित होती है) को सीमित करके, यह ढांचा आयामों के अभिशाप को संबोधित करता है।
   कौशल (Dimensions) के अभिशाप को संबोधित करता है।
3. सैद्धांतिक कठोरता (Theoretical Rigor): यह द्विदिश सूचना प्रवाह वाले एक युग्मित पदानुक्रमित MARL सिस्टम के लिए पहला कठोर अभिसरण विश्लेषण प्रदान करता है, जो एसिंक्रोनस अपडेट के तहत स्थिरता को सिद्ध करता है।
4. सिद्धांतिक बाधा प्रबंधन (Principled Constraint Handling): ढांचा कंस्ट्रेंड सुदृढ़ीकरण लर्निंग के लिए एक सिद्धांत-आधारित दृष्टिकोण प्रदान करता है, जहाँ रणनीतिक मार्गदर्शन वैश्विक बाधाओं को एनकोड करता है और सामरिक फीडबैक स्थानीय व्यवहार्यता सुनिश्चित करता है, जिसे $\lambda$ के माध्यम से ट्यून किया जा सकता है।

लेखक निष्कर्ष निकालते हैं कि ढांचा सफलतापूर्वक स्थानिक रूप से विभाजित अन्वेषण रणनीतियों को सीखता है और पदानुक्रमित युग्मन के अंतर्निहित गैर-स्थिरता के बावजूद दोनों परतें स्थिर रूप से अभिसरित होती हैं।