Second-Order MPC-Based Distributed Q-Learning

तकनीकी सारांश: द्वितीय-क्रम (Second-Order) MPC-आधारित वितरित Q-लर्निंग

समस्या का परिवेश
यह कार्य बड़े पैमाने की, बहु-एजेंट प्रणालियों के लिए इष्टतम नियंत्रण नीतियों (optimal control policies) को सीखने की चुनौती को संबोधित करता है जहाँ एजेंटों के पास केवल स्थानीय जानकारी होती है और वे केवल पड़ोसियों (पड़ोसी-से-पड़ोसी, या N2N) के साथ संचार करते हैं। इस प्रणाली को एक सहकारी बहु-एजेंट मार्कोव निर्णय प्रक्रिया (MDP) के रूप में मॉडल किया गया है जिसमें रैखिक गतिकी (linear dynamics) है, जहाँ वास्तविक संक्रमण गतिकी (transition dynamics) अज्ञात है। उद्देश्य एक वैश्विक रियायती लागत फलन (global discounted cost function) को कम करना है, जो स्थानीय लागतों का औसत है, जबकि गोपनीयता संबंधी बाधाओं का सम्मान करना है जो एजेंटों के बीच स्थानीय लागत फलनों या गतिकी को साझा करने से रोकती हैं।

जबकि मॉडल प्रेडिक्टिव कंट्रोल (MPC)-आधारित सुदृढीकरण लर्निंग (RL) ने मान फलनों (value functions) और नीतियों के लिए व्याख्या योग्य फलन सन्निकटन (interpretable function approximators) के रूप में MPC योजनाओं का सफलतापूर्वक उपयोग किया है, बहु-एजेंट परिवेश के लिए मौजूदा वितरित दृष्टिकोण प्रथम-क्रम (first-order) ग्रेडिएंट अपडेट तक ही सीमित हैं। प्रथम-क्रम विधियों को स्थिरता सुनिश्चित करने के लिए छोटे लर्निंग रेट की आवश्यकता हो सकती है और वे धीमी अभिसरण (convergence) दर या सैडल पॉइंट्स (saddle points) से बाहर निकलने में कठिनाई का सामना कर सकते हैं। यह शोध पत्र प्रस्तावित करता है कि द्वितीय-क्रम की जानकारी को शामिल करने से अभिसरण गति में उल्लेखनीय वृद्धि हो सकती है और यदि अपडेट को वितरित प्रारूप में विघटित किया जा सके, तो यह प्रक्रिया को अस्थिर किए बिना उच्च लर्निंग रेट की अनुमति भी दे सकता है।

कार्यप्रणाली
यह शोध पत्र मॉलिक एट अल. (2024) द्वारा पहले पेश किए गए वितरित MPC-आधारित Q-लर्निंग ढांचे के द्वितीय-क्रम विस्तार का प्रस्ताव करता है। मुख्य कार्यप्रणाली में मानक प्रथम-क्रम ग्रेडिएंट डिसेंट के स्थान पर एक द्वितीय-क्रम अपडेट नियम (जो न्यूटन स्टेप के समान है) को प्रतिस्थापित करना शामिल है, जिसे स्थानीय जानकारी और N2N संचार पर निर्भर स्थानीय अपडेट में विघटित किया जाता है।

1. फलन सन्निकटन के रूप में MPC: Q-फंक्शन को एक संरचित उत्तल (convex) वितरित MPC योजना द्वारा अनुमानित किया जाता है। टेम्पोरल डिफरेंस (TD) त्रुटि को कम करने के लिए MPC लागत, मॉडल और बाधाओं के मापदंडों $\theta$ को सीखा जाता है।
2. द्वितीय-क्रम अपडेट फॉर्मूलेशन: एक वैश्विक द्वितीय-क्रम अपडेट $\theta \leftarrow \theta - \alpha d$ के रूप में परिभाषित किया गया है, जहाँ $d$ रैखिक प्रणाली $(H + \Lambda)d = q$ को हल करता है। यहाँ $H$ अनुमानित हेसियन (Hessian) है (जो ग्रेडिएंट और Q-फंक्शन के द्वितीय डेरिवेटिव के बाहरी उत्पादों से निर्मित है), $q$ ग्रेडिएंट वेक्टर है, और $\Lambda$ एक नियमितीकरण (regularization) पद है।
3. सहमति (Consensus) के माध्यम से वितरित विघटन: प्राथमिक तकनीकी चुनौती यह है कि हेसियन $H$ में क्रॉस-कपलिंग पद होते हैं जो एजेंटों के बीच सरल पृथक्करण को रोकते हैं। लेखक यह प्रदर्शित करते हैं कि ग्लोबल एवरेज कंसेंसस (GAC) एल्गोरिदम का लाभ उठाकर, वैश्विक अपडेट को विकेंद्रीकृत किया जा सकता है:
   • पुनरावर्ती मामला ($T=1$): शेर्मन-मोरिसन (Sherman-Morrison) फॉर्मूला का उपयोग करके, अपडेट को स्थानीय पदों में विघटित किया जाता है। स्थानीय अपडेट के लिए आवश्यक वैश्विक ग्रेडिएंट के स्केलर नॉर्म (norm) की गणना सहमति (consensus) के माध्यम से की जाती है।
   • पूर्ण द्वितीय-क्रम मामला ($T>1$): $T$ ट्रांजिशन के बैच के लिए, लेखक वुडबरी मैट्रिक्स आइडेंटिटी (Woodbury matrix identity) का उपयोग करते हैं। वे एक मैट्रिक्स $C$ को परिभाषित करते हैं जिसमें $g_{\tau}^\top \tilde{K} g_{\tau'}$ के रूप में पद शामिल हैं, जहाँ $\tilde{K}$ स्थानीय द्वितीय-क्रम जानकारी से प्राप्त ब्लॉक-डायगोनल मैट्रिक्स है। चूंकि $C$ स्थानीय रूप से गणनीय पदों का योग है, इसलिए इसके प्रविष्टियों (entries) को GAC के माध्यम से सभी एजेंटों के लिए उपलब्ध कराया जा सकता है।
   • स्थानीय अपडेट नियम: परिणामी स्थानीय अपडेट एजेंट $i$ के लिए $\theta_i \leftarrow \theta_i + \alpha \tilde{K}_i G_i (\delta - (I + C)^{-1}C\delta)$ द्वारा दिया गया है। यह प्रत्येक एजेंट को अपने स्थानीय मापदंडों, स्थानीय द्वितीय-क्रम डेरिवेटिव और मैट्रिक्स $C$ एवं TD त्रुटि वेक्टर $\delta$ के लिए सहमति मानों का उपयोग करके अपना अपडेट कंप्यूट करने की अनुमति देता है।

प्रमुख योगदान

• द्वितीय-क्रम विस्तार: यह शोध पत्र MPC-आधारित वितरित Q-लर्निंग को प्रथम-क्रम से द्वितीय-क्रम अपडेट में विस्तारित करता है, जो सैद्धांतिक रूप से तेज़ अभिसरण और उच्च लर्निंग रेट को सक्षम बनाता है।
• वितरित विकेंद्रीकरण (Distributed Decoupling): यह कठोरता से सिद्ध करता है कि कैसे एक वैश्विक द्वितीय-क्रम अपडेट को केवल स्थानीय जानकारी और पड़ोसी संचार का उपयोग करके स्थानीय अपडेट में विघटित किया जा सकता है। यह पूर्ण हेसियन व्युत्क्रम (inverse) की गणना के लिए केंद्रीय इकाई की आवश्यकता को समाप्त करता है।
• स्केलेबिलिटी: प्रत्येक एजेंट के लिए कम्प्यूटेशनल बोझ $n_{\theta_i} \times n_{\theta_i}$ और $T \times T$ आकार के मैट्रिसेस के व्युत्क्रम (inversion) से संबंधित है, जो एजेंटों की कुल संख्या $M$ से स्वतंत्र है। इसके विपरीत, एक केंद्रीकृत दृष्टिकोण के लिए $(\sum n_{\theta_i}) \times (\sum n_{\theta_i})$ आकार के मैट्रिक्स के व्युत्क्रम की आवश्यकता होगी, जो नेटवर्क आकार के साथ खराब तरीके से स्केल करता है।
• संचार दक्षता: हालांकि मैट्रिक्स $C$ पर सहमति के कारण संचार भार $O(T^2)$ के साथ स्केल होता है, फिर भी यह नेटवर्क आकार $M$ से स्वतंत्र रहता है।

परिणाम
प्रस्तावित विधि (D-SO) का मूल्यांकन स्टेट कपलिंग वाले तीन-एजेंट रैखिक सिस्टम के सिमुलेशन में किया गया है जहाँ गतिकी अज्ञात है। एजेंटों को बाधा उल्लंघन से बचते हुए अपनी अवस्थाओं को मूल (origin) की ओर विनियमित करना है।

• प्रदर्शन तुलना: D-SO दृष्टिकोण की तुलना एक वितरित प्रथम-क्रम विधि (D-FO) और एक केंद्रीकृत द्वितीय-क्रम विधि (C-SO) से की गई है।
• अभिसरण (Convergence): सिमुलेशन परिणाम दर्शाते हैं कि D-SO, वैश्विक TD त्रुटि और स्टेज कॉस्ट के अभिसरण और सीखने की गति के मामले में D-FO से काफी बेहतर प्रदर्शन करता है।
• तुल्यता (Equivalence): D-SO का व्यवहार और सीखने के परिणाम C-SO के तुलनीय दिखाए गए हैं, जो यह प्रमाणित करते हैं कि वितरित द्वितीय-क्रम अपडेट प्रभावी रूप से वैश्विक अपडेट का पुनर्निर्माण करते हैं।
• स्थिरता: द्वितीय-क्रम विधियाँ $\alpha = 10^{-4}$ के लर्निंग रेट का उपयोग करती हैं, जबकि प्रथम-क्रम विधि को स्थिर रहने के लिए बहुत छोटे $\alpha = 10^{-8}$ की आवश्यकता होती है, जो द्वितीय-क्रम दृष्टिकोण के स्थिरता लाभों को रेखांकित करता है।

महत्व और दावे
यह शोध पत्र दावा करता है कि यह कार्य द्वितीय-क्रम अनुकूलन (optimization) के सैद्धांतिक लाभों और वितरित बहु-एजेंट प्रणालियों की व्यावहारिक बाधाओं के बीच के अंतर को सफलतापूर्वक पाटता है। यह सिद्ध करके कि वैश्विक द्वितीय-क्रम अपडेट को स्थानीय जानकारी और पड़ोसी संचार से पुनर्गठित किया जा सकता है, लेखक वितरित नियंत्रण में तेज़ और अधिक स्थिर शिक्षण का मार्ग प्रशस्त करते हैं। यह कार्य दावा करता है कि प्रस्तावित योजना प्रदर्शन समानता बनाए रखते हुए गोपनीयता और संचार बाधाओं का सम्मान करते हुए, केंद्रीकृत द्वितीय-क्रम लर्निंग का एक पूर्णतः वितरित विकल्प प्रदान करती है। लेखक उल्लेख करते हैं कि भविष्य के कार्य इस कार्यप्रणाली को पॉलिसी-आधारित लर्निंग एल्गोरिदम, जैसे कि पॉलिसी ग्रेडिएंट तक विस्तारित करने की खोज करेंगे।