Computationally efficient Gauss-Newton reinforcement learning for model predictive control

यहाँ शोध पत्र "Computationally efficient Gauss-Newton reinforcement learning for model predictive control" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

यह शोध पत्र मॉडल प्रेडिक्टिव कंट्रोल (MPC) नीतियों पर रीइन्फोर्समेंट लर्निंग (RL) को लागू करने की चुनौती का समाधान करता है। जबकि MPC व्याख्यात्मकता (interpretability), बाधा प्रबंधन (constraint handling) और ब्लैक-बॉक्स न्यूरल नेटवर्क (NN) नीतियों की तुलना में मजबूत प्रारंभिक प्रदर्शन प्रदान करता है, RL के माध्यम से MPC मापदंडों (parameters) को अनुकूलित करना गणनात्मक रूप से अत्यधिक कठिन है।

• बाधा (The Bottleneck): अधिकांश RL विधियाँ प्रथम-क्रम अनुकूलन (first-order optimization) (जैसे Gradient Descent/Adam) पर निर्भर करती हैं, जो रैखिक रूप से अभिसरित (converge) होती हैं। यह तब अक्षम हो जाता है जब प्रत्येक नीति अपडेट के लिए एक अनुकूल नियंत्रण समस्या (OCP) को हल करने की आवश्यकता होती है।
• द्वितीय-क्रम की दुविधा (The Second-Order Dilemma): द्वितीय-क्रम विधियाँ (जैसे Newton, Quasi-Newton) सुपरलीनियर अभिसरण (superlinear convergence) प्रदान करती हैं, जो MPC के लिए अत्यंत वांछनीय है। हालाँकि, सटीक द्वितीय-क्रम विधियों के लिए नीति के हेसियन (Hessian) की गणना करने की आवश्यकता होती है। MPC के लिए, इसमें सिस्टम के लैग्रेंजियन (Lagrangian) के तृतीय-क्रम डेरिवेटिव्स पर निर्भर द्वितीय-क्रम नॉनलीनियर प्रोग्रामिंग (NLP) संवेदनशीलता की गणना शामिल है। यह उच्च-आयामी या अत्यधिक गैर-रैखिक प्रणालियों के लिए गणनात्मक रूप से अव्यवहार्य और मेमोरी-गहन है।
• स्थिरता संबंधी मुद्दे (Stability Issues): मौजूदा द्वितीय-क्रम सन्निकटन (approximations) शोर वाले ग्रेडिएंट/हेसियन अनुमानों और खराब पैरामीटर स्केलिंग के कारण अस्थिरता से ग्रस्त होते हैं, जिससे प्रशिक्षण अनिश्चित हो जाता है।

2. कार्यप्रणाली (Methodology)

लेखक एक ढांचा प्रस्तावित करते हैं जो गाउस-न्यूटन सन्नकटन (Gauss-Newton approximation) को मोमेंटम-आधारित औसत (momentum-based averaging) और एक अनुकूली ट्रस्ट-रीजन (adaptive trust-region) रणनीति के साथ जोड़ता है।

A. गाउस-न्यूटन हेसियन सन्नकटन (Gauss-Newton Hessian Approximation)

मुख्य सैद्धांतिक योगदान नियतवान (deterministic) नीति हेसियन का एक नवीन सन्नकटन है जो द्वितीय-क्रम NLP संवेदनशीलता की आवश्यकता को समाप्त करता है।

• मानक सन्नकटन: पिछले कार्य (Kordabad et al., 2022) ने हेसियन को $M = M_1 + M_2$ के रूप में अनुमानित किया था। $M_1$ पद के लिए द्वितीय-क्रम नीति डेरिवेटिव्स की आवश्यकता होती है (जो गणनात्मक रूप से महंगा है)।
• नवाचार: लेखक सिद्ध करते हैं कि जैसे-जैसे नीति पैरामीटर $\theta$, इष्टतम $\theta^*$ की ओर बढ़ते हैं, $M_1$ पद लुप्त हो जाता है क्योंकि इष्टतम पर क्रियाओं (actions) के सापेक्ष एक्शन-वैल्यू फंक्शन का ग्रेडिएंट शून्य हो जाता है (लेम्मा 1)।
• परिणाम: वे केवल $M_2$ पद (गाउस-न्यूटन सन्नकटन) का उपयोग करने का प्रस्ताव देते हैं:
  $$M_2(\theta) = \mathbb{E}_s \left[ \nabla_\theta \pi_\theta(s)^\top \nabla_a^2 Q_{\pi_\theta}(s, a)|_{a=\pi_\theta(s)} \nabla_\theta \pi_\theta(s) \right]$$
  यह पद केवल प्रथम-क्रम NLP संवेदनशीलता (नीति का जैकोबियन) पर निर्भर करता है, जो गणनात्मक रूप से सुलभ है, फिर भी लेखक कठोरता से सिद्ध करते हैं कि यह सन्नकटन अभी भी सुपरलीनियर अभिसरण की गारंटी देता है।

B. मोमेंटम-आधारित हेसियन औसत (Momentum-Based Hessian Averaging)

स्टोकेस्टिक RL अनुमानों (राज्यों और क्रियाओं के सीमित नमूने) में निहित शोर को संभालने के लिए, लेखक हेसियन अनुमान के लिए एक मोमेंटम योजना पेश करते हैं।

• वे स्थानीय हेसियन अनुमानों के एक बायस्ड एक्सपोनेंशियल मूविंग एवरेज को परिभाषित करते हैं।
• महत्वपूर्ण रूप से, वे एक विशिष्ट आरंभीकरण रणनीति (initialization strategy) (पहले Adam मोमेंटम अनुमान के वर्गमूल का उपयोग करके) प्रस्तावित करते हैं ताकि हेसियन को शुरुआती गलत अनुमानों द्वारा हावी होने से रोका जा सके।
• एक बायस-करेक्शन फैक्टर लागू किया जाता है ताकि यह सुनिश्चित हो सके कि अनुमान निष्पक्ष (unbiased) है।

C. अनुकूली ट्रस्ट-रीजन अनुकूलन (Adaptive Trust-Region Optimization)

प्रशिक्षण के दौरान स्थिरता सुनिश्चित करने के लिए, पैरामीटर अपडेट को एक अनुकूली ट्रस्ट-रीजन के भीतर सीमित किया जाता है।

• RL में अनुमानित बनाम वास्तविक रिवॉर्ड (जो शोर वाला होता है) की तुलना करने के बजाय, ट्रस्ट-रीजन त्रिज्या $\delta_k$ को Adam अपडेट स्टेप के 2-नॉर्म के आधार पर गतिशील रूप से स्केल किया जाता है।
• यह बड़े ग्रेडिएंट्स (इष्टतम से दूर) के समय बड़े स्टेप्स और इष्टतम के पास रूढ़िवादी (conservative) स्टेप्स लेने की अनुमति देता है, बिना महंगे ऑब्जेक्टिव फंक्शन तुलना की आवश्यकता के।

3. मुख्य योगदान (Key Contributions)

1. गणनात्मक रूप से कुशल हेसियन: एक गाउस-न्यूटन सन्नकटन जो तृतीय-क्रम डेरिवेटिव्स और द्वितीय-क्रम NLP संवेदनशीलता की आवश्यकता को हटा देता है, जिससे सुपरलीनियर अभिसरण गारंटी बनाए रखते हुए गणनात्मक जटिलता कम हो जाती है।
2. मजबूत प्रशिक्षण योजना: शोर वाले अनुमानों और बदलते पैरामीटर स्केल्स के साथ स्थिर प्रशिक्षण सुनिश्चित करने के लिए मोमेंटम-आधारित हेसियन औसत तकनीक के साथ एक अनुकूली ट्रस्ट-रीजन बाधा।
3. सैद्धांतिक प्रमाण: एक कठोर गणितीय प्रमाण कि प्रस्तावित सन्नकटन इष्टतम नीति की ओर सुपरलीनियर रूप से अभिसरित होता है।
4. अनुभवजन्य सत्यापन (Empirical Validation): एक गैर-रैखिक निरंतरतापूर्वक मिश्रित रिएक्टर (CSTR) पर परीक्षण, जो प्रथम-क्रम विधियों (Adam) और डीप RL (TD3) की तुलना में बेहतर डेटा दक्षता और अभिसरण गति प्रदर्शित करता है।

4. परिणाम (Results)

प्रस्तावित विधि का मूल्यांकन विभिन्न स्तरों के पैरामीट्राइजेशन (2, 13, और 33 प्रशिक्षणीय पैरामीटर) के साथ एक गैर-रैखिक CSTR बेंचमार्क पर किया गया।

• अभिसरण गति (Convergence Speed): गाउस-न्यूटन दृष्टिकोण Adam ऑप्टिमाइज़र (प्रथम-क्रम) और TD3 की तुलना में काफी तेजी से अभिसरित हुआ और इष्टतम प्रदर्शन तक पहुँचने के लिए कम एपिसोड की आवश्यकता हुई। इसने अत्यधिक पैरामीटराइज्ड नीतियों के लिए वॉल-क्लॉक टाइम के मामले में "एप्रोक्सिमेट न्यूटन" पद्धति (जो पूर्ण $M_1+M_2$ हेसियन का उपयोग करती है) को भी पीछे छोड़ दिया।
• गणनात्मक दक्षता (Computational Efficiency):
  • Adam: प्रति इटरेशन सबसे तेज़ लेकिन अभिसरण में सबसे धीमा।
  • Approximate Newton: द्वितीय-क्रम संवेदनशीलता गणनाओं के द्विघातीय स्केलिंग के कारण प्रति इटरेशन अत्यंत धीमा; उच्च पैरामीटर गणना के लिए अव्यवहार्य हो गया।
  • प्रस्तावित Gauss-Newton: इटरेशन समय Adam से लगभग दोगुना था लेकिन पूर्ण Approximate Newton की तुलना में काफी कम था। कुल इटरेशन में कमी के परिणामस्वरूप जटिल नीतियों के लिए शुद्ध लाभ प्राप्त हुआ।
• स्केलिंग के प्रति मजबूती (Robustness to Scaling): विधि ने खराब पैरामीटर स्केलिंग के प्रति उच्च लचीलापन दिखाया। जहाँ Adam विफल रहा या स्थानीय इष्टतम में फंस गया, वहीं गाउस-न्यूटन पद्धति मजबूती से अभिसरित हुई।
• डीप RL के साथ तुलना: TD3 के साथ प्रशिक्षित न्यूरल नेटवर्क नीति की तुलना में:
  • आरंभीकरण (Initialization): NN की रैंडम इनिशियलाइजेशन की तुलना में MPC-आधारित RL ने बहुत बेहतर प्रारंभिक नीति (एक मॉडल-आधारित OCP को हल करके) से शुरुआत की।
  • प्रदर्शन: प्रशिक्षित MPC नीति ने NN नीति की तुलना में कम बाधा उल्लंघन के साथ उच्च अंतिम संचयी रिवॉर्ड और बेहतर सेटपॉइंट ट्रैकिंग प्राप्त की।
  • डेटा दक्षता: MPC दृष्टिकोण को उच्च प्रदर्शन प्राप्त करने के लिए पर्यावरण के साथ काफी कम इंटरैक्शन की आवश्यकता पड़ी।

5. महत्व (Significance)

यह कार्य मॉडल प्रेडिक्टिव कंट्रोल की व्याख्यात्मकता और सुरक्षा को रीइन्फोर्समेंट लर्निंग की अनुकूलन क्षमता के साथ जोड़ता है। MPC नीतियों के लिए द्वितीय-क्रम अनुकूलन को गणनात्मक रूप से व्यवहार्य बनाकर, यह शोध पत्र निम्नलिखित को सक्षम बनाता है:

• सैंपल दक्षता (Sample Efficiency): एजेंट-पर्यावरण इंटरैक्शन की संख्या में भारी कमी, जो औद्योगिक प्रक्रियाओं के लिए महत्वपूर्ण है जहाँ डेटा संग्रह महंगा या जोखिम भरा होता है।
• स्केलेबिलिटी (Scalability): पूर्ण द्वितीय-क्रम डेरिवेटिव्स से जुड़ी गणनात्मक विस्फोट के बिना जटिल, अत्यधिक पैरामीटराइज्ड MPC नीतियों को ट्यून करने की क्षमता।
• स्थिरता (Stability): एक मजबूत ढांचा जो औद्योगिक नियंत्रण प्रणालियों के विशिष्ट शोर और स्केलिंग मुद्दों को संभालता है, जिससे RL वास्तविक दुनिया के प्रक्रिया नियंत्रण अनुप्रयोगों के लिए एक व्यवहार्य विकल्प बन जाता है।

संक्षेप में, यह शोध पत्र उन्नत द्वितीय-क्रम RL तकनीकों का उपयोग करके MPC नीतियों को अनुकूलित करने के लिए एक गणितीय रूप से सुदृढ़ और व्यावहारिक रूप से कुशल मार्ग प्रदान करता है, जिससे उन प्राथमिक गणनात्मक बाधाओं को दूर किया गया है जिन्होंने पहले इनके उपयोग को सीमित कर दिया था।