Kernel-Based LMI Approaches to Solving the Hamilton-Jacobi-Bellman Equation and Nonlinear Optimal Control

यहाँ हमज़ी और वैद्य द्वारा लिखित शोध पत्र "Kernel-Based LMI Approaches to Solving the Hamilton–Jacobi–Bellman Equation and Nonlinear Optimal Control" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

यह शोध पत्र गैर-रेखीय इष्टतम नियंत्रण (nonlinear optimal control) समस्याओं के लिए हैमिल्टन-जैकोबी-बेलमैन (HJB) समीकरण को हल करने की मौलिक चुनौती को संबोधित करता है।

• सिस्टम: अनंत-क्षितिज लागत फलन (infinite-horizon cost functional) के साथ कंट्रोल-एफाइन सिस्टम $\dot{x} = f(x) + g(x)u$ के रूप में।
• चुनौती: HJB समीकरण एक गैर-रेखीय आंशिक अंतर असमानता (nonlinear partial differential inequality - PDI) है। सामान्य गैर-रेखीय प्रणालियों के लिए "डायमेंशनलिटी के अभिशाप" (curse of dimensionality) के कारण इसका सीधा समाधान गणनात्मक रूप से अव्यवहार्य है।
• मौजूदा विधियों की सीमाएँ:
  • फाइनाइट डिफरेंस/DP: अवस्था आयाम (state dimension) के साथ घातांकीय गणनात्मक वृद्धि से ग्रस्त हैं।
  • न्यूरल नेटवर्क: अनुकूलन (optimality) और स्थिरता (stability) पर कठोर सैद्धांतिक गारंटी का अभाव है।
  • सम-ऑफ-स्क्वेयर्स (SOS): बहुपद प्रणालियों (polynomial systems) तक सीमित हैं और डिग्री के साथ बड़े पैमाने पर स्केल करने में अक्षम हैं।
  • ऑपरेटर विधियाँ (Koopman/Perron-Frobenius): कार्यान्वयन के लिए अक्सर RKHS ढांचे पर निर्भर करती हैं लेकिन स्वयं HJB असमानता के लिए प्रत्यक्ष उत्तल (convex) सूत्रीकरण का अभाव है।

लक्ष्य एक ऐसी विधि विकसित करना है जो कठोर सैद्धांतिक गारंटी (अनुकूलन, स्थिरता, अभिसरण) प्रदान करे और साथ ही गैर-रेखीय प्रणालियों (अस्थिर संतुलनों सहित) के लिए गणनात्मक रूप से सुलभ रहे।

2. कार्यप्रणाली (Methodology)

लेखक एक कर्नल-आधारित लीनियर मैट्रिक्स इनइक्वेलिटी (LMI) दृष्टिकोण प्रस्तावित करते हैं जो गैर-उत्तल (non-convex) HJB समस्या को एक उत्तल सेमिडेफिनेट प्रोग्राम (SDP) में परिवर्तित करता है। कार्यप्रणाली के चार मुख्य घटक हैं:

A. शूर कॉम्प्लीमेंट के माध्यम से LMI पुनर्गठन (LMI Reformulation via Schur Complement)

गैर-रेखीय HJB असमानता को शूर कॉम्प्लीमेंट लेम्मा का उपयोग करके एक लीनियर मैट्रिक्स इनइक्वेलिटी (LMI) में परिवर्तित किया जाता है।

• मूल HJB असमानता में वैल्यू फंक्शन के ग्रेडिएंट ($\nabla V$) का एक द्विघातीय पद (quadratic term) शामिल होता है।
• एक ब्लॉक मैट्रिक्स $M(x)$ को परिभाषित करके, लेखक दिखाते हैं कि HJB असमानता $M(x) \succeq 0$ के समतुल्य है।
• महत्व: यह समस्या को एक गैर-रेखीय PDI से बदलकर एक ऐसे प्रतिबंध में बदल देता है जो मान फंक्शन के गुणांकों (coefficients) के लिए रेखीय है, जिससे उत्तल अनुकूलन (convex optimization) संभव हो पाता है।

B. रिप्रोड्यूसिंग कर्नल हिल्बर्ट स्पेस (RKHS) सन्निकटन

अनंत-आयामी HJB समीकरण को संभालने के लिए, वैल्यू फंक्शन ग्रेडिएंट $\nabla V(x)$ को एक RKHS के परिमित-आयामी उपस्थान (finite-dimensional subspace) के भीतर अनुमानित किया जाता है।

• प्रतिनिधित्व: वैल्यू फंक्शन को $V(x) = \sum p_i \kappa(x, x_i)$ के रूप में अनुमानित किया जाता है, जहाँ $\kappa$ एक कर्नल फंक्शन है और $p_i$ गुणांक हैं।
• डेरिवेटिव्स: कर्नल विस्तार से ग्रेडिएंट और हेसियन (Hessian) की गणना विश्लेषणात्मक रूप से की जाती है, जिससे LMI प्रतिबंधों को गुणांक वेक्टर $p$ के रेखीय कार्यों के रूप में व्यक्त किया जा सकता है।
• विविक्तकरण (Discretization): अनंत-आयामी LMI को अवस्था स्थान (state space) में विशिष्ट बिंदुओं पर कोलोकेशन (collocation) के माध्यम से प्रतिबंधों के एक परिमित सेट में कम किया जाता है।

C. रिक्कोटी हेसियन प्रतिबंध (The Riccati Hessian Constraint - महत्वपूर्ण नवाचार)

HJB अनुकूलन में एक बड़ी बाधा तुच्छ समाधानों (trivial solutions) का अस्तित्व है (जैसे, $V(x) \equiv 0$), जो असमानता को संतुष्ट करते हैं लेकिन कोई नियंत्रण प्रदान नहीं करते।

• समाधान: लेखक संतुलन बिंदु ($x=0$) पर एक सख्त प्रतिबंध लागू करते हैं:
  $$\nabla^2 V(0) = P$$
  जहाँ $P$ रैखिककृत प्रणाली (linearized system) के अल्जेब्रिक रिक्कोटी समीकरण (ARE) का समाधान है।
• उद्देश्य:
  1. तुच्छता को रोकना: चूंकि स्थिर करने योग्य प्रणालियों (stabilizable systems) के लिए $P \succ 0$ होता है, इसलिए $V \equiv 0$ गणितीय रूप से असंभव है।
  2. संगति सुनिश्चित करना: यह गारंटी देता है कि गैर-रेखीय नियंत्रक संतुलन के पास इष्टतम लीनियर क्वाड्रेटिक रेगुलेटर (LQR) की तरह व्यवहार करता है।
  3. स्थिरता गारंटी: यह स्थानीय घातांकीय स्थिरता (local exponential stability) सुनिश्चित करता है जिसके अभिसरण दर (convergence rates) रैखिक सिद्धांत द्वारा अनुमानित होती हैं।

D. उत्तल सेमिडेफिनेट प्रोग्रामिंग (Convex Semidefinite Programming - SDP)

अंतिम अनुकूलन समस्या गुणांकों के एक नॉर्म (जैसे, $\|p\|^2$) को न्यूनतम करती है, जबकि निम्नलिखित के अधीन है:

1. सीमा स्थितियाँ ($V(0)=0, \nabla V(0)=0$)।
2. रिक्कोटी हेसियन प्रतिबंध ($\nabla^2 V(0) = P$)।
3. कोलोकेशन बिंदुओं पर LMI प्रतिबंध ($M(x_j) \succeq 0$)।
   इसके परिणामस्वरूप एक उत्तल SDP प्राप्त होता है जिसे मानक सॉल्वर (जैसे, SCS) का उपयोग करके कुशलतापूर्वक हल किया जा सकता है।

3. प्रमुख योगदान (Key Contributions)

1. उत्तल पुनर्गठन: शूर कॉम्प्लीमेंट के माध्यम से गैर-रेखीय HJB असमानता और एक लीनियर मैट्रिक्स इनइक्वेलिटी के बीच समानता स्थापित की, जिससे उत्तल अनुकूलन का उपयोग संभव हुआ।
2. RKHS ढांचा: प्रदर्शित किया कि वैल्यू फंक्शन ग्रेडिएंट्स, कठोर सन्निकटन-सैद्धांतिक गारंटी के साथ, एक परिमित-आयामी कर्नल प्रतिनिधित्व को स्वीकार करते हैं।
3. तुच्छ समाधान उन्मूलन: रिक्कोटी हेसियन प्रतिबंध पेश किया, जो एक नवीन तंत्र है जो रैखिक इष्टतम नियंत्रण सिद्धांत के साथ संगति बनाए रखते हुए तुच्छ समाधानों को रोकने का कार्य करता है।
4. सैद्धांतिक गारंटी: निम्नलिखित के लिए पूर्ण प्रमाण प्रदान किए:
   • उप-इष्टतमता सीमा (Suboptimality Bounds): अनुमानित और इष्टतम नियंत्रण के बीच लागत अंतर को सीमित करना।
   • घातांकीय स्थिरता (Exponential Stability): यह सिद्ध करना कि क्लोज्ड-लूप प्रक्षेपवक्र (trajectories) मूल बिंदु की ओर घातांकीय रूप से अभिसरित होते हैं।
   • अभिसरण दर (Convergence Rates): कर्नल केंद्रों के फिल डिस्टेंस (fill distance) के आधार पर त्रुटि सीमाओं को स्थापित करना।
5. एकीकृत ढांचा: दिखाया कि शास्त्रीय ल्यपुनोव फंक्शन निर्माण (जैसे, गिसल की विधि) इस ढांचे का एक विशेष मामला है जब कंट्रोल इनपुट शून्य हो और सिस्टम पहले से ही स्थिर हो।

4. संख्यात्मक परिणाम (Numerical Results)

इस पद्धति को तीन अलग-अलग प्रणालियों पर मान्य किया गया, जो मजबूती और स्केलेबिलिटी प्रदर्शित करती हैं:

• 1D स्केलर बहुपद प्रणाली (1D Scalar Polynomial System):
  • एक प्रणाली जिसमें अस्थिर क्यूबिक ड्रिफ्ट ($\dot{x} = x + x^3 + u$) है।
  • परिणाम: 6 अलग-अलग प्रारंभिक स्थितियों से अस्थिर संतुलन को सफलतापूर्वक स्थिर किया। मध्यम वैश्विक सन्निकटन त्रुटियों के बावजूद, सभी प्रक्षेपवत्त्व मूल बिंदु की ओर घातांकीय रूप से अभिसरित हुए ($|x| < 10^{-6}$)।
• 2D रेडियली सिमेट्रिक सिस्टम (2D Radially Symmetric System):
  • घूर्णी समरूपता (rotational symmetry) और ओपन-लूप अस्थिरता वाला एक 2D सिस्टम।
  • परिणाम: यूनिट सर्कल पर वितरित 8 प्रारंभिक स्थितियों से स्थिर किया। प्रक्षेपवत्त्व मूल बिंदु की ओर सर्पिल (spiral) रूप में अंदर की ओर मुड़े, जो सर्वदिशीय स्थिरता (omnidirectional stability) की पुष्टि करते हैं।
• वैन डेर पोल ऑसिलेटर (Van der Pol Oscillator):
  • एक क्लासिक गैर-बहुपद, गैर-रेखीय ऑसिलेटर जिसमें एक अस्थिर संतुलन है।
  • परिणाम: कर्नल-आधारित LMI दृष्टिकोण ने 8 प्रारंभिक स्थितियों से सिस्टम को सफलतापूर्वक स्थिर किया। पद्धति ने गैर-बहुपद गतिकी (dynamics) को संभालते हुए भी उत्तलता बनाए रखी, और सभी प्रक्षेपवत्त्व मूल बिंदु की ओर अभिसरित हुए ($|x| < 10^{-7}$)।

मुख्य अवलोकन: सभी मामलों में, वैश्विक सन्निकटन सटीकता मध्यम थी, लेकिन स्थानीय सटीकता (रिक्कोटी प्रतिबंध द्वारा प्रवर्तित) वैश्विक घातांकीय स्थिरता सुनिश्चित करने के लिए पर्याप्त थी।

5. महत्व (Significance)

यह कार्य डायनेमिक प्रोग्रामिंग और आधुनिक उत्तल अनुकूलन के बीच की खाई को पाटकर गैर-रेखीय नियंत्रण सिद्धांत में एक महत्वपूर्ण प्रगति का प्रतिनिधित्व करता है।

• सैद्धांतिक कठोरता: कई डेटा-संचालित या लर्निंग-आधारित नियंत्रण विधियों के विपरीत, यह दृष्टिकोण स्थिरता और उप-इष्टतमता के लिए गणितीय प्रमाण (certificates) प्रदान करता है।
• अस्थिरता को संभालना: यह न केवल पहले से स्थिर प्रणालियों के लिए स्थिरता को सत्यापित करता है, बल्कि अस्थिर संतुलन को स्थिर करने (कंट्रोल सिंथेसिस) की अनूठी क्षमता रखता है।
• गणनात्मक सुगमता: RKHS और SDP का लाभ उठाकर, यह ग्रिड-आधारित विधियों से जुड़ी 'डायमेंशनलिटी के अभिशाप' से बचता है और गैर-बहुपद प्रणालियों के लिए SOS प्रोग्रामिंग का एक स्केलेबल विकल्प प्रदान करता है।
• व्यावहारिक अनुप्रयोग: यह पद्धति गणनात्मक रूप से कुशल है (2D समस्याओं को सेकंडों में हल करती है) और विभिन्न प्रारंभिक स्थितियों के प्रति मजबूत है, जो इसे वास्तविक दुनिया के गैर-रेखीय नियंत्रण अनुप्रयोगों के लिए एक व्यवहार्य विकल्प बनाती है।