तकनीकी सारांश: न्यूरल नेटवर्क नियंत्रकों के स्थिरता मार्जिन (Stability Margins)

समस्या विवरण

मानक न्यूरल नेटवर्क (NN) नियंत्रक जिन्हें सुदृढीकरण शिक्षण (Reinforcement Learning - RL) के माध्यम से प्रशिक्षित किया जाता है, उनमें अक्सर क्लोज्ड-लूप स्थिरता (closed-loop stability) के संबंध में कोई गारंटी नहीं होती है, जो एयरोस्पेस जैसे सुरक्षा-महत्वपूर्ण क्षेत्रों में उनकी तैनाती को सीमित करती है जहाँ नियामक निकाय विशिष्ट मजबूती मेट्रिक्स की मांग करते हैं। जबकि हाल के कार्यों ने एसिम्प्टोटिक स्थिरता (asymptotic stability) के लिए NN नियंत्रकों के सत्यापन और संश्लेषण (synthesis) को संबोधित किया है, ऐसे तरीकों में एक अंतर है जो NN नियंत्रकों को प्रदर्शन पुरस्कारों (performance rewards) को अधिकतम करने के लिए प्रशिक्षित कर सकें और साथ ही विशिष्ट शास्त्रीय मजबूती आवश्यकताओं, विशेष रूप से डिस्क मार्जिन (disk margins) का सख्ती से पालन कर सकें।

यह शोध पत्र एक न्यूरल नेटवर्क नियंत्रक $K$ को प्रशिक्षित करने की प्रतिबन्धात्मक अनुकूलन समस्या (constrained optimization problem) को संबोधित करता है, ताकि एक प्रक्षेपवक्र (trajectory) पर अपेक्षित संचयी पुरस्कार को अधिकतम किया जा सके, इस शर्त के अधीन कि क्लोज्ड-लूप सिस्टम संयंत्रों के एक वर्ग $\mathcal{M}_\alpha$ के लिए स्थिर बना रहे। यह वर्ग एक नाममात्र (nominal) लीनियर टाइम-इनवेरिएंट (LTI) प्लांट और अनिश्चितताओं (LTI और नॉनलीनियर दोनों) से युक्त एक डिस्क मार्जिन $D(\alpha, \sigma)$ द्वारा सीमित अनिश्चितता ब्लॉकों का प्रतिनिधित्व करता है। डिस्क मार्जिन का चयन इसलिए किया गया है क्योंकि यह गेन (gain) और फेज (phase) दोनों के समवर्ती परिवर्तनों को ध्यान में रखता है, जो शास्त्रीय गेन और फेज मार्जिन की तुलना में अधिक कठोर मजबूती गारंटी प्रदान करता है।

कार्यप्रणाली (Methodology)

1. सिस्टम मॉडलिंग

लेखक नियंत्रण वास्तुकला (control architecture) को एक नाममात्र LTI प्लांट और एक न्यूरल नेटवर्क नियंत्रक के बीच एक इंटरकनेक्शन के रूप में मॉडल करते हैं, जो दोनों अनिश्चितता ब्लॉकों के अधीन हैं।

• प्लांट (Plant): नाममात्र प्लांट LTI है। अनिश्चितता को एक इनपुट मल्टीप्लिकेटिव ब्लॉक $H_{\Delta p}$ के रूप में मॉडल किया गया है, जहाँ अनिश्चितता $\Delta_p$ का $L_2$-नॉर्म $\alpha$ द्वारा सीमित है।
• नियंत्रक (Controller): न्यूरल नेटवर्क को एक रिकरेंट इमप्लिसिट न्यूरल नेटवर्क (RINN) के रूप में मॉडल किया गया है। इसमें एक LTI सिस्टम $G_k$ होता है जो स्टैटिक, एलिमेंट-वाइज एक्टिवेशन फंक्शन $\phi$ (जैसे, tanh, ReLU) के साथ जुड़ा होता है। यह फॉर्मूलेशन नियंत्रक को मेमोरी (डायनामिक्स) रखने की अनुमति देता है और फीडफॉरवर्ड तथा रेसिडुअल नेटवर्क सहित विभिन्न आर्किटेक्चर को समाहित करता है।
• अनिश्चितता लक्षण वर्णन (Uncertainty Characterization): प्लांट की अनिश्चितता $\Delta_p$ और नियंत्रक के एक्टिवेशन फंक्शन $\phi$ दोनों को इंटीग्रल क्वाड्रेटिक कंस्ट्रेंट्स (IQCs) का उपयोग करके वर्णित किया गया है। $\Delta_p$ अपने $L_2$ गेन से संबंधित सेक्टर-बाउंड IQC को संतुष्ट करता है, जबकि एक्टिवेशन फंक्शन सेक्टर और स्लोप-रेस्ट्रिक्शन IQCs को संतुष्ट करते हैं।

2. स्थिरता प्रमाणन (Stability Certification)

मुख्य सैद्धांतिक योगदान एक शर्त है जो यह प्रमाणित करती है कि एक विशिष्ट RINN नियंत्रक डिस्क मार्जिन $D(\alpha, \sigma)$ को संतुष्ट करता है।

• क्लोज्ड-लूप सिस्टम को एक LTI सिस्टम के रूप में पुनर्गठित किया गया है जो एक कंपोजिट अनिश्चितता ब्लॉक ($\Delta_p$ और $\phi$ दोनों) के साथ इंटरकनेक्टेड है।
• लाइपुनोव फंक्शन (Lyapunov function) दृष्टिकोण को IQC थ्योरी के साथ जोड़ते हुए, लेखक एक लीनियर मैट्रिक्स इनइक्वेलिटी (LMI) स्थिति (लेम्मा 3.1) व्युत्पन्न करते हैं। इस स्थिति में एक धनात्मक निश्चित मैट्रिक्स (positive definite matrix) $X$ और डायगोनल मल्टीप्लायर मैट्रिसेस $\Lambda_p$ और $\Lambda_k$ को खोजना शामिल है ताकि एक विशिष्ट मैट्रिक्स इनइक्वेलिटी बनी रहे।
• प्रशिक्षण के लिए इस LMI का सीधा अनुप्रयोग कम्प्यूटेशनल रूप से अव्यवहार्य (intractable) है क्योंकि यह इनइक्वेलिटी नियंत्रक पैरामीटर्स $\theta$ और लाइपुनोव मैट्रिक्स $X$ में द्वैरेखीय (bilinear) है।

3. प्रोजेक्शन के साथ प्रशिक्षण एल्गोरिदम

एक ऐसा नियंत्रक संश्लेषित करने के लिए जो स्थिरता बाधा को संतुष्ट करते हुए पुरस्कार को अधिकतम करता है, लेखक एक पुनरावृत्ति प्रशिक्षण एल्गोरिदम (एल्गोरिदम 1) प्रस्तावित करते हैं जो दो चरणों के बीच बारी-बारी से चलता है:

1. सुदृढीकरण शिक्षण चरण (Reinforcement Learning Step): एक मानक RL चरण (जैसे, प्रॉक्सिमल पॉलिसी ऑप्टिमाइजेशन - PPO) पुरस्कार को अधिकतम करने के लिए नियंत्रक पैरामीटर्स $\theta$ को अपडेट करता है। परिणामी पैरामीटर्स $\theta'$ स्थिरता मार्जिन का उल्लंघन कर सकते हैं।
2. स्थिरता मार्जिन-प्रवर्तित चरण (Stability Margin-Enforcing Step): यदि $\theta'$ स्थिरता मार्जिन को संतुष्ट नहीं करता है, तो इसे स्थिर नियंत्रकों के सेट में वापस प्रोजेक्ट किया जाता है।
   • प्रोजेक्शन को कॉनवेक्स (convex) बनाने के लिए, लेखक एक वेरिएबल परिवर्तन (Variable change) का उपयोग करते हैं (जो [8] से प्रेरित है) ताकि नियंत्रक पैरामीटर्स $\theta$ और लाइपुनोव मैट्रिक्स $X$ को नए वेरिएबल्स $\hat{\theta}$ (जिसमें मैट्रिक्स $S, R, N_A, \dots$ शामिल हैं) में बदला जा सके।
   • इस रूपांतरित स्पेस में, स्थिरता की स्थिति $\hat{\theta}$ के सापेक्ष एफाइन (affine) हो जाती है, जिससे प्रोजेक्शन को एक सेमीडेफिनेट प्रोग्राम (SDP) के रूप में तैयार करना संभव हो जाता है।
   • एल्गोरिदम वर्तमान $\hat{\theta}'$ के निकटतम वैध $\hat{\theta}$ खोजने के लिए एक SDP को हल करता है, और फिर समाधान से नियंत्रक पैरामीटर्स $\theta$ को पुनर्गठित करता है।
   • एल्गोरिदम मल्टीप्लायर $\Lambda_p$ को भी बारी-बारी से बदलता है ताकि कंजर्वेटिविज्म (conservatism) को कम किया जा सके, जिसका उद्देश्य पूर्ण प्रोजेक्शन पर जाने से पहले सीधे मार्जिन को प्रमाणित करने का प्रयास करना है।

मुख्य योगदान (Key Contributions)

• प्रशिक्षण ढांचा (Training Framework): एक नवीन विधि जो सुदृढीकरण शिक्षण प्रक्रिया के दौरान स्पष्ट रूप से डिस्क मार्जिन बाधाओं को लागू करते हुए न्यूरल नेटवर्क नियंत्रकों को प्रशिक्षित करती है।
• गणितीय सूत्रीकरण (Mathematical Formulation): प्लांट अनिश्चितता और एक्टिवेशन फंक्शन दोनों के लिए IQCs का उपयोग करके RINN नियंत्रकों के डिस्क मार्जिन प्रमाणन के लिए LMI स्थितियों का व्युत्पन्न।
• कॉन्वेक्स प्रोजेक्शन (Convex Projection): वेरिएबल परिवर्तन और SDP के माध्यम से एक कम्प्यूटेशनल रूप से सुलभ प्रोजेक्शन चरण का विकास, जो ग्रेडिएंट-आधारित प्रशिक्षण लूप के भीतर गैर-कॉन्वेक्स स्थिरता बाधाओं को लागू करने में सक्षम बनाता है।
• सामान्यीकरण (Generalization): यह दृष्टिकोण स्टैटिक (static) नियंत्रकों से आगे बढ़कर डायनेमिक (recurrent) नियंत्रकों तक विस्तृत होता है और IQCs द्वारा वर्णित अनिश्चितताओं को संभालता है, जिसमें LTI और नॉनलीनियर टाइम-वेरिंग डायनामिक्स दोनों शामिल हैं।

प्रयोगात्मक परिणाम (Experimental Results)

विधि का मूल्यांकन एक कार्ट पर फ्लेक्सिबल रॉड (flexible rod on a cart) के सिमुलेशन पर किया गया, जो जटिल डायनामिक्स वाला एक सिस्टम है।

• तुलना के लिए मॉडल (Comparators): प्रस्तावित विधि (SM-RINN) की तुलना निम्नलिखित से की गई:
  • एक अनकन्स्ट्रेंड रिकरेंट इमप्लिसिट न्यूरल नेटवर्क (U-RINN)।
  • एक मानक फुली कनेक्टेड न्यूरल नेटवर्क (FCNN)।
  • एक LTI नियंत्रक जिसे समान स्थिरता बाधाओं के साथ प्रशिक्षित किया गया था।
• बाधाएं (Constraints): सभी बाधित (constrained) नियंत्रकों (SM-RINN और LTI) को $\alpha = 0.353$ और $\sigma = 0$ के साथ एक डिस्क मार्जिन को संतुष्ट करना आवश्यक था, जो 3 dB गेन मार्जिन और 20° फेज मार्जिन के निचले स्तरों के अनुरूप है।
• प्रदर्शन (Performance):
  • अनकन्स्ट्रेंड नियंत्रकों (U-RINN और FCNN) ने उच्चतम पुरस्कार (~3000) प्राप्त किया लेकिन वे स्थिरता की कोई गारंटी नहीं देते हैं।
  • बाधित SM-RINN ने लगभग 2250 का पुरस्कार प्राप्त किया।
  • बाधित LTI नियंत्रक ने सबसे कम पुरस्कार (~1500) प्राप्त किया।
• ट्रेड-ऑफ (Trade-off): परिणाम विशिष्ट प्रदर्शन-मजबूती ट्रेड-ऑफ (performance-robustness trade-off) को प्रदर्शित करते हैं। हालांकि, SM-RINN ने बाधित LTI नियंत्रक की तुलना में काफी बेहतर प्रदर्शन किया (पुरस्कार में ~50% का सुधार), जबकि वही सटीक मजबूती गारंटी बनाए रखी।

महत्व और दावे (Significance and Claims)

यह शोध पत्र दावा करता है कि यह विधि न्यूरल नेटवर्क के उपयोग को उन सुरक्षा-महत्वपूर्ण अनुप्रयोगों में सक्षम बनाती है जहाँ नियामक एजेंसियां स्थिरता मार्जिन अनिवार्य करती हैं। SDP प्रोजेक्शन के माध्यम से प्रशिक्षण लूप में मजबूती बाधाओं को सीधे एकीकृत करके, लेखक दिखाते हैं कि NN नियंत्रक पारंपरिक रैखिक (linear) नियंत्रकों की तुलना में बेहतर प्रदर्शन मेट्रिक्स (पुरस्कार) प्राप्त कर सकते हैं, जबकि उन्हीं कठोर मजबूती आवश्यकताओं को पूरा करते हैं। यह कार्य डीप लर्निंग के लचीलेपन और शास्त्रीय नियंत्रण सिद्धांत द्वारा आवश्यक सुरक्षा गारंटी के बीच के अंतर को पाटता है।