Learning Safe-by-Design Neural Network Controllers

तकनीकी सारांश: सुरक्षित-दर-डिज़ाइन (Safe-by-Design) न्यूरल नेटवर्क नियंत्रकों को सीखना

समस्या विवरण
जटिल, उच्च-आयामी गैररेखीय गतिकी (nonlinear dynamics) को संभालने के लिए न्यूरल नेटवर्क (NN) का उपयोग फीडबैक कंट्रोल पॉलिसी के रूप में तेजी से किया जा रहा है। हालांकि, शुद्ध रूप से सीखे गए नियंत्रक अक्सर औपचारिक सुरक्षा गारंटी (formal safety guarantees) की कमी रखते हैं, जिससे वे ऐसे क्रियान्वयन (actions) उत्पन्न कर सकते हैं जो टकराव से बचाव या एक्चुएटर सीमाओं जैसे महत्वपूर्ण बाधाओं का उल्लंघन करते हैं। एक सामान्य शमन रणनीति (mitigation strategy) एक पूर्व-प्रशिक्षित नियंत्रक के साथ एक सुरक्षा फ़िल्टर जोड़ना है, जो आमतौर पर कंट्रोल बैरियर फंक्शन्स (CBFs) पर आधारित होता है। मानक ढांचों में, यह फ़िल्टर एक CBF उम्मीदवार $h(x)$ और एक विस्तारित क्लास-$\mathcal{K}$ फंक्शन $\alpha(\cdot)$ द्वारा परिभाषित सुरक्षा बाधाओं को लागू करने के लिए ऑनलाइन क्वाड्रेटिक प्रोग्राम (QP) को हल करता है।

यह विखंडित डिज़ाइन (decoupled design) दो प्राथमिक सीमाएं प्रस्तुत करता है:

1. रूढ़िवादिता और उप-इष्टतमता (Conservatism and Suboptimality): $\alpha(\cdot)$ फंक्शन अक्सर स्थिर रहता है (जैसे, $\alpha(h) = \omega h$) जिसमें मैन्युअल रूप से ट्यून किए गए पैरामीटर होते हैं। खराब ट्यूनिंग अत्यधिक रूढ़िवादी व्यवहार की ओर ले जाती है, जिससे नियंत्रण प्रदर्शन घट जाता है, जबकि आक्रामक ट्यूनिंग सुरक्षा उल्लंघन का जोखिम पैदा करती है।
2. कंप्यूटेशनल ओवरहेड: रनटाइम पर QP को हल करने से कंप्यूटेशनल विलंबता (latency) और विश्वसनीयता संबंधी चिंताएं उत्पन्न होती हैं, जो वास्तविक समय की तैनाती में बाधा डालती हैं, विशेष रूप से उच्च-आयामी अवस्था स्थानों (state spaces) या कई बाधाओं वाले सिस्टम के लिए।

हाल के कार्य जैसे कि BarrierNet और CAffNet, सुरक्षा को सीखने की प्रक्रिया में एकीकृत करने का प्रयास करते हैं, लेकिन वे या तो महंगे ऑनलाइन QP लेयर को बनाए रखते हैं या कई बाधाओं द्वारा परिभाषित व्यवहार्य सेटों (feasible sets) पर आउटपुट के प्रोजेक्शन के कारण स्केलेबिलिटी संबंधी समस्याओं से जूझते हैं।

कार्यप्रणाली (Methodology)
लेखक एक "सुरक्षित-दर-डिज़ाइन" (Safe-by-Design) फ्रेमवर्क प्रस्तावित करते हैं जो एक न्यूरल नेटवर्क नियंत्रक और न्यूरल-नेटवर्क-पैरामीटराइज्ड CBF स्थितियों को संयुक्त रूप से सीखता है, जिससे सुरक्षा बाधाओं को सीधे नियंत्रक आर्किटेक्चर में समाहित किया जाता है ताकि ऑनलाइन QP सॉल्वर की आवश्यकता समाप्त हो सके।

1. CAffNet-Lite आर्किटेक्चर:
   मुख्य योगदान CAffNet-Lite है, जो मौजूदा CAffNet आर्किटेक्चर का एक हल्का (lightweight) विस्तार है। यह अवस्था-निर्भर एफाइन बाधाओं $A(x)u \leq b(x)$ को निर्माण द्वारा संतुष्ट करने के लिए एक 'कन्स्ट्रेंट-एफाइन लेयर' को एक सीखने योग्य प्रोजेक्शन मॉड्यूल के साथ एकीकृत करता है।

• हल्का बाधा अपघटन (Lightweight Constraint Decomposition): CAff-Net के विपरीत, जो सभी सक्रिय बाधाओं के सभी संभावित संयोजनों को सूचीबद्ध करता है (जिससे घातांकीय जटिलता $O(2^{n_c})$ होती है), CAffNet-Lite एक कम किए गए अपघटन रणनीति का उपयोग करता है। यह केवल न्यूनतम क्रम ($k=1$) या अधिकतम क्रम ($k=\min(n_c, m)$) वाले उप-बाधाओं (sub-constraints) पर विचार करता है। यह जटिलता को बहुपद $O(n_c^m)$ तक कम कर देता है, जिससे कई बाधाओं वाले सिस्टम के लिए स्केलेबिलिटी में काफी सुधार होता है।
• प्रोजेक्शन तंत्र (Projection Mechanism): नेटवर्क एक अनकन्स्ट्रेंड कंट्रोल सिग्नल $f_\theta(x)$ आउटपुट करता है। यदि यह सिग्नल बाधाओं का उल्लंघन करता है, तो एक प्रोजेक्शन लेयर उप-बाधा हाइपरप्लेन पर प्रोजेक्ट करके एक व्यवहार्य उम्मीदवार सेट की गणना करती है। अंतिम आउटपुट अनकन्स्ट्रेंड सिग्नल (यदि व्यवहार्य है) या निकटतम व्यवहार्य प्रोजेक्शन होता है, जो पूर्ण-रैंक या रैखिक रूप से स्वतंत्र बाधाओं की आवश्यकता के बिना हार्ड बाधा संतुष्टि सुनिश्चित करता है।

2. CBF पैरामीटर्स का संयुक्त शिक्षण:
   डिके (decay) फंक्शन $\alpha(\cdot)$ को स्थिर रखने के बजाय, यह ढांचा इसे एक सीखने योग्य न्यूरल नेटवर्क पैरामीटराइजेशन $\alpha_\vartheta(x, h(x))$ से बदल देता है। यह सिस्टम को एक "इष्टतम-डिके" (optimal-decay) गुण सीखने की अनुमति देता है जो नियंत्रक के व्यवहार और सिस्टम की गतिशीलता के अनुकूल होता है। सुरक्षा बाधाओं को इस प्रकार तैयार किया जाता है:
   $$A(x)u \leq b_\vartheta(x)$$
   जहाँ $b_\vartheta(x)$ सीखे गए $\alpha_\vartheta$ को शामिल करता है।

3. सैद्धांतिक गारंटी:
   चूंकि प्रोजेक्शन लेयर में एक $\arg\min$ ऑपरेशन शामिल है जिसके परिणामस्वरूप असंतत (discontinuous) कंट्रोल सिग्नल हो सकते हैं, इसलिए लेखक फिलीपोव अर्थ (Filippov sense) में सुरक्षा स्थापित करते हैं। वे सिद्ध करते हैं कि परिणामी पीसवाइज निरंतर (piecewise continuous) कंट्रोल लॉ, सुरक्षित सेट की मजबूत अग्रिम अपरिवर्तनीयता (strong forward invariance) की गारंटी देता है, जिससे यह सुनिश्चित होता है कि यदि सिस्टम सुरक्षित सेट के भीतर शुरू होता है, तो वह भविष्य के सभी समय के लिए वहीं रहेगा।

प्रमुख योगदान

1. CAffNet-Lite: एक हल्का प्रोजेक्शन आर्किटेक्चर पेश करना जो हार्ड एफाइन बाधा संतुष्टि और यूनिवर्सल एप्रोक्सिमेशन गुणों को संरक्षित करते हुए, बाधाओं की संख्या के संबंध में कंप्यूटेशनल जटिलता को घातांकीय से बहुपद में कम करता है।
2. संयुक्त अनुकूलन (Joint Optimization): एक फ्रेमवर्क जो एक न्यूरल नेटवर्क नियंत्रक और CBF पैरामीटर्स (विशेष रूप से डिके फंक्शन) को संयुक्त रूप से प्रशिक्षित करता है, जिससे ऑनलाइन QP सॉल्वर के बिना निर्माण द्वारा सुरक्षा बाधाओं की संतुष्टि संभव होती है।
3. सैद्धांतिक प्रमाण: यह प्रमाण कि प्रस्तावित नियंत्रक फिलिपोव अर्थ में सुरक्षित सेट की मजबूत अग्रिम अपरिवर्तनीयता को संतुष्ट करता है, जो प्रोजेक्शन लेयर द्वारा पेश की गई असंततता को संबोधित करता है।

प्रायोगिक परिणाम
फ्रेमवर्क का मूल्यांकन दो सिमुलेशन परिदृश्यों पर किया गया:

1. टकराव से बचाव के साथ सिंगल इंटीग्रेटर:

• सेटअप: तीन उत्तल पॉलीहेड्रल बाधाओं (convex polyhedral obstacles) से बचने वाला 2D इंटीग्रेटर सिस्टम।
• निष्कर्ष: CAffNet और CAffNet-Lite ने न्यूनतम लागत (नॉमिनल नियंत्रक के सबसे करीब) प्राप्त की जबकि सभी सुरक्षा बाधाओं को सख्ती से संतुष्ट किया (0% उल्लंघन)। इसके विपरीत, मानक NN और HardNet ने बाधा उल्लंघन प्रदर्शित किए, और फिक्स्ड पैरामीटर्स वाले QP-आधारित तरीकों या तो बहुत रूढ़िवादी थे (लक्ष्य तक पहुँचने में विफल रहे) या उन्हें उच्च कंप्यूटेशनल समय की आवश्यकता थी।
• दक्षता: CAffNet-Lite ने CAffNet के प्रदर्शन के बराबर प्रदर्शन किया, लेकिन परीक्षण समय में कमी के साथ, जो इसके हल्के अपघटन की दक्षता को प्रदर्शित करता है।

2. फिक्स्ड-विंग एयरक्राफ्ट जियोफेंसिंग:

• सेटअप: जियोफेंस बाधाओं को लागू करने वाला एक 7-स्टेट, 3-इनपुट एयरक्राफ्ट मॉडल।
• निष्कर्ष: CAffNet और CAffNet-Lite दोनों ने सफलतापूर्वक सुरक्षित वेग कमांड सीखे जिन्होंने जियोफेंस से बचाव किया।
• दक्षता: CAff-Net ने मूल CAffNet की तुलना में काफी कम प्रशिक्षण और परीक्षण समय प्रदर्शित किया, जो उच्च-आयामी प्रणालियों के लिए इसकी बेहतर स्केलेबिलिटी की पुष्टि करता है। जबकि CAffNet अधिक प्रोजेक्शन उम्मीदवारों के कारण लागत के मामले में थोड़ा तेज़ी से अभिसरण (converge) हुआ, CAffNet-Lite ने वास्तविक समय की प्रयोज्यता के लिए बेहतर संतुलन प्रदान किया।

महत्व और दावे
पेपर का दावा है कि एफाइन सुरक्षा बाधाओं को सीधे न्यूरल नियंत्रक में समाहित करके और CBF मापदंडों को संयुक्त रूप से सीखकर, प्रस्तावित विधि फिक्स्ड-पैरामीटर फिल्टर की रूढ़िवादिता और ऑनलाइन QP सॉल्वर के कंप्यूटेशनल बोझ को दूर करती है। लेखक इस बात पर जोर देते हैं कि CAffNet-Lite एक स्केलेबल, वास्तविक समय में तैनात करने योग्य समाधान प्रदान करता है जो निर्माण द्वारा हार्ड सुरक्षा बाधाओं की गारंटी देता है। यह कार्य "सुरक्षित-दर-डिज़ाइन" नियंत्रण की ओर एक कदम है, जहाँ सुरक्षा एक बाद की सोच या रनटाइम फ़िल्टर नहीं है, बल्कि सीखे गए पॉलिसी का एक अंतर्निहित गुण है। लेखक विनम्रतापूर्वक नोट करते हैं कि भविष्य के कार्य बाधाओं के व्यापक वर्गों तक इस ढांचे के विस्तार और वास्तविक दुनिया के सिस्टम पर इसके मूल्यांकन की खोज करेंगे।