Online Learning-Enhanced High Order Adaptive Safety Control

यहाँ शोध पत्र "Online Learning-Enhanced High Order Adaptive Safety Control" का विस्तृत तकनीकी सारांश दिया गया है:

1. समस्या विवरण (Problem Statement)

कंट्रोल बैरियर फंक्शन्स (CBFs) का व्यापक रूप से रोबोटिक प्रणालियों की सुरक्षा को औपचारिक रूप से सुनिश्चित करने के लिए उपयोग किया जाता है, जिससे यह सुनिश्चित होता है कि सिस्टम की स्थिति एक सुरक्षित सेट (safe set) के भीतर बनी रहे। हालाँकि, मानक CBFs पूरी तरह से सिस्टम के डायनामिक मॉडल की सटीकता पर निर्भर करते हैं। वास्तविक दुनिया के अनुप्रयोगों में, अनमॉडल डायनामिक्स (unmodeled dynamics), पेलोड परिवर्तन, या बाहरी विक्षोभ (जैसे हवा) के कारण होने वाली मॉडल अशुद्धियाँ (model inaccuracies) इन सुरक्षा गारंटियों को अमान्य कर सकती हैं, जिससे टकराव या असुरक्षित व्यवहार हो सकता है।

मौजूदा समाधान महत्वपूर्ण सीमाओं का सामना करते हैं:

• Robust CBFs: इन्हें अनिश्चितता के ज्ञात बाउंड्स (bounds) की आवश्यकता होती है, जिसके परिणामस्वरूप अक्सर अत्यधिक रूढ़िवादी (conservative) कंट्रोलर प्राप्त होते हैं।
• Adaptive CBFs (aCBFs): ये आमतौर पर यह मान लेते हैं कि अवशेष (residuals) ज्ञात बेसिस फंक्शन्स के रैखिक संयोजन (linear combinations) हैं या इनके लिए व्यापक ऑफलाइन प्रशिक्षण की आवश्यकता होती है। ये समय-परिवर्तनीय, गैर-रेखीय अवशेषों (time-varying, nonlinear residuals) के मामले में संघर्ष करते हैं और अक्सर तब विफल हो जाते हैं जब अवशेष प्रशिक्षण वितरण (training distribution) से बाहर चले जाते हैं।
• Pure Learning Approaches: इनमें अक्सर लर्निंग चरण के दौरान सुरक्षा गारंटी की कमी होती है या बड़े मात्रा में ऑफलाइन डेटा की आवश्यकता होती है।

मुख्य चुनौती एक ऐसा कंट्रोलर विकसित करना है जो जटिल, समय-परिवर्तनीय और गैर-रेखीय मॉडल गड़बड़ी के अनुकूल ऑनलाइन (online) रूप से ढल सके, और बिना किसी पूर्व ज्ञान के औपचारिक सुरक्षा गारंटी बनाए रख सके।

2. कार्यप्रणाली (Methodology)

लेखक NODE-HO-aCBF प्रस्तावित करते हैं, जो एक नॉमिनल मॉडल को Knowledge-based Neural ODEs (KNODE) का उपयोग करके एक डेटा-संचालित अवशेष मॉडल (data-driven residual model) के साथ जोड़ने वाला एक हाइब्रिड फ्रेमवर्क है।

A. हाइब्रिड मॉडल आर्किटेक्चर (Hybrid Model Architecture)

पूरे डायनामिक्स को शून्य से सीखने के बजाय, सिस्टम एक हाइब्रिड मॉडल का उपयोग करता है:
$$\dot{x} = \underbrace{f(x) + g(x)u}_{\text{Nominal Model}} + \underbrace{\hat{d}_\theta(x)}_{\text{Neural Residual}}$$

• Nominal Model: एक सरलीकृत, विश्लेषणात्मक रूप से सुलभ मॉडल (जैसे, डबल इंटीग्रेटर)।
• Residual Model ($\hat{d}_\theta$): एक न्यूरल नेटवर्क जो $\theta$ द्वारा पैरामीटराइज्ड है और जो स्टेट-कंट्रोल डेटा से अनमॉडल डायनामिक्स और विक्षोभ को सीधे सीखता है।
• KNODE: डायनामिकल सिस्टम को सीधे सीखने के लिए Neural ODEs का उपयोग करता है, जिससे अनियमित समय अंतराल पर डेटा सैंपलिंग संभव होती है (जो वास्तविक-समय भौतिक प्रणालियों के लिए महत्वपूर्ण है)।

B. High-Order Adaptive CBF (HO-aCBF)

चूंकि कई मैकेनिकल सिस्टम में सुरक्षा बाधाएं (safety constraints) एक से अधिक रिलेटिव डिग्री (relative degree) वाली होती हैं, इसलिए लेखक मानक एडेप्टिव CBFs को High-Order CBFs में विस्तारित करते हैं।

• मानक HOCBF बाधा को सीखे गए अवशेष पद ($L_{\hat{d}_\theta}\psi_{r-1}$) के ली डेरिवेटिव (Lie derivative) को शामिल करने के लिए संशोधित किया गया है।
• कंट्रोल इनपुट $u$ को 100Hz पर एक क्वाड्रेटिक प्रोग्राम (QP) को हल करके निकाला जाता है:
  $$\min_u \|u - u_{des}\| \quad \text{s.t.} \quad \sup_{u \in U} [\dots + L_{\hat{d}_\theta}\psi_{r-1}(x) + \alpha_r(\psi_{r-1}(x))] \geq 0$$
• यह सुनिश्चित करता है कि अनुमानित अवशेष के साथ भी, सुरक्षित सेट फॉरवर्ड इनवेरिएंट (forward invariant) बना रहता है।

C. ऑनलाइन लर्निंग लूप (Online Learning Loop)

सिस्टम एक निरंतर लूप में कार्य करता है:

1. Control Execution: QP नवीनतम हाइब्रिड मॉडल का उपयोग करके एक सुरक्षित कंट्रोल इनपुट को हल करता है।
2. Data Collection: स्टेट-कंट्रोल पेयर्स ($z = [x, u]$) को एक फर्स्ट-इन-फर्स्ट-आउट (FIFO) क्यू (queue) में संग्रहीत किया जाता है।
3. Online Training: क्यू डेटा पर एक Neural ODE को अवशेष मॉडल $\hat{d}_\theta$ को अपडेट करने के लिए प्रशिक्षित किया जाता है।
4. Adaptation: अपडेटेड मॉडल को तुरंत QP सॉल्वर में लोड किया जाता है, जिससे कंट्रोलर बदलते डायनामिक्स (जैसे, हवा के झोंके) के प्रति वास्तविक समय में अनुकूलित हो पाता है।

3. मुख्य योगदान (Key Contributions)

1. Learning-Enhanced HO-aCBF: एक अभिनव फ्रेमवर्क जो ऑनलाइन लर्निंग को सीधे हाई-ऑर्डर CBF बाधाओं में एकीकृत करता है, जिससे जटिल, समय-परिवर्तनीय मॉडल गड़बड़ी के तहत सुरक्षा गारंटी सक्षम होती है।
2. Hybrid KNODE Approach: एक डेटा-कुशल विधि जो संरचना के लिए नॉमिनल मॉडल का लाभ उठाती है जबकि जटिल गैर-रेखीय अवशेषों को पकड़ने के लिए Neural ODEs का उपयोग करती है, जिससे व्यापक ऑफलाइन प्रशिक्षण की आवश्यकता नहीं होती।
3. Real-Time Performance: यह एल्गोरिदम 100Hz पर एक रियल-टाइम सिस्टम पर चलता है, जो कंट्रोल फ्रीक्वेंसी से समझौता किए बिना QP को हल करता है और मॉडल को प्रशिक्षित करता है।
4. Robustness to Tuning: पिछले एडेप्टिव तरीकों के विपरीत जिन्हें गेन मैट्रिसेस (gain matrices) के सटीक ट्यूनिंग या बेसिस फंक्शन्स के ज्ञान की आवश्यकता होती है, यह दृष्टिकोण मजबूत है और इसे अवशेष संरचना के बारे में किसी पूर्व धारणा की आवश्यकता नहीं है।

4. प्रयोगात्मक परिणाम (Experimental Results)

A. सिमुलेशन (Simulations)

इस पद्धति का परीक्षण तीन प्रकार के अवशेषों ("Attractive," "Repulsive," और "Time-varying") के साथ एक डबल इंटीग्रेटर सिस्टम पर किया गया।

• Baselines: इसकी तुलना मानक HOCBFs, ट्यून्ड HO-aCBFs (जिनके लिए ज्ञात बेसिस मैट्रिसेस की आवश्यकता होती है), और ऑफलाइन-प्रशिक्षित मॉडल्स से की गई।
• निष्कर्ष:
  • मानक HOCBFs गड़बड़ी के तहत सुरक्षा बनाए रखने में विफल रहे।
  • ट्यून्ड HO-aCBFs नाजुक थे; वे तब विफल हो गए जब माना गया बेसिस मैट्रिक्स ($Y(x)$) गलत था या जब अवशेष समय-परिवर्तनीय थे।
  • NODE-HO-aCBF सभी प्रकार के अवशेषों के अनुकूल होने में सफल रहा। ऑफलाइन संस्करण ने लगभग पूर्ण सुरक्षा (0% उल्लंघन समय) प्राप्त की, जबकि ऑनलाइन संस्करण तेजी से अनुकूलित हुआ, और अंततः ऑफलाइन मॉडल के सुरक्षा प्रदर्शन के करीब पहुँच गया।
  • ऑनलाइन विधि ने बड़े हिस्ट्री स्टैक की आवश्यकता वाले बेसलाइन्स की तुलना में बेहतर डेटा दक्षता और स्थिरता प्रदर्शित की।

B. भौतिक प्रयोग (Physical Experiments)

• प्लेटफ़ॉर्म: एक 38g नैनो क्वाड्रोटर (Crazyflie 2.1)।
• परिदृश्य: पंखे द्वारा उत्पन्न 18 किमी/घंटा के अशांत हवा (turbulent wind) की उपस्थिति में एक केंद्रीय बाधा से बचते हुए एक गोलाकार पथ (circular trajectory) को ट्रैक करना।
• परिणाम:
  • बेसलाइन कंट्रोलर्स (HOCBF, HO-aCBF) असुरक्षित पथों की ओर झुक गए और सुरक्षा बाधाओं का महत्वपूर्ण रूप से उल्लंघन किया (31%–47% उल्लंघन समय)।
  • Online NODE-HO-aCBF: शुरुआत में "लर्निंग डिले" (learning delay) का अनुभव किया, लेकिन हवा के अनुकूल तेजी से ढल गया, जिससे सुरक्षा उल्लंघन घटकर 35.3% रह गया और यह सुरक्षा सीमा के करीब एक स्थिर पथ पर सेटल हो गया।
  • Offline NODE-HO-aCBF: केवल 15.9% उल्लंघन समय के साथ सर्वश्रेष्ठ प्रदर्शन किया, जो दर्शाता है कि समान डेटा पर प्री-ट्रेनिंग सुरक्षा को और बढ़ाती है।
  • सिस्टम ने गंभीर हवा के विक्षोभ के बावजूद बाधा से सुरक्षित दूरी बनाए रखने में सफलता प्राप्त की, जो बेसलाइन्स के लिए एक कठिन कार्य था।

5. महत्व (Significance)

यह कार्य औपचारिक सुरक्षा गारंटी और वास्तविक दुनिया की रोबोटिक्स के लिए आवश्यक अनुकूलन क्षमता के बीच के अंतर को पाटता है। Neural ODEs को सीधे CBF ऑप्टिमाइज़ेशन में शामिल करके, लेखक एक ऐसा कंट्रोलर बनाते हैं जो:

• Safe (सुरक्षित): मॉडल त्रुटियों के साथ भी औपचारिक गारंटी प्रदान करता है।
• Adaptive (अनुकूलनशील): बिना किसी ऑफलाइन प्री-ट्रेनिंग के जटिल, समय-परिवर्तनीय विक्षोभ को ऑनलाइन सीखता है।
• Efficient (कुशल): 100Hz की उच्च आवृत्ति पर संचालित होता है जो एसाइल (agile) नैनो-ड्रोन जैसे रोबोट के लिए उपयुक्त है।

अशांत हवा में 38g नैनो क्वाड्रोटर पर इसे तैनात करने की क्षमता स्वार्म रोबोटिक्स (swarm robotics) और निकट-दूरी उड़ान (close-proximity flight) के लिए इसकी क्षमता को प्रदर्शित करती है, जहाँ पारंपरिक रोबस्ट कंट्रोलर बहुत अधिक रूढ़िवादी होते हैं और शुद्ध लर्निंग विधियाँ बहुत धीमी या असुरक्षित होती हैं। यह अनस्ट्रक्चर्ड वातावरण में सुरक्षित और अधिक स्वायत्त संचालन का मार्ग प्रशस्त करता है।