⚡ electrical engineering

Safe Exploration for Nonlinear Processes Using Online Gaussian Process Learning

यह शोध पत्र आंशिक रूप से ज्ञात गतिकी वाले गैररेखीय प्रणालियों के लिए एक सुरक्षित डेटा-संचालित नियंत्रण ढांचे को प्रस्तुत करता है जो स्थिरता और बाधा संतुष्टि सुनिश्चित करने के साथ-साथ सूचनात्मक अन्वेषण के माध्यम से सुरक्षित परिचालन क्षेत्र को अनुकूल रूप से विस्तारित करने के लिए ऑनलाइन गॉसियन प्रक्रिया शिक्षण को ल्यपुनोव-आधारित संभाव्य सुरक्षा बाधाओं के साथ जोड़ता है।

मूल लेखक: Stefano Tonini, Soroush Rastegarpour, Hamid Reza Feyzmahdavian, Nicola Bastianello, Karl Henrik Johansson

प्रकाशित 2026-05-12

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Stefano Tonini, Soroush Rastegarpour, Hamid Reza Feyzmahdavian, Nicola Bastianello, Karl Henrik Johansson

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को एक अंधेरे, अपरिचित कमरे में चलना सिखा रहे हैं जो नाजुक फर्नीचर से भरा हुआ है। आपके पास कमरे का एक रफ मैप (लीनियर मॉडल) है, लेकिन आप जानते हैं कि यह नक्शा अधूरा है; इसमें छिपे हुए अवरोध और अजीब फर्श की बनावटें हैं जिन्हें आपने अभी तक नहीं देखा है (अननोन नॉनलीनियर डायनेमिक्स)।

यदि आप रोबोट को कमरे को सीखने के लिए अंधाधुंध घूमने देते हैं, तो वह किसी फूलदान से टकरा सकता है। यदि आप उसे केवल ज्ञात नक्शे पर ही सीमित रखते हैं, तो वह नए अवरोधों के बारे में कभी नहीं जान पाएगा। यह पेपर एक चतुर "ट्रेनिंग व्हील्स" (सहायक पहियों) वाली प्रणाली प्रस्तावित करता है जो रोबोट को वास्तविक समय में कमरे की सच्चाई सीखने के दौरान सुरक्षित रूप से अन्वेषण करने की अनुमति देती है।

यह सिस्टम कैसे काम करता है, इसे सरल अवधारणाओं में विभाजित किया गया है:

1. दो-भाग वाला मस्तिष्क

रोबोट का मस्तिष्क दो भागों में विभाजित है:

अनुभवी (लीनियर मॉडल): यह रोबोट का मौजूदा ज्ञान है। यह जानता है कि कम से कम एक सरल अनुमान के आधार पर कमरे का बुनियादी भौतिक विज्ञान कैसा होना चाहिए। यह एक अनुभवी गाइड की तरह है जो सामान्य लेआउट तो जानता है, लेकिन यह भी स्वीकार करता है कि, "मुझे इस विशिष्ट कोने का विवरण नहीं पता।"
चेला (गौसियन प्रोसेस): यह एक स्मार्ट शिक्षार्थी है जो रोबोट की गतिविधियों पर नज़र रखता है। जैसे-जैसे रोबोट चलता है, चेला यह देखता है कि वास्तव में क्या हुआ बनाम अनुभवी ने क्या भविष्यवाणी की थी। अंतर ही "रेसिड्यूअल" (आश्चर्य) है। चेला इन आश्चर्यों को सीखने के लिए एक सांख्यिकीय उपकरण जिसका नाम गौसियन प्रोसेस (GP) है, का उपयोग करता है। महत्वपूर्ण बात यह है कि चेला केवल अनुमान नहीं लगाता; वह यह भी गणना करता है कि वह कितना अनिश्चित है। वह कहता है, "मुझे लगता है कि यहाँ फर्श फिसलन भरा है, लेकिन मैं इसके बारे में केवल 95% निश्चित हूँ।"

2. अदृश्य सुरक्षा बुलबुला (PCIS)

रोबोट को सुरक्षित रखने के लिए, सिस्टम रोबोट की वर्तमान स्थिति के चारों ओर एक अदृश्य सुरक्षा बुलबुला बनाता है। इसे प्रोबेबिलिस्टिक कंट्रोल-इनवेरिएंट सेट (PCIS) कहा जाता है।

यह कैसे काम करता है: सिस्टम पूछता है, "यदि रोबोट इस दिशा में आगे बढ़ता है, तो क्या इसकी कोई संभावना है कि वह दीवार से टकरा जाएगा, भले ही हमारा 'चेला' गलत हो?"
सुरक्षा मार्जिन: चूंकि चेला यह स्वीकार करता है कि वह गलत हो सकता है, इसलिए सिस्टम ज्ञात नक्शे के चारों ओर एक "सुरक्षा बफर" जोड़ता है। यदि चेला बहुत अनिश्चित है (उच्च अनिश्चितता), तो सुरक्षा बुलबुला सिकुड़ जाता है, और रोबोट को केंद्र में रहने के लिए मजबूर किया जाता है। यदि चेला बहुत आश्वस्त है (कम अनिश्चितता), तो बुलबुला फैल जाता है, जिससे रोबोट को और अधिक अन्वेषण करने की अनुमति मिलती है।
गारंटी: यह पेपर गणितीय रूप से सिद्ध करता है कि जब तक रोबोट इस बुलबुले के भीतर रहता है, तब तक वह टकराएगा नहीं, भले ही मॉडल त्रुटिपूर्ण हो।

3. "जिज्ञासु लेकिन सतर्क" चालक

रोबोट केवल स्थिर नहीं बैठता है; उसे सीखने के लिए हिलना-डुलना पड़ता है। सिस्टम हर एक कदम पर अगला कदम तय करने के लिए एक गणितीय समस्या (क्वाड्रेटिक प्रोग्राम) को हल करता है।

लक्ष्य: यह ऐसा कदम खोजने की कोशिश करता है जो रोबलेट को कमरे के बारे में सबसे अधिक सिखा सके (सूचना लाभ को अधिकतम करना)।
प्रतिबंध: इसे कभी भी सुरक्षा बुलबुले से बाहर नहीं जाना चाहिए।
परिणाम: रोबोट स्वाभाविक रूप से उन क्षेत्रों की ओर आकर्षित होता है जहाँ वह सबसे अधिक भ्रमित (उच्च अनिश्चितता) है ताकि वह उन्हें सीख सके, लेकिन वह ऐसा बहुत सावधानी से करता है, यह सुनिश्चित करते हुए कि वह कभी भी सुरक्षा नियमों का उल्लंघन न करे। यह एक जिज्ञासु बच्चे की तरह है जो सब कुछ छूना चाहता है लेकिन एक ऐसी सुरक्षा डोरी से बंधा है जो केवल तभी लंबी होती है जब वह साबित करता है कि वह सावधान है।

4. लर्निंग लूप (सीखने का चक्र)

इस पेपर का परीक्षण दो परिदृश्यों में किया गया:

एक सरल 2D गणितीय समस्या: एक सपाट सतह पर घूमता हुआ रोबोट जिसमें एक जटिल वक्र (curve) है।
एक थ्री-टैंक वॉटर सिस्टम: एक जटिल औद्योगिक सेटअप जिसमें तीन पानी के टैंक पाइपों से जुड़े हुए हैं, जहाँ पानी का स्तर सुरक्षित सीमाओं के भीतर रहना चाहिए।

परिणाम:

सुरक्षा: प्रत्येक परीक्षण में, रोबोट ने कभी भी सुरक्षा सीमाओं का उल्लंघन नहीं किया (वह कभी नहीं टकराया या टैंकों में पानी ओवरफ्लो नहीं हुआ)।
सीखना: जैसे-जैसे रोबोट ने अधिक डेटा एकत्र किया, उसका "चेला" अधिक आत्मविश्वासी होता गया। अनिश्चितता कम होती गई, और सुरक्षा बुलबुला बड़ा होता गया, जिससे रोबोट को कमरे का अधिक अन्वेषण करने की अनुमति मिली।
दक्षता: यह सिस्टम वास्तविक समय में निर्णय लेने के लिए इतना तेज़ था कि यह मिलीसेकंड में निर्णय ले सका।

निचोड़

यह पेपर मशीनों को जटिल, अप्रत्याशित प्रणालियों के बारे में सिखाने के लिए एक ढांचा प्रस्तुत करता है, बिना कुछ भी तोड़े। एक ज्ञात "रफ ड्राफ्ट" को एक स्मार्ट, अनिश्चितता-जागरूक शिक्षार्थी के साथ जोड़कर, और इसे एक गणितीय रूप से गारंटीकृत सुरक्षा बुलबुले में लपेटकर, यह सिस्टम एक आदर्श संतुलन प्राप्त करता है: यह तेजी से सीखता है, लेकिन यह कभी भी असुरक्षित जोखिम नहीं लेता।

लेखकों का निष्कर्ष है कि यह विधि उन उद्योगों में वास्तविक दुनिया के उपयोग के लिए तैयार है जहाँ सुरक्षा महत्वपूर्ण है, जैसे कि रोबोटिक्स और प्रोसेस कंट्रोल, बशर्ते कि सिस्टम का प्रारंभिक "रफ ड्राफ्ट" कम से कम कुछ हद तक सटीक हो।

तकनीकी सारांश: गैररेखीय प्रक्रियाओं के लिए ऑनलाइन गॉसियन प्रोसेस लर्निंग का उपयोग करके सुरक्षित अन्वेषण

समस्या विवरण

यह शोध पत्र उन गैररेखीय प्रणालियों के नियंत्रण की चुनौती को संबोधित करता है जिनके डायनेमिक्स (गतिशीलता) आंशिक रूप से ज्ञात होते हैं (जैसे कि रोबोटिक्स, एयरोस्पेस, प्रक्रिया उद्योग)। जबकि सुदृढीकरण शिक्षण (reinforcement learning) जैसे डेटा-संचालित तरीके अनुकूलन क्षमता प्रदान करते हैं, वे अक्सर अन्वेषण चरण (exploration phase) के दौरान कठोर स्थिरता और बाधा संतुष्टि (constraint satisfaction) की गारंटी देने में विफल रहते हैं। मौजूदा सुरक्षित शिक्षण दृष्टिकोण अक्सर आदर्श मान्यताओं पर निर्भर करते हैं, जैसे कि गैररेखीय डायनेमिक्स का पूर्ण ज्ञान या अनिश्चितता का रूढ़िवादी लिप्सचिट्ज़ ओवर-एप्रोक्सिमेशन (Lipschitz over-approximation), जो उनकी व्यावहारिकता को सीमित करते हैं।

विशिष्ट समस्या एक ऐसा नियंत्रण ढांचा डिजाइन करने की है जो उन गैररेखीय प्रणालियों के लिए सुरक्षित अन्वेषण (safe exploration) सुनिश्चित करती है जहाँ:

केवल एक स्थिर रैखिक सन्निकटन (stabilizable linear approximation) ज्ञात है।
अनमॉडल किए गए गैररेखीय डायनेमिक्स (रेसिडुअल्स) को ऑनलाइन सीखा जाना चाहिए।
सिस्टम को सीखने की पूरी प्रक्रिया के दौरान उच्च संभावना के साथ अवस्था (state) और इनपुट बाधाओं को संतुष्ट करना चाहिए।

कार्यप्रणाली (Methodology)

प्रस्तावित ढांचा सुरक्षित और सूचनात्मक अन्वेषण प्राप्त करने के लिए गॉसियन प्रोसेस (GP) रिग्रेशन, लियापुनोव स्थिरता सिद्धांत (Lyapunov stability theory) और कॉनवेक्स ऑप्टिमाइज़ेशन को एकीकृत करता है।

1. सिस्टम डिकंपोजिशन और GP मॉडलिंग

सिस्टम डायनेमिक्स को एक कंट्रोल-एफ़िन (control-affine) गैररेखीय प्रणाली के रूप में मॉडल किया गया है:
$\dot{x} = Ax + Bu + g(x)$
जहाँ $(A, B)$ एक ज्ञात, स्थिर रैखिक मॉडल है, और $g(x)$ एक अज्ञात स्मूथ रेसिड्यू (residual) है। $g(x)$ को ऑनलाइन एक गॉसियन प्रोसेस का उपयोग करके मॉडल किया जाता है। जैसे-जैसे डेटा एकत्र किया जाता है, GP एक पोस्टीरियर मीन $\mu_t(x)$ और स्टैंडर्ड डेविएशन $\sigma_t(x)$ प्रदान करता है। एक उच्च-संभावना वाला कॉन्फिडेंस एनवेलप (confidence envelope) इस प्रकार बनाया जाता है कि:
$\|g(x) - \mu_t(x)\|_2 \leq \beta_t \sigma_t(x)$
$1-\delta$ की संभावना के साथ, जहाँ $\beta_t$ एक समय-परिवर्तनीय कॉन्फिडेंस पैरामीटर है जो परिमित-नमूना (finite-sample) GP-UCB शेड्यूल्स से प्राप्त होता है।

2. प्रोबेबिलिस्टिक कंट्रोल-इनवेरिएंट सेट्स (PCIS)

सुरक्षा को एक कंट्रोल लियापुनोव फंक्शन (CLF), $V(x) = x^\top P x$ से प्राप्त प्रोबेबिलिस्टिक कंट्रोल-इनवेरिएंट सेट (PCIS) के माध्यम से लागू किया जाता है। PCIS उन अवस्थाओं का सेट है जहाँ एक नियंत्रण इनपुट मौजूद होता है जो यह सुनिश्चित करता है कि लियापुनोव फंक्शन घटता रहे, भले ही GP अनिश्चितता के सबसे खराब मामले (worst-case) का सामना करना पड़े।
सेट $S_t$ के लिए शर्त है:
$\nabla V \cdot (Ax + Bu + \mu_t(x)) + \beta_t \sigma_t(x) \|\nabla V\| + \lambda V(x) \leq 0$
यह निर्माण गारंटी देता है कि यदि सिस्टम PCIS के भीतर शुरू होता है, तो वह उच्च संभावना ( $1-\delta$ ) के साथ वहीं बना रहता है, जिससे बाधाओं की रिकर्सिव फिजिबिलिटी (recursive feasibility) सुनिश्चित होती है।

3. ऑप्टिमाइज़ेशन-आधारित कंट्रोलर

प्रत्येक टाइम स्टेप पर, कंट्रोलर नियंत्रण इनपुट $u$ निर्धारित करने के लिए एक कॉनवेक्स क्वाड्रेटिक प्रोग्राम (QP) को हल करता है। इसका उद्देश्य सूचना लाभ (information gain) को अधिकतम करना है (उच्च अनिश्चितता वाले दिशाओं में उत्तेजना को प्रोत्साहित करके) जबकि सुरक्षा बाधाओं का सख्ती से पालन करना है।
QP एक नाममात्र (nominal) स्टेबिलाइजिंग कंट्रोलर $u_{lin}$ से विचलन को कम करता है:
$\min_{u, s \geq 0} \|u - u_{lin}\|_2^2 + \rho s$
विषय: लियापुनोव कमी की स्थिति (GP अनिश्चितता सीमा को शामिल करते हुए) और इनपुट बाधाएं। एक स्लैक वेरिएबल $s$ व्यवहार्यता सुनिश्चित करता है, जिसे सुरक्षा को प्राथमिकता देने के लिए $\rho$ द्वारा दंडित (penalized) किया जाता है।

4. एडेप्टिव एक्सपेंशन (Adaptive Expansion)

जैसे-जैसे GP रेसिड्यू डायनेमिक्स को सीखता है, अनिश्चितता $\sigma_t(x)$ कम होती जाती है। यह कमी एडेप्टिव रूप से PCIS को विस्तारित करने की अनुमति देती है, जिससे सुरक्षा गारंटी का उल्लंघन किए बिना धीरे-धीरे समृद्ध अन्वेषण क्षेत्र अनलॉक होते हैं।

मुख्य योगदान

शोध पत्र तीन प्राथमिक योगदानों को रेखांकित करता है:

नोमिनल-रेसिड्यू डिकंपोजिशन: एक ज्ञात रैखिक मॉडल और एक ऑनलाइन GP रेसिड्यू को संयोजित करने वाला एक ढांचा, जो पूर्ण मॉडल ज्ञान की आवश्यकता के बिना अज्ञात गैररेखीयताओं को सुरक्षित रूप से सीखने में सक्षम बनाता है।
लियापुनोव-आधारित PCIS निर्माण: GP अनिश्चितता को शामिल करने वाले प्रोबेबिलिस्टिक इनवेरिएंट सेट्स बनाने की एक विधि, जो स्थिरता और बाधा संतुष्टि के लिए परिमित-नमूना प्रोबेबिलिस्टिक गारंटी प्रदान करती है।
ऑप्टिमाइज़ेशन-आधारित कंट्रोलर: एक रियल-टाइम कंट्रोलर जो सूचना लाभ (अन्वेषण) और सख्त सुरक्षा गारंटी (CLF कमी) के बीच संतुलन बनाने के लिए प्रत्येक चरण पर एक कॉनवेक्स QP को हल करता है, जो अन्य सेफ MPC फॉर्मुलेशन में पाए जाने वाले मल्टी-स्टेप अनिश्चितता प्रसार के रूढ़िवाद से बचता है।

प्रयोगात्मक परिणाम

ढांचे को दो बेंचमार्क पर मान्य किया गया: एक 2D बहुपद प्रणाली (polynomial system) और एक MIMO थ्री-टैंक वॉटर-लेवल प्रोसेस।

2D बहुपद प्रणाली

सीखने का प्रदर्शन: GP मॉडल ने 12 इटरेशन के ऊपर महत्वपूर्ण सटीकता सुधार हासिल किया (RMSE ~1.11 से घटकर ~0.03 हो गया)।
अनिश्चितता अंशांकन (Uncertainty Calibration): अंशांकन के बाद 95% कॉन्फिडेंस इंटरवल का अनुभवजन्य कवरेज 37% से बढ़कर 100% हो गया, जिससे यह सुनिश्चित हुआ कि सुरक्षा प्रमाण विश्वसनीय हैं।
सुरक्षा: प्रस्तावित GP-PCIS कंट्रोलर सभी प्रक्षेप पथों (trajectories) को प्रमाणित सुरक्षित सेट के भीतर बनाए रखता है, जिसमें शून्य बाधा उल्लंघन देखा गया। इसके विपरीत, एक असुरक्षित बेसलाइन (सेफ्टी लेयर्स के बिना LQR) ने स्टेट बाधाओं का उल्लंघन किया।
सेट विस्तार: जैसे-जैसे अनिश्चितता कम हुई, प्रमाणित सुरक्षित सेट का आयतन लगभग 27.7% बढ़ गया, जो ढांचे की एडेप्टिव प्रकृति को प्रदर्शित करता है।

थ्री-टैंक वॉटर-लेवल प्रोसेस

जटिलता: इस MIMO, कपल्ड सिस्टम ने ढांचे की स्केलेबिलिटी और रियल-टाइम व्यवहार्यता का परीक्षण किया।
स्पार्स बनाम एक्सैक्ट GP: इंड्यूसिंग पॉइंट्स का उपयोग करने वाले स्पार्स GP अनुमानों को व्यवहार्य पाया गया, जो नाममात्र कवरेज (~94.5%) और स्वीकार्य RMSE बनाए रखते हुए, सटीक GP की तुलना में >1000 गुना तेज़ इन्फरेंस समय प्रदान करते हैं।
सुरक्षा: 2000 सेकंड के आइडेंटिफिकेशन होराइजन के दौरान, ढांचे ने वॉटर लेवल बाधाओं (45%–87%) के शून्य उल्लंघन प्राप्त किए, जबकि एक असुरक्षित बेसलाइन ने निचले स्तर से नीचे जाने की स्थिति दिखाई।
रियल-टाइम प्रदर्शन: मीडियन प्रति-चरण QP सॉल्व टाइम मिलीसेकंड रेंज में था, जो रियल-टाइम कार्यान्वयन के लिए व्यवहार्यता की पुष्टि करता है।

महत्व और दावे

शोध पत्र आंशिक रूप से ज्ञात गैररेखीय प्रणालियों के लिए सुरक्षित अन्वेषण के लिए एक एकीकृत और कार्यान्वयन योग्य ढांचे का दावा करता है। इसका महत्व निम्नलिखित में निहित है:

व्यवहार्यता और रूढ़िवाद के बीच संतुलन: मल्टी-स्टेप सेफ MPC फॉर्मुलेशन के विपरीत, जो अत्यधिक रूढ़िवादी हो सकते हैं, यह दृष्टिकोण GP कॉन्फिडेंस बाउंड्स के साथ एक-चरणीय लियापुनोव कमी को लागू करता है, जिसके परिणामस्वरूप मल्टी-स्टेप अनिश्चितता विस्फोट के बिना एक कॉनवेक्स QP प्राप्त होता है।
व्यावहारिकता: इसके लिए सटीक गैररेखीय डायनेमिक्स के बजाय केवल एक स्थिर रैखिक मॉडल की आवश्यकता होती है (जो अभ्यास में सामान्य है), जिससे यह वास्तविक दुनिया की प्रणालियों के लिए उपयुक्त बनता है जहाँ अनमॉडल किए गए प्रभावों को ऑनलाइन सीखा जाना आवश्यक है।
सैद्धांतिक गारंटी: यह परिमित-नमूना प्रोबेबिलिस्टिक सुरक्षा गारंटी प्रदान करता है, यह सुनिश्चित करता है कि सक्रिय लर्निंग चरण के दौरान भी सिस्टम उच्च संभावना के साथ स्थिर रहेगा और बाधाओं के भीतर रहेगा।

लेखक सीमाओं को स्वीकार करते हैं, जिसमें एक-चरणीय वर्स्ट-केस बाउंड का रूढ़िवाद और सटीक GP ट्रेनिंग का क्यूबिक स्केलिंग शामिल है, जो उच्च-आयामी कार्यों के लिए मल्टी-स्टेप चांस कंस्ट्रेंट्स और स्पार्स GP अपडेट्स के लिए भविष्य के कार्य का सुझाव देते हैं। हालांकि, परिणाम प्रभावी ढंग से दर्शाते हैं कि प्रस्तावित विधि सख्त सुरक्षा बाधाओं का पालन करते हुए सूचनात्मक अन्वेषण को सक्षम करती है।