⚡ electrical engineering

Robust Koopman Control Barrier Filters for Safe Actor-Critic Reinforcement Learning

यह शोध पत्र Robust Koopman-CBF SAC प्रस्तुत करता है, जो एक सुरक्षित सुदृढीकरण शिक्षण (reinforcement learning) ढांचा है जो एक डेटा-संचालित कोपमान प्रेडिक्टर (Koopman predictor) को सीखने के लिए, एक द्विघात प्रोग्राम (quadratic program) के माध्यम से टाइटन्ड कंट्रोल बैरियर फंक्शन बाधाओं का निर्माण और प्रवर्तन करने हेतु, बेंचमार्क में शून्य बाधा उल्लंघन प्राप्त करते हुए कार्य प्रदर्शन और सुरक्षा के बीच संतुलन बनाता है।

मूल लेखक: Dhruv S. Kushwaha, Zoleikha A. Biron

प्रकाशित 2026-05-27

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Dhruv S. Kushwaha, Zoleikha A. Biron

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को चलना या अपने सिर पर एक डंडा संतुलित करना सिखा रहे हैं। आप चाहते हैं कि रोबोट इस कार्य में बहुत कुशल हो जाए (उच्च प्रदर्शन), लेकिन आपको यह भी सुनिश्चित करना होगा कि वह कभी गिरे नहीं, दीवार से न टकराए, या अपने स्वयं के जोड़ों को न तोड़ दे (सुरक्षा)।

यह शोध पत्र एक नई विधि प्रस्तुत करता है जिसे Robust Koopman-CBF SAC कहा जाता है, जो "ट्रायल एंड एरर" (प्रयास और त्रुटि) के माध्यम से सीखने वाले रोबोट्स के लिए एक "स्मार्ट सुरक्षा गार्ड" की तरह कार्य करता है। यह कैसे काम करता है, यहाँ सरल अवधारणाओं में दिया गया है:

1. समस्या: "जंगली खोजकर्ता" बनाम "सख्त संरक्षक"

खोजकर्ता (रोबोट): सीखने के लिए, एक रोबोट को नई चीजें आज़माने की आवश्यकता होती है। वह एक ऐसा अजीब कदम उठा सकता है जो बहुत अच्छा काम करे, या वह एक ऐसा कदम उठा सकता है जिससे वह क्रैश हो जाए। मानक लर्निंग एल्गोरिदम "जंगली खोजकर्ताओं" की तरह होते; वे कार्य को करने का सबसे अच्छा तरीका खोजने में माहिर होते हैं, लेकिन उन्हें स्वाभाविक रूप से यह नहीं पता होता कि दुर्घटना से कैसे बचना है।
संरक्षक (सुरक्षा फ़िल्टर): पारंपरिक सुरक्षा प्रणालियाँ "सख्त संरक्षकों" की तरह होती हैं। वे नियमों को जानते हैं (जैसे, "इस रेखा के आगे मत जाओ") और यदि रोबोट नियमों को तोड़ने की कोशिश करता है, तो वे उसे रोक देते हैं। हालाँकि, इन संरक्षकों को आमतौर पर रोबोट की गति का एक सटीक मैनुअल (एक भौतिकी की पाठ्यपुस्तक) चाहिए होता है ताकि वे अपना काम कर सकें। यदि रोबोट जटिल है या भौतिकी अज्ञात है, तो संरक्षक भ्रमित हो जाता है और काम करना बंद कर देता है।

2. समाधान: एक "अनुवादक" और एक "सुरक्षा जाल"

लेखकों ने तीन मुख्य तरीकों का उपयोग करके दोनों दुनियाओं के सर्वश्रेष्ठ गुणों को मिलाने वाला एक सिस्टम बनाया है:

अ. अनुवादक (Koopman Lifting)

रोबोट अक्सर जटिल, गैर-रेखीय (non-linear) तरीकों से चलते हैं (जैसे झूलता हुआ पेंडुलम)। यह भविष्यवाणी करना कठिन है कि वे आगे कहाँ जाएंगे।

उपमा: कल्पना करें कि आप हवा में घूमती हुई एक पत्ती के पथ की भविष्यवाणी करने की कोशिश कर रहे हैं। यह अराजक (chaotic) है। लेकिन यदि आप उस अराजक गति को एक अलग "भाषा" (एक उच्च-आयामी स्थान) में अनुवादित करते हैं, तो पत्ती का पथ अचानक एक सीधी रेखा की तरह दिखने लगता है।
यह कैसे काम करता है: सिस्टम एक गणितीय "अनुवादक" (Koopman operator) का उपयोग करता है जो रोबोट की अव्यवस्थपूर्ण, वास्तविक दुनिया की गतिविधियों को एक सरल, रैखिक भाषा में बदल देता है। इस नई भाषा में, भविष्य की भविष्यवाणी करना आसान है, जैसे कागज पर एक सीधी रेखा खींचना।

ब. "बफर ज़ोन" के साथ सुरक्षा जाल (Robust CBF)

अनुवादक के बावजूद, भविष्यवाणी पूरी तरह सटीक नहीं होती है। हमेशा थोड़ा सा "स्टैटिक" या त्रुटि बनी रहती है।

उपमा: कल्पना करें कि एक रस्सी पर चलने वाला व्यक्ति (tightrope walker) है। यदि आप उसे कहें, "तार के बिल्कुल ऊपर रहो," तो हवा के एक छोटे से झोंके से वह गिर सकता है। लेकिन यदि आप उसे कहें, "तार के आसपास इस चौड़े, सुरक्षित क्षेत्र के भीतर रहो," तो वह बहुत अधिक सुरक्षित होगा।
यह कैसे काम करता है: सिस्टम केवल रोबोट के भविष्य का अनुमान नहीं लगाता; यह यह भी मापता है कि इसके अनुमान अतीत में कितने गलत रहे हैं ("residual")। फिर यह सुरक्षा नियमों में एक बफर ज़ोन (त्रुटि का मार्जिन) जोड़ता है। यदि रोबोट किसी गतिविधि की कोशिश करता है, तो सिस्टम जाँचता है: "भले ही मेरा अनुमान थोड़ा गलत हो, क्या रोबोट फिर भी सुरक्षित रहेगा?" यदि उत्तर हाँ है, तो यह उस गतिविधि को होने देता है। यदि उत्तर नहीं है, तो यह धीरे से रोबोट को वापस सुरक्षा की ओर धकेलता है।

स. कोच (Actor-Critic Learning)

रोबोट एक "कोच" सिस्टम (Soft Actor-Critic) का उपयोग करके सीखता है।

ट्विस्ट: आमतौर पर, कोच रोबोट को बताता है कि क्या करना है, और रोबोट उसका पालन करता है। लेकिन यहाँ, "सुरक्षा संरक्षक" रोबोट की क्रिया को होने से पहले ही बदल सकता है।
नवाचार: लेखकों ने यह सुनिश्चित किया कि कोच उस चीज़ से सीखे जो रोबोट ने वास्तव में की (सुरक्षा गार्ड द्वारा ठीक किए जाने के बाद), न कि केवल उस चीज़ से जो वह करना चाहता था। यह कोच को भ्रमित होने या रोबोट को बुरी आदतें सिखाने से रोकता है।

3. उन्होंने क्या पाया (परिणाम)

टीम ने दो प्रकार के रोबोटों पर इसका परीक्षण किया: सरल और जटिल, वास्तविक दुनिया जैसे।

सरल रोबोट (CartPole और Quadrotor):
- परिणाम: सिस्टम एकदम सटीक था। इसने असुरक्षित रोबोट के समान ही कार्य को करते हुए शून्य क्रैश (zero crashes) प्राप्त किए।
- क्यों: "अनुवादक" इन सरल गतिविधियों के लिए बहुत अच्छा काम कर गया, और "बफर ज़ोन" सही आकार का था। सुरक्षा गार्ड को हस्तक्षेप करने की आवश्यकता बहुत कम पड़ी क्योंकि रोबोट ने खुद सुरक्षित रहना सीख लिया था।
जटिल रोबोट (चलने वाले रोबोट जैसे HalfCheetah और Walker):
- परिणाम: सिस्टम ने क्रैश को कम करने में मदद की, लेकिन यह पूर्ण नहीं था। यह कुछ मामलों में अन्य तरीकों की तुलना में रोबोट को गिरने से रोकने में उतना प्रभावी नहीं था।
- क्यों: इन रोबोटों के "पैर" होते हैं जो जमीन से टकराते हैं, जिससे अचानक, झटकेदार गतिविधियाँ पैदा होती हैं (जैसे कार का गड्ढे से टकराना)। "अनुवादक" इन झटकेदार गतिविधियों को पर्याप्त रूप से सरल नहीं बना सका। "बफर ज़ोन" या तो उपयोगी होने के लिए बहुत बड़ा हो गया, या सुरक्षा नियम पालन करना असंभव हो गए।
- अंतर्दृष्टि: लेखकों ने एक "चेतावनी लाइट" की खोज की। प्रशिक्षण शुरू करने से पहले ही, वे "भविष्यवाणी त्रुटि" (अनुवादक में मौजूद स्टैटिक) को माप सकते थे। यदि यह त्रुटि बहुत अधिक थी, तो वे जानते थे कि सुरक्षा प्रणाली उस विशिष्ट रोबोट के लिए अच्छी तरह से काम नहीं करेगी। यह एक बड़ी खोज है: आप गणित की जाँच करके पहले ही अनुमान लगा सकते हैं कि आपका सुरक्षा फ़िल्टर काम करेगा या नहीं।

सारांश

यह शोध पत्र सीखने वाले रोबोटों के लिए एक स्मार्ट सुरक्षा परत पेश करता है। यह जटिल गतिविधियों को सरल गतिविधियों में अनुवादित करता है, गणितीय त्रुटियों को ध्यान में रखते हुए एक सुरक्षा बफर जोड़ता है, और रोबोट को उसके वास्तविक सुरक्षित कार्यों के आधार पर सिखाता है।

कब काम करता है: यह उन रोबोटों के लिए अविश्वसनीय रूप से प्रभावी है जिनकी गतिविधियाँ सुचारू और अनुमानित होती हैं (जैसे डंडा संतुलित करना), जो सीखने की गति को धीमा किए बिना पूर्ण सुरक्षा प्रदान करता है।
कब संघर्ष करता है: यह अचानक, झटकेदार प्रभावों वाले रोबोट (जैसे चलना या दौड़ना) के साथ विफल हो जाता है, क्योंकि गणित उन अचानक परिवर्तनों की भविष्यवाणी करने में संघर्ष करता है।
मुख्य बात: लेखक एक ऐसा उपकरण प्रदान करते हैं जिससे आप शुरू करने से पहले यह जाँच सकें कि क्या आपका सुरक्षा सिस्टम काम करेगा। यदि रोबोट की गतिविधियाँ बहुत अधिक अराजक हैं कि गणित उन्हें सरल बना सके, तो यह विशिष्ट सुरक्षा फ़िल्टर उस काम के लिए सही उपकरण नहीं हो सकता है।

तकनीकी सारांश: सुरक्षित एक्टर-क्रिटिक सुदृढीकरण शिक्षण (Reinforcement Learning) के लिए रोबस्ट कूपमैन कंट्रोल बैरियर फिल्टर्स

समस्या विवरण
रोबोटिक प्रणालियों के लिए सुरक्षित सुदृढीकरण शिक्षण (RL) एक मौलिक तनाव का सामना करता है: प्रशिक्षण और तैनाती दोनों के दौरान कार्य प्रदर्शन में सुधार करना और साथ ही अवस्था (state) एवं इनपुट बाधाओं (constraints) का सख्ती से पालन करना। जबकि कंट्रोल बैरियर फंक्शन्स (CBFs) न्यूनतम हस्तक्षेप वाले सुरक्षा फिल्टरों के माध्यम से फॉरवर्ड इनवेरियंस (forward invariance) को लागू करने के लिए एक सिद्धांतवादी तंत्र प्रदान करते हैं, मॉडल-फ्री RL में उनका अनुप्रयोग सटीक सिस्टम डायनेमिक्स और हस्त-निर्मित बैरियर प्रमाणों (barrier certificates) की आवश्यकता के कारण बाधित होता है। मौजूदा बाधित RL विधियाँ अक्सर अपेक्षित संचयी लागत (expected cumulative cost) की गारंटी देती हैं, न कि पॉइंटवाइज सुरक्षा (pointwise safety) की; रिवॉर्ड पेनल्टी में भी स्टेप-वाइज़ गारंटी का अभाव होता है। लेखक एक डेटा-ड्रिवन CBF सुरक्षा फिल्टर के साथ ऑफ-पॉलिसी डीप RL की सैंपल दक्षता को जोड़ने की चुनौती का समाधान करते हैं, जो विशेष रूप से परिमित-आयामी (finite-dimensional) कूपमैन मॉडलों में अंतर्निहित सन्निकटन त्रुटियों (approximation errors) को ध्यान में रखते हुए गैर-रेखीय प्रणालियों के लिए भी कॉनवेक्स (convex) बना रहता है।

कार्यप्रणाली: रोबस्ट कूपमैन-CBF SAC
यह शोध पत्र एक रोबस्ट कूपमैन-CBF SAC प्रस्तावित करता है, जो एक सुरक्षा-फिल्टर्ड एक्टर-क्रिटिक फ्रेमवर्क है जो तीन मुख्य घटकों को एकीकृत करता है:

डेटा-ड्रिवन कूपमैन लिफ्टिंग: यह विधि एक्सटेंडेड डायनेमिक मोड डीकंपोजिशन (EDMD) का उपयोग करके ऑफलाइन रोलआउट डेटा से एक परिमित-आयामी कूपमैन प्रेडिक्टर सीखती है। नॉन-लीनियर डायनेमिक्स को ऑब्जर्वेबल्स $\psi(x)$ के एक स्पेस में लिफ्ट किया जाता है जहाँ विकास लगभग रैखिक होता है: $z_{t+1} \approx Az_t + Bu_t$ । डिक्शनरी $\psi$ में मूल स्टेट कोऑर्डिनेट्स और रेडियल बेसिस फंक्शन्स (RBFs) शामिल हैं ताकि यह सुनिश्चित किया जा सके कि भौतिक बाधाओं को लिफ्ट किए गए स्पेस में एफाइन (affine) फंक्शन के रूप में दर्शाया जा सके।
रोबस्ट लिफ्टेड CBF बाधाएं: कूपमैन मॉडल की सन्निकटन त्रुटि को संभालने के लिए, लेखक एक प्रोजेक्टेड रेसिडुअल मार्जिन ( $\rho$ ) पेश करते हैं। पूर्ण रेसिडुअल नॉर्म को बाउंड करने के बजाय, वे उस घटक का अनुमान लगाते हैं जो सीधे बैरियर इनइक्वलिटी ( $|c^\top r|$ ) को प्रभावित करता है, जिसे एक होल्ड-आउट कैलिब्रेशन सेट का उपयोग करके निकाला जाता है। इस मार्जिन की गणना एम्पिरिकल या कॉन्फॉर्मल क्वांटाइल्स के माध्यम से की जाती है। सुरक्षा स्थिति को इस प्रकार कड़ा किया गया है:
$h_K(Az_t + Bu_t) \geq (1 - \eta)h_K(z_t) + \rho$
इसके परिणामस्वरूप कंट्रोल इनपुट पर एक एफाइन बाधा प्राप्त होती है, जिससे सुरक्षा फिल्टर को एक लाइटवेट क्वाड्रेटिक प्रोग्राम (QP) के रूप में लागू किया जा सकता है।
एक्टर-क्रिटिक एकीकरण: यह फ्रेमवर्क नाममात्र (nominal) और निष्पादित (executed) क्रियाओं के बीच के अंतर को हल करने के लिए मानक सॉफ्ट एक्टर-क्रिटिक (SAC) एल्गोरिदम को संशोधित करता है:
- क्रिटिक ट्रेनिंग: क्रिटिक को QP फिल्टर द्वारा उत्पन्न निष्पादित सुरक्षित क्रिया ( $u^{safe}_t$ ) पर प्रशिक्षित किया जाता है, जिससे यह सुनिश्चित होता है कि वैल्यू अनुमान वास्तविक क्लोज्ड-लूप डायनेमिक्स को दर्शाते हैं।
- एक्टर रेगुलराइजेशन: एक्टर को एक डिफरेंशिएबल CBF प्रपोजल पेनल्टी ( $\ell_{cbf}$ ) प्राप्त होती है जो उसे ऐसी क्रियाएं प्रस्तावित करने के लिए प्रोत्साहित करती है जो पहले से ही व्यवहार्य सेट (feasible set) के भीतर हों, जिससे समय के साथ फिल्टर पर निर्भरता कम हो सके।
- स्लैक हैंडलिंग: QP में एक्चुएटर लिमिट्स के तहत संख्यात्मक व्यवहार्यता बनाए रखने के लिए स्लैक वेरिएबल्स शामिल हैं, हालांकि लेखक नोट करते हैं कि पॉजिटिव स्लैक औपचारिक सुरक्षा प्रमाणों (formal safety certificates) को कमजोर करता है।

प्रमुख योगदान

रोबस्ट फिल्टर फॉर्मुलेशन: मॉडल-फ्री एक्टर-क्रिटिक RL के लिए एक रोबस्ट कूपमैन-CBF सुरक्षा फिल्टर का परिचय, जो नॉन-लीनियर डायनेमिक्स को लगभग रैखिक सिस्टम में लिफ्ट करता है और एक एफाइन QP बाधा के माध्यम से सुरक्षा लागू करता है।
प्रोजेक्टेड रेसिडुअल मार्जिन: कैलिब्रेशन डेटा से प्राप्त प्रोजेक्टेड रेसिडुअल मार्जिन का उपयोग करके परिमित-आयामी कूपमैन मॉडल त्रुटि का अनुमान लगाने की एक नवीन विधि, जो एक सीधे तौर पर लागू होने योग्य रोबस्ट डिस्क्रीट-टाइम CBF स्थिति प्रदान करती है।
सुसंगत एक्टर-क्रिटिक ट्रेनिंग: निष्पादित-क्रिया क्रिटिक लर्निंग और एक एक्टर-साइड फजीबिलिटी पेनल्टी के साथ SAC का एकीकरण, जो उस सामान्य विसंगति (mismatch) को समाप्त करता है जहाँ पॉलिसी अनफिल्टर्ड क्रियाओं के लिए अनुकूलित होती है जबकि एनवायरनमेंट ट्रांजिशन फिल्टर्ड क्रियाओं द्वारा जनरेट होते हैं।
एम्पिरिकल डायग्नोस्टिक्स: एक व्यापक मूल्यांकन जो यह प्रदर्शित करता है कि प्रोजेक्टेड रेसिडुअल मार्जिन $\rho$ फिल्टर की प्रभावशीलता के लिए एक प्री-ट्रेनिंग कंप्यूट करने योग्य डायग्नोस्टिक के रूप में कार्य करता है।

प्रायोगिक परिणाम
इस पद्धति का मूल्यांकन सेफ-कंट्रोल-जिम (कार्टपोल, क्वाड्रोटर D2) और सेफ्टी जिमनैसियम (वॉकर, हाफचीटा) पर किया गया।

लो-डायमेंशनल टास्क (कार्टपोल और क्वाड्रोटर): कार्टपोल स्टेबलाइजेशन और ट्रैकिंग पर, रोबस्ट कूपमैन-CBF SAC ने सभी सीड्स में शून्य बाधा उल्लंघन (zero constraint violations) प्राप्त किया और अनकन्स्ट्रेंड SAC के रिटर्न के बराबर या उससे अधिक प्रदर्शन किया। क्वाड्रोटर 2D ट्रैकिंग पर, इसने उल्लंघनों को 96.8% तक कम कर दिया (12.5% से 0.4% तक)। ये सफलताएं छोटे प्रोजेक्टेड रेसिडुअल मार्जिन ( $\rho \approx 10^{-3}$ ) और सही रिलेटिव डिग्री हैंडलिंग (क्वाड्रोटर के लिए कंपोजिट बैरियर्स का उपयोग करके) के कारण मिलीं।
हाई-डायमेंशनल लोकोमोशन (वॉकर और हाफचीटा): परिणाम मिश्रित रहे, जो संरचनात्मक सीमाओं को उजागर करते हैं। वॉकर पर, उल्लंघन 77.8% से घटकर 37.0% हो गए, लेकिन यह विधि SAC+Lagrangian (3.34% उल्लंघन) से पीछे रह गई। हाफचीटा पर, उल्लंघन उच्च रहे (82.8%), जिसमें गंभीर प्रदर्शन दंड (-70% रिटर्न) देखा गया।
विफलता विश्लेषण: हाई-डायमेंशनल, कॉन्टैक्ट-रिच कार्यों में, प्रोजेक्टेड रेसिडुअल मार्जिन $\rho$ बड़ा था (वॉकर के लिए 0.698, हाफचीटा के लिए 1.782)। इस बड़ी त्रुटि के कारण, रोबस्ट CBF बाधा या तो de facto रूप से संतुष्ट हो गई (जब एजेंट पहले से ही असुरक्षित था) या एक्चुएटर लिमिट्स के तहत अव्यवहार्य (infeasible) हो गई, जिससे फिल्टर अप्रभावी हो गया। लेखक पहचानते हैं कि लीनियर EDMD मॉडल ग्राउंड कॉन्टैक्ट के कारण होने वाले नॉन-स्मूथ वेलोसिटी ट्रांजिशन को कैप्चर नहीं कर सकते।

महत्व और दावे
यह शोध पत्र दावा करता है कि रोबस्ट कूपमैन-CBF फिल्टर, विशेष रूप से उन कार्यों के लिए जहाँ लिफ्टेड मॉडल और बैरियर सिस्टम स्ट्रक्चर के साथ अच्छी तरह से संरेखित होते हैं, मॉडल-फ्री RL और प्रमाणित सुरक्षा के बीच एक आशाजनक सेतु प्रदान करते हैं। प्राथमिक महत्व डायग्नोस्टिक क्षमता में निहित है: $\rho$ एक प्री-ट्रेनिंग मेट्रिक है जो यह भविष्यवाणी करता है कि क्या एक कूपमैन-CBF फिल्टर प्रभावी होगा।

लेखक इसकी सार्वभौमिकता के संबंध में विनम्र हैं, और स्पष्ट रूप से बताते हैं कि संपर्क-समृद्ध (contact-rich), उच्च-आयामी वातावरण में जहाँ फर्स्ट-ऑर्डर लीनियर एप्रोक्सिमेशन विफल हो जाते हैं, इस पद्धति की संरचनात्मक सीमाएँ हैं। वे स्पष्ट करते हैं कि हालांकि यह $\rho$ के छोटे होने और QP के व्यवहार्य होने पर पॉइंटवाइज सुरक्षा प्रदान करता है, लेकिन यह सुरक्षा की गारंटी नहीं देता है जब रेसिडुअल एरर बैरियर मार्जिन पर हावी हो जाता है या जब रिलेटिव डिग्री का मिसमैच होता है। यह कार्य जटिल लोकोमोशन कार्यों को संबोधित करने के लिए हाई-ऑर्डर या मल्टी-स्टेप कूपमैन विस्तार की आवश्यकता पर प्रकाश डालता है।