⚡ electrical engineering

Policy Library CBF: Finite-Horizon Safety at Runtime via Parallel Rollouts

यह शोध पत्र पॉलिसी लाइब्रेरी कंट्रोल बैरियर फंक्शन (PL-CBF) का प्रस्ताव करता है, जो एक रनटाइम सेफ्टी फ़िल्टर है जो समानांतर रोलआउट्स के माध्यम से फॉलबैक पॉलिसियों के पुस्तकालय का मूल्यांकन करके और सबसे कम आक्रामक सुरक्षित क्रिया का चयन करके असंरचित वातावरण में परिमित-क्षिति (finite-horizon) सुरक्षा सुनिश्चित करता है, जिससे मिलीसेकंड-स्तर की निष्पादन गति बनाए रखते हुए एकल-पॉलिसी फिल्टरों की तुलना में बेहतर सुरक्षा कवरेज प्रदान किया जाता है।

मूल लेखक: Taekyung Kim, Hideki Okamoto, Bardh Hoxha, Georgios Fainekos, Dimitra Panagou

प्रकाशित 2026-05-19

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Taekyung Kim, Hideki Okamoto, Bardh Hoxha, Georgios Fainekos, Dimitra Panagou

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक व्यस्त शहर में एक सेल्फ-ड्राइविंग कार चला रहे हैं। अचानक, सड़क की स्थिति बदल जाती है: कहीं काली बर्फ (black ice) का एक पैच आ जाता है, कोई पैदल यात्री अचानक सामने आ जाता है, या कोई निर्माण कार्य आपके सामान्य रास्ते को रोक देता है। आपकी कार के कंप्यूटर को तुरंत निर्णय लेना होगा: "क्या मुझे ब्रेक लगाना चाहिए? क्या मुझे बाईं ओर मुड़ना चाहिए? क्या मुझे दाईं ओर मुड़ना चाहिए? या क्या मुझे बस चलते रहना चाहिए?"

यह वह समस्या है जिसे शोध पत्र "Policy Library CBF" हल करने की कोशिश करता है। यह एक नया सुरक्षा सिस्टम पेश करता है जिसे PL-CBF (पॉलिसी लाइब्रेरी कंट्रोल बैरियर फंक्शन) कहा जाता है।

यह कैसे काम करता है, इसे सरल अवधारणाओं और उपमाओं के माध्यम से यहाँ समझाया गया है:

समस्या: "एक ही नियम सबके लिए" वाला जाल (The "One-Size-Fits-All" Trap)

रोबोट और कारों के लिए पारंपरिक सुरक्षा प्रणालियाँ अक्सर एक एकल बैकअप योजना पर निर्भर करती हैं। इसे एक ऐसे ड्राइवर के रूप में सोचें जिसने केवल एक ही आपातकालीन पैंतरे का अभ्यास किया है: जोर से ब्रेक मारना।

परिदृश्य: आप तेज़ गति से गाड़ी चला रहे हैं, और एक बच्चा सड़क पर दौड़ पड़ता है।
पुराना सिस्टम: कार खतरे को देखती है और तुरंत ब्रेक मार देती है।
विफलता: क्या होगा अगर सड़क पर बर्फ जमी हो? ब्रेक मारने से कार फिसल सकती है और बच्चे से टकरा सकती है। या, क्या होगा अगर आपके ठीक पीछे एक दीवार हो, तो रुकना संभव न हो?
परिणाम: क्योंकि सिस्टम केवल ब्रेक लगाना जानता है, इसलिए यह तय कर सकता है कि स्थिति "असुरक्षित" है और फ्रीज हो जाता है, या इससे भी बुरा, यह दुर्घटनाग्रस्त हो सकता है क्योंकि इसका एकमात्र तरीका काम नहीं आया। यह बहुत कठोर है।

समाधान: "स्विस आर्मी नाइफ" जैसी लाइब्रेरी (The "Swiss Army Knife" Library)

लेखक PL-CBF का प्रस्ताव देते हैं, जो रोबोट को केवल एक पेचकश (screwdriver) देने के बजाय एक स्विस आर्मी नाइफ देने जैसा है।

एक एकल बैकअप योजना पर निर्भर रहने के बजाय, PL-CBF विभिन्न रणनीतियों (पॉलिसी) की एक लाइब्रेरी तैयार रखता है। इस लाइब्रेरी में शामिल हो सकते हैं:

जोर से ब्रेक लगाना (जब आपके पास रुकने के लिए जगह हो)।
बाईं ओर मुड़ना (जब दाईं ओर दीवार हो)।
दाईं ओर मुड़ना (जब बाईं ओर दीवार हो)।
थोड़ा तेज़ होना (किसी बाधा से बचने के लिए)।
सामान्य ड्राइविंग योजना (यदि सब कुछ ठीक दिख रहा हो)।

यह कैसे काम करता है: "पैरेलल रोलआउट" की दौड़ (The "Parallel Rollout" Race)

जब रोबोट वातावरण में बदलाव महसूस करता है, तो वह केवल एक योजना नहीं चुनता। वह मिलीसेकंड में एक मानसिक सिमुलेशन रेस चलाता है:

पैरेलल रोलआउट्स (Parallel Rollouts): कल्पना करें कि रोबोट का कंप्यूटर अपने कई छोटे संस्करणों में विभाजित हो जाता है। प्रत्येक छोटा संस्करण एक साथ लाइब्रेरी से एक अलग रणनीति आज़माता है।
- छोटा रोबोट A ब्रेक लगाने की कोशिश करता है।
- छोटा रोबोट B बाईं ओर मुड़ने की कोशिश करता है।
- छोटा रोबोट C दाईं ओर मुड़ने की कोशिश करता है।
सुरक्षा जांच: कंप्यूटर वर्तमान वास्तविकता (जैसे, "क्या सड़क पर बर्फ है?") के विरुद्ध इन मानसिक दौड़ के परिणामों की जांच करता है।
- यदि ब्रेक लगाने से बर्फ पर गाड़ी फिसल सकती है, तो छोटा रोबोट A अयोग्य घोषित कर दिया जाता है।
- यदि बाईं ओर मुड़ने से दीवार टकराती है, तो छोटा रोबोट B अयोग्य घोषित कर दिया जाता है।
विजेता: सिस्टम जीवित बचे हुए विकल्पों को देखता है। यह सबसे कम दखल देने वाले (least invasive) विजेता को चुनता है।
- "हे, ब्रेक लगाना खतरनाक है, लेकिन दाईं ओर मुड़ना सुरक्षित है और इसके लिए हमें पूरी तरह रुकने की आवश्यकता नहीं है। चलिए दाईं ओर मुड़ते हैं।"
निष्पादन (Execution): रोबोट उस जीतने वाली रणनीति का पालन करने के लिए अपने नियंत्रणों को सुचारू रूप से समायोजित करता है, जिससे यह सुनिश्चित होता है कि वह सुरक्षित रहे और बहुत अधिक आक्रामक न हो।

यह बेहतर क्यों है ("कम दखल देने वाला" नियम)

लेखक इस बात पर जोर देते हैं कि यह सिस्टम सौम्य (gentle) होने की कोशिश करता है। यह तब तक ज़ोर से ब्रेक नहीं मारना चाहता जब तक कि एक हल्का मोड़ काम न कर जाए।

पुराना तरीका: यदि "ब्रेक" योजना ही एकमात्र सुरक्षित मानी जाने वाली योजना है, तो रोबोट को ब्रेक लगाना ही होगा, भले ही एक हल्का मोड़ अधिक सुरक्षित और आरामदायक रहा होता।
PL-CBF तरीका: यह सभी विकल्पों की जांच करता है। यदि "दाईं ओर मुड़ना" सुरक्षित है, तो यह उसे चुनता है क्योंकि यह गंतव्य तक पहुँचने के मूल लक्ष्य में कम हस्तक्षेप करता है। यह केवल तभी सख्त कदम उठाता है जब अत्यंत आवश्यक हो।

"मिलीसेकंड" का जादू

आप सोच सकते हैं कि पांच या दस अलग-अलग योजनाओं की जांच करना एक वास्तविक कार के लिए बहुत धीमा होगा। शोध पत्र का दावा है कि यह प्रणाली अविश्वसनीय रूप से तेज़ है (यह मिलीसेकंड में चलती है)।

उपमा: एक बड़ी, जटिल गणितीय पहेली को हल करने के बजाय (जो धीमी होती है), यह प्रणाली एक ही समय में एक समानांतर प्रोसेसर (जैसे GPU) पर कई छोटी, सरल पहेलियों को चलाती है। यह एक जलती हुई इमारत से निकलने के विभिन्न रास्तों की जांच करने वाले 100 लोगों की टीम की तरह है, न कि एक व्यक्ति द्वारा एक-एक करके दरवाजों की जांच करने जैसा।

वास्तविक दुनिया के परीक्षण

लेखकों ने तीन परिदृश्यों पर इसका परीक्षण किया:

एक सरल भौतिक मॉडल: यह सिद्ध करना कि यह सिद्धांत में काम करता है।
अचानक बर्फ के साथ हाईवे ड्राइविंग: जब सड़क फिसलन भरी हो गई, तो पुराने "केवल ब्रेक लगाने वाले" सिस्टम क्रैश हो गए या फंस गए। PL-CBF ने "मुड़ने" की रणनीति अपना ली और सुरक्षित रहा।
भीड़भाड़ वाले गोदाम में 3D ड्रोन: ड्रोन को चलते हुए लोगों और बक्सों से बचना था। सिंगल-प्लान वाले सिस्टम अक्सर टकरा जाते थे। PL-CBF, अपनी चकमा देने वाली मूव्स की लाइब्रेरी के साथ, अराजकता के बीच सुरक्षित रूप से नेविगेट करने में सफल रहा।

सारांश

PL-CBF एक सुरक्षा फ़िल्टर है जो रोबोट को "ज़िद्दी" होने से रोकता है। एक एकल, संभावित रूप से खतरनाक बैकअप योजना को थोपने के बजाय, यह तेज़ी से कई विकल्पों का अनुकरण करता है, सबसे सुरक्षित विकल्प चुनता है जो सबसे कम व्यवधान उत्पन्न करने वाला भी है, और इसे तुरंत निष्पादित करता है। यह एक कठोर "करो या मरो" सुरक्षा प्रणाली को एक लचीली, अनुकूलन योग्य रक्षक में बदल देता है।

तकनीकी सारांश: पॉलिसी लाइब्रेरी कंट्रोल बैरियर फंक्शन (PL-CBF)

समस्या विवरण

असंरचित, वास्तविक दुनिया के वातावरण में स्वायत्त प्रणालियों (autonomous systems) की तैनाती ऑनलाइन सुरक्षा प्रमाणन (online safety certification) के संबंध में महत्वपूर्ण चुनौतियों का सामना करती है। निश्चित बाधाओं और पूर्णतः मॉडल किए गए मापदंडों वाले शास्त्रीय परिवेशों के विपरीत, तैनात रोबोट धारणा-सीमित सूचना (perception-limited information) के तहत कार्य करते हैं जहाँ सुरक्षित क्षेत्र ऑनलाइन प्रकट होते हैं, गतिशील बाधाएं प्रकट होती और गायब होती हैं, और परिचालन स्थितियाँ (जैसे घर्षण) समय के साथ बदलती रहती हैं।

जबकि हैमिल्टन-जो (HJ) रीचैबिलिटी विश्लेषण जैसे औपचारिक सत्यापन उपकरण मजबूत गारंटी प्रदान करते हैं, वे आयामीता के अभिशाप (curse of dimensionality) से ग्रस्त हैं और उच्च-आयामी रोबोटिक प्रणालियों के लिए गणनात्मक रूप से अव्यवहार्य हैं। कंट्रोल बैरियर फंक्शन्स (CBFs) एक स्केलेबल विकल्प प्रदान करते हैं लेकिन आमतौर पर स्थिर बाधाओं के तहत पूर्ण गैर-रेखीय प्रणाली के लिए एक स्पष्ट बैरियर फंक्शन की आवश्यकता होती है, जिसे ऑनलाइन विकसित होने वाली बाधाओं के मामले में प्राप्त करना कठिन है।

रोलआउट्स पर आधारित मौजूदा रनटाइम सुरक्षा फिल्टर, जैसे कि पॉलिसी CBFs (PCBFs), ऑफलाइन वैल्यू-फंक्शन गणना के बिना सुरक्षा प्रमाण पत्र बनाने का प्रयास करते हैं। हालाँकि, ये विधियाँ एक एकल निर्दिष्ट फॉलबैक पॉलिसी (single designated fallback policy) पर निर्भर करती हैं। असंरचित वातावरण में, कोई भी एकल युक्ति (maneuver) सभी धारणा अपडेट के लिए विश्वसनीय रूप से सुरक्षित नहीं होती है। उदाहरण के लिए, अचानक घर्षण हानि के तहत एक 'स्टॉप' युक्ति विफल हो सकती है, या एक निश्चित अपवर्तक युक्ति (evasive maneuver) नए पहचाने गए अवरोधों के कारण अव्यवहार्य हो सकती है। एक एकल फॉलबैक पर यह निर्भरता अनावश्यक रूढ़िवादिता (conservatism) उत्पन्न करती है और सुरक्षा उल्लंघन का कारण बन सकती है, भले ही वैकल्पिक सुरक्षित युक्तियाँ मौजूद हों।

कार्यप्रणाली: पॉलिसी लाइब्रेरी कंट्रोल बैरियर फंक्शन (PL-CBF)

लेखक PL-CBF का प्रस्ताव करते हैं, जो सुरक्षा को प्रमाणित करने और सबसे कम दखल देने वाले (least invasive) सुरक्षित मोड को चुनने के लिए समानांतर परिमित-क्षितिज रोलआउट (parallel finite-horizon rollouts) के माध्यम से विविध फॉलबैक नीतियों के एक परिमित पुस्तकालय (finite library) का मूल्यांकन करता है।

मुख्य सूत्र (Core Formulation)

एक एकल बैकअप पॉलिसी पर निर्भर रहने के बजाय, PL-CBF $K$ उम्मीदवार फॉलबैक नीतियों $\Pi = \{\pi_1, \pi_2, \dots, \pi_K\}$ के एक पुस्तकालय को परिभाषित करता है। यह एक परिमित-क्षितिज पॉलिसी लाइब्रेरी वैल्यू फंक्शन निर्मित करता है:
$H^\Pi_T(x) := \max_{\pi_i \in \Pi} \left\{ \inf_{\tau \in [0,T]} h(\phi^{\pi_i}_\tau(x)) \right\}$
जहाँ $h$ सुरक्षित सेट को परिभाषित करने वाला बाधा फलन है। यदि पुस्तकालय में कम से कम एक नीति क्षितिज $T$ के दौरान गैर-ऋणात्मक बाधा मान बनाए रखती है, तो स्थिति को सुरक्षित माना जाता है।

सुरक्षा फिल्टर संश्लेषण (Safety Filter Synthesis)

सुरक्षा फिल्टर एक क्वाड्रेटिक प्रोग्राम (QP) को हल करके संचालित होता है जो सुरक्षा सुनिश्चित करते हुए नाममात्र इनपुट $u_{nom}$ को न्यूनतम रूप से संशोधित करता है।

समानांतर रोलआउट: सिस्टम $\Pi$ में सभी नीतियों के लिए समानांतर रोलआउट करता है ताकि उनके संबंधित सुरक्षा मान $H^{\pi_i}_T(x)$ की गणना की जा सके।
पॉलिसी चयन: प्रमाणित सुरक्षित उम्मीदवारों (जहाँ $H^{\pi_i}_T(x) > 0$ ) में से, फ़िल्टर "सबसे कम दखल देने वाली" नीति $\pi_{i^*}$ का चयन करता है। केवल उच्चतम सुरक्षा मार्जिन चुनने के बजाय, PL-CBF उस नीति का चयन करता है जो स्वीकार्य नियंत्रण सेट $K_{cbf}(x; \pi_i)$ के आयतन (volume) को अधिकतम करती है। इसे इस प्रकार परिभाषित किया गया है:
$i^* = \arg \max_{i \in I_{safe}(x)} \text{Vol}(K_{cbf}(x; \pi_i))$
QP निष्पादन: अंतिम नियंत्रण इनपुट $u^*$ प्राप्त किया जाता है:
$u^* = \arg \min_{u \in U} \|u - u_{nom}\|^2_2 \quad \text{s.t.} \quad \nabla H^{\pi_{i^*}}_T(x)^\top(f(x) + g(x)u) \geq -\alpha(H^{\pi_{i^*}}(x))$
ग्रेडिएंट्स की गणना डायनेमिक्स के माध्यम से ऑटोमैटिक डिफरेंशिएशन का उपयोग करके रनटाइम पर कुशलतापूर्वक की जाती है।

सैद्धांतिक विश्लेषण

यह शोध पत्र एक परिमित-क्षितिज भाषा मीट्रिक (finite-horizon language metric) का उपयोग करके परिमित-क्षितिज सुरक्षा प्रमाणन के लिए एक पूर्णता स्थिति (completeness condition) स्थापित करता है। यह मीट्रिक क्षितिज $T$ के ऊपर दो पॉलिसी रोलआउट्स के बीच सबसे खराब स्थिति वाले स्टेट विचलन को मापता है। लेखक सिद्ध करते हैं कि यदि पॉलिसी लाइब्रेरी $\Pi$ में पर्याप्त निम्न सन्निकटन परिशुद्धता (approximation precision) है (अर्थात, लाइब्रेरी व्यवहार के स्थान को पर्याप्त रूप से कवर करती है), और यदि एक गैर-शून्य क्लीयरेंस के साथ एक सख्त सुरक्षित नीति मौजूद है, तो यह गारंटी है कि लाइब्रेरी में एक ऐसी नीति होगी जिसे PL-CBF सुरक्षित के रूप में प्रमाणित कर सकता है।

यह ढांचा आदर्श अनंत-क्षितिज सीमा (infinite-horizon limit) में शास्त्रीय CBFs और फॉरवर्ड इनवेरियंस (forward invariance) के साथ वैचारिक संबंध पर भी चर्चा करता है, यह देखते हुए कि यदि लाइब्रेरी में एक वैध बैकअप पॉलिसी है, तो PL-CBF बैकअप CBF दृष्टिकोणों की रिकर्सिव फजीबिलिटी (recursive feasibility) गारंटी को पुनः प्राप्त कर लेता है।

मुख्य योगदान

पॉलिसी-लाइब्रेरी परिमित-क्षितिज सुरक्षा फ़िल्टरिंग: PL-CBF का परिचय, जो समानांतर रोलआउट के माध्यम से उम्मीदवार फॉलबैक नीतियों के एक परिमित पुस्तकालय का मूल्यांकन करके सुरक्षा को प्रमाणित करता है। यह प्रमाणित उम्मीदवारों के बीच स्वीकार्य नियंत्रण सेट के आयतन को अधिकतम करके सबसे कम प्रतिबंधात्मक बाधा का चयन करता है।
सैद्धांतिक लक्षण वर्णन: क्लोज्ड-लूप व्यवहारों पर परिमित-क्षितिज भाषा मीट्रिक के आधार पर परिमित-क्षितिज सुरक्षा प्रमाणन के लिए एक पूर्णता स्थिति की स्थापना। यह पॉलिसी-लाइब्रेरी कवरेज आवश्यकताओं को लक्षणित करता जो सुरक्षा प्रमाणित करने के लिए आवश्यक हैं।
प्रायोगिक सत्यापन और रनटाइम दक्षता: तीन सिमुलेशन बेंचमार्क (प्लेनर डबल-इंटीग्रेटर, अचानक घर्षण परिवर्तन के साथ हाईवे ड्राइविंग, और 3D क्वाड्रोटर नेविगेशन) में सिंगल-पॉलिसी सुरक्षा फिल्टरों की तुलना में बेहतर सुरक्षा कवरेज प्रदर्शित करना, जबकि मिलीसेकंड-स्तर का रनटाइम बनाए रखना।

प्रायोगिक परिणाम

लेखकों ने चार प्रतिनिधि सुरक्षा फिल्टरों (मॉडल प्रेडिक्टिव शील्डिंग, गेटकीपर, बैकअप CBF, और पॉलिसी CBF) के विरुद्ध, जो सिंगल फॉलबैक पॉलिसियों का उपयोग करते हैं, PL-CBF का मूल्यांकन किया।

प्लेनर डबल-इंटीग्रेटर: PL-正在 स्टॉपिंग और इवेसिव (evasive) नीतियों के एक पुस्तकालय का मूल्यांकन करके PL-CBF ने सबसे बड़ा सुरक्षित सेट पुनः प्राप्त करने की क्षमता प्रदर्शित की, जबकि सिंगल-पॉलिसी विधियों ने चुने गए फॉलबैक के आधार पर अलग-अलग, अक्सर छोटे, सुरक्षित सेट प्राप्त किए।
हाईवे ड्राइविंग (अचानक घर्षण परिवर्तन): एक वास्तविक गैर-रेखीय वाहन मॉडल (8 अवस्थाएँ) और अचानक घर्षण परिवर्तनों (ब्लैक आइस) वाले परिदृश्य में, PL-CF ने 10 m/s की लक्षित गति पर 0/50 विफलताएं हासिल कीं। इसके विपरीत, सभी सिंगल-फॉलबैक बेसलाइन ने 22% से 92% तक टक्कर या अक्षमता दर का अनुभव किया। PL-CBF ने प्रति स्टेप 7.5 ms का रनटाइम बनाए रखा।
3D क्वाड्रोटर नेविगेशन: एक भीड़भाड़ वाले गतिशील वातावरण (12 अवस्थाएँ) में, सिंगल-पॉलिसी बेसलाइन 68% से 79% परीक्षणों में विफल रहीं। PL-CF ने 65 युक्तियों के पुस्तकालय (64 इवेसिव + 1 नाममात्र) का उपयोग करके विफलता दर को 0% तक कम कर दिया, जबकि रनटाइम 27.9 ms रहा। शोध पत्र नोट करता है कि समान युक्ति चयन वाला एक मिक्स-इंटिजर MPC बेसलाइन काफी धीमा (688 ms) था।

महत्व और दावे

शोध पत्र का दावा है कि PL-CBF असंरचित वातावरण में एक एकल निश्चित फॉलबैक युक्ति पर निर्भर रहने की भंगुरता (brittleness) को संबोधित करता है। एक पुस्तकालय के माध्यम से मल्टीमॉडल सुरक्षित युक्तियों को बनाए रखकर और ऑनलाइन सबसे कम दखल देने वाले विकल्प का चयन करके, यह विधि वास्तविक-समय प्रदर्शन से समझौता किए बिना सुरक्षा कवरेज में सुधार करती है।

लेखक PL-CBF को एक व्यावहारिक, तैनात करने योग्य हाई-रेट सुरक्षा परत के रूप में प्रस्तुत करते हैं। वे स्पष्ट रूप से कहते हैं कि यह विधि HJ रीचैबिलिटी की गणनात्मक जटिलता और पारंपरिक CBFs की ऑफलाइन संश्लेषण आवश्यकताओं से बचती है। इसका महत्व उभरती हुई बाधाओं और धारणा अपडेट को संभालने की क्षमता में निहित है जहाँ एक एकल युक्ति सुरक्षा की गारंटी नहीं दे सकती है, जिससे रूढ़िवादिता कम होती है और सिंगल-पॉलिसी फिल्टरों के कारण होने वाले सुरक्षा उल्लंघन रुकते हैं।

शोध पत्र विनम्रतापूर्वक निष्कर्ष निकालता है, जिसमें उल्लेख है कि भविष्य का कार्य लर्निंग-आधारित दृष्टिकोणों का उपयोग करके व्यवस्थित पॉलिसी लाइब्रेरी निर्माण, मॉडल मिसमैच और धारणा अनिश्चितता को संभालना, और लाइब्रेरी को ऑनलाइन परिष्कृत करने के लिए अनुकूलन तंत्र पर केंद्रित होगा।