⚡ electrical engineering

From learning to safety: A Direct Data-Driven Framework for Constrained Control

यह शोध पत्र एक प्रत्यक्ष डेटा-संचालित नियंत्रण ढांचे का प्रस्ताव करता है जिसमें एक नवीन 3DSF और SACBF-आधारित सुरक्षा प्रमाणपत्र शामिल है जो बाधाओं के तहत मॉडल-मुक्त शिक्षण-आधारित नियंत्रण के लिए औपचारिक गारंटी प्रदान करने हेतु प्रदर्शन अनुकूलन को सुरक्षा प्रवर्तन से अलग करता है।

मूल लेखक: Kanghui He, Shengling Shi, Ton van den Boom, Bart De Schutter

प्रकाशित 2026-01-15

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Kanghui He, Shengling Shi, Ton van den Boom, Bart De Schutter

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ शोध पत्र "From Learning to Safety: A Direct Data-Driven Framework for Constrained Control" का सरल भाषा में अनुवाद दिया गया है:

बड़ी समस्या: "ब्लैक बॉक्स" ड्राइवर

कल्पना कीजिए कि आप एक रोबोट को कार चलाना सिखा रहे हैं। आप चाहते हैं कि रोबोट सबसे अच्छा ड्राइवर बने (तेज़, कुशल, सुचारू), लेकिन उसे कभी भी दीवार या पैदल यात्री से नहीं टकराना चाहिए।

अतीत में, रोबोट को सुरक्षित रखने के लिए, इंजीनियरों ने कार कैसे काम करती है (भौतिकी, घर्षण, इंजन की शक्ति) इसका एक विस्तृत "मानचित्र" (map) बनाया। उन्होंने इस मानचित्र का उपयोग यह अनुमान लगाने के लिए किया: "यदि मैं पहिया इस तरह घुमाता हूँ, तो कार यहाँ फिसलेगी।" यदि भविष्यवाणी ने दुर्घटना दिखाई, तो वे रोबोट को रोक देते थे।

समस्या: वास्तविक दुनिया में, हमारे पास अक्सर एक सटीक मानचित्र नहीं होता। कार पुरानी हो सकती है, सड़क फिसलन भरी हो सकती है, या भौतिकी इतनी जटिल हो सकती है जिसे कागज पर लिखना कठिन हो। जब हम "लर्निंग" विधियों (जैसे रीइन्फोर्समेंट लर्निंग) का उपयोग करते हैं जहाँ रोबोट 'ट्रायल एंड एरर' (गलतियों से सीखना) के माध्यम से सीखता है, तो उसके पास कोई मानचित्र नहीं होता। वह केवल अनुमान लगाता है। यह खतरनाक है क्योंकि एक "अनुमान" एक पल के लिए अच्छा लग सकता है लेकिन कुछ सेकंड बाद दुर्घटना का कारण बन सकता है।

पुराना समाधान: "अनुवादक" फ़िल्टर (The "Translator" Filter)

मौजूदा सुरक्षा उपकरण एक अनुवादक की तरह काम करते हैं।

रोबोट (लर्नर) कहता है, "मैं बाईं ओर मुड़ना चाहता हूँ!"
सुरक्षा फ़िल्टर कहता है, "रुको, मुझे पहले इसे भौतिकी मॉडल में अनुवादित करने की आवश्यकता है ताकि देख सकूँ कि क्या यह सुरक्षित है।"
यदि मॉडल कहता है "दुर्घटना," तो फ़िल्टर कमांड को बदलकर "थोड़ा बाईं ओर मुड़ें" कर देता है।

दोष: यह अनुवादक धीमा और अपूर्ण है। यदि दुनिया का अनुवादक का मानचित्र गलत है (क्योंकि वास्तविक दुनिया अव्यवस्थित है), तो सुरक्षा फ़िल्टर फिर भी दुर्घटना होने दे सकता है। यह एक ऐसे मॉडल पर निर्भर करता है जो शायद मौजूद ही न हो।

नया समाधान: "डायरेक्ट डेटा" सुरक्षा फ़िल्टर (3DSF)

यह शोध पत्र ड्राइविंग का एक नया तरीका प्रस्तावित करता है जो "अनुवादक" को पूरी तरह से छोड़ देता है। यह पूछने के बजाय कि, "भौतिकी मॉडल क्या कहता है?", यह पूछता है, "डेटा क्या कहता है?"

इसे एक अनुभवी ड्राइविंग इंस्ट्रक्टर की तरह समझें जो बगल वाली सीट पर बैठा है।

पुराना तरीका (मॉडल-आधारित): इंस्ट्रक्टर के पास एक पाठ्यपुस्तक है। वह आपको ब्रेक लगाने के लिए कहने से पहले सड़क के घर्षण गुणांक (friction coefficient) की गणना करता है।
नया तरीका (डायरेक्ट डेटा-ड्रिवन): इंस्ट्रक्टर ने कभी पाठ्यपुस्तक नहीं देखी है। उसने बस हजारों घंटों के ड्राइविंग वीडियो देखे हैं। जब आप कहते हैं, "मैं बाईं ओर मुड़ने जा रहा हूँ," तो वह तुरंत जानता है, "नहीं, यह एक बुरा विचार है क्योंकि ऐसी ही स्थितियों में लोगों की दुर्घटना हुई थी।" उसे भौतिकी की गणना करने की आवश्यकता नहीं है; वह सीधे डेटा से खतरे के पैटर्न को पहचान लेता है।

मुख्य नवाचार: "स्टेट-एक्शन" सुरक्षा प्रमाण पत्र (The "State-Action" Safety Certificate)

यह शोध पत्र एक नया टूल पेश करता है जिसे स्टेट-एक्शन कंट्रोल बैरियर फंक्शन (SACBF) कहा जाता है।

पुराने सुरक्षा प्रमाण पत्र (CBF): ये एक "सुरक्षित क्षेत्र" के मानचित्र की तरह हैं। वे केवल इस बात को देखते हैं कि कार कहाँ है (State)। वे कहते हैं, "यदि आप इस ज़ोन में हैं, तो आप सुरक्षित हैं।" उन्हें इससे कोई फर्क नहीं पड़ता कि आप क्या कर रहे हैं।
नए सुरक्षा प्रमाण पत्र (SACBF): ये एक "सुरक्षित चाल" (Safe Move) के मानचित्र की तरह हैं। वे देखते हैं कि आप कहाँ हैं और आप क्या कर रहे हैं (State + Action)। वे कहते हैं, "यदि आप यहाँ हैं और आप बाईं ओर मुड़ते हैं, तो आप सुरक्षित हैं। लेकिन यदि आप यहाँ हैं और आप दाईं ओर मुड़ते हैं, तो आप खतरे में हैं।"

यह क्यों महत्वपूर्ण है: क्योंकि यह सीधे एक्शन (क्रिया) का मूल्यांकन करता है, इसे भविष्य का अनुकरण (simulate) करने की आवश्यकता नहीं होती है। यह बिना किसी भौतिकी मॉडल की भविष्यवाणी के, तुरंत खतरनाक चाल को "ना" कह सकता है।

उन्होंने इंस्ट्रक्टर को कैसे सिखाया (तीन विधियाँ)

शोध पत्र इस "डायरेक्ट डेटा" इंस्ट्रक्टर को प्रशिक्षित करने के तीन तरीके दिखाता है:

रीइन्फोर्समेंट लर्निंग (RL): इंस्ट्रक्टर रोबोट द्वारा चीज़ों को आज़माने को देखकर सीखता है। यदि वह दुर्घटनाग्रस्त होता है, तो इंस्ट्रक्टर उस चाल को रोकना सीख जाता है। (तेज़, लेकिन कभी-कभी इंस्ट्रक्टर गलती भी कर सकता है)।
विशेषज्ञ मार्गदर्शन (Expert Guidance): इंस्ट्रक्टर एक "परफेक्ट" मानव ड्राइवर (या एक सुरक्षित एल्गोरिदम) को देखता है और उनकी सुरक्षा संबंधी आदतों की नकल करना सीखता है।
सुपरवाइज्ड लर्निंग (SL): यदि हमारे पास पहले से ही एक बुनियादी सुरक्षा नियम है (जैसे सुरक्षित ज़ोन की पाठ्यपुस्तक परिभाषा), तो इंस्ट्रक्टर उस नियम को हर स्थिति के लिए विशिष्ट "रुकें/चलें" कमांड में अनुवादित करना सीखता है।

गलतियों को संभालना: "सेफ्टी बफर" (The "Safety Buffer")

लेखक जानते हैं कि भले ही इंस्ट्रक्टर स्मार्ट हो, फिर भी गलतियाँ कर सकता है क्योंकि डेटा परफेक्ट नहीं होता। उन्होंने एरर-टू-स्टेट सेफ्टी (ESSf) नामक एक प्रणाली बनाई है।

कल्पना कीजिए कि इंस्ट्रक्टर थोड़ा अनिश्चित है। यह कहने के बजाय कि, "आप सुरक्षित हैं यदि आप दीवार के 1 मीटर के भीतर रहते हैं," वह कहता है, "आप सुरक्षित हैं केवल यदि आप दीवार के 0.5 मीटर के भीतर रहते हैं।"

वे रोबोट के लिए नियमों को सख्त कर देते हैं (सुरक्षित क्षेत्र को छोटा कर देते हैं)।
वे इंस्ट्रक्टर के लिए नियमों को शिथिल कर देते हैं (इंस्ट्रक्टर को थोड़ा गलत होने की अनुमति देते हैं)।

यह एक "सेफ्टी बफर" बनाता है। भले ही लर्निंग 100% परफेक्ट न हो, रोबोट सुरक्षित रहता है क्योंकि अनिश्चितता को ध्यान में रखते हुए नियमों को सख्त बनाया गया था।

परिणाम: कार टेस्ट

उन्होंने एक 2D स्पेस में बाधाओं के साथ वर्चुअल कार चलाने पर इसका परीक्षण किया।

परिणाम: जब उन्होंने एक "जोखिम भरे" लर्निंग रोबोट को चलाने दिया, तो नए सुरक्षा फ़िल्टर ने लगभग हर खतरनाक चाल को पकड़ लिया।
तुलना:
- पुराने मॉडल-आधारित फ़िल्टर्स: कभी-कभी विफल रहे क्योंकि उनका "फिजिक्स मैप" थोड़ा गलत था।
- रिवॉर्ड शेपिंग (प्रशिक्षण में दुर्घटनाओं को दंडित करना): रोबोट ने सुरक्षित रहना सीखा लेकिन वह बहुत धीमा और अनाड़ी भी हो गया, जिससे वह अक्सर अपने गंतव्य तक पहुँचने में विफल रहा।
- नई विधि: रोबोट 100% सुरक्षित था (परीक्षणों में) और फिर भी कुशलतापूर्वक अपने गंतव्य तक पहुँचा। यह पुराने तरीकों की तुलना में तेज़ और अधिक विश्वसनीय था।

सारांश

यह शोध पत्र रोबोट को सुरक्षित रहने के लिए सिखाने की समस्या को हल करता है जब हमारे पास एक सटीक भौतिकी मॉडल नहीं होता।

पुराना तरीका: एक मॉडल बनाएं, फिर सुरक्षा की जाँच करें। (धीमा, मॉडल त्रुटियों के प्रति संवेदनशील)।
नया तरीका: सीधे "स्टेट + एक्शन" के डेटा को देखें। (तेज़, मजबूत, बिना मॉडल के काम करता है)।

यह एक ऐसे रोबोट को बदलने जैसा है जो बाहर कदम रखने से पहले मौसम की गणना करता है, उस रोबोट से जो केवल अनुभव के आधार पर जानता है, "बारिश होने जैसी लग रही है, इसलिए मैं छाता ले लूँगा।"

तकनीकी सारांश: लर्निंग से सुरक्षा तक: बाधित नियंत्रण के लिए एक प्रत्यक्ष डेटा-संचालित ढांचा

1. समस्या विवरण

यह शोधपत्र लर्निंग-आधारित नियंत्रण प्रणालियों में सुरक्षा सुनिश्चित करने (प्रतिबंध संतुष्टि) की महत्वपूर्ण चुनौती को संबोधित करता है, विशेष रूप से मॉडल-फ्री (model-free) परिवेशों में जहाँ स्पष्ट सिस्टम डायनेमिक्स उपलब्ध नहीं होते हैं। जबकि पारंपरिक सुरक्षा फिल्टर (जैसे कि कंट्रोल बैरियर फंक्शन्स या CBFs) भौतिकी या डेटा से प्राप्त भविष्य कहने वाले मॉडलों पर निर्भर करते हुए मॉडल-आधारित संदर्भों में नियंत्रण इनपुट को संशोधित करके प्रभावी ढंग से सुरक्षा लागू करते हैं, वे एक अंतराल पैदा करते हैं: मौजूदा डेटा-संचालित सुरक्षा फिल्टर ज्यादातर "अप्रत्यक" (indirect) होते हैं, जिन्हें पहले सिस्टम आइडेंटिफिकेशन की आवश्यकता होती है, जो त्रुटियों को बढ़ाता है और सुरक्षा प्रदर्शन को कम करता है। इसके अलावा, "प्रत्यक्ष" (direct) डेटा-संचालित विधियाँ अक्सर रैखिक बाधाओं तक सीमित होती हैं या उनमें औपचारिक सुरक्षा गारंटी का अभाव होता है।

मुख्य समस्या एक ऐसा नियंत्रण ढांचा डिजाइन करने की है जो:

स्पष्ट सिस्टम आइडेंटिफिकेशन के बिना सीधे स्टेट-ट्रांजिशन डेटा से संचालित हो सके।
प्रदर्शन अनुकूलन के लिए किसी भी मॉडल-फ्री लर्निंग एल्गोरिदम (जैसे सुदृढीकरण शिक्षण/RL, सुपरवाइज्ड लर्निंग/SL) के साथ सहजता से एकीकृत हो सके।
लर्निंग की अशुद्धियों की उपस्थिति में भी सुरक्षा और रिकर्सिव फिजिबिलिटी (recursive feasibility) पर औपचारिक गारंटी प्रदान कर सके।

2. कार्यप्रणाली

प्रस्तावित समाधान एक ऑप्टिमाइज़ेशन-आधारित नियंत्रण ढांचा है जो प्रदर्शन अनुकूलन को सुरक्षा प्रवर्तन से अलग करता है। यह ढांचा एक नवीन सुरक्षा प्रमाण पत्र पर निर्भर करता है जिसे स्टेट-एक्शन कंट्रोल बैरियर फंक्शन (SACBF) कहा जाता है।

A. मुख्य अवधारणा: स्टेट-एक्शन कंट्रोल बैरियर फंक्शन (SACBF)

शास्त्रीय CBFs के विपरीत, जो केवल अवस्था $x$ के आधार पर सुरक्षा का मूल्यांकन करते हैं, SACBF, जिसे $Q_B(x, u)$ द्वारा दर्शाया जाता है, अवस्था और नियंत्रण इनपुट दोनों का एक फलन है।

परिभाषा: एक फलन $Q_B$ एक SACBF है यदि उसका ज़ीरो सब-लेवल सेट एक सुरक्षित सेट $S_Q$ को परिभाषित करता है, ताकि $S_Q$ में किसी भी अवस्था के लिए, एक ऐसा इनपुट मौजूद होता है जो $Q_B(x, u) \leq 0$ को संतुष्ट करता है और अगली अवस्था को $S_Q$ के भीतर रखता है।
लाभ: यह स्वरूप सुरक्षा फिल्टर को वर्तमान स्टेट-एक्शन पेयर पर ही संभावित नियंत्रण क्रिया की सुरक्षा का आकलन करने की अनुमति देता है, बिना डायनेमिक्स को आगे बढ़ाए या किसी मॉडल $f(x, u)$ की आवश्यकता के।

B. नियंत्रण ढांचा

नियंत्रण नीति $\pi(x)$ को एक बाधित अनुकूलन समस्या के समाधान के रूप में परिभाषित किया गया है:
$\pi(x) := \arg \min_{u \in U} Q(x, u) \quad \text{सर्त (s.t.)} \quad Q_B(x, u) \leq 0$
यहाँ, $Q(x, u)$ एक ऑब्जेक्टिव फंक्शन है (जिसे RL या SL के माध्यम से सीखा गया है) जो कार्य प्रदर्शन का प्रतिनिधित्व करता है, और $Q_B(x, u)$ एक सीखा गया SACBF है जो सुरक्षा बाधा के रूप में कार्य करता है।

C. SACBFs को सीखना

शोधपत्र $Q_B$ के लिए तीन अलग-अलग डेटा-संचालित संश्लेषण विधियों का प्रस्ताव करता है:

सुदृढीकरण शिक्षण (Reinforcement Learning - RL): यह SACBF संश्लेषण को एक रीचेबिलिटी (reachability) समस्या के रूप में मानता है। यह रीचेबिलिटी समस्या के इष्टतम वैल्यू फंक्शन को अनुमानित करने के लिए वैल्यू-आधारित RL विधियों (जैसे टेम्पोरल डिफरेंस लर्निंग) को अनुकूलित करता है। नोट: रीचेबिलिटी के लिए अनडिस्काउंटेड बेलमैन समीकरण की नॉन-कॉन्ट्रैक्टिव प्रकृति के कारण इस विधि में सुरक्षा प्रमाण पत्र के लिए औपचारिक अभिसरण (convergence) गारंटी का अभाव है।
विशेषज्ञ-निर्देशित लर्निंग (Expert-Guided Learning): यह एक विशेषज्ञ सुरक्षित नियंत्रक (जैसे आर्टिफिशियल पोटेंशियल फील्ड्स) की उपलब्धता मानता है। यह संश्लेषण को एक रोबस्ट ऑप्टिमाइज़ेशन समस्या के रूप में तैयार करता है ताकि एक ऐसा SACBF पाया जा सके जो विशेषज्ञ के सुरक्षित प्रक्षेप पथों (trajectories) के अनुरूप हो।
सुपरवाइज्ड लर्निंग (Supervised Learning - SL): यह मानता है कि एक वैध शास्त्रीय CBF $B(x)$ पहले से ज्ञात है। यह स्टेट-एक्शन पेयर्स से SACBF वैल्यू तक के मैपिंग को सीखने के लिए सुपरवाइज्ड रिग्रेशन का उपयोग करता है, जो ज्ञात CBF से प्राप्त होता है।

D. मजबूती विश्लेषण: एरर-टू-स्टेट सेफ्टी (ESSf)

लर्निंग त्रुटियों (जहाँ सीखा गया $Q_B^\omega$ , वास्तविक $Q_B$ से विचलित होता है) को संबोधित करने के लिए, लेखक एक एरर-टू-स्टेट सेफ्टी (ESSf) ढांचा पेश करते हैं।

तंत्र: मॉडल-आधारित भविष्यवाणी पर निर्भर रहने के बजाय, यह ढांचा लर्निंग त्रुटियों ( $\epsilon$ ) के प्रभाव को सीधे सुरक्षा बाधाओं पर मापता है।
रणनीति: यह एक कन्स्ट्रेंट टाइटनिंग और रिलैक्सेशन दृष्टिकोण अपनाता है:
- मूल स्टेट बाधाओं ( $h(x) \leq 0$ ) को $h(x) + \delta(\epsilon) \leq 0$ तक टाइट (tighten) करना।
- फिल्टर में SACBF बाधा को $Q_B^\omega(x, u) \leq \kappa(\epsilon)$ तक रिलैक्स (relax) करना।
परिणाम: प्रमेय 1 और 2 क्लोज्ड-फॉर्म संबंध प्रदान करते हैं जो दिखाते हैं कि यदि लर्निंग त्रुटि सीमित है, तो सिस्टम टाइट किए गए स्टेट कंस्ट्रेंट्स के भीतर रिकर्सिवली फिजिबल और सुरक्षित रहता है।

E. पॉलिसी रिफाइनमेंट

एक बार वैध SACBF सीख लेने के बाद, यह ढांचा अनकन्स्ट्रेंड वैल्यू-बेस्ड RL एल्गोरिदम (जैसे फिटेड Q इटरेशन) को कंस्ट्रेंड सेटिंग तक विस्तारित करता है। कॉन्स्ट्रेंड FQI एल्गोरिदम सीखा गया SACBF बाधा लागू करते हुए प्रदर्शन ऑब्जेक्टिव $Q_\theta$ को पुनरावृत्ति से अपडेट करता है, जिससे यह सुनिश्चित होता है कि परिणामी नीति कार्य के लिए इष्टतम के करीब है और साथ ही सुरक्षा मानदंडों को पूरा करती है।

3. प्रमुख योगदान

प्रत्यक्ष डेटा-संचालित सुरक्षित नियंत्रण ढांचा: शोधपत्र एक ऐसा ढांचा प्रस्तावित करता है जो सिस्टम आइडेंटिफिकेशन के बिना सीधे डेटा से सुरक्षित नियंत्रक सीखता है, जो मॉडल-फ्री लर्निंग और बाधित नियंत्रण के बीच के अंतर को पाटता है।
स्टेट-एक्शन कंट्रोल बैरियर फंक्शन्स (SACBF): यह SACBFs को पेश करता है और उनका उपयोग करता है, जो स्टेट-एक्शन पेयर्स का मूल्यांकन करते हैं, जिससे ऐसे सुरक्षा फिल्टर सक्षम होते हैं जिन्हें स्पष्ट डायनेमिक्स मॉडल की आवश्यकता नहीं होती।
तीन संश्लेषण योजनाएं: यह SACBFs को सीखने के तीन तरीके प्रस्तुत करता है: RL के माध्यम से (सामान्य लेकिन कम गारंटी वाला), विशेषज्ञ प्रदर्शन के माध्यम से (रोबस्ट), और ज्ञात CBFs से सुपरवाइज्ड लर्निंग के माध्यम से (सैंपल-एफिशिएंट)।
एरर-टू-स्टेट सेफ्टी (ESSf) विश्लेषण: यह एक नवीन मजबूती विश्लेषण ढांचा प्रदान करता है जो यह मापता है कि लर्निंग त्रुटियां सुरक्षा को कैसे प्रभावित करती हैं, जो स्टेट कंस्ट्रेंट टाइटनिंग और SACBF रिलैक्सेशन के माध्यम से औपचारिक गारंटी प्रदान करता है।
डिकपल्ड ऑप्टिमाइज़ेशन: यह ढांचा प्रदर्शन लर्निंग (Q को अनुकूलित करना) को सुरक्षा प्रवर्तन ( $Q_B$ को अनुकूलित करना) से अलग करता है, जिससे विभिन्न लर्निंग एल्गोरिदम को एकीकृत करना संभव होता है।

4. परिणाम

ढांचे को एक स्वायत्त वाहन (autonomous vehicle) के सिमुलेशन के माध्यम से मान्य किया गया जो बाधाओं के साथ 2D स्पेस में चल रहा था।

केस स्टडी सेटअप: एक किनेमैटिक वाहन मॉडल का उपयोग किया गया जिसमें स्टेट और इनपुट बाधाएं थीं। SACBF को विशेषज्ञ-निर्देशित दृष्टिकोण (APF को विशेषज्ञ के रूप में उपयोग करते हुए) और RL दृष्टिकोण दोनों का उपयोग करके सीखा गया।
सुरक्षा प्रदर्शन:
- प्रस्तावित 3DSF (डायरेक्ट डेटा-ड्रिवन सेफ्टी फिल्टर) ने विभिन्न प्रारंभिक स्थितियों और संदर्भ नीतियों (दोनों असुरक्षित APF और असुरक्षित DDPG) में 100% सुरक्षा दर प्राप्त की।
- इसके विपरीत, इनडायरेक्ट डेटा-ड्रिवन सेफ्टी फिल्टर्स (जो सीखे गए मॉडल पर निर्भर करते हैं) ने कम सुरक्षा दर प्राप्त की (जैसे, असुरक्षित APF के लिए ~79%), जिसका कारण मॉडल आइडेंटिफिकेशन त्रुटियों और CBF लर्निंग त्रुटियों का संचयी प्रभाव है।
- MPC (मॉडल प्रिडिक्टिव कंट्रोल) ने 100% सुरक्षा प्राप्त की लेकिन खराब कार्य प्रदर्शन (केवल ~78% प्रक्षेप पथ लक्ष्य तक पहुंचे) से ग्रस्त रहा, जिसका कारण नॉन-कॉन्वेक्स ऑप्टिमाइज़ेशन समस्याएं और उच्च कम्प्यूटेशनल लागत थी।
कार्य प्रदर्शन:
- Constrained FQI एल्गोरिदम (SACBF बाधाओं के साथ $Q$ को सीखना) ने 173.85 का कुल लागत प्राप्त किया, जो 3DSF द्वारा फिल्टर किए गए सुरक्षित और असुरक्षित DDPG नीतियों दोनों से बेहतर प्रदर्शन करता है। यह दर्शाता है कि प्रशिक्षण प्रक्रिया में सुरक्षा बाधाओं को सीधे शामिल करने से पोस्ट-होक फिल्टरिंग या रिवॉर्ड शेपिंग की तुलना में कार्य प्रदर्शन में सुधार होता है।
कम्प्यूटेशनल दक्षता: 3DSF ने MPC (लगभग 33 ms) की तुलना में काफी कम ऑनलाइन CPU समय (लगभग 2.2 ms) प्रदर्शित किया, जो इसे रियल-टाइम अनुप्रयोगों के लिए उपयुक्त बनाता है।

5. महत्व और दावे

शोधपत्र सुरक्षित लर्निंग-आधारित नियंत्रण में एक मामूली लेकिन कठोर प्रगति का दावा करता है:

अंतराल को पाटना: यह सुरक्षा प्रवर्तन के लिए स्पष्ट सिस्टम मॉडल पर निर्भरता को हटाकर मॉडल-फ्री लर्निंग और बाधित नियंत्रण के बीच के अंतर को सफलतापूर्वक पाटता है।
मॉडल के बिना औपचारिक गारंटी: यह औपचारिक सुरक्षा गारंटी (रिकर्सिव फिजिबिलिटी और कंस्ट्रेंट सैटिस्फैक्शन) प्रदान करता है, भले ही सिस्टम डायनेमिक्स अज्ञात हों, बशर्ते लर्निंग त्रुटियां सीमित हों।
अप्रत्यक विधियों पर श्रेष्ठता: परिणाम बताते हैं कि प्रत्यक्ष डेटा-संचालित दृष्टिकोण अप्रत्यक विधियों (मॉडल आइडेंटिफिकेशन + कंट्रोलर लर्निंग) में निहित त्रुटि संचय से बचते हैं, जिससे बेहतर सुरक्षा दर प्राप्त होती है।
लचीलापन: यह ढांचा मौजूदा लर्निंग एल्गोरिदम (RL, SL) की एक विस्तृत श्रृंखला के अनुकूल है और इसे ऑनलाइन अपडेट किया जा सकता है।

स्वीकृत सीमाएं:

इस विधि के लिए स्टेट-एक्शन स्पेस में सैंपलिंग की आवश्यकता होती है, जो स्टेट-ओनली विधियों की तुलना में सैंपल कॉम्प्लेक्सिटी को बढ़ाता है।
डेटा संग्रह चरण के दौरान सुरक्षा बाधाओं का उल्लंघन हो सकता है, जो उन वास्तविक दुनिया के सिस्टम के लिए अनुपयुक्त हो सकता है जहाँ सुरक्षा हर समय सर्वोपरि है (हालांकि सिमुलेटर इसे कम कर सकते हैं)।
SACBF के RL-आधारित संश्लेषण में रीचेबिलिटी समस्या की प्रकृति के कारण स्वयं सुरक्षा प्रमाण पत्र के लिए औपचारिक अभिसरण गारंटी का अभाव है।
वर्तमान कार्य डिस्क्रीट-टाइम सिस्टम पर केंद्रित है; निरंतर-समय (continuous-time) में विस्तार भविष्य का कार्य है।