🤖 machine learning

Approximating Safety Feedback Without a Safety Oracle via Model Predictive Control

यह शोध पत्र एक मॉडल प्रेडिक्टिव कंट्रोल-आधारित एल्गोरिदम का प्रस्ताव करता है जो स्पष्ट बाधा सूचकांकों (constraint formulations) या हस्त-लेबल किए गए डेटा की आवश्यकता के बिना क्रिया सुरक्षा को सत्यापित करने के लिए सिम्युलेटर-संचालित उत्क्रमणीयता (reversibility) और धनात्मक-अपरिवर्तनीयता (positive-invariance) धारणाओं का लाभ उठाकर एक सुरक्षा ओरेकल (safety oracle) का सन्निकटन करता है।

मूल लेखक: Jeff Pflueger, Michael Everett

प्रकाशित 2026-05-26

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Jeff Pflueger, Michael Everett

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को एक व्यस्त शहर में कार चलाना सिखा रहे हैं। लक्ष्य है कि गंतव्य तक जितनी जल्दी हो सके पहुँचा जाए। हालाँकि, इसमें एक पेच है: यदि रोबोट दुर्घटनाग्रस्त हो जाता है, तो कार नष्ट हो जाती है, और ड्राइवर (रोबोट) हमेशा के लिए फंस जाता है। रोबोटिक्स की दुनिया में, इसे एक "पॉजिटिव इनवेरिएंट" (positive invariant) असुरक्षित अवस्था कहा जाता है—एक बार जब आप इसमें पहुँच जाते हैं, तो आप इससे बाहर नहीं निकल सकते।

आमतौर पर, रोबोट को सुरक्षित रखने के लिए, इंजीनियरों को एक "सेफ्टी ओरेकल" (Safety Oracle) की आवश्यकता होती है। इस ओरेकल को एक सुपर-स्मार्ट, सर्वज्ञ ट्रैफिक पुलिसकर्मी के रूप में सोचें जो तुरंत बता सकता है, "हाँ, वह मोड़ सुरक्षित है," या "नहीं, उससे दुर्घटना होगी।" लेकिन समस्या यह है कि हर संभावित दुर्घटना के लिए नियम लिखना (जैसे "दीवार से न टकराएं," "पलट न जाएं," "सेंसर खराब न करें") अविश्वसनीय रूप से कठिन, समय लेने वाला और अक्सर असंभव होता है क्योंकि वास्तविक दुनिया बहुत जटिल होती है।

बड़ी अवधारणा: "अनडू" (Undo) बटन

यह शोध पत्र एक नई विधि पेश करता है जिसे SAVMPC (सेफ्टी असेसमेंट वाया मॉडल-प्रेडिक्टिव कंट्रोल) कहा जाता है। ट्रैफिक पुलिसकर्मी से अनुमति मांगने के बजाय, SAVMPC एक अलग सवाल पूछता है: "क्या मैं 'अनडू' बटन दबा सकता हूँ?"

तर्क सरल है:

यदि रोबोट एक सुरक्षित स्थान पर है, तो उसे एक कदम आगे बढ़ने में सक्षम होना चाहिए और फिर तुरंत अपने पिछले स्थान पर वापस आने का रास्ता खोजना चाहिए।
यदि रोबोट एक कदम लेता है और वह अपने पिछले सुरक्षित स्थान पर वापस जाने का रास्ता नहीं खोज पाता है, तो इसका मतलब है कि वह संभवतः एक खतरनाक क्षेत्र (जैसे गड्ढा या खाई का किनारा) में चला गया है जहाँ से वापसी संभव नहीं है।

यह कैसे काम करता है: सिम्युलेटर और टाइम ट्रैवलर

SAVMPC वास्तविक दुनिया के वीडियो गेम संस्करण (सिम्युलेटर) का उपयोग करके रोबोट द्वारा किए जाने वाले कार्यों का परीक्षण करता है। यहाँ प्रक्रिया का चरण-दर-चरण विवरण दिया गया है, एक रूपक का उपयोग करते हुए:

प्रस्ताव (The Proposal): रोबोट का मस्तिष्क (उसकी पॉलिसी) एक चाल का सुझाव देता है, जैसे "तेजी से बाईं ओर मुड़ें।"
सिमुलेशन (The Simulation): सिस्टम सिम्युलेटर में आगे जाकर देखता है कि क्या होता है। रोबोट मुड़ता है और एक नए स्थान पर पहुँच जाता है।
उल्टी यात्रा (The Core Magic): अब, सिस्टम उस नए स्थान से ठीक उसी स्थान तक वापस जाने का रास्ता खोजने की कोशिश करता है जहाँ वह मुड़ने से पहले था। इसके लिए वह MPPI (मॉडल प्रेडिक्टिव पाथ इंटीग्रल) नामक एक परिष्कृत प्लानिंग टूल का उपयोग करता है।
- रूपक: कल्पना कीजिए कि आप एक रस्सी (tightrope) पर चल रहे हैं। आगे कदम बढ़ाने से पहले, आप कल्पना करते हैं कि आप वह कदम उठाते हैं, और फिर तुरंत यह जांचते हैं कि क्या आप अपने मूल संतुलन बिंदु पर वापस चल सकते हैं। यदि आप कर सकते हैं, तो आप सुरक्षित हैं। यदि आप नहीं कर सकते (क्योंकि आप गड्ढे में गिर गए हैं), तो आप वह कदम नहीं उठाते।
निर्णय (The Decision):
- यदि "अनडू" पथ मौजूद है: रोबोट सुरक्षित है। वह वास्तविक दुनिया में वह कार्य करता है।
- यदि "अनडू" पथ मौजूद नहीं है: रोबोट खतरे में है। सिस्टम "नहीं!" कहता है और एक अलग क्रिया आज़माने की कोशिश करता है। यदि वह बहुत अधिक बार प्रयास करता है और कोई सुरक्षित चाल नहीं ढूंढ पाता है, तो वह दुर्घटना को रोकने के लिए पूरे प्रयास को रोक देता है।

यह क्यों विशेष है

अधिकांश सुरक्षा प्रणालियों को लिखे गए नियमों की आवश्यकता होती है (जैसे "दीवारों से 1 मीटर दूर रहें")। SAVMPC को उस सूची की आवश्यकता नहीं है। इसे केवल एक सिम्युलेटर की आवश्यकता है जो भविष्यवाणी कर सके कि आगे क्या होगा। यह मान लेता है कि यदि आप वहां से वापस नहीं आ सकते जहाँ से आपने शुरुआत की थी, तो आपने संभवतः कुछ तोड़ दिया है या आप किसी जाल में फंस गए हैं।

प्रयोगों ने क्या दिखाया

शोधकर्ताओं ने इसे दो परिदृश्यों में परखा:

पोल को संतुलित करना: एक रोबोट जो एक कार्ट पर पोल को गिरने दिए बिना संतुलित करने की कोशिश कर रहा है।
नेविगेशन: एक रोबोट जो फर्श के बीच में एक "सिंकहोल" (गड्ढे) से बचते हुए लक्ष्य तक पहुँचने की कोशिश कर रहा है।

उन्होंने SAVMPC की तुलना निम्नलिखित से की:

मानक AI: जो अक्सर दुर्घटनाग्रस्त हो गया।
अन्य "सुरक्षित" AI: जिन्होंने सुरक्षित होना सीखा लेकिन फिर भी कभी-कभी दुर्घटनाग्रस्त हुए।
"ओरेकल" AI: जिसके पास पूर्ण, सर्वज्ञ सुरक्षा नियम थे (स्वर्ण मानक)।

परिणाम:
SAVMPC का प्रदर्शन लगभग "ओरेकल" AI के समान ही रहा। इसने तेजी से चलाने और पोल को प्रभावी ढंग से संतुलित करने के लिए सीखा, लेकिन महत्वपूर्ण बात यह है कि प्रशिक्षण के दौरान यह कभी भी दुर्घटनाग्रस्त नहीं हुआ। यह पूर्ण सुरक्षा नियमों को बताए बिना ही उन्हें लगभग सटीक रूप से अपनाने में सक्षम रहा।

सारांश में

SAVMPC एक रोबोट को यह सिखाने जैसा है कि उसे नियमों के बजाय तर्क से बने "सुरक्षा जाल" (safety net) का उपयोग करके गाड़ी चलानी है। हर संभावित खतरे को याद करने के बजाय, रोबोट यह सीखता है कि केवल उन्हीं कार्यों को करना है जिन्हें वह तुरंत उलट (reverse) सकता है। यदि वह क्रिया को उलट नहीं सकता, तो वह जानता है कि यह बहुत खतरनाक है। यह रोबोट को जटिल और अस्त-व्यस्त वातावरण में बिना किसी मानव द्वारा सड़क के हर नियम लिखे, सुरक्षित रूप से सीखने की अनुमति देता है।

तकनीकी सारांश: मॉडल प्रेडिक्टिव कंट्रोल के माध्यम से सुरक्षा ऑरेकल के बिना सुरक्षा फीडबैक का अनुमान लगाना

समस्या विवरण
मोबाइल रोबोट्स के लिए सुरक्षित निर्णय लेना अक्सर एक "सुरक्षा ऑरेकल" (safety oracle) के अस्तित्व पर निर्भर करता है—एक ऐसा तंत्र जो यह सत्यापित कर सके कि प्रस्तावित क्रियाएं सुरक्षा बाधाओं का उल्लंघन करती हैं या नहीं। वर्तमान विधियाँ, जैसे कि कंट्रोल बैरियर फंक्शन्स (Control Barrier Functions), बैकवर्ड रीचेबल ट्यूब्स (Backward Reachable Tubes), और सेफ रिइन्फोर्समेंट लर्निंग (Safe RL) डिस्क्रिमिनेटर, आमतौर पर प्रशिक्षण के दौरान स्पष्ट सुरक्षा बाधाओं के पूर्व ज्ञान या ग्राउंड-ट्रुथ सुरक्षा लेबल तक पहुंच की आवश्यकता रखती हैं। जटिल वातावरण में (जैसे कि असमान ऊबड़-खाबड़ जमीन पर उच्च-गति नेविगेशन या ओपन वर्क सेल्स में रोबोटिक मैनिपुलेशन), सुरक्षा बाधाएं अक्सर अंतर्निहित होती हैं, जिन्हें गणितीय रूप से मॉडल करना कठिन होता है, या वे अधूरी समझ वाली होती हैं। जबकि सिमुलेटर जटिल गतिकी (dynamics) को मॉडल कर सकते हैं, वे स्वाभाविक रूप से सुरक्षा फलन (safety function) प्रदान नहीं करते हैं। मौजूदा दृष्टिकोण जो सुरक्षा प्रॉक्सी (जैसे कि गॉसियन प्रोसेस या डीप लर्निंग डिस्क्रिमिनेटर के माध्यम से) सीखने का प्रयास करते हैं, अक्सर लेबलिंग के लिए दृश्यमान ग्राउंड ट्रुथ की आवश्यकता रखते हैं या सुरक्षा फलन की स्मूथनेस (smoothness) के बारे में कड़े अनुमान लगाते हैं, जिससे उनकी वास्तविक दुनिया में लागू करने की क्षमता सीमित हो जाती है। इसके अलावा, कई रिवर्सिबल एक्सप्लोरेशन (reversible exploration) विधियों में सीखने की प्रक्रिया के दौरान असुरक्षित क्रियाएं लेने का जोखिम बना रहता है।

कार्यप्रणाली: SAVMPC
यह शोध पत्र सेफ्टी असेसमेंट वाया मॉडल-प्रेडिक्टिव कंट्रोल (SAVMPC) का प्रस्ताव करता है, जो एक फ़िल्टरिंग एल्गोरिदम है जिसे सीधे सुरक्षा ऑरेकल या हाथ से डिज़ाइन किए गए बाधाओं तक पहुंच के बिना सुरक्षा फीडबैक का अनुमान लगाने के लिए डिज़ाइन किया गया है। यह विधि दो प्राथमिक धारणाओं के तहत कार्य करती है:

असुरक्षित अवस्थाओं की पॉजिटिव इनवेरिएंस (Positive Invariance): असुरक्षित स्टेट स्पेस ( $X_{unsafe}$ ) पॉजिटिव इनवेरिएंट है, जिसका अर्थ है कि एक बार जब एजेंट एक असुरक्षित अवस्था में प्रवेश कर जाता है, तो वह सुरक्षित अवस्था में वापस नहीं आ सकता।
रिवर्सिबिलिटी एक प्रॉक्सी के रूप में: यदि एक एजेंट वर्तमान अवस्था $x$ से भविष्य की अवस्था $x'$ में जा सकता है और उसके बाद $x'$ से वापस $x$ पर लौटने के लिए क्रियाओं का एक क्रम खोजने में सक्षम है, तो $x$ और $x'$ एक ही सेट के सदस्य हैं। पॉजिटिव इनवेरिएंस को देखते हुए, यदि ज्ञात सुरक्षित अवस्था तक वापसी का मार्ग मौजूद है, तो मध्यवर्ती अवस्थाएं भी सुरक्षित हैं।

एल्गोरिदम वर्कफ़्लो:
SAVMPC क्रिया चयन के दौरान एक शील्ड (shield) के रूप में कार्य करता है:

एक्शन प्रपोजल: कंट्रोल पॉलिसी $\pi$ अवस्था $x$ पर एक क्रिया $u$ का प्रस्ताव देती है।
फॉरवर्ड प्रोजेक्शन: क्रिया को एक सिम्युलेटर (ब्लैक-बॉक्स डायनेमिक्स $f_{dyn}$ ) का उपयोग करके एक कैंडिडेट अगली अवस्था $x'$ तक प्रोजेक्ट किया जाता है।
रिवर्सिबिलिटी चेक: एल्गोरिदम मूल अवस्था $x$ $x$ (या प्रक्षेपवक्र/trajectory की पिछली अवस्था) पर वापस जाने के लिए क्रियाओं का एक क्रम खोजने का प्रयास करने के लिए मॉडल-प्रेडिक्टिव पाथ इंटीग्रल (MPPI) कंट्रोलर का उपयोग करता है।
- इसे एक व्यवहार्यता समस्या (feasibility problem) के रूप में तैयार किया गया है: एक कंट्रोल सीक्वेंस $u_0, \dots, u_{T-1}$ खोजें जिससे परिणामी प्रक्षेपवक्र एक समय क्षितिज $T$ के भीतर टॉलरेंस $\delta$ के भीतर $x$ तक पहुँच जाए।
निर्णय:
- यदि MPPI एक वैध वापसी पथ पाता है, तो क्रिया $u$ को सुरक्षित माना जाता है और निष्पादित किया जाता है।
- यदि सैंपलिंग सीमा के भीतर कोई वापसी पथ नहीं मिलता है, तो क्रिया को अस्वीकार कर दिया जाता है, और पॉलिसी फिर से सैंपल (resample) करती है। यदि $N$ प्रयासों के बाद भी री-सैंपलिंग विफल रहती है, तो प्रक्षेपवक्र को रद्द कर दिया जाता है और वातावरण को रीसेट कर दिया जाता है।

यह दृष्टिकोण यह सुनिश्चित करके सुरक्षा को सत्यापित करता है कि कोई भी क्रिया ऐसे "डेड एंड" (dead end) की ओर न ले जाए जहाँ से एजेंट ज्ञात सुरक्षित क्षेत्र में वापस न आ सके।

प्रमुख योगदान

SAVMPC एल्गोरिदम: एक अभिनव फ़िल्टरिंग एल्गोरिदम जो रिवर्सिबिलिटी का उपयोग करके ज्ञात सुरक्षित अवस्थाओं की ओर पीछे की ओर योजना बनाकर सुरक्षित क्रिया चयन को सक्षम करता है, जिससे हाथ से निर्मित बाधाओं या ग्राउंड-ट्रुथ सुरक्षा लेबल की आवश्यकता समाप्त हो जाती है।
कंजर्वेटिव कंस्ट्रेंट एस्टीमेशन: रिवर्सिबिलिटी प्लानिंग एल्गोरिदम का एक विस्तार जो स्पष्ट रूप से अज्ञात वातावरण बाधाओं के एक कंजर्वेटिव अनुमान की गणना करता है।
अनुभवजन्य सत्यापन (Empirical Validation): RL ट्रेनिंग में एक शील्ड के रूप में SAVMPC का मूल्यांकन, जो ऑरेकल-आधारित शील्ड्स के समान प्रदर्शन प्रदर्शित करता है और सुरक्षा गारंटी के मामले में अन्य रिवर्सिबिलिटी-आधारित दृष्टिकोणों (RAC, LNT) से बेहतर प्रदर्शन करता है।

प्रायोगिक परिणाम
लेखकों ने दो वातावरणों में SAVMPC का मूल्यांकन किया: कंटीन्यूअस कार्टपोल (Continuous Cartpole) और टू-डायमेंशनल नेविगेशन (Two-Dimensional Navigation)।

असहमति अध्ययन (Disagreement Study): 300,000 प्रक्षेपवक्रों वाले एक सिमुलेशन में, SAVMPC की तुलना ग्राउंड-ट्रुथ सुरक्षा ऑरेकल से की गई। परिणामों ने दिखाया कि SAVMPC में जीरो फॉल्स नेगेटिव (यह कभी भी असुरक्षित अवस्था को सुरक्षित के रूप में वर्गीकृत नहीं करता है) उत्पन्न होते हैं। असहमति मुख्य रूप से बाधाओं की सीमाओं के पास हुई, जहाँ एल्गोरिदम अधिक कंजर्वेटिव था (असुरक्षित क्षेत्र का ओवर-एप्रोक्सिमेशन कर रहा था) जब सख्त सुरक्षा टॉलरेंस ( $\delta$ ) का उपयोग किया गया था।
RL ट्रेनिंग प्रदर्शन:
- कंटीन्यूअस कार्टपोल: SAVMPC ने ट्रू सेफ्टी ऑरेकल शील्ड से लैस PPO एल्गोरिदम के बराबर अंतिम रिवॉर्ड प्राप्त किया और बेसलाइन PPO, RAC, और लीव नो ट्रेस (LNT) से काफी बेहतर प्रदर्शन किया। महत्वपूर्ण रूप से, SAVMPC ने 0.0% कंस्ट्रेंट वायलेशन बनाए रखा, जबकि बेसलाइन और अन्य रिवर्सिबल विधियों में महत्वपूर्ण उल्लंघन (77.3% तक) देखे गए।
- 2D नेविगेशन: SAVMPC ने अंतिम रिवॉर्ड (842.74 बनाम 782.23) में सेफ्टी ऑरेकल शील्ड को पछाड़ दिया, जबकि 0.0% कंस्ट्रेंट वायलेशन बनाए रखा। यह अन्य तरीकों की तुलना में तेजी से अभिसरित (converge) हुआ, जिसका श्रेय इसके कंजर्वेटिव एप्रोक्सिमेशन को प्रभावी ढंग से एक्सप्लोरेशन स्पेस को छोटा करने को दिया गया।
- तुलना: RAC और LNT के विपरीत, जो समय के साथ सुरक्षा अनुमान सीखते हैं और फिर भी उल्लंघन करते हैं, SAVMPC ने विशेषाधिकार प्राप्त जानकारी के बिना पहले कदम से ही सुरक्षा लागू की।

महत्व और दावे
शोध पत्र का दावा है कि SAVMPC उन वातावरणों में सुरक्षित निर्णय लेने के लिए एक व्यावहारिक समाधान प्रदान करता है जहाँ सुरक्षा बाधाएं जटिल या अज्ञात होती हैं। रिवर्सिबिलिटी की धारणा और सिम्युलेटर के भीतर MPPI की कम्प्यूटेशनल शक्ति का लाभ उठाकर, यह विधि बिना ग्राउंड-ट्रुथ लेबल की आवश्यकता के सुरक्षा ऑरेकल के प्रदर्शन का अनुमान लगाती है। लेखक इस बात पर जोर देते हैं कि एल्गोरिदम यह सुनिश्चित करता है कि एजेंट मूल वातावरण में शून्य असुरक्षित क्रियाएं ले, जो सैद्धांतिक सुरक्षा गारंटी और जटिल भौतिक बाधाओं के मॉडलिंग की व्यावहारिक सीमाओं के बीच के अंतर को पाटता है। यह कार्य सुझाव देता है कि जहाँ पारंपरिक बाधा मॉडलिंग अव्यवहारिक है, वहाँ रिवर्सिबिलिटी सुरक्षा के लिए एक मजबूत, डेटा-मुक्त प्रॉक्सी के रूप में काम कर सकती है।

इसी तरह के और पेपर