💻 computer science

Safety-Constrained Reinforcement Learning with Post-Training Reachability Verification for Robot Navigation

यह शोध पत्र एक सुरक्षा-प्रतिबंधित सुदृढीकरण शिक्षण (reinforcement learning) ढांचे का प्रस्ताव करता है जो रोबोट नेविगेशन को सुदृढ़ बनाने के लिए प्रशिक्षण के दौरान 'कंडीशनल वैल्यू-एट-रिस्क' (CVaR) अनुकूलन को प्रशिक्षण के पश्चात न्यूरल नेटवर्क पहुंच योग्यता सत्यापन (reachability verification) के साथ जोड़ता है, यह प्रदर्शित करते हुए कि जोखिम-संवेदनशील नीतियां केवल औसत लागत मेट्रिक्स पर निर्भर विधियों की तुलना में बेहतर औपचारिक सुरक्षा मार्जिन और सिम-टू-रियल स्थानांतरण प्राप्त करती हैं।

मूल लेखक: Qisong He, Xinmiao Huang, Jinwei Hu, Zhuoyun Li, Yi Dong, Changshun Wu, Xiaowei Huang

प्रकाशित 2026-05-15

📖 4 मिनट में पढ़ें☕ कॉफ़ी ब्रेक में पढ़ें

CC BY 4.0

मूल लेखक: Qisong He, Xinmiao Huang, Jinwei Hu, Zhuoyun Li, Yi Dong, Changshun Wu, Xiaowei Huang

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट कुत्ते को लोगों या पेड़ों से टकराए बिना एक भीड़भाड़ वाले पार्क में दौड़ना सिखा रहे हैं।

समस्या: "औसत" का जाल
वर्तमान में अधिकांश तरीके रोबोट को उसके "औसत" प्रदर्शन को देखकर सिखाते हैं। यदि रोबोट 100 बार दौड़ता है और केवल एक बार पेड़ से टकराता है, तो शिक्षक कहता है, "बहुत अच्छा! आप 99% सुरक्षित हैं।"

लेकिन यहाँ एक पेंच है: वह एक बार जब वह पेड़ से टकराया, तो वह एक आपदा हो सकती थी। "औसत" स्कोर इस तथ्य को छिपा देता है कि रोबोट कभी-कभी खतरनाक, जोखिम भरे शॉर्टकट लेता है। यह एक ऐसे ड्राइवर की तरह है जो 99 बार बिल्कुल सही गाड़ी चलाता है लेकिन 100वीं बार खतरनाक गति से गाड़ी चलाता है। यदि आप केवल औसत गति देखते हैं, तो आप खतरे को नहीं देख पाते।

समाधान: एक दो-चरणीय सुरक्षा प्रणाली
इस शोध पत्र के लेखकों ने, जो अपने सिस्टम को VIA कहते हैं, रोबोट को प्रशिक्षित करने और जांचने का एक स्मार्ट तरीका प्रस्तावित किया है। वे एक दो-चरणीय प्रक्रिया का उपयोग करते हैं:

चरण 1: "सबसे खराब स्थिति" की मानसिकता के साथ प्रशिक्षण

केवल रोबोट को औसत रूप से सुरक्षित होने के लिए सिखाने के बजाय, वे इसे सबसे खराब परिदृश्यों (worst-case scenarios) से डरना सिखाते हैं।

उपमा: कल्पना कीजिए कि एक छात्र परीक्षा के लिए पढ़ाई कर रहा है।
- पुराना तरीका: शिक्षक कहता है, "पिछले 10 क्विज़ में आपने 90% अंक प्राप्त किए हैं। आप तैयार हैं।"
- VIA का तरीका: शिक्षक कहता है, "आपने औसतन 90% प्राप्त किया है, लेकिन आपने पिछले तीन क्विज़ के सबसे कठिन प्रश्न में फेल हो गए थे। आपको विशेष रूप से उन कठिन प्रश्नों के लिए अध्ययन करने की आवश्यकता है ताकि आप उन्हें दोबारा कभी गलत न करें।"
यह कैसे काम करता है: रोबोट को CVaR (कंडीशनल वैल्यू-एट-रिस्क) नामक एक गणितीय अवधारणा का उपयोग करके प्रशिक्षित किया जाता है। यह रोबोट को वितरण के "पूंछ" (tail) पर ध्यान केंद्रित करने के लिए मजबूर करता है—वे दुर्लभ, डरावने क्षण जहाँ चीजें गलत हो जाती हैं। यह रोबोट को अत्यधिक सतर्क होना सिखाता है, जिससे वह केवल औसत दुर्घटना दर के बजाय, दुर्घटना की संभावना को भी टाल सके।

चरण 2: "सुरक्षा जाल" की जाँच (रीचेबिलिटी वेरिफिकेशन)

रोबोट के प्रशिक्षित होने के बाद, लेखक केवल प्रशिक्षण स्कोर पर भरोसा नहीं करते हैं। वे रोबोट को वास्तविक दुनिया में छोड़ने से पहले एक कठोर, गणितीय "तनाव परीक्षण" (stress test) चलाते हैं।

उपमा: रोबोट के निर्णय लेने की प्रक्रिया को एक टॉर्च की रोशनी की तरह समझें।
- जब रोबलेट एक पेड़ देखता है, तो उसके सेंसर थोड़े धुंधले (noise) हो सकते हैं।
- एक सामान्य रोबोट कह सकता है, "पेड़ शायद वहाँ है," और एक रास्ता अनुमान लगा सकता है।
- VIA रोबोट एक "रीचेबल सेट" (reachable set) की गणना करता है। यह हर उस संभावित पथ के चारों ओर एक मोटा, धुंधला ट्यूब बनाने जैसा है जिसे रोबोट ले सकता है यदि उसके सेंसर थोड़े गलत हों।
- जाँच: सिस्टम पूछता है, "क्या यह पूरा धुंधला ट्यूब पेड़ से टकराता है?"
- यदि उत्तर "हाँ, ट्यूब का किनारा भी पेड़ को छूता है" है, तो रोबोट को असुरक्षित घोषित कर दिया जाता है, भले ही पथ का "केंद्र" ठीक दिख रहा हो।

उन्होंने क्या पाया

शोधकर्ताओं ने एक सिमुलेशन में एक रोबोट पर और फिर एक लैब में एक वास्तविक रोबोट (Clearpath Jackal) पर इसका परीक्षण किया।

बेहतर सुरक्षा: पारंपरिक तरीकों से प्रशिक्षित रोबोटों की तुलना में VIA रोबोट बहुत कम बार दुर्घटनाग्रस्त हुआ।
"औसत" का झूठ: उन्होंने पाया कि कुछ रोबोटों के "औसत" स्कोर बहुत अच्छे थे लेकिन वे सुरक्षा जाल की जाँच में विफल रहे। वे कागजों पर सुरक्षित दिखते थे लेकिन वास्तव में सेंसर के धुंधलेपन के कारण जोखिम भरे थे।
वास्तविक दुनिया में सफलता: जब उन्होंने प्रशिक्षित रोबोट को एक वास्तविक कमरे में एक वास्तविक रोबोट पर रखा, तो इसने अच्छी तरह से काम करना जारी रखा। "सुरक्षा जाल" की जाँच ने साबित कर दिया कि रोबोट वास्तविक दुनिया के सेंसर शोर (sensor noise) के साथ भी सुरक्षित रहेगा।

संक्षेप में
यह शोध पत्र तर्क देता है कि रोबोटों को वास्तव में सुरक्षित बनाने के लिए, आप केवल उनके औसत प्रदर्शन को नहीं देख सकते। आपको उन्हें सबसे खराब परिदृश्यों का सम्मान करना सिखाना होगा और फिर गणितीय रूप से यह सिद्ध करना होगा कि, यदि उनके सेंसर थोड़े गलत भी हों, तो भी वे गलती से किसी चीज़ से नहीं टकराएंगे। VIA यह दोनों करता है, जिससे एक ऐसा रोबोट बनता है जो न केवल "आमतौर पर" सुरक्षित है, बल्कि "प्रमाणित रूप से" सुरक्षित है।

तकनीकी सारांश: रोबोट नेविगेशन के लिए पोस्ट-ट्रेनिंग रीचेबिलिटी वेरिफिकेशन के साथ सेफ्टी-कंस्ट्रेंड रिइन्फोर्समेंट लर्निंग

1. समस्या का निरूपण (Problem Formulation)

यह शोध पत्र अव्यवस्थित वातावरण (cluttered environments) में स्वायत्त मोबाइल रोबोटों को तैनात करने की महत्वपूर्ण चुनौती को संबोधित करता है, जहाँ धारणा संबंधी अनिश्चितता (जैसे सेंसर शोर) विनाशकारी विफलताओं का कारण बन सकती है। लेखक तर्क देते हैं कि मानक रिइन्फोर्समेंट लर्निंग (RL) सुरक्षा मेट्रिक्स, जो औसत संचयी लागत (average cumulative cost) पर निर्भर करते हैं, अपर्याप्त हैं क्योंकि वे "टेल-रिस्क" (tail-risk) व्यवहारों को छिपा देते हैं—ऐसी दुर्लभ लेकिन उच्च-परिणाम वाली घटनाएँ जहाँ एक नीति कम औसत लागत होने के बावजूद टकराव कर सकती है।

समस्या को एक कन्स्ट्रेंड मार्कोव डिसीजन प्रोसेस (CMDP) के रूप में औपचारिक रूप दिया गया है। पारंपरिक CMDPs के विपरीत, जो अपेक्षित संचयी लागत $E[C_\pi] \leq b$ को सीमित करते हैं, यह कार्य एक ऐसी नीति $\pi$ खोजने का प्रयास करता है जो अपेक्षित पुरस्कार को अधिकतम करे और साथ ही कंडीशनल वैल्यू-एट-रिस्क (CVaR) बाधा को संतुष्ट करे:
$\max_{\pi} J_R(\pi) \quad \text{s.t.} \quad \text{CVaR}_\alpha(C_\pi) \leq b$
यहाँ, $\text{CVaR}_\alpha$ सबसे खराब $(1-\alpha)$ अंश वाले एपिसोड्स में अपेक्षित लागत का प्रतिनिधित्व करता है, जो स्पष्ट रूप से माध्य (mean) के बजाय लागत वितरण के 'टेल' (tail) को लक्षित करता है।

इसके अलावा, यह शोध पत्र सांख्यिकीय प्रशिक्षण गारंटी और औपचारिक सुरक्षा सत्यापन (formal safety verification) के बीच के अंतर की पहचान करता है। एक नीति जिसमें अनुकूल CVaR सांख्यिकी हो, वह सीमित अवलोकन अनिश्चितता (bounded observation uncertainty) के तहत भी असुरक्षित क्रियाएं उत्पन्न कर सकती है। इसलिए, लक्ष्य जोखिम-संवेदनशील प्रशिक्षण को पोस्ट-ट्रेनिंग न्यूरल नेटवर्क रीचेबिलिटी वेरिफिकेशन के साथ एकीकृत करना है ताकि यह सुनिश्चित किया जा सके कि नीति के एक्शन आउटपुट इनपुट में व्यवधान (perturbation) होने पर भी सुरक्षा मार्जिन के भीतर रहें।

2. कार्यप्रणाली: VIA फ्रेमवर्क

प्रस्तावित फ्रेमवर्क, VIA (ऑटोनॉमस नेविगेशन के लिए वेरिफिकेशन-इन्फॉर्म्ड सेफ रिइन्फोर्समेंट लर्निंग), दो अलग-अलग चरणों में कार्य करता है:

चरण I: CVaR-कंस्ट्रेंड ऑफ-पॉलिसी ट्रेनिंग

लेखक CVaR बाधाओं के लिए अनुकूलन करने हेतु TD3 (ट्विन डिलेड DDPG) ऑफ-पॉलिसी एल्गोरिदम को अनुकूलित करते हैं। मुख्य तकनीकी घटक शामिल हैं:

स्टेट ऑग्मेंटेशन (State Augmentation): ऑफ-पॉलिसी सेटिंग में CVaR का अनुमान लगाने के लिए, स्टेट स्पेस को एक डायनेमिक कॉस्ट बजट वेरिएबल $e_t$ के साथ बढ़ाया गया है। संवर्धित स्टेट $\bar{s}_t = (s_t, e_t)$ है, जहाँ $e_t$ संचित लागत इतिहास को ट्रैक करता है, जिससे क्रिटिक को विभिन्न लागत इतिहास के तहत पहुंचे गए राज्यों के बीच अंतर करने में मदद मिलती है।
डिस्ट्रीब्यूशनल कॉस्ट क्रिटिक (Distributional Cost Critic): एकल अपेक्षित लागत मान का अनुमान लगाने के बजाय, कॉस्ट क्रिटिक $Q^C_\phi$ संचयी लागत वितरण के $M$ क्वांटाइल्स (quantiles) आउटपुट करता है। "नॉन-क्रॉसिंग समस्या" (जहाँ अनुमानित क्वांटाइल्स मोनोटोनिटी का उल्लंघन करते हैं) को रोकने के लिए, एक विशिष्ट पैरामीट्राइजेशन का उपयोग करते हुए एक नॉन-क्रॉसिंग क्वांटाइल लोगिट नेटवर्क का उपयोग किया जाता है।
एडेप्टिव VaR अपडेट: ऑफ-पॉलिसी CVaV ऑप्टिमाइज़ेशन में एक बड़ी चुनौती ऑन-पॉलिसी मूल्यांकन के बिना वैल्यू-एट-रिस्क (VaR) क्वांटाइल थ्रेशोल्ड को ट्रैक करना है। लेखक रीप्ले बफर में लागतों के एम्पिरिकल एक्सीस डेंसिटी (empirical exceedance probability) के आधार पर VaR पैरामीटर $u$ के लिए एक ग्रेडिएंट-फ्री अपडेट नियम पेश करते हैं, जो लक्षित क्वांटाइल की ओर स्थिर अभिसरण (convergence) सुनिश्चित करता है।
लैग्रेंजियन ऑप्टिमाइज़ेशन (Lagrangian Optimization): नीति को CVaR-कंस्ट्रेंड ऑब्जेक्टिव के लैग्रेंजियन रिलैक्सेशन का उपयोग करके अनुकूलित किया जाता है। एक्टर लॉस टास्क रिवॉर्ड क्रिटिक और अनुमानित CVaR कॉस्ट को जोड़ता है, जिसे एम्पिरिकल कंस्ट्रेंट स्लैक के आधार पर अपडेट किए जाने वाले लैग्रेंज मल्टीप्लायर $\lambda$ द्वारा भारित (weighted) किया जाता है।

चरण II: पोस्ट-ट्रेनिंग रीचेबिलिटी वेरिफिकेशन

प्रशिक्षण के बाद, फ्रेमवर्क POLAR (पॉलीनोमियल अरिथमेटिक फॉर रीचेबिलिटी) का उपयोग करके एक औपचारिक सुरक्षा मूल्यांकन करता है, जो टेलर मॉडल (TM) अरिथमेटिक के साथ बर्न्स्टीन पॉलीनोमियल इंटरपोलेशन को जोड़ता है।

रीचेबिलिटी विश्लेषण (Reachability Analysis): बाउंडेड ऑब्जर्वेशन अनिश्चितता $\epsilon$ को देखते हुए, यह विधि प्रशिक्षित न्यूरल नेटवर्क के माध्यम से TMs को प्रसारित करती है ताकि एक गारंटीकृत एक्शन रीचेबल सेट $A(s, \epsilon)$ की गणना की जा सके। यह सेट उन सभी संभावित क्रियाओं का प्रतिनिधित्व करता है जो इनपुट अनिश्चितता के आधार पर नीति आउटपुट कर सकती है।
सेफ्टी रेट मेट्रिक (Safety Rate Metric): लेखक एक सेफ्टी रेट मेट्रिक को परिभाषित करते हैं। एक दिए गए स्टेट के लिए, वे रीचेबल सेट के बाउंड्स (एंडपॉइंट्स और मिडपॉइंट्स सहित) से एक्शन सैंपल करते हैं और रोबोट की गति का अनुकरण (simulate) करते हैं। एक स्टेट तब "वेरिफाइड सेफ" माना जाता है यदि सभी सैंपल किए गए एक्शन टकराव-मुक्त प्रक्षेपवक्र (collision-free trajectories) परिणाम देते हैं। सेफ्टी रेट उन मूल्यांकित स्टेट्स का अनुपात है जो इस मानदंड को पूरा करते हैं।
एकीकरण (Integration): शोध पत्र का तर्क है कि CVaR-कंस्ट्रेंड ट्रेनिंग स्वाभाविक रूप से नीति को रूढ़िवादी (conservative) और कसकर बंधे हुए एक्शन डिस्ट्रीब्यूशन की ओर आकार देती है, जिससे परिणामी रीचेबल सेट्स छोटे और औपचारिक सत्यापन के लिए अधिक अनुकूल होते हैं।

3. मुख्य योगदान

CVaR-कंस्ट्रेंड TD3 फ्रेमवर्क: एक ऑफ-पॉलिसी CVaR ऑप्टिमाइज़ेशन फ्रेमवर्क का डिज़ाइन जिसमें नॉन-क्रॉसिंग क्वांटाइल रिग्रेशन और स्थिर क्वांटाइल अभिसरण के लिए एडेप्टिव VaR अपडेट मैकेनिज्म के साथ एक डिस्ट्रीब्यूशनल कॉस्ट क्रिटिक शामिल है।
वेरिफिकेशन-इन्फॉर्म्ड सेफ्टी मेट्रिक: एक सुरक्षा सत्यापन फ्रेमवर्क का विकास जो POLAR रीचेबिलिटी एनालिसिस के साथ लेयर्ड सेफ्टी बाउंड्रीज़ को जोड़ता है, और बाउंडेड ऑब्जर्वेशन अनिश्चितता के तहत नीति मजबूती को मापने के लिए सेफ्टी रेट मेट्रिक पेश करता है।
अनुभवजन्य सत्यापन (Empirical Validation): दस नेविगेशन परिदृश्यों और छह बेसलाइन्स में सिमुलेशन में व्यापक सत्यापन, साथ ही एक भौतिक Clearpath Jackal रोबोट पर सफल सिम-टू-रियल ट्रांसफर।

4. प्रयोगात्मक परिणाम

प्रयोग गेज़ेबो सिमुलेशन (बाधाओं के साथ 10 मीटर $\times$ 10 मीटर एरिना) और एक भौतिक रोबोट पर किए गए।

बेसलाइन्स के विरुद्ध प्रदर्शन: VIA ने सभी तुलना की गई विधियों (जिसमें TD3, SAC-Lagrangian, RCPO, WCSAC, और CVaR-CPO शामिल हैं) में उच्चतम सफलता दर (98.3%) और सबसे कम टकराव दर (1.7%) प्राप्त की।
मेट्रिक्स का विचलन (Divergence of Metrics): एक प्रमुख निष्कर्ष औसत लागत रैंकिंग और रीचेबिलिटी-आधारित सुरक्षा रैंकिंग के बीच विचलन है। उदाहरण के लिए, RCPO ने सबसे कम औसत लागत (1.17) प्राप्त की लेकिन VIA (99.6%) की तुलना में कम सेफ्टी रेट (सफल एपिसोड के लिए 98.5%) दर्ज की। यह प्रदर्शित करता है कि औसत लागत मेट्रिक्स उन अंतर्निहित जोखिमों को मिस कर सकते हैं जिन्हें औपचारिक सत्यापन पकड़ लेता है।
$\alpha$ का प्रभाव: एब्लेशन अध्ययन से पता चला कि CVaR कॉन्फिडेंस लेवल $\alpha$ (अधिक चरम टेल पर ध्यान केंद्रित करना) को बढ़ाने से सफलता दर और सुरक्षा मेट्रिक्स दोनों में सुधार हुआ, जिसमें $\alpha=0. perhatian 9$ ने सबसे रूढ़िवादी और मजबूत प्रदर्शन दिया।
सिम-टू-रियल ट्रांसफर: जब इसे एक Clearpath Jackal रोबोट पर तैनात किया गया, तो भौतिक शोर और देरी के कारण सफलता दर गिरकर 90.0% हो गई, लेकिन ओवरऑल सेफ्टी रेट सिमुलेशन के लगभग समान रहा (99.2% बनाम 99.1%), जो पुष्टि करता है कि नीति वास्तविक दुनिया में सत्यापित सुरक्षा मार्जिन बनाए रखती है।

5. महत्व और दावे

शोध पत्र का दावा है कि रीचेबिलिटी वेरिफिकेशन उन जोखिमों को पकड़ता है जिन्हें केवल अनुभवजन्य लागत मेट्रिक्स मिस कर देते हैं। CVaR-संवेदनशील प्रशिक्षण को औपचारिक पोस्ट-ट्रेनिंग वेरिफिकेशन के साथ जोड़कर, लेखक प्रदर्शित करते हैं कि नीतियों को न केवल औसतन सुरक्षित होने के लिए, बल्कि अनिश्चितता के तहत सुरक्षा मार्जिन बनाए रखने के लिए प्रशिक्षित किया जा सकता है।

लेखक कहते हैं कि यह कार्य विशेष रूप से रोबोट नेविगेशन के लिए CVaR-कंस्ट्रेंड पॉलिसी ऑप्टिमाइज़ेशन को न्यूरल नेटवर्क रीचेबिलिटी वेरिफिकेशन के साथ एकीकृत करने वाला पहला कार्य है। वे इस बात पर जोर देते हैं कि जबकि औपचारिक सत्यापन कम्प्यूटेशनल रूप से महंगा है और आमतौर पर कम-आयामी या छोटे नेटवर्क तक सीमित है, उनका दृष्टिकोण इस एकीकरण को सक्षम करने के लिए लाइटवेट आर्किटेक्चर का उपयोग करता है।

शोध पत्र विनम्रतापूर्वक निष्कर्ष निकालता है, यह स्वीकार करते हुए कि टेलर मॉडल अरिथमेटिक पर निर्भरता सत्यापन योग्य नीति नेटवर्क की जटिलता को प्रतिबंधित करती है। भविष्य के कार्य के रूप में GPU-त्वरित रीचेबिलिटी विधियों का अन्वेषण और क्लोज्ड-लूप सुरक्षा अनुकूलन के लिए सीधे वेरिफिकेशन सिग्नल को ट्रेनिंग लूप में एकीकृत करना पहचाना गया है।