From Global to Local: Hierarchical Probabilistic Verification for Reachability Learning

यहाँ शोध पत्र "From Global to Local: Hierarchical Probabilistic Verification for Reachability Learning" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

यह शोध पत्र उच्च-आयामी गैर-रैखिक प्रणालियों (जैसे स्वायत्त ड्रोन) के लिए, जो सुरक्षा-महत्वपूर्ण वातावरण में कार्य करती हैं, प्रमाणित सुरक्षित नियंत्रकों (provably safe controllers) को डिजाइन करने की चुनौती का समाधान करता है।

• मुख्य संघर्ष: पारंपरिक हैमिल्टन-जो (HJ) रीचैबिलिटी विश्लेषण प्रमाणित सुरक्षा गारंटी प्रदान करता है, लेकिन यह "आयाम के अभिशाप" (curse of dimensionality) से ग्रस्त है, जिससे जटिल प्रणालियों के लिए यह गणनात्मक रूप से अव्यवहार्य हो जाता है।
• सीखने की सीमा: लर्निंग-आधारित दृष्टिकोण (जैसे डीप रीइन्फोर्समेंट लर्निंग) स्केलेबिलिटी प्रदान करते हैं, लेकिन वे सन्निकटन त्रुटियाँ (approximation errors) भी लाते हैं। ये त्रुटियाँ अत्यधिक आशावादी सुरक्षित सेटों (overly optimistic safe sets) की ओर ले जा सकती हैं, जहाँ नियंत्रक असुरक्षित क्षेत्रों को सुरक्षित के रूप में गलत वर्गीकृत कर देता है, जिससे टकराव या विफलता हो सकती है।
• अंतराल: मौजूदा सत्यापन विधियाँ या तो बहुत रूढ़िवादी (निश्चिततम सबसे खराब स्थिति) होती हैं, या बहुत अधिक गणनात्मक रूप से महंगी (वैश्विक संभाव्यता आधारित), या उनमें अनुकूलन क्षमता की कमी होती है (केवल ऑफलाइन)। एक ऐसे ढांचे की आवश्यकता है जो स्केलेबिलिटी, सटीकता और गणनात्मक दक्षता के बीच संतुलन बनाए रखते हुए कठोर सुरक्षा गारंटी प्रदान कर सके।

2. कार्यप्रणाली (Methodology)

लेखक एक पदानुक्रमित संभाव्यता सत्यापन ढांचे (Hierarchical Probabilistic Verification Framework) का प्रस्ताव करते हैं जो ऑफलाइन वैश्विक प्रमाणन (global certification) को ऑनलाइन स्थानीय परिशोधन (local refinement) के साथ जोड़ता है। यह प्रणाली वर्तमान स्थिति के सत्यापन स्तर के आधार पर एक सीखे गए रीचैबिलिटी पॉलिसी और एक मॉडल-आधारित नियंत्रक (MPPI) के बीच स्विच करती है।

A. मुख्य घटक

1. वैश्विक संभाव्यता प्रमाण पत्र (Global Probabilistic Certificate - Offline):

   • लक्ष्य: एक मोटा, गणनात्मक रूप से कुशल "सुरक्षित सेट" ($V_{global}$) बनाना जो स्टेट स्पेस के अधिकांश भाग को कवर करे।
   • तकनीक: यह सिनारियो ऑप्टिमाइजेशन (Scenario Optimization) का उपयोग करता है। लेखक सीखे गए नीति (policy) के तहत नाममात्र (nominal) और विक्षेपित (perturbed) अवस्थाओं के बीच प्रक्षेपवक्र विचलन (trajectory deviations) को नमूना लेकर एक वैश्विक संवेदनशीलता सीमा ($\Delta x^*_t$) का अनुमान लगाते हैं।
   • तंत्र: वे रिवॉर्ड और कंस्ट्रेंट फंक्शन से लिप्सचिट्ज़-आधारित त्रुटि मार्जिन को घटाकर एक लोअर-बाउंड वैल्यू फंक्शन ($\check{V}_\gamma$) का निर्माण करते हैं। यदि $\check{V}_\gamma \geq 0$ है, तो स्थिति उच्च संभावना के साथ सुरक्षित प्रमाणित है।
   • समझौता (Trade-off): यह स्तर तेज़ है लेकिन रूढ़िवादी है; यह सुरक्षित सीमाओं के पास स्थित सुरक्षित अवस्थाओं को बाहर निकाल सकता है।

2. स्थानीय परिशोधन (Local Refinement - Online):

   • लक्ष्य: उन सुरक्षित अवस्थाओं को पुनः प्राप्त करना जिन्हें वैश्विक सत्यापन द्वारा बाहर कर दिया गया था, विशेष रूप से $V_{global}$ की सीमा के पास।
   • तकनीक: एक पुनरावृत्ति लोकल ग्रोथ एल्गोरिदम (Local Growth Algorithm)।
     • यह वैश्विक सेट के निकटतम सीमा बिंदु की पहचान करता है।
     • यह इस सीमा के आसपास एक स्थानीय पड़ोस ($B_r$) में लक्षित सैंपलिंग करता है।
     • यह एक अनुक्रमिक उत्तल प्रोग्राम (convex programs) को हल करता है (सिनारियो ऑप्टिमाइजेशन के माध्यम से) ताकि त्रिज्या $r$ का विस्तार तब तक किया जा सके जब तक कि कोई उल्लंघन का पता न चल जाए।
   • परिणाम: यह एक "पुनः प्राप्त" स्थानीय सुरक्षित सेट ($V_{local}$) बनाता है जो वैश्विक सेट की तुलना में कम रूढ़िवादी है लेकिन फिर भी संभाव्यता गारंटी रखता है।

3. हाइब्रिड स्विचिंग कंट्रोल फ्रेमवर्क (Hybrid Switching Control Framework):
   नियंत्रक स्थिति के स्थान के आधार पर मोड बदलता है:

   • टियर 0 (लक्ष्य रखरखाव): यदि लक्ष्य सेट ($T$) के भीतर है, तो एक तेज़ MPPI नियंत्रक का उपयोग करें।
   • टियर 1 (वैश्विक सत्यापन): यदि $V_{global}$ के भीतर है, तो सीखी गई नीति ($\pi_{lp}$) का उपयोग करें।
   • टियर 2 (स्थानीय परिशोधन): यदि $V_{global}$ के बाहर है लेकिन स्थानीय रूप से परिष्कृत सेट $V_{local}$ के भीतर है, तो $\pi_{lp}$ का उपयोग जारी रखें (क्योंकि स्थानीय क्षेत्र अब सत्यापित है)।
   • टियर 3 (सुरक्षा रिकवरी): यदि स्थिति दोनों सत्यापित सेटों के बाहर है, तो एक मॉडल-आधारित MPPI नियंत्रक पर स्विच करें। इस नियंत्रक को सीखी गई नीति के साथ "वार्म-स्टार्ट" किया जाता है ताकि निकटतम सत्यापित सुरक्षित सेट तक की दूरी को कम किया जा सके, जिससे सिस्टम को वापस सुरक्षा की ओर लाया जा सके।

B. सैद्धांतिक गारंटी (Theoretical Guarantees)

यह ढांचा दोनों वैश्विक और स्थानीय सेटों के लिए संभाव्यता सुरक्षा गारंटी प्रदान करता है। थ्योरम 1 (सिनारियो ऑप्टिमाइजेशन की सैंपल कॉम्प्लेक्सिटी) का उपयोग करते हुए, लेखक सिद्ध करते हैं कि एक विश्वास पैरामीटर $\beta$ और जोखिम स्तर $\epsilon$ के साथ, अनदेखी स्थिति द्वारा सुरक्षा बाधाओं के उल्लंघन की संभावना सीमित है।

3. प्रमुख योगदान (Key Contributions)

1. पदानुक्रमित सुरक्षित ढांचा: एक नवीन बहु-स्तरीय वास्तुकला जो ऑफलाइन वैश्विक संभाव्यता सत्यापन को ऑनलाइन स्थानीय परिशोधन के साथ जोड़ती है, और सीखी गई नीतियों को मॉडल-आधारित फॉलबैक के साथ एकीकृत करती है।
2. सिनारियो-आधारित स्थानीय विस्तार: सुरक्षा गारंटी से समझौता किए बिना, उत्तल प्रोग्रामों का उपयोग करके सीमाओं के पास सुरक्षित सेटों का विस्तार करने की एक कुशल विधि, जो रूढ़िवादी वैश्विक सन्निकटन द्वारा त्याग दिए गए क्षेत्रों को पुनः प्राप्त करती है।
3. संभाव्यता सुरक्षा गारंटी: सैद्धांतिक प्रमाण जो सुनिश्चित करते हैं कि दोनों वैश्विक रूप से सत्यापित और स्थानीय रूप से परिष्कृत सेट उच्च विश्वास के साथ सुरक्षा बाधाओं को पूरा करते हैं।
4. अनुभवजन्य सत्यापन: उच्च-आयामी ड्रोन रेसिंग परिदृश्य में बेहतर प्रदर्शन का प्रदर्शन, जो मानक बेसलाइन से बेहतर है।

4. प्रयोगात्मक परिणाम (Experimental Results)

इस ढांचे का परीक्षण एक 12-आयामी ड्रोन रेसिंग सिमुलेशन में किया गया जिसमें एक ईगो ड्रोन और एक आक्रामक प्रतिद्वंद्वी शामिल था। लक्ष्य प्रतिद्वंद्वी को पार करना और टक्कर (गैर-उत्तल बाधाओं) से बचते हुए एक संकीर्ण गेट से गुजरना था।

• सेटअप: 500 प्रारंभिक स्थितियों का नमूना लिया गया। ढांचे ने $\beta=0.001$ और $\epsilon=0.1$ का उपयोग किया (प्रत्येक सत्यापन के लिए 158 नमूने आवश्यक थे)।
• तुलना: प्रस्तावित "हाइब्रिड" विधि की तुलना निम्नलिखित से की गई:
  • CBF के साथ MPPI।
  • सॉफ्ट कंस्ट्रेंट्स के साथ MPPI।
  • CBF के साथ PPO।
  • एब्लेशन अध्ययन (शुद्ध MPPI, शुद्ध सीखी गई नीति, आदि)।
• प्रदर्शन:
  • सफलता दर: प्रस्तावित ढांचे ने 90.2% की सफलता दर प्राप्त की (प्रतिद्वंद्वी से पहले गेट तक सुरक्षित रूप से पहुँचना)।
  • बेसलाइन: MPPI+CBF ने 62.4%, PPO+CBF ने 14.2%, और शुद्ध सीखी गई नीति ने 51.8% प्राप्त किया।
  • गुणात्मक (Qualitative): बेसलाइन विधियाँ या तो सुरक्षा को प्राथमिकता देती थीं (लक्ष्य तक पहुँचने में विफल) या लक्ष्य तक पहुँचने को प्राथमिकता देती थीं (टकराव)। पदानुक्रमित ढांचा दोनों को सफलतापूर्वक संतुलित करता है, जब आवश्यक हो तो सुरक्षित क्षेत्र में वापस जाने के लिए "सेफ रिकवरी" मोड का उपयोग करता है।

5. महत्व (Significance)

यह कार्य सुरक्षित सुदृढीकरण शिक्षण (Safe Reinforcement Learning) और स्वायत्त नियंत्रण (Autonomous Control) में एक महत्वपूर्ण कदम है:

• स्केलेबिलिटी: यह लर्निंग का उपयोग करके नियंत्रण के मुख्य भाग के लिए और केवल सुरक्षा प्रमाणन के लिए सत्यापन का उपयोग करके HJ रीचैबिलिटी के आयाम बाधा को दूर करता है।
• कम रूढ़िवादिता: ऑनलाइन स्थानीय परिशोधन परत जोड़कर, यह उन उपयोगी स्टेट स्पेस को पुनः प्राप्त करता है जिन्हें पारंपरिक रूढ़िवादी विधियाँ त्याग देती हैं, जिससे अधिक आक्रामक और कुशल युद्धाभ्यास (जैसे रेसिंग में ओवरटेकिंग) संभव होता है।
• मजबूती (Robustness): हाइब्रिड स्विचिंग तंत्र यह सुनिश्चित करता है कि भले ही लर्निंग मॉडल विफल हो जाए या स्थिति अनवेरिफाइड क्षेत्र में प्रवेश कर जाए, सिस्टम क्रैश नहीं होता है बल्कि सक्रिय रूप से सुरक्षित अवस्था में वापस जाने का प्रयास करता है।
• व्यावहारिक प्रयोज्यता: सिनारियो ऑप्टिमाइजेशन का उपयोग यह सुनिश्चित करता है कि इन गारंटियों को नमूनों की एक प्रबंधनीय संख्या के साथ गणना की जा सकती है, जिससे यह दृष्टिकोण स्वायत्त विमानन और रोबोटिक्स जैसे वास्तविक दुनिया के सुरक्षा-महत्वपूर्ण अनुप्रयोगों के लिए व्यवहार्य बनाता है।