CAPSULE: Control-Theoretic Action Perturbations for Safe Uncertainty-Aware Reinforcement Learning

तकनीकी सारांश: CAPSULE (सुरक्षित अनिश्चितता-जागरूक सुदृढीकरण शिक्षण के लिए नियंत्रण-सैद्धांतिक क्रिया विक्षोभ)

1. समस्या विवरण

यह शोध पत्र अज्ञात गतिकी (dynamics) वाले उच्च-आयामी, निरंतर-नियंत्रण वातावरण में सुरक्षित सुदृढीकरण शिक्षण (Safe Reinforcement Learning - Safe RL) की चुनौती को संबोधित करता है। पारंपरिक Safe RL विधियाँ आमतौर पर बाधाओं को अपेक्षा (expectation) के रूप में संतुष्ट करते हुए पुरस्कारों को अधिकतम करने पर ध्यान केंद्रित करती हैं (जैसे कि लैग्रेंजियन मल्टीप्लायर्स के माध्यम से)। हालाँकि, स्वायत्त ड्राइविंग जैसे सुरक्षा-महत्वपूर्ण अनुप्रयोगों में, "औसत" सुरक्षा अपर्याप्त है, क्योंकि दुर्लभ लेकिन विनाशकारी सुरक्षा उल्लंघन हो सकते हैं।

जबकि कंट्रोल बैरियर फंक्शन्स (Control Barrier Functions - CBFs) जैसी नियंत्रण-सैद्धांतिक विधियाँ यह सुनिश्चित करके "कठोर" सुरक्षा गारंटी प्रदान करती हैं कि सिस्टम एक सुरक्षित सेट के भीतर रहे (फॉरवर्ड इनवेरिएंस), वे पारंपरिक रूप से निम्नलिखित की आवश्यकता रखती हैं:

1. ज्ञात सिस्टम गतिकी (known system dynamics), या
2. सटीक कंट्रोल-एफ़ाइन मॉडल का अनुमान, जिसे प्रशिक्षण अस्थिरता या नीति विचलन (policy divergence) के बिना ऑनलाइन प्राप्त करना कठिन है।

2. कार्यप्रणाली

लेखक CAPSULE का प्रस्ताव करते हैं, जो स्थिरता और सुरक्षा सुनिश्चित करने के लिए मॉडल लर्निंग और नीति अनुकूलन (policy optimization) को अलग करता है। कार्यप्रणाली के तीन मुख्य चरण हैं:

A. ऑफलाइन प्रीट्रेनिंग (डायनामिक्स मॉडलिंग):
गतिकी और नीतियों को एक साथ सीखने की अस्थिरता से बचने के लिए, लेखक एक ऑफलाइन डेटासेट का उपयोग करके एक संभावित कंट्रोल-एफ़ाइन डायनामिक्स मॉडल (probabilistic control-affine dynamics model) को पहले प्रशिक्षित करते हैं।

• मॉडल संरचना: मॉडल स्थिरता में सुधार के लिए पूर्ण अगले राज्य (absolute next state) के बजाय अवस्था में परिवर्तन ($\Delta s$) की भविष्यवाणी करता है। यह संरचना $\mu_\theta(s, a) = \hat{f}_\theta(s) + \hat{g}_\theta(s)a$ का पालन करता है, जहाँ $\hat{f}$ ड्रिफ्ट डायनामिक्स है और $\hat{g}$ कंट्रोल-एफ़ाइन घटक है।
• अनिश्चितता अनुमान (Uncertainty Estimation): वे एक हेटरोसेडास्टिक संभाव्य एन्सेम्बल (heteroscedastic probabilistic ensemble) का उपयोग करते हैं (PETS के समान)। यह एलेयोटिक अनिश्चितता (अंतर्निहित शोर) और एपिस्टेमिक अनिश्चितता (मॉडल की जानकारी का अभाव) दोनों को कैप्चर करता है, जो Gaussian Processes का एक स्केलेबल विकल्प प्रदान करता है।

B. सेफ्टी बैरियर निर्माण (CBF):
सीखे गए मॉडल का उपयोग CBFs बनाने के लिए किया जाता है जो सुरक्षा लागू करते हैं।

• अनिश्चितता-जागरूकता: अत्यधिक आशावादी सुरक्षा अनुमानों को रोकने के लिए, लेखक मॉडल की अनिश्चितता को शामिल करते हैं। वे एक कॉन्फिडेंस इंटरवल ($p_\delta$) को परिभाषित करते हैं ताकि सुरक्षा बाधा तब भी संतुष्ट हो जब मॉडल त्रुटि सबसे खराब स्थिति (worst-case error) में हो (एक रूढ़िवादी दृष्टिकोण)।
• बाधा शिथिलता (Constraint Relaxation): वे एक क्वाड्रेटिक प्रोग्राम (QP) में एक गैर-ऋणात्मक स्लैक वेरिएबल ($\epsilon$) पेश करते हैं ताकि "$\epsilon$-सुरक्षित" सेटों की अनुमति मिल सके। यह नियंत्रक को पूरी तरह विफल होने से रोकता है यदि गणितीय रूप से एक पूर्णतः सुरक्षित क्रिया असंभव हो, जिससे "ग्रेसफुल डिग्रेडेशन" (क्रमिक गिरावट) की अनुमति मिलती है।

C. ऑनलाइन नीति अनुकूलन (हाइब्रिड कंट्रोल):
ऑनलाइन इंटरेक्शन के दौरान, एजेंट तीन भागों वाले एक्शन कंपोजिशन का उपयोग करता है:
$$a_{safe} = a_{RL} + a_{bar} + a_{CBF}$$

1. $a_{RL}$: TRPO के माध्यम से प्रशिक्षित RL नीति से प्राप्त कच्चा (raw) एक्शन।
2. $a_{bar}$ (कंपनसेटर): एक सीखा गया पद जो पिछले CBF सुधारों के इतिहास का अनुमान लगाता है, जिससे वास्तविक समय के नियंत्रक पर बोझ कम होता है।
3. $a_{CBF}$: QP के माध्यम से गणना की गई एक वास्तविक समय की सुधारात्मक क्रिया, जो यह सुनिश्चित करती है कि अवस्था सुरक्षित सेट के भीतर रहे।

3. प्रमुख योगदान

• अनिश्चितता-जागरूक कंट्रोल-एफ़ाइन एन्सेम्बल: एक स्केलेबल डायनामिक्स मॉडल जो उच्च-आयामी कार्यों के लिए हेटरोसेडास्टिक अनिश्चितता अनुमान प्रदान करते हुए कंट्रोल-एफ़ाइन संरचना को बनाए रखता है।
• विच्छेदित लर्निंग आर्किटेक्चर (Decoupled Learning Architecture): ऑफलाइन प्रीट्रेनिंग का उपयोग करके, यह ढांचा ऑनलाइन मॉडल-आधारित RL में सामान्य अस्थिरता और मॉडल पूर्वाग्रह (bias) से बचता है।
• हाइब्रिड सुरक्षा तंत्र: एक सीखा गया कंपनसेटर और एक वास्तविक समय का CBF-आधारित QP सॉल्वर का संयोजन जो कार्य प्रदर्शन को अत्यधिक प्रतिबंधित किए बिना कठोर सुरक्षा बाधाएं प्रदान करता है।

4. परिणाम

इस ढांचे का मूल्यांकन सेफ्टी जिमनास्टिकियम (MuJoCo) बेंचमार्क पर किया गया, विशेष रूप से Hopper, Walker, और HalfCheetah वातावरणों में SafeVelocity कार्य पर।

• सुरक्षा: CAPSULE ने सुरक्षा उल्लंघनों की संख्या को नाटकीय रूप से कम करके आधारभूत CMDP विधियों (TRPO-Lag, PPO-Lag, और FOCOPS) को काफी पीछे छोड़ दिया।
• प्रदर्शन: जबकि TRPO-Lag जैसे आधारभूत तरीकों ने कुछ मामलों में उच्च पुरस्कार प्राप्त किए, उन्होंने ऐसा सुरक्षा बाधाओं का बार-बार उल्लंघन करके किया। CAPSULE ने सुरक्षा सीमाओं का सख्ती से पालन करते हुए प्रतिस्पर्धी कार्य प्रदर्शन (रिटर्न्स) बनाए रखा।
• मॉडल सटीकता: ऑफलाइन प्रीट्रेनिंग ने सफलतापूर्वक एक कंट्रोल-एफ़ाइन मॉडल तैयार किया जिसकी सटीकता पूर्णतः गैर-रेखीय (non-linear) मॉडलों के तुलनीय है।

5. महत्व

CAPSULE संभावित मशीन लर्निंग (probabilistic machine learning) और मजबूत नियंत्रण सिद्धांत (robust control theory) के बीच के अंतर को पाटता है। अनिश्चितता-जागरूक डायनामिक्स को CBFs के साथ एकीकृत करके, यह उच्च-आयामी निरंतर प्रणालियों में RL को तैनात करने के लिए एक स्केलेबल मार्ग प्रदान करता है जहाँ "अपेक्षा में सुरक्षा" एक अस्वीकार्य जोखिम है। यह प्रदर्शित करता है कि प्रभावी कार्य नीतियों को सीखने की एजेंट की क्षमता से समझौता किए बिना जटिल, उच्च-आयामी वातावरण में कठोर सुरक्षा बाधाओं को बनाए रखा जा सकता है।