तकनीकी सारांश: आंशिक दृश्यता के तहत सुरक्षा-महत्वपूर्ण नियंत्रण के लिए एक्शन-कंडीशन्ड रिस्क गेटिंग (Action-Conditioned Risk Gating)

1. समस्या विवरण (Problem Statement)

कई वास्तविक दुनिया की नियंत्रण समस्याएँ सुरक्षा-महत्वपूर्ण (safety-critical) और आंशिक रूप से दृश्य (partially observable - POMDP) दोनों होती हैं। इन परिवेशों में, एजेंटों को अधूरी अवलोकनों (जैसे, शोर वाले सेंसर, छिपी हुई पर्यावरणीय गतिशीलता) के आधार पर निर्णय लेने होते हैं, जबकि उन्हें कार्य प्रदर्शन और दुर्लभ लेकिन विनाशकारी विफलताओं के जोखिम के बीच संतुलन बनाना होता है। उदाहरणों में स्वचालित ग्लूकोज विनियमन (जहाँ भोजन का अवशोषण और इंसुलिन की गतिशीलता गुप्त होती है) और सुरक्षा-बाधित नेविगेशन (जहाँ गुप्त बाधाएं जो दिखने में सुरक्षित कार्यों को खतरनाक बना सकती हैं) शामिल हैं।

यद्यपि पार्शियली ऑब्जर्वेबल मार्कोव डिसीजन प्रोसेस (POMDP) ढांचा गुप्त चरों पर एक 'बलीफ स्टेट' (belief state) बनाए रखकर एक सिद्धांतवादी दृष्टिकोण प्रदान करता है, यह सुरक्षा-महत्वपूर्ण क्षेत्रों में तैनाती के लिए महत्वपूर्ण चुनौतियाँ पेश करता है:

• गणना संबंधी लागत (Computational Cost): निरंतर, उच्च-आयामी सेटिंग्स में ऑनलाइन बलीफ-स्पेस प्लानिंग अक्सर अव्यवहारिक होती है।
• मॉडल निर्भरता (Model Dependency): सटीक बलीफ अपडेट के लिए सटीक ट्रांज़िशन और ऑब्जर्वेशन मॉडल की आवश्यकता होती है, जो अक्सर उपलब्ध नहीं होते हैं।
• सूचना ओवरहेड (Information Overhead): एक पूर्ण बलीफ स्टेट में उस जानकारी से अधिक हो सकता है जिसकी नियंत्रकों (controllers) को आवश्यकता होती है, जिनके सुरक्षा निर्णय अल्प-क्षितिज (short-horizon) बाधाओं द्वारा संचालित होते हैं।

यह शोध पत्र तर्क देता है कि ऐसे कार्यों के लिए, स्पष्ट रूप से पूर्ण लेटेंट-स्टेट बलीफ बनाए रखना आवश्यक नहीं हो सकता है। इसके बजाय, महत्वपूर्ण निर्णय प्रश्न अक्सर अधिक संकीर्ण होता है: "क्या एक प्रस्तावित क्रिया (candidate action) निकट-अवधि में सुरक्षा उल्लंघन का कारण बनने की संभावना रखती है?"

2. कार्यप्रणाली: एक्शन-कंडीशन्ड रिस्क गेटिंग (Methodology: Action-Conditioned Risk Gating)

लेखक एक हल्का (lightweight), रिस्क-गेटेड सुदृढीकरण लर्निंग (RL) ढांचा प्रस्तावित करते हैं जो स्पष्ट बलीफ अपडेट से बचता है। यह विधि दो मुख्य घटकों पर निर्भर करती है: एक संक्षिप्त इतिहास-निर्भर प्रॉक्सी स्टेट और एक निकट-अवधि के खतरे का एक्शन-कंडीशन्ड प्रेडिक्टर।

2.1 प्रॉक्सी स्टेट निर्माण (Proxy State Construction)

एक बलीफ स्टेट $b_t = P(s_t | H_t)$ बनाए रखने के बजाय, नियंत्रक हाल के $W$ चरणों के इतिहास को एक प्रॉक्सी स्टेट $o_t$ में संकुचित करता है:
$$o_t = \phi(W^W_t) \in \tilde{\mathcal{S}}$$
जहाँ $W^W_t = (y_{t-W+1}, a_{t-W+1}, \dots, y_t)$ हालिया अवलोकनों और क्रियाओं का एक विंडो है। यह प्रॉक्सी रिस्क प्रेडिक्शन और वैल्यू लर्निंग दोनों के लिए इनपुट के रूप में कार्य करता है।

2.2 एक्शन-कंडीशन्ड रिस्क प्रेडिक्शन (Action-Conditioned Risk Prediction)

प्रत्येक प्रस्तावित क्रिया $a \in \mathcal{A}$ के लिए, नियंत्रक एक प्रेडिक्टर $\hat{\rho}(o_t, a)$ सीखता है जो अल्प-क्षितिज के भीतर सुरक्षा उल्लंघन की संभावना का अनुमान लगाता है:
$$\hat{\rho}(o_t, a) \approx P(E_t(a) = 1 | H_t)$$
महत्वपूर्ण रूप से, यह जोखिम प्रत्येक प्रस्तावित क्रिया के लिए अलग से गणना किया जाता है। यह नियंत्रक को उन क्रियाओं के बीच अंतर करने की अनुमति देता है जो सुरक्षित होने की संभावना रखते हैं और वे जो निकट-अवधि के खतरों को प्रेरित करती हैं, भले ही वे समान आंशिक अवलोकनों के तहत हों।

2.3 रिस्क-गेटेड वैल्यू एस्टीमेशन (Risk-Gated Value Estimation)

ढांचा $M$ क्रिटिक्स $\{Q_m(o, a)\}$ के एक एन्सेम्बल (ensemble) का उपयोग करता है जो आशावादी ($Q^+$) और रूढ़िवादी ($Q^-$) वैल्यू अनुमान प्रदान करते हैं। अनुमानित जोखिम $\hat{\rho}$ का उपयोग इन अनुमानों के बीच इंटरपोलेशन करने के लिए किया जाता है, जिससे एक रिस्क-अवेयर वैल्यू फंक्शन $Q_{gate}$ बनता है:
$$Q_{gate}(o, a) = (1 - \hat{\rho}(o, a))Q^+(o, a) + \hat{\rho}(o, a)Q^-(o, a)$$

• कम जोखिम (Low Risk): जब $\hat{\rho}$ छोटा होता है, तो $Q_{gate}$, $Q^+$ के करीब होता है, जो रिवॉर्ड-सीकिंग व्यवहार को प्रोत्साहित करता है।
• उच्च जोखिम (High Risk): जब $\hat{\rho}$ बड़ा होता है, तो $Q_{gate}$, $Q^-$ की ओर झुक जाता है, जो अनिश्चित या संभावित रूप से असुरक्षित रिटर्न वाली क्रियाओं को हतोत्साहित करता है।

2.4 पॉलिसी चयन और प्रशिक्षण (Policy Selection and Training)

निर्णय के समय, नियंत्रक एक उपयोगकर्ता-निर्दिष्ट जोखिम थ्रेशोल्ड $R_{max}$ के आधार पर एक हार्ड एडमिसिबिलिटी फ़िल्टर (hard admissibility filter) लागू करता है:

1. सुरक्षित क्रिया सेट का निर्माण करें: $A_{safe}(o_t) = \{a \in \mathcal{A} : \hat{\rho}(o_t, a) \leq R_{max}\}$।
2. यदि $A_{safe}$ गैर-रिक्त है, तो $Q_{gate}$ को अधिकतम करने वाली क्रिया चुनें।
3. यदि $A_{safe}$ खाली है, तो न्यूनतम अनुमानित जोखिम वाली क्रिया पर वापस जाएँ (fallback)।

प्रशिक्षण के दौरान, रिस्क प्रेडिक्टर और क्रिटिक एन्सेम्बल को संयुक्त रूप से अपडेट किया जाता है। क्रिटिक्स के लिए रिवॉर्ड सिग्नल को एक रिस्क पेनल्टी ($\tilde{r}_t = r_t - \lambda_{risk}\hat{\rho}_t(a_t)$ के साथ) के रूप में आकार दिया जाता है, यह सुनिश्चित करता है कि वैल्यू फंक्शन कार्य प्रदर्शन और सुरक्षा भार दोनों को दर्शाता है।

3. प्रमुख योगदान (Key Contributions)

यह शोध पत्र तीन प्राथमिक योगदान देता है:

1. एक नवीन ढांचा: POMDPs के लिए एक सुरक्षा-महत्वपूर्ण नियंत्रण ढांचा जो स्पष्ट बलीफ अपडेट को एक संक्षिप्त इतिहास-निर्भर प्रॉक्सी स्टेट और एक एक्शन-कंडीशन्ड निकट-अवधि खतरा अनुमान से बदल देता है।
2. रिस्क-गेटेड एक्शन इवैल्यूएशन: एक निर्णय-समय नियम जो आशावादी और रूढ़िवादी एन्सेम्बल वैल्यू अनुमानों के बीच इंटरपोलेट करने के लिए अनुमानित खतरे का उपयोग करता है, जिससे नियंत्रक प्रत्येक प्रस्तावित क्रिया के विशिष्ट जोखिम के आधार पर अपनी रूढ़िवादिता को गतिशील रूप से अनुकूलित कर सकता है।
3. अनुभवजन्य सत्यापन (Empirical Validation): दो अलग-अलग डोमेन (ग्लूकोज विनियमन और नेविगेशन) में प्रदर्शन का प्रदर्शन कि यह डिज़ाइन बलीफ-आधारित प्लानिंग और मानक सेफ-आरएल बेसलाइन्स की तुलना में कार्य प्रदर्शन, सुरक्षा और कम्प्यूटेशनल दक्षता के बीच एक अनुकूल संतुलन प्राप्त करता है।

4. प्रयोगात्मक परिणाम (Experimental Results)

विधि का मूल्यांकन दो सुरक्षा-महत्वपूर्ण आंशिक रूप से दृश्य डोमेन में किया गया था:

4.1 स्वचालित ग्लूकोज विनियमन (UVa/Padova Simulator)

• सेटअप: वयस्क और किशोर समूहों पर परीक्षण किया गया जहाँ भोजन अवशोषण और इंसुलिन गतिशीलता के संबंध में आंशिक दृश्यता थी।
• प्रदर्शन: प्रस्तावित विधि (RiskGated) ने दोनों समूहों के लिए उच्चतम टाइम इन रेंज (TIR) (वयस्कों के लिए 82.0%, किशोरों के लिए 71.6%) प्राप्त किया, जो PPO, Safe-PPO और POMDP बेसलाइन्स से बेहतर रहा।
• सुरक्षा: इसने प्रतिस्पर्धी हाइपोग्लाइसीमिया और हाइपरग्लाइसीमिया मेट्रिक्स बनाए रखा, उन ट्रेड-ऑफ से बचा जो अन्य विधियों (जैसे, Safe-PPO जो हाइपोग्लाइसीमिया को कम करता है लेकिन हाइपरग्लाइसीमिया को बढ़ाता है) में देखे गए थे।
• दक्षता: इसने POMDP प्लानिंग की तुलना में कम्प्यूटेशनल रनटाइम को नाटकीय रूप से कम किया (उदाहरण के लिए, वयस्कों के लिए कुल रनटाइम ~1351s से घटाकर ~144s किया) और प्रति-चरण विलंबता (latency) को ~62ms से घटाकर ~4.4ms कर दिया।

4.2 सेफ्टी-जिम नेविगेशन (Safety-Gym Navigation)

• सेटअप: SafetyPointGoal1 और SafetyPointCircle1 बेंचमार्क पर मूल्यांकन किया गया।
• प्रदर्शन: RiskGated ने सभी विधियों में सर्वश्रेष्ठ रिवॉर्ड-पर-कॉस्ट अनुपात प्राप्त किया।
• ट्रेड-ऑफ: इसने अनकन्स्ट्रेंड PPO की तुलना में औसत सुरक्षा लागत को काफी कम कर दिया (उदाहरण के लिए, Goal1 पर 109.87 के मुकाबले 36.93) जबकि गैर-मामूली रिवॉर्ड बनाए रखा, जिससे उन "रिवॉर्ड कोलैप्स" से बचा जो कुछ बाधित सेफ-आरएल विधियों में देखे जाते हैं।

4.3 एब्लेशन और विश्लेषण (Ablation and Analysis)

• रिस्क प्रेडिक्शन: सीखे गए प्रेडिक्टर ने वास्तविक पोस्ट-हॉक जोखिम के साथ उच्च संरेखण (सहसंबंध 0.9982) और थ्रेशोल्ड क्रॉसिंग पर उच्च सहमति (98.12%) दिखाया।
• संवेदनशीलता (Sensitivity): विधि प्रॉक्सी विंडो लंबाई ($W$) और एन्सेम्बल आकार ($M$) के विविधताओं में स्थिर रही। रिस्क थ्रेशोल्ड ($R_{max}$) सुरक्षा-प्रदर्शन ट्रेड-ऑफ के लिए एक ट्यूनेबल नॉब (tunable knob) के रूप में कार्य करता है।

5. महत्व और दावे (Significance and Claims)

शोध पत्र का दावा है कि एक्शन-कंडीशन्ड निकट-अवधि जोखिम प्रभावी जोखिम-संवेदनशील नियंत्रण के लिए एक प्रभावी स्थानीय संकेत के रूप में कार्य कर सकता है जब पूर्ण बलीफ-स्पेस प्लानिंग अव्यवहारिक हो।

• व्यावहारिक विकल्प: यह दृष्टिकोण एक "हल्का मध्य मार्ग" प्रदान करता है जो क्लासिकल POMDP प्लानिंग (जो कम्प्यूटेशनल रूप से महंगी है और मॉडल-निर्भर है) और मानक सेफ RL (जो अक्सर पूर्ण स्टेट दृश्यता मानता है) के बीच है।
• निर्णय-उन्मुख सन्निकटन (Decision-Oriented Approximation): पूर्ण लेटेंट स्टेट्स पर पूर्ण पोस्टीरियर को पुनर्गठित करने के बजाय, यह विधि विशिष्ट मात्रा पर ध्यान केंद्रित करती है जो तत्काल सुरक्षा के लिए प्रासंगिक है: एक विशिष्ट क्रिया के लिए निकट-अवधि उल्लंघन की संभावना।
• स्केलेबिलिटी: रिकर्सिव बलीफ अपडेट से बचकर, यह विधि उन डोमेन में स्केल करती है जहाँ बलीफ-स्पेस प्लानिंग अव्यवहारिक है, फिर भी रिस्क-गेटेड फ़िल्टरिंग तंत्र के माध्यम से सुरक्षा गारंटी प्रदान करती है।

लेखक निष्कर्ष निकालते हैं कि हालांकि प्रॉक्सी प्रतिनिधित्व और हेज़र्ड फीचर्स आंशिक रूप से डोमेन-विशिष्ट बने रहते हैं, ढांचा यह प्रदर्शित करता है कि यदि नियंत्रक हाल के इतिहास से एक्शन-कंडीशंड निकट-अवधि खतरों का सटीक अनुमान लगा सकता है, तो प्रभावी सुरक्षा-महत्वपूर्ण नियंत्रण के लिए स्पष्ट बलीफ रखरखाव अनिवार्य रूप से आवश्यक नहीं है।