तकनीकी सारांश: सीमित उल्लंघन डेटा के साथ सुरक्षित नीतियों को सीखने के लिए मॉडल-आधारित सक्रिय लागत पीढ़ी (Model-Based Proactive Cost Generation)

1. समस्या विवरण

सेफ रिइन्फोर्समेंट लर्निंग (Safe RL) का लक्ष्य ऐसी नीतियां प्राप्त करना है जो पूर्व-निर्धारित सुरक्षा बाधाओं को पूरा करती हैं, जो स्वायत्त ड्राइविंग और रोबोटिक्स जैसे अनुप्रयोगों के लिए महत्वपूर्ण है। जबकि ऑफलाइन सेफ RL, पूर्व-संग्रहित डेटासेट से नीतियां सीखने के लिए एक प्रतिमान (paradigm) प्रदान करता है, मौजूदा विधियां उच्च-जोखिम वाले परिदृश्यों में एक मौलिक सीमा का सामना करती हैं: असुरक्षित नमूनों की कमी या पूर्ण अनुपस्थिति।

कई व्यावहारिक डेटा संग्रह प्रक्रियाओं (जैसे, रोबोट हेरफेर) में, बाहरी हस्तक्षेप अक्सर एजेंटों को असुरक्षित अवस्थाओं तक पहुँचने से रोकते हैं, जिसके परिणामस्वरूप ऐसे डेटासेट बनते हैं जो लगभग पूरी तरह से सुरक्षित प्रक्षेप पथों (trajectories) से बने होते हैं। पारंपरिक ऑफलाइन सेफ RL विधियां, जो सुरक्षा सीमाओं को परिभाषित करने के लिए प्रचुर मात्रा में असुरक्षित नमूनों से कॉस्ट वैल्यू फंक्शन सीखने पर निर्भर करती हैं, इस सेटिंग में विफल रहती हैं। वे देखे गए सभी डेटा को समान रूप से सुरक्षित मानती हैं, और "सुरक्षित-लेकिन-असंभव" (safe-but-infeasible) अवस्थाओं की अनदेखी करती हैं—ऐसी अवस्थाएं जो वर्तमान में बाधाओं को पूरा करती हैं लेकिन डायनेमिक्स (जैसे, जड़त्व/inertia) के कारण कुछ ही चरणों के भीतर उनका उल्लंघन कर देंगी। यह अनदेखी नीति तैनाती में विफलता का कारण बनती है जहाँ एजेंट असुरक्षित क्षेत्रों में चले जाते हैं।

मुख्य चुनौती यह है: हम असुरक्षित नमूने कम या पूरी तरह से अनुपस्थित होने पर ऑफलाइन एक सुरक्षित नीति कैसे सीख सकते हैं?

2. कार्यप्रणाली: PROCO

लेखक PROCO (मॉडल-आधारित सक्रिय लागत पीढ़ी - Model-Based Proactive Cost Generation) का प्रस्ताव करते हैं, जो एक मॉडल-आधारित ऑफलाइन सेफ RL फ्रेमवर्क है जिसे उन डेटासेट से सुरक्षित नीतियां सीखने के लिए डिज़ाइन किया गया है जिनमें असुरक्षित नमूने कम या शून्य हैं। यह कार्यप्रणाली तीन प्रमुख घटकों को एकीकृत करती है:

A. LLM-सहायता प्राप्त रूढ़िवादी लागत फ़ंक्शन जनरेशन (LLM-Assisted Conservative Cost Function Generation)

असुरक्षित डेटा की कमी के कारण उत्पन्न अंतराल को पाटने के लिए, PROCO प्राकृतिक भाषा ज्ञान को सीखने की प्रक्रिया में शामिल करने के लिए लार्ज लैंग्वेज मॉडल्स (LLMs) का लाभ उठाता है।

• इनपुट: LLM को कार्य संबंधी जानकारी ($L_{task}$), सुरक्षा बाधाओं का प्राकृतिक भाषा विवरण ($L_{cost}$), और एक ऐसा कॉस्ट फ़ंक्शन उत्पन्न करने के लिए स्पष्ट निर्देश ($L_{inst}$) प्राप्त होते हैं जो सख्त बाधा परिभाषा की तुलना में अधिक रूढ़िवादी (conservative) हो।
• आउटपुट: एक पायथन फ़ंक्शन $\bar{c}$ जो अवस्थाओं को असुरक्षित (1) या सुरक्षित (0) के रूप में लेबल करता है।
• सत्यापन और फीडबैक लूप: चूंकि LLM आउटपुट अविश्वसनीय हो सकते हैं, PROCO एक सत्यापन तंत्र का उपयोग करता है:
  1. सुरक्षा जाँच (Safety Check): उत्पन्न कॉस्ट फ़ंक्शन को ज्ञात असुरक्षित नमूनों ($D_{unsafe}$, $\le 100$ नमूने) के विरुद्ध सत्यापित किया जाता है। यह सुनिश्चित करने के लिए कि कोई ज्ञात असुरक्षित अवस्था छूटे नहीं, इसे इन पर 100% सटीकता प्राप्त करनी चाहिए।
  2. रूढ़िवादिता जाँच (Conservativeness Check): फ़ंक्शन का मूल्यांकन सुरक्षित डेटासेट ($D$) पर किया जाता है। सुरक्षित नमूनों के असुरक्षित लेबल किए जाने के अनुपात को मापा जाता है। यदि यह अनुपात हाइपरपैरामीटर-नियंत्रित रेंज $[p_{min}, p_{max}]$ के भीतर है, तो इसे स्वीकार किया जाता है।
  3. परिष्करण (Refinement): यदि फ़ंक्शन बहुत अधिक रूढ़िवादी है या पर्याप्त रूढ़िवादी नहीं है, तो एक फीडबैक विवरण ($L_{feed}$) उत्पन्न किया जाता है और कॉस्ट फ़ंक्शन को परिष्कृत करने के लिए LLM को वापस भेजा जाता है।

B. डायनेमिक्स मॉडल-आधारित व्यवहार्यता पहचान (Dynamics Model-Based Feasibility Identification)

PROCO ऑफलाइन डेटा से एक एन्सेम्बल डायनेमिक्स मॉडल $\hat{T}$ सीखता है। बिना देखे गए उल्लंघनों के अक्षम अवस्थाओं की पहचान करने के लिए, यह ब्रांच्ड मॉडल रोलआउट्स (branched model rollouts) करता है:

• ऑफलाइन डेटा नमूनों से शुरू होकर, मॉडल भविष्य के प्रक्षेप पथों का अनुकरण करता है।
• एक रूढ़िवादी व्यवहार्य बेलमैन ऑपरेटर ($\bar{B}^*$) पेश किया जाता है। मानक ऑपरेटरों के विपरीत, $\bar{B}^*$ मॉडल अनिश्चितता के विरुद्ध मजबूती सुनिश्चित करने के लिए डायनेमिक्स मॉडल के एन्सेम्बल के भीतर सबसे खराब स्थिति (worst-case) के संक्रमण पर विचार करता है।
• यह प्रक्रिया सक्रिय रूप से विविध काउंटरफैक्चुअल (counterfactual) असुरक्षित नमूने उत्पन्न करती है। अवस्थाओं को (रूढ़िवादी कॉस्ट फ़ंक्शन के माध्यम से) असुरक्षित के रूप में लेबल करके, यह विधि अक्षम से असुरक्षित अवस्थाओं के संक्रमण चरणों को प्रभावी ढंग से कम करती है, जिससे व्यवहार्यता पहचान पर मॉडल त्रुटियों का प्रभाव कम हो जाता है।

C. पॉलिसी लर्निंग पाइपलाइन

1. डेटा संवर्धन (Data Augmentation): सीखा गया डायनेमिक्स मॉडल $\hat{T}$ और रूढ़िवादी कॉस्ट फ़ंक्शन $\bar{c}$ रोलआउट करने के लिए उपयोग किए जाते हैं। सुरक्षा उल्लंघन वाले प्रक्षेप पथों को एक सिंथेटिक डेटासेट $D_{\hat{T}}$ में जोड़ा जाता है।
2. रीलेबलिंग (Relabeling): ऑफलाइन डेटासेट $D$ को $\bar{c}$ के साथ बाधा उल्लंघन लागतों के साथ पुनः लेबल किया जाता है।
3. वैल्यू फ़ंक्शन अपडेट: एल्गोरिदम संयुक्त डेटासेट ($D \cup D_{\hat{T}}$) का उपयोग करके बाधा उल्लंघन वैल्यू फ़ंक्शन ($V_h$) और एक्शन-वैल्यू फ़ंक्शन ($Q_h$) को अपडेट करता है। यह व्यवहार्य बेलमैन अपडेट में मिनिमाइजेशन ऑपरेटर को अनुमानित करने के लिए रिवर्स एक्सपेक्टाइल रिग्रेशन (reverse expectile regression) का उपयोग करता है।
4. पॉलिसी ऑप्टिमाइजेशन: नीति को मूल ऑफलाइन डेटासेट $D$ का उपयोग करके अपडेट किया जाता है, जो संवर्धित डेटा से सीखे गए कॉस्ट क्रिटिक्स द्वारा निर्देशित होता है।

3. मुख्य योगदान

1. समस्या का औपचारिककरण: यह पेपर उस चुनौती को पहचानता है और औपचारिक रूप देता है जहाँ "केवल-सुरक्षित" डेटासेट से सुरक्षित नीतियां सीखना कठिन होता है, जहाँ असुरक्षित नमूनों के बिना अक्षम अवस्थाओं को पहचानना असंभव होता है।
2. ज्ञान-डेटा एकीकरण: यह एक नया फ्रेमवर्क (PROCO) पेश करता है जो प्राकृतिक भाषा सुरक्षा विशिष्टताओं (LLMs के माध्यम से) को अनुभवजन्य ऑफलाइन डेटा के साथ एकीकृत करके रूढ़िवादी कॉस्ट फ़ंक्शन बनाता है, जिससे देखे गए उल्लंघनों के बिना भी जोखिम का अनुमान लगाना संभव होता है।
3. सक्रिय व्यवहार्यता पहचान: एक सीखे गए डायनेमिक्स मॉडल को रूढ़िवादी कॉस्ट फ़ंक्शन के साथ जोड़कर, PROCO काउंटरफैक्चुअल असुरक्षित नमूने तैयार करता है ताकि अक्षम अवस्थाओं की पहचान की जा सके, जो मौजूदा विधियों के "सुरक्षित-लेकिन-अक्षम" ब्लाइंड स्पॉट को संबोधित करता है।
4. सैद्धांतिक गारंटी: लेखक एक सैद्धांतिक विश्लेषण (Theorem 4.8) प्रदान करते हैं जो यह दर्शाता है कि PROCO को किसी भी बेसलाइन ऑफलाइन सेफ RL एल्गोरिदम के साथ एकीकृत करने से सुरक्षा प्रदर्शन में गिरावट नहीं आती है, भले ही मॉडल त्रुटि के परिमाण पर कोई धारणा न हो।

4. प्रयोगात्मक परिणाम

लेखकों ने OSRL डेटासेट का उपयोग करके Safety-Gymnasium बेंचमार्क (Navigation और Velocity कार्यों) के 17 कार्यों पर PROCO का मूल्यांकन किया, विशेष रूप से सभी असुरक्षित डेटा को हटाकर "केवल-सुरक्षित" डेटासेट बनाकर।

• प्रदर्शन: PROCO ने "केवल-सुरक्षित" डेटासेट पर मूल ऑफलाइन सेफ RL एल्गोरिदम (FISOR, LSPC, CAPS) और व्यवहार क्लोनिंग बेसलाइन्स (BC, CDT) को काफी पीछे छोड़ दिया।
  • इसने विभिन्न एल्गोरिदम में सुरक्षा प्रदर्शन में 400% से अधिक सुधार हासिल किया, जिसमें कुछ कार्यों में सुधार 1000% से अधिक था।
  • "Ant Circle" केस स्टडी में, PROCO ने सुरक्षा सीमा के पास अक्षम अवस्थाओं की सफलतापूर्वक पहचान की और शून्य सुरक्षा उल्लंघन प्राप्त किया, जबकि बेसलाइन्स व्यवहार्य और अक्षम अवस्थाओं के बीच अंतर करने में विफल रहे और महत्वपूर्ण उल्लंघन हुए।
• मजबूती (Robustness): उपलब्ध असुरक्षित डेटा की मात्रा अत्यंत सीमित होने पर भी (जैसे, मूल असुरक्षित डेटासेट का 10%) विधि प्रभावी रही।
• एब्लेशन अध्ययन (Ablation Studies):
  • डायनेमिक्स मॉडल या रूढ़िवादी कॉस्ट फ़ंक्शन जनरेशन को हटाने से सुरक्षा प्रदर्शन में भारी गिरावट आई।
  • LLM-जनित कॉस्ट फ़ंक्शन के लिए फीडबैक तंत्र वांछित स्तर की रूढ़िवादिता प्राप्त करने के लिए महत्वपूर्ण था।
  • विधि विभिन्न LLMs (GPT-o4-mini, Gemini 2.5 Pro) में स्थिर रही, हालांकि प्रदर्शन थोड़ा भिन्न था।

5. महत्व और दावे

पेपर का दावा है कि PROCO उन वास्तविक, उच्च-जोखिम वाले वातावरणों में सेफ RL को तैनात करने की एक महत्वपूर्ण बाधा को दूर करता है जहाँ असुरक्षित डेटा एकत्र करना असंभव या खतरनाक है। LLMs का उपयोग करके प्राकृतिक भाषा सुरक्षा बाधाओं को रूढ़िवादी कॉस्ट फ़ंक्शंस में अनुवादित करके और डायनेमिक्स रोलआउट्स का उपयोग करके संभावित विफलताओं की सक्रिय रूप से खोज करके, PROCO उन डेटासेट से सुरक्षित नीतियां सीखने में सक्षम बनाता है जो अन्यथा सुरक्षा-महत्वपूर्ण निर्णय लेने के लिए अपर्याप्त होते।

लेखक इस बात पर जोर देते हैं कि उनका दृष्टिकोण सुरक्षित नीति सीखने के लिए असुरक्षित नमूनों की आवश्यकता नहीं करता है, जिससे यह उन परिदृश्यों के लिए उपयुक्त हो जाता है जहाँ डेटा मानव टेलीऑपरेशन या बाहरी हस्तक्षेप के माध्यम से एकत्र किया जाता है जो टकराव को रोकता है। वे निष्कर्ष निकालते हैं कि हालांकि वर्तमान में यह विधि स्टेट-आधारित अवलोकनों और LLMs पर निर्भर है, फिर भी यह ज्ञान-संचालित ऑफलाइन सेफ RL की दिशा में एक महत्वपूर्ण कदम है। भविष्य के कार्य के रूप में इसे विज़न-लैंग्वेज मॉडल्स (VLMs) का उपयोग करके विजुअल कार्यों तक विस्तारित करने का सुझाव दिया गया है।