तकनीकी सारांश: TraCeS

समस्या विवरण (Problem Statement)

जब सुरक्षा संबंधी बाधाएं (constraints) अंतर्निहित, अपरिवर्तनीय या प्रशिक्षण के दौरान अनुपलब्ध होती हैं, तो सुदृढीकरण शिक्षण (Reinforcement Learning - RL) में सुरक्षित व्यवहार सुनिश्चित करना चुनौतीपूर्ण होता है। कई सुरक्षा-महत्वपूर्ण क्षेत्रों (जैसे रोबोटिक्स, स्वायत्त ड्राइविंग) में, हार्ड-कोडेड बाधाएं और हाथ से तैयार किए गए लागत फलन (cost functions) अक्सर भंगुर होते हैं और संदर्भ-निर्भर परिदृश्यों में सामान्यीकरण करने में विफल रहते हैं। इसके अलावा, सघन प्रति-टाइमस्टेप पर्यवेक्षण (dense per-timestep supervision) अक्सर उपलब्ध नहीं होता है; इसके बजाय, पर्यवेक्षण मोटे, विरल बाइनरी लेबल तक सीमित होता है जो यह संकेत देते हैं कि क्या एक संपूर्ण प्रक्षेपवक्र (trajectory) या उसका एक हिस्सा (prefix) अज्ञात सुरक्षा सीमा के भीतर रहा।

मुख्य कठिनाई क्रेडिट असाइनमेंट समस्या (credit assignment problem) है: एक प्रक्षेपवक्र-स्तरीय लेबल (जैसे, "अस्वीकृत") यह तो बताता है कि उल्लंघन हुआ है, लेकिन यह निर्दिष्ट नहीं करता कि कब या किस विशिष्ट व्यवहार ने इसे उत्पन्न किया। मानक बाधित मार्कोव निर्णय प्रक्रिया (Constrained Markov Decision Process - CMDP) विधियाँ एक ज्ञात प्रति-चरण लागत फलन और एक थ्रेशोल्ड (threshold) की उपलब्धता मानती हैं, जो यहाँ लागू नहीं होता है। यह शोध पत्र उस स्थिति को संबोधित करता है जहाँ एजेंट को अज्ञात लागत फलन $C$ या बाधा सीमा $b$ के ज्ञान के बिना, विरल प्रक्षेपवक्र-स्तरीय स्वीकार/अस्वीकार लेबल से एक सुरक्षित नीति सीखनी होती है।

कार्यप्रणाली (Methodology): TraCeS

लेखक TraCeS (Trajectory-based Constraint Estimation for Safety) का प्रस्ताव करते हैं, जो विरल प्रक्षेपवक्र-स्तरीय लेबल से प्रति-टाइमस्टेप उल्लंघन क्रेडिट सीखने वाला एक ढांचा है। यह विधि तीन मुख्य घटकों वाले एक पुनरावृत्त लूप के माध्यम से कार्य करती है:

1. अनुक्रमिक उल्लंघन अनुमानक (Sequential Violation Estimator)

TraCeS विरल बाइनरी फीडबैक को सघन, प्रति-टाइमस्टेप उल्लंघन क्रेडिट में विघटित करने के लिए एक अनुक्रमिक अनुमानक को प्रशिक्षित करता है।

• मोनोटोनिक उल्लंघन अमूर्तता (Monotone Violation Abstraction): यह विधि एक मोनोटोनिक उल्लंघन संरचना (Assumption 3.1) मानती है: एक बार जब कोई प्रक्षेपवक्र बाधा का उल्लंघन करता है, तो वह उसके बाद उल्लंघन की स्थिति में ही रहता है। इसका तात्पर्य है कि "अभी तक उल्लंघन नहीं हुआ" की संभावना समय के साथ गैर-बढ़ती (non-increasing) होती है।
• गुणन (Factorization): अनुमानक इस बात की भविष्यवाणी करता है कि एक प्रक्षेपवक्र प्रीफिक्स $\tau_{0:t}$ ने अभी तक बाधा का उल्लंघन नहीं किया है, जिसे $\hat{P}(\psi_{0:t}=1 | \tau_{0:t})$ द्वारा दर्शाया गया है। इस प्रायिकता को प्रति-चरण मल्टीप्लिकेटिव क्रेडिट्स में विभाजित किया जाता है:
  $$\hat{P}(\psi_{0:T-1}=1 | \tau_{0:T-1}) = \prod_{t=0}^{T-1} \hat{P}^\Delta_t$$
  यहाँ, $\hat{P}^\Delta_t$ एक अतिरिक्त चरण जोड़ने पर गैर-उल्लंघन प्रायिकता में होने वाले परिवर्तन को दर्शाता है। 1 से काफी कम मान एक ऐसे चरण को इंगित करता है जो सुरक्षा प्रायिकता में तीव्र गिरावट लाता है, जिससे उल्लंघन क्रेडिट का स्थानीयकरण प्रभावी ढंग से हो जाता है।
• आर्किटेक्चर (Architecture): अनुमानक प्रीफिक्स के सारांश वेक्टर $h_t$ को बनाए रखने के लिए एक साझा एनकोडर $f_w$ और लॉग-नॉर्मल वितरण के मापदंडों को आउटपुट करने के लिए एक डिकोडर $g_w$ का उपयोग करता है। सैंपल किया गया लॉग-क्रेडिट गैर-धनात्मक ($\log \hat{P}^\Delta_t \le 0$) होने के लिए बाध्य है, जो यह सुनिश्चित करता है कि संचयी प्रायिकता न बढ़े।
• प्रशिक्षण: अनुमानक को प्रक्षेपवक्रों या प्रीफिक्स के विरल बाइनरी लेबल (स्वीकार/अस्वीकार) पर बाइनरी क्रॉस-एन्ट्रॉपी लॉस का उपयोग करके प्रशिक्षित किया जाता है, जो समस्या को अज्ञात लेबलिंग नियम $\Psi(\cdot)$ के अधिकतम-संभावना अनुमान (maximum-likelihood estimation) के रूप में मानता है।

2. बाधित नीति अनुकूलन (Constrained Policy Optimization)

एक बार जब अनुमानक प्रति-चरण क्रेडिट सीख लेता है, तो TraCeS उन्हें एक मानक CMDP सॉल्वर में एकीकृत करता है।

• सरोगेट कॉस्ट (Surrogate Cost): अनुमानित लॉग-क्रेडिट को एक सरोगेट कॉस्ट में परिवर्तित किया जाता है: $\tilde{C}_t = -\log \hat{P}^\Delta_t \ge 0$।
• बाधा पुनर्गठन (Constraint Reformulation): मूल चांस कंस्ट्रेंट (जिसके लिए स्वीकार्य प्रक्षेपवक्र की प्रायिकता कम से कम $d$ होनी चाहिए) को अनुमानित किया जाता है। जेन्सेन की असमानता (Jensen's inequality) का उपयोग करते हुए, लेखक एक सुलभ निचला स्तर (lower bound) प्राप्त करते हैं जो मल्टीप्लिकेटिव बाधा को एडिटिव रूप में परिवर्तित करता है:
  $$\mathbb{E}_{\tau \sim \pi_\theta} \left[ \sum_{t} \tilde{C}_t \right] \le -\log d$$
  यह पुनर्गठन ज्ञात लागत फलन के बिना भी, सीखे गए सरोगेट कॉस्ट के साथ मानक बाधित RL एल्गोरिदम (जैसे PPO-Lagrangian) के उपयोग की अनुमति देता है।
• सैद्धांतिक गारंटी: शोध पत्र जेन्सेन की असमानता द्वारा पेश किए गए सन्निकटन अंतराल (approximation gap) पर एक सीमा प्रदान करता है, यह दिखाते हुए कि यह अंतराल कम हो जाता है जैसे-जैसे अनुमानक अधिक स्थिर होता जाता है और अनुमानित गैर-उल्लंघन प्रायिकताओं का विचरण (variance) कम होता जाता है।

3. सक्रिय प्रक्षेपवक्र चयन (Active Trajectory Selection)

एनोटेशन के बोझ को कम करने के लिए, TraCeS यह चुनने के लिए कि किन प्रक्षेपवपथों को लेबल किया जाए, अनिश्चितता-आधारित रणनीति का उपयोग करता है।

• विचरण गुणांक (Coefficient of Variation - CV): विधि अनुमानक के सैंपलिंग शोर के तहत प्रक्षेपवक्र-स्तरीय सरोगेट कॉस्ट के CV की गणना करती है। उच्च CV वाले प्रक्षेपवपथों (जो अनुमानक की भविष्यवाणी में उच्च फैलाव या अनिश्चितता का संकेत देते हैं) को लेबलिंग के लिए प्राथमिकता दी जाती है। यह मानव या स्वचालित एनोटेशन प्रयासों को उन रोलआउट्स पर केंद्रित करता है जहाँ अनुमानक सबसे अधिक अनिश्चित होता है, जिससे डेटा दक्षता में सुधार होता है।

मुख्य योगदान (Key Contributions)

1. समस्या का प्रारूपण: शोध पत्र मोनोटोनिक उल्लंघन अमूर्तता के तहत विरल प्रक्षेपवक्र-स्तरीय लेबल से सुरक्षित नीति सीखने की समस्या को औपचारिक रूप देता है, जो उस अंतर को संबोधित करता है जहाँ न तो लागत फलन और न ही थ्रेशोल्ड ज्ञात है।
2. विधि (TraCeS): एक नवीन अनुक्रमिक अनुमानक जो प्रक्षेपवक्र-स्तरीय स्वीकार्यता को प्रति-टाइमस्टेप उल्लंघन क्रेडिट में विभाजित करता है। यह मोटे बाइनरी फीडबैक को सघन सरोगेट कॉस्ट सिग्नल में बदलने में सक्षम बनाता है जो मानक CMDP सॉल्वरों के अनुकूल है।
3. सिद्धांत और मूल्यांकन:
   • जेन्सेन की असमानता लोअर बाउंड द्वारा पेश किए गए सन्निकटन अंतराल का सैद्धांतिक विश्लेषण।
   • 12 निरंतर-नियंत्रण कार्यों (Safety Gymnasium, MuJoCo, Bullet Safety Gym) पर अनुभवजन्य सत्यापन।
   • कम-डेटा शासन (low-data regimes), शोर वाले लेबल, और मानव फीडबैक वाले सेटिंग्स में मजबूती का प्रदर्शन।

प्रयोगात्मक परिणाम (Experimental Results)

लेखक कई बेसलाइन के विरुद्ध TraCeS का मूल्यांकन करते हैं:

• ओरेकल विधियाँ (Oracle Methods): PPO-Lagrangian और CPPO-PID (जो ज्ञात लागत और थ्रेशोल्ड मानते हैं)।
• आंशिक ज्ञान (Partial Knowledge): RLSF (लागत सीखता है लेकिन ज्ञात थ्रेशोल्ड मानता है)।
• शून्य-ज्ञान बेसलाइन (Zero-Knowledge Baselines): एक कॉस्ट-थ्रेशोल्ड (C-T) बेसलाइन जो शून्य से दोनों लागत और थ्रेशोल्ड सीखने का प्रयास करता है।

प्रमुख निष्कर्ष:

• बाधा संतुष्टि (Constraint Satisfaction): TraCeS लागत या थ्रेशोल्ड के शून्य ज्ञान के बावजूद, अधिकांश कार्यों में सुरक्षा बाधाओं (लागत $\le$ थ्रेशोल्ड) को संतुष्ट करने वाली नीतियां सफलतापूर्वक सीखता है।
• लेबल दक्षता: TraCeS, शून्य-ज्ञान C-T बेसलाइन की तुलना में काफी अधिक लेबल-कुशल है, जिसे सुरक्षित नीतियों तक पहुँचने के लिए काफी कम लेबल किए गए प्रक्षेपवक्रों की आवश्यकता होती है।
• प्रदर्शन: TraCeS, आंशिक-ज्ञान वाली विधियों (RLSF) की तुलना में प्रतिस्पर्धी रिवॉर्ड-सेफ्टी ट्रेड-ऑफ प्राप्त करता है और कई कार्यों पर ओरेकल विधियों के प्रदर्शन के करीब पहुँच जाता है।
• स्थानीयकरण (Localization): गुणात्मक विश्लेषण दिखाता है कि सीखा गया प्रति-चरण क्रेडिट उल्लंघन घटनाओं को सटीक रूप से स्थानीयकृत करता है, जो ओरेकल संचयी लागत के थ्रेशोल्ड को पार करने वाले टाइमस्टेप के पास चरम पर होता है, न कि लागत को समान रूप से फैलाता है।
• मजबूती (Robustness): विधि मध्यम लेबल शोर (10-20% तक) और कम-डेटा शासन (जैसे 1000 लेबल किए गए प्रक्षेपवक्र) के तहत भी प्रभावी रहती है। यह HalfCheetah पर एक छोटे पैमाने के अध्ययन में मानव फीडबैक के साथ भी अच्छा प्रदर्शन करती है।

महत्व और दावे (Significance and Claims)

शोध पत्र दावा करता है कि TraCeS उन एजेंटों को औपचारिक विशिष्टताओं (formal specifications) के साथ संरेखित करने के लिए एक व्यावहारिक मार्ग प्रदान करता है जहाँ बाधाएं अंतर्निहित और संदर्भ-निर्भर होती हैं। प्रक्षेपवक्र-स्तरीय फीडबैक को प्रति-टाइमस्टेप उल्लंघन क्रेडिट में बदलकर, TraCeS हाथ से डिज़ाइन किए गए लागत फलनों या ज्ञात थ्रेशोल्ड की आवश्यकता के बिना मानक बाधित अनुकूलन तंत्र के उपयोग को सक्षम बनाता है।

लेखक इस बात पर जोर देते हैं कि सीखे गए क्रेडिट नियंत्रण-प्रासंगिक सुरक्षा सरोगेट्स (control-relevant safety surrogates) के रूप में कार्य करते हैं, न कि छिपे हुए वास्तविक लागतों को पहचानने के रूप में। यह विधि विशेष रूप से उन सेटिंग्स के लिए महत्वपूर्ण है जहाँ सुरक्षा जटिल, गतिशील कारकों (जैसे गड्ढे से बचना करने के लिए अस्थायी लेन विचलन की आवश्यकता हो सकती है) द्वारा परिभाषित होती है, जिन्हें निश्चित लागत फलनों के रूप में कोड करना कठिन है लेकिन जिन्हें एक मानव या मॉनिटर द्वारा एक प्रक्षेपवक्र के लिए "स्वीकार्य" या "अस्वीकार्य" के रूप में आंका जा सकता है।

यह कार्य सुझाव देता है कि विरल प्रक्षेपवक्र-स्तरीय फीडबैक, जब सक्रिय चयन के साथ एक अनुक्रमिक अनुमानक के माध्यम से संसाधित किया जाता है, तो उच्च-स्तरीय सुरक्षा निर्णयों और निम्न-स्तरीय नीति अनुकूलन के बीच के अंतर को प्रभावी ढंग से पाट सकता है।