तकनीकी सारांश: विश्लेषणात्मक ग्रेडिएंट्स (Analytic Gradients) का उपयोग करके प्रमाणिक रूप से सुरक्षित सुदृढीकरण शिक्षण (Reinforcement Learning)

समस्या विवरण

सुरक्षा-महत्वपूर्ण अनुप्रयोगों में स्वायत्त रोबोटों की तैनाती के लिए कठोर सुरक्षा गारंटी की आवश्यकता होती है। जबकि सुदृढीकरण शिक्षण (RL) अनिश्चित, उच्च-आयामी वातावरण में शास्त्रीय नियंत्रण (classical control) की तुलना में बेहतर प्रदर्शन करता है, इसमें अंतर्निहित सुरक्षा आश्वासन का अभाव होता है। एक महत्वपूर्ण चुनौती तब उत्पन्न होती है जब एजेंट को वास्तविक दुनिया में तैनाती (सिम-टू-रियल गैप) के लिए सिमुलेशन में प्रशिक्षित किया जाता है। यदि प्रशिक्षण बिना किसी सुरक्षा उपायों के होता है, तो एजेंट ऐसी नीतियों पर अभिसरण (converge) कर सकता है जो असुरक्षित अवस्थाओं या क्रियाओं पर निर्भर करती हैं। जब बाद में तैनाती के दौरान सुरक्षा उपाय लागू किए जाते हैं, तो वे नीति को उप-इष्टतम (suboptimal) क्षेत्रों तक सीमित कर सकते हैं या गैर-उत्तल (non-convex) उद्देश्य परिदृश्यों में विफलता का कारण बन सकते हैं क्योंकि एजेंट ने कभी भी वैकल्पिक सुरक्षित समाधान नहीं सीखे होते हैं।

जबकि सैंपलिंग-आधारित RL (जैसे PPO, SAC) के लिए कई सुरक्षात्मक दृष्टिकोण मौजूद हैं, जो पॉलिसी ग्रेडिएंट थ्योरम पर निर्भर करते हैं, विश्लेषणात्मक ग्रेडिएंट-आधारित RL के लिए सुरक्षा तंत्रों की कमी है। ये विश्लेषणात्मक विधियाँ (जैसे शॉर्ट-होरिज़न एक्टर-क्रिटिक, SHAC) बैकप्रोपैगेशन के माध्यम से रिवॉर्ड के सापेक्ष क्रियाओं के सटीक प्रथम-क्रम ग्रेडिएंट (first-order gradients) की गणना करने के लिए विभेदनीय (differentiable) सिम्युलेटर का उपयोग करती हैं। मौजूदा सुरक्षा उपाय, जो अक्सर सैंपलिंग-आधारित विधियों के लिए पोस्ट-प्रोसेसिंग चरणों के रूप में डिज़ाइन किए गए हैं, विश्लेषणात्मक ग्रेडिएंट-आधारित प्रतिमानों में सहजता से लागू नहीं किए जा सकते क्योंकि वे बैकप्रोपैगेशन के लिए आवश्यक विभेदनीय कम्प्यूटेशनल ग्राफ को बाधित कर सकते हैं या नीति अनुकूलन के लिए आवश्यक ग्रेडिएंट सिग्नल प्रदान करने में विफल हो सकते हैं।

कार्यप्रणाली

लेखक विभेदन योग्य सुरक्षा (differentiable safeguard) का उपयोग करके प्रमाणिक रूप से सुरक्षित नीति अनुकूलन के लिए एक ढांचा प्रस्तावित करते हैं। मुख्य दृष्टिकोण नीति आउटपुट और पर्यावरण गतिकी (environment dynamics) के बीच एक विभेदनीय सुरक्षा परत को एकीकृत करता है।

1. ढांचा और विभेदनशीलता (Differentiability)

यह ढांचा सुरक्षा कवच को एक विभेदनीय मानचित्र $g: \mathcal{A} \to \mathcal{A}_s$ के रूप में मानता है, जहाँ $\mathcal{A}$ व्यवहार्य क्रिया स्थान (feasible action space) है और $\mathcal{A}_s$ सुरक्षित क्रिया सेट है। नीति $\pi$ एक क्रिया $a_i$ आउटपुट करती है, जिसे सुरक्षित क्रिया $a_{s,i} = g(a_i)$ में बदल दिया जाता है। इसके बाद पर्यावरण $s_{i+1}$ में परिवर्तित होता है और रिवॉर्ड $r_i$ देता है। नीति के मापदंडों के सापेक्ष रिवॉर्ड के ग्रेडिएंट की गणना पूरे श्रृंखला (चेन) में बैकप्रोपैगेशन के माध्यम से की जाती है, जिसमें सुरक्षा कवच भी शामिल है:
$$\frac{\partial r_i}{\partial a_i} = \left( \frac{\partial r_i}{\partial a_{s,i}} + \frac{\partial r_i}{\partial s_{i+1}}\frac{\partial s_{i+1}}{\partial a_{s,i}} \right) \frac{\partial a_{s,i}}{\partial a_i}$$
इसके लिए यह आवश्यक है कि सुरक्षा कवच सब-डिफरेंशिएबल (आदर्श रूप से $C^1$) हो और पूर्ण-रैंक जैकोबियन (full-rank Jacobians) प्रदान करे ताकि लर्निंग सिग्नल कम न हो।

2. सुरक्षित क्रिया सेट और प्रतिनिधित्व

लेखक सुरक्षित सेटों के प्रतिनिधित्व के लिए ज़ोनोटोप्स (zonotopes) का उपयोग करते हैं क्योंकि वे कॉम्पैक्ट और रैखिक मानचित्रों के तहत बंद (closure) होते हैं। वे निम्नलिखित के बीच अंतर करते हैं:

• निर्दिष्ट सुरक्षित क्रिया सेट (Specified Safe Action Sets): सीधे परिभाषित बाधाएं।
• व्युत्पन्न सुरक्षित क्रिया सेट (Derived Safe Action Sets): यह सुनिश्चित करने के लिए रीचेबिलिटी विश्लेषण (जैसे, रोबस्ट कंट्रोल इनवेरिएंट सेट्स) के माध्यम से गणना की गई, कि क्रिया निष्पादित करने से सिस्टम एक सुरक्षित अवस्था सेट $S_s$ के भीतर रहे।

3. सुरक्षा तंत्र और संशोधन

पेपर दो मौजूदा विभेदनीय सुरक्षा विधियों का विश्लेषण और अनुकूलन करता है:

• बाउंड्री प्रोजेक्शन (Boundary Projection - BP): एक असुरक्षित क्रिया को सुरक्षित सेट की सीमा पर निकटतम बिंदु पर मैप करता है।

  • समस्या: यह हर जगह $C^1$ नहीं है और प्रोजेक्शन की दिशा में रैंक-डेफिशिएंट जैकोबियन रखता है, जो प्रोजेक्शन की दिशा के समानांतर क्रियाओं के लिए ग्रेडिएंट को प्रभावी रूप से समाप्त कर देता है।
  • संशोधन: लेखक लॉस फंक्शन में एक नियमितीकरण पद (regularization term) ($l(a, s, a_s) = l_r(a_s, s) + c_d \|a_s - a\|_2^2$) पेश करते हैं। यह मैपिंग दिशा में ग्रेडिएंट को बढ़ाता है, जिससे रैंक की कमी की भरपाई होती है और नीति को सुरक्षित क्रियाओं को प्राथमिकता देने के लिए प्रोत्साहित किया जाता है।

• रे मास्क (Ray Mask - RM): क्रियाओं को सुरक्षित सेट के भीतर एक "सुरक्षित केंद्र" $c_{As}$ की ओर रेडियल रूप से मैप करता है।

  • समस्या: मानक लीनियर रे मास्क सुरक्षित क्रियाओं को काफी बदल देता है और मैपिंग दिशा में कम ग्रेडिएंट देता है।
  • संशोधन:
    1. नियमितीकरण (Regularization): सुरक्षा की ओर धकेलने के लिए BP के समान।
    2. पासथ्रू (Passthrough): तेज़ गणना और निर्बाध ग्रेडिएंट प्रसार के लिए जैकोबियन को आइडेंटिटी मैट्रिक्स से बदलना (केवल तभी मान्य जब इष्टतम क्रिया ज्ञात रूप से सुरक्षित हो)।
    3. हाइपरबोलिक रे मास्क (Hyperbolic Ray Mask - HRM): एक नया मैपिंग फंक्शन जो असुरक्षित क्रियाओं को सीमा के करीब मैप करने और सुरक्षित क्रियाओं को न्यूनतम रूप से बाधित करने के लिए हाइपरबोलिक टेंगेंट ($\tanh$) का उपयोग करता है। यह एक पूर्ण जैकोबियन और सुचारू मैपिंग बनाए रखता है।

4. सुरक्षित केंद्र सन्निकटन (Safe Center Approximation)

व्युत्पन्न सुरक्षित क्रिया सेटों के लिए जहाँ केंद्र स्पष्ट रूप से परिभाषित नहीं है, पेपर दो सन्निकटन विधियों का प्रस्ताव करता है:

• ज़ोनोटोपिक सन्निकटन (Zonotopic Approximation): एक निहित ज़ोनोटोप के आयतन को अधिकतम करना।
• ऑर्थोगोनल सन्निकटन (Orthogonal Approximation): सीमा के लंबवत (orthogonally) सुरक्षित सेट को भेदना और मध्य बिंदु लेना।
  प्रयोग बताते हैं कि ज़ोनोटोपिक दृष्टिकोण अपने निरंतर मैपिंग गुणों के कारण बेहतर अभिसरण और अंतिम नीतियों को जन्म देता है।

मुख्य योगदान

1. प्रथम प्रमाणिक रूप से सुरक्षित विश्लेषणात्मक ग्रेडिएंट RL: यह पेपर विशेष रूप से विश्लेषणात्मक ग्रेडिएंट-आधारित सुदृढीकरण शिक्षण के लिए डिज़ाइन किए गए पहले प्रभावी सुरक्षात्मक दृष्टिकोण को प्रस्तुत करता है।
2. सैद्धांतिक विश्लेषण: विभेदनीय सुरक्षा उपायों का गहन विश्लेषण, जो आवश्यक गुणों (सुरक्षा, सब-डिफरेंशिएबिलिटी, फुल-रैंक जैकोबियन, न्यूनतम हस्तक्षेप, गति) की पहचान करता है और प्रदर्शित करता है कि मौजूदा तरीके बिना संशोधन के कैसे विफल होते हैं।
3. एल्गोरिद्मिक अनुकूलन: लक्षित संशोधनों का विकास, जिसमें नियमित किया गया BP और एक नया हाइपरबोलिक रे मास्क शामिल है, ताकि प्रभावी ग्रेडिएंट प्रसार सुनिश्चित किया जा सके।
4. अनुभवजन्य मूल्यांकन (Empirical Evaluation): तीन नियंत्रण कार्यों (पेंडुलम, क्वाड्रोटर, और ऊर्जा प्रबंधन) में SHAC बनाम PPO और SAC जैसे सैंपलिंग-आधारित बेसलाइन के विरुद्ध व्यापक मूल्यांकन।

परिणाम

लेखकों ने तीन वातावरणों में SHAC एल्गोरिदम का उपयोग करके PPO और SAC बेसलाइन के विरुद्ध अपने दृष्टिकोण का मूल्यांकन किया:

• सैंपल दक्षता (Sample Efficiency): बैलेंसिंग कार्यों (पेंडुलम, क्वाड्रोटर) में, सुरक्षित विश्लेषणात्मक ग्रेडिएंट लर्निंग (SHAC) ने सैंपलिंग-आधारित विधियों की तुलना में कम एनवायरनमेंट इंटरैक्शन के साथ बेहतर या तुलनीय अंतिम रिटर्न प्राप्त किया।
• प्रदर्शन संरक्षण (Performance Preservation): इस डर के विपरीत कि सुरक्षा उपाय प्रदर्शन को कम कर देते हैं, संशोधित सुरक्षा उपायों (विशेष रूप से नियमित BP और HRM) ने SHAC को बैलेंसिंग कार्यों में असुरक्षित प्रशिक्षण के बराबर या उससे अधिक रिटर्न प्राप्त करने की अनुमति दी।
• ऊर्जा प्रणाली कार्य: ऊर्जा प्रबंधन कार्य (जो उच्च शोर द्वारा चिह्नित है) में, SHAC ने असुरक्षित सेटिंग्स में PPO से कम प्रदर्शन किया। हालाँकि, सुरक्षित प्रशिक्षण में, SHAC ने महत्वपूर्ण सुधार दिखाया, जिससे PPO के साथ प्रदर्शन का अंतर कम हो गया। लेखक इस सुधार का श्रेय शोर वाले वातावरण में घटते ग्रेडिएंट के स्थिर प्रभाव को देते हैं।
• अभिसरण (Convergence): नियमितीकरण (regularization) के परिचय ने गैर-अभिसरण (non-convergent) रन की संख्या को काफी कम कर दिया, विशेष रूप से एक-आयामी पेंडुलम कार्य में बाउंड्री प्रोजेक्शन के लिए जहाँ ग्रेडिएंट की हानि पहले घातक थी।
• कम्प्यूटेशनल ओवरहेड: सुरक्षा उपाय कम्प्यूटेशनल लागत बढ़ाते हैं। बाउंड्री प्रोजेक्शन ने प्रशिक्षण समय को लगभग 5 गुना बढ़ा दिया, और रे मास्क ने असुरक्षित प्रशिक्षण की तुलना में लगभग 10 गुना बढ़ा दिया, जिसका मुख्य कारण सुरक्षित सेट बाधाओं के लिए आवश्यक ऑप्टिमाइज़ेशन सॉल्वर (CVXPY) है।

महत्व और दावे

यह पेपर एक महत्वपूर्ण अंतराल को भरने का दावा करता है जो उच्च-प्रदर्शन वाले विश्लेषणात्मक ग्रेडिएंट-आधारित प्रतिमान के लिए प्रमाणिक रूप से सुरक्षित प्रशिक्षण को सक्षम बनाता है। लेखक तर्क देते हैं कि:

• सुरक्षा उपायों को प्रदर्शन से समझौता किए बिना विश्लेषणात्मक ग्रेडिएंट RL के प्रशिक्षण लूप में सीधे एकीकृत किया जा सकता है, बशर्ते कि सुरक्षा उपाय विभेदनीय हों और ग्रेडिएंट संरक्षित हों।
• प्रस्तावित संशोधन (नियमितीकरण और हाइपरबोलिक मैपिंग) उन रैंक-डेफिशिएंसी और ग्रेडिएंट दमन समस्याओं को दूर करने के लिए आवश्यक हैं जो मौजूदा सुरक्षा उपायों के सहज अनुप्रयोग में निहित हैं।
• यह दृष्टिकोण "सिम-टू-रियल" ट्रांसफर की सुविधा प्रदान करता है, यह सुनिश्चित करते हुए कि एजेंट सिमुलेशन के दौरान सुरक्षित व्यवहार सीखें, जिससे सुरक्षा-महत्वपूर्ण वास्तविक दुनिया में तैनाती के दौरान विफलता का जोखिम कम हो जाता है।

कार्य यह निष्कर्ष निकालता है कि हालांकि कम्प्यूटेशनल ओवरहेड एक चुनौती बनी हुई है, लेकिन औपचारिक सुरक्षा गारंटी के साथ एजेंटों को प्रशिक्षित करने की क्षमता के कारण यह ट्रेड-ऑफ उचित है, जो विश्लेषणात्मक ग्रेडिएंट RL की क्षमता को खोलता है।