🤖 AI

CSPO: Constraint-Sensitive Policy Optimization for Safe Reinforcement Learning

यह शोध पत्र कॉन्स्ट्रेंट-सेंसिटिव पॉलिसी ऑप्टिमाइज़ेशन (CSPO) का प्रस्ताव करता है, जो सुरक्षित सुदृढीकरण शिक्षण (सेफ रिइन्फोर्समेंट लर्निंग) के लिए एक प्रथम-क्रम प्रिमल-डुअल विधि है जो नीति अपडेट में स्थानीय बाधा संवेदनशीलता और सुरक्षा सीमा से हस्ताक्षरित दूरी को शामिल करती है, जिससे मौजूदा अत्याधुनिक विधियों की तुलना में तेज़ सुरक्षा रिकवरी और उच्च बाधित रिटर्न प्राप्त करने के लिए दोलनों और विलंबित सुधारों को कम किया जा सकता है।

मूल लेखक: Ayoub Belouadah, Sylvain Kubler, Yves Le Traon

प्रकाशित 2026-06-15

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Ayoub Belouadah, Sylvain Kubler, Yves Le Traon

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट कुत्ते को मैराथन दौड़ना सिखा रहे हैं। आपका लक्ष्य दोहरा है: आप चाहते हैं कि कुत्ता जितनी हो सके उतनी तेज़ दौड़े (इनाम/रिवॉर्ड को अधिकतम करना), लेकिन आपके पास एक सख्त नियम भी है: वह इतनी तेज़ न दौड़े कि उसका पैर टूट जाए (सुरक्षा प्रतिबंध का पालन करना)।

आर्टिफिशियल इंटेलिजेंस की दुनिया में, इसे सेफ रिइन्फोर्समेंट लर्निंग (Safe Reinforcement Learning) कहा जाता है। चुनौती यह है कि मानक AI प्रशिक्षण अक्सर गति के पीछे भागते समय सुरक्षा नियमों को अनदेखा कर देता है, या नियमों को तोड़ने के डर से इतना घबरा जाता है कि दौड़ने से ही मना कर देता है।

यह पेपर एक नई प्रशिक्षण विधि पेश करता है जिसे CSPO (कन्स्ट्रेंट-सेंसिटिव पॉलिसी ऑप्टिमाइज़ेशन) कहा जाता है। यह कैसे काम करता है, इसे सरल उपमाओं के माध्यम से समझाया गया है।

समस्या: "दोलन" करने वाला धावक (The "Oscillating" Runner)

एक धावक की कल्पना करें जो एक संकीले रास्ते पर बिल्कुल सटीक रहने की कोशिश कर रहा है।

पुरानी विधियाँ (प्राइमल-डुअल): ये विधियाँ उस धावक की तरह हैं जो हर कुछ सेकंड में केवल एक बार अपनी स्थिति की जाँच करता है। यदि वह रास्ते से भटक जाता है, तो उसे बहुत देर से पता चलता है। जब तक वह अपना रास्ता सुधारने की कोशिश करता है, तब तक वह बहुत देर कर चुका होता है, जिससे वह रास्ते से आगे निकल जाता है, दूसरी ओर झूल जाता है, और फिर वापस झूलता है। यह एक ज़िग-ज़ैग पैटर्न (दोलन) बनाता है जहाँ धावक अपना बहुत सारा समय रास्ते से बाहर बिताता है, जिससे ऊर्जा बर्बाद होती है और चोट लगने का खतरा बढ़ जाता है।
समस्या: "सुधार" का संकेत देरी से मिलता है। धावक को यह नहीं पता होता कि रास्ते का किनारा कितना ढालू है। यदि किनारे का ढलान हल्का है, तो उन्हें वापस आने के लिए एक बड़े धक्के की आवश्यकता है। यदि किनारा एक खड़ी चट्टान है, तो एक छोटा सा धक्का ही काफी है; एक बड़ा धक्का उन्हें किनारे से दूर फेंक देगा। पुरानी विधियाँ हर किनारे के साथ एक जैसा व्यवहार करती हैं, जिससे गलतियाँ होती हैं।

समाधान: CSPO (द "स्मार्ट नेविगेटर")

CSPO उस धावक को एक स्मार्ट नेविगेटर देने जैसा है जो अभी ज़मीन को देखता है और इलाके के आधार पर सुधार को समायोजित करता है।

ढलान को महसूस करना (Sensing the Steepness): CSPO लगातार सुरक्षा सीमा की "तीव्रता" या "ढलान" को मापता है।
- खड़ी चट्टान (उच्च संवेदनशीलता): यदि सुरक्षा सीमा एक चट्टान की तरह है (जहाँ क्रिया में थोड़ा सा बदलाव सुरक्षा उल्लंघन का बड़ा कारण बनता है), तो नेविगेटर कहता है, "ओह, धीरे चलिए, संभलकर!" यह ओवरशूटिंग (लक्ष्य से आगे निकल जाने) से बचने के लिए एक कोमल, सतर्क सुधार लागू करता है।
- हल्की ढलान (कम संवेदनशीलता): यदि सीमा एक सपाट, हल्की पहाड़ी है, तो नेविगेटर कहता है, "आप रास्ते से काफी दूर भटक गए हैं; हमें एक ज़ोरदार धक्के की ज़रूरत है!" यह वापस ट्रैक पर आने के लिए एक मजबूत, आक्रामक सुधार लागू करता है।
"सुरक्षा जाल" सुधार (The "Safety Net" Correction):
जब रोबोट किसी सुरक्षा नियम का उल्लंघन करता है, तो CSPO केवल "लैग्रेंज मल्टीप्लायर" (सुरक्षा के आंतरिक स्कोरकीपर) के पीछे आने का इंतज़ार नहीं करता है। इसके बजाय, यह तुरंत रोबोट की गति में एक विशेष "सुधार चरण" जोड़ देता है। यह चरण इस आधार पर गणना किया जाता है कि रोबोट रास्ते से कितना दूर है और उस सटीक स्थान पर रास्ता कितना ढालू है।

यह क्यों महत्वपूर्ण है

पेपर का दावा है कि इस "संवेदनशीलता-जागरूक" दृष्टिकोण का उपयोग करके, CSPO तीन मुख्य चीजें हासिल करता है:

तेज़ रिकवरी: जब रोबोट गलती करता है, तो वह पहले की तुलना में बहुत तेज़ी से सुरक्षा की ओर वापस आता है। यह ज़िग-ज़ैग करना बंद कर देता है।
प्रदर्शन को कम नुकसान: क्योंकि यह खड़ी चट्टानों पर अत्यधिक सुधार (over-correct) नहीं करता है, इसलिए रोबोट को सुरक्षित रहने के लिए अपनी गति उतनी कम करने की आवश्यकता नहीं होती है। यह सुरक्षित रहते हुए भी तेज़ दौड़ता रहता है (उच्च रिवॉर्ड)।
स्थिरता: यह व्यवहार में उन बड़े उतार-चढ़ावों को रोकता है जो अन्य विधियों में देखे जाते हैं।

निष्कर्ष

CSPO को एक ड्राइविंग इंस्ट्रक्टर की तरह समझें जो केवल तब "रुको!" नहीं कहता जब आप फुटपाथ से टकराते हैं। इसके बजाय, वे कहते हैं, "आप एक खड़ी सड़क से टकरा रहे हैं, इसलिए स्टीयरिंग को धीरे घुमाएं। आप एक सपाट घास वाले कंधे पर हैं, इसलिए सड़क पर वापस आने के लिए स्टीयरिंग को ज़ोर से घुमाएं।"

पेपर प्रयोगों के माध्यम से सिद्ध करता है कि रोबोट दौड़ने और नेविगेशन कार्यों में यह "स्मार्ट, संदर्भ-जागरूक" सुधार एजेंटों को पहले की तुलना में तेज़ी से सीखने, अधिक सुरक्षित रहने और बेहतर प्रदर्शन करने की अनुमति देता है, जिन्होंने सुरक्षा के लिए "एक ही आकार सबके लिए" (one-size-fits-all) वाला दृष्टिकोण अपनाया था।

तकनीकी सारांश: CSPO: सुरक्षित सुदृढीकरण शिक्षण (Reinforcement Learning) के लिए बाधा-संवेदनशील नीति अनुकूलन (Constraint-Sensitive Policy Optimization)

1. समस्या विवरण

सुरक्षित सुदृढीकरण शिक्षण (Safe Reinforcement Learning - Safe RL) का लक्ष्य सुरक्षा बाधाओं को पूरा करते हुए अपेक्षित प्रतिफल (expected return) को अधिकतम करना है, जिसे आमतौर पर बाधित मार्कोव निर्णय प्रक्रियाओं (Constrained Markov Decision Processes - CMDPs) के रूपas औपचारिक रूप दिया जाता है। एक CMDP में, एजेंट को यह सुनिश्चित करना चाहिए कि अपेक्षित संचयी लागत (cumulative cost) एक निर्धारित सीमा से नीचे रहे। जबकि मानक RL रिवॉर्ड के लिए अनुकूलन करता है, यह अक्सर सुरक्षा की अनदेखी करता है, जिससे वास्तविक दुनिया के अनुप्रयोगों में भौतिक क्षति या असुरक्षित व्यवहार हो सकता है।

CMDPs के मौजूदा दृष्टिकोण महत्वपूर्ण सीमाओं का सामना करते हैं:

द्वितीय-क्रम ट्रस्ट-रीजन विधियाँ (जैसे CPO, PCPO): हालांकि वे मजबूत सैद्धांतिक गारंटी प्रदान करती हैं, लेकिन उन्हें महंगी फिशर मैट्रिक्स व्युत्क्रमण (Fisher matrix inversions) और द्विघात प्रोग्रामों (quadratic programs) को हल करने की आवश्यकता होती है, जिससे वे गणनात्मक रूप से महंगी हो जाती हैं।
पेनल्टी विधियाँ (जैसे P3O, IPO): ये रिवॉर्ड में लागत दंड (cost penalties) जोड़ती हैं, लेकिन इनके लिए सावधानीपूर्वक ट्यून किए गए, अक्सर बड़े पेनल्टी कारकों की आवश्यकता होती है। अनुचित ट्यूनिंग या तो अत्यधिक रूढ़वादी नीतियों का कारण बनती है या निरंतर बाधा उल्लंघन (constraint violations) का।
प्राइमल-डुअल लैग्रेंजियन विधियाँ (जैसे PPO-Lag, CPPO-PID): ये डीप RL में अच्छी तरह से स्केल करती हैं लेकिन "डुअल-लैग" (dual-lag) प्रभाव से ग्रस्त होती हैं। लैग्रेंज मल्टीप्लायर्स का अपडेट नीति (policy) की तुलना में धीमा होता है, जिससे विलंबित बाधा सुधार (delayed constraint correction) होता है। इसके परिणामस्वरूप सुरक्षा सीमा के पास दोलनशील व्यवहार (oscillatory behavior) होता है, जहाँ एजेंट असुरक्षित क्षेत्रों में ओवरशूट कर जाते हैं या अत्यधिक रूढ़वादी हो जाते हैं। महत्वपूर्ण रूप से, मौजूदा विधियाँ अक्सर बाधा सतह की स्थानीय ज्यामिति (local geometry) की परवाह किए बिना समान सुधार लागू करती हैं, यह ध्यान देने में विफल रहती हैं कि कोई बाधा "तीव्र" (उच्च संवेदनशीलता) है या "सपाट" (कम संवेदनशीलता)।

2. कार्यप्रणाली: बाधा-संवेदनशील नीति अनुकूलन (CSPO)

लेखक CSPO का प्रस्ताव करते हैं, जो एक प्रथम-क्रम प्रिमल-डुअल एल्गोरिदम है जो स्पष्ट रूप से नीति अपडेट में स्थानीय बाधा संवेदनशीलता (local constraint sensitivity) को शामिल करता है। मुख्य अंतर्दृष्टि यह है कि सुरक्षा सीमा पर वापस लौटने के लिए आवश्यक सुधारात्मक अपडेट का परिमाण बाधा फलन (constraint function) के स्थानीय ग्रेडिएंट नॉर्म के व्युत्क्रमानुपाती होता है।

2.1. ज्यामितीय अंतर्दृष्टि (Geometric Intuition)

CSPO इस अवलोकन पर आधारित है कि:

तीव्र सीमाएँ (High $\|\nabla g(\theta)\|$ ): पैरामीटर में छोटे परिवर्तन बड़े लागत परिवर्तन का कारण बनते हैं। यहाँ आक्रामक सुधार ओवरशूटिंग और दोलन (oscillation) का जोखिम उठाते हैं।
सपाट सीमाएँ (Low $\|\nabla g(\theta)\|$ ): लागत को कम करने के लिए बड़े पैरामीटर परिवर्तनों की आवश्यकता होती है। मानक विधियाँ व्यवहार्यता (feasibility) प्राप्त करने में बहुत धीमी हो सकती हैं।

2.2. एल्गोरिदम सूत्रीकरण (Algorithmic Formulation)

CSPO वर्तमान इटरेशन पर बाधा ग्रेडिएंट के व्युत्क्रम वर्ग के आधार पर एक वेट $w_k$ का उपयोग करके एक नया प्रिमल ऑब्जेक्टिव बनाता है।

सरोगेट बाधा (Surrogate Constraint): मान लीजिए $g(\theta)$ सरोगेट लागत बाधा का प्रतिनिधित्व करता है। जब $g(\theta) > 0$ होता है, तो नीति अपात्र (infeasible) होती है।
संवेदनशीलता वेटिंग (Sensitivity Weighting): विधि वर्तमान इटरेट पर बाधा ग्रेडिएंट के व्युत्क्रम वर्ग के आधार पर एक वेट $w_k$ की गणना करती है:
$w_k = \frac{1}{\|\nabla_\theta g(\theta_k)\|^2 + \epsilon}$
संवर्धित ऑब्जेक्टिव (Augmented Objective): CSPO एक नए ऑब्जेक्टिव को न्यूनतम करता है जिसमें $w_k$ द्वारा स्केल किया गया एक द्विघात दंड शामिल है, जो केवल उल्लंघन होने पर सक्रिय होता है:
$q_k(\theta) = \frac{\alpha}{ 2} w_k [g(\theta)]_+^2$
यहाँ, $\alpha \in (0, 1]$ एक भिन्नात्मक न्यूनीकरण कारक (fractional reduction factor) है जो रिकवरी की आक्रामकता को नियंत्रित करता है।
प्रभावी मल्टीप्लायर (Effective Multiplier): CSPO में लैग्रेंजियन का ग्रेडिएंट एक प्रभावी मल्टीप्लायर देता है:
$\lambda_{\text{eff}} = \lambda + \alpha w_k [g(\theta)]_+$
यह पद विशेष रूप से तब बाधा सुधार को मजबूत करता है जब उल्लंघन होते हैं, सुधार की शक्ति को स्थानीय संवेदनशीलता के अनुसार स्केल करता है। यदि बाधा तीव्र (बड़ा ग्रेडिएंट) है, तो सुधार को कम (dampen) किया जाता है; यदि सपाट है, तो इसे बढ़ाया (amplify) जाता है।

2.3. सैद्धांतिक गुण

तुल्यता (Equivalence): लेखक सिद्ध करते हैं कि CSPO मूल बाधित समस्या के व्यवहार्य सेट और कारुश-कुहन-टकर (KKT) समाधानों को संरक्षित करता है। सुधार पद व्यवहार्य बिंदुओं ( $g(\theta) \le 0$ ) पर शून्य हो जाता है, जिससे अनुकूल समाधान में कोई बदलाव नहीं होता है।
**अभिसरण (Convergence):ency standard smoothness और boundedness धारणाओं के तहत, CSPO इटरेशन एक $\epsilon$ -स्टेशनरी पॉइंट की ओर $O(L^3 G^2 \lambda_{\max}^2 / \epsilon^6)$ की दर से बढ़ते हैं, जो मानक नॉनकॉन्वेक्स-कॉन्केव मिनिमैक्स समस्याओं के समान है।
स्थानीय कमी (Local Decrease): विधि यह गारंटी देती है कि जब उल्लंघन का परिमाण $1/\alpha$ के अनुपात में थ्रेसहोल्ड से अधिक होता है, तो बाधा उल्लंघन में कमी आती है, जिससे अपात्रता से तेजी से रिकवरी सुनिश्चित होती है।

3. मुख्य योगदान

CSPO एल्गोरिदम: एक प्रथम-क्रम सुरक्षित RL एल्गोरिदम जो उल्लंघन से रिकवरी को तेज करने और दोलनों को कम करने के लिए स्थानीय बाधा संवेदनशीलता (ग्रेडिएंट नॉर्म के माध्यम से) को एकीकृत करता है।
सैद्धांतिक गारंटी: यह प्रमाण कि संवर्धित समस्या मूल CMDP के समान KKT समाधान साझा करती है, जिससे यह सुनिश्चित होता है कि विधि अनुकूल नीति से समझौता नहीं करती है।
नए मूल्यांकन मेट्रिक्स: औसत लागत से परे सुरक्षा गतिशीलता का मूल्यांकन करने के लिए तीन मेट्रिक्स का परिचय:
- टाइम-टू-सेफ्टी (TTS): व्यवहार्यता (feasibility) की ओर रिकवरी की गति।
- रिवॉर्ड प्रिजर्वेशन (RP): रिकवरी के दौरान रिवॉर्ड प्रदर्शन का संरक्षण।
- वाइलेशन फ्रीक्वेंसी (VF): कितनी बार बाधाओं का उल्लंघन होता है।
अनुभवजन्य सत्यापन (Empirical Validation): प्रिमल-डुअल, पेनल्टी-आधारित और ट्रस्ट-रीजन विधियों की तुलना में निरंतर-नियंत्रण बेंचमार्क पर CSPO का श्रेष्ठ प्रदर्शन।

4. प्रयोगात्मक परिणाम

लेखकों ने सेफ्टी जिमनेजियम (Safety Gymnasium) बेंचमार्क (5 लोकोमोशन, 4 नेविगेशन) के 9 निरंतर-नियंत्रण कार्यों पर CSPO का मूल्यांकन किया।

प्रदर्शन: CSPO ने PPO-Lag, CPO, APPO और FOCOPS जैसे बेसलाइन्स की तुलना में प्रतिस्पर्धी या बेहतर बाधित रिटर्न प्राप्त किया। लाभ विशेष रूप से नेविगेशन कार्यों में स्पष्ट थे जिनमें स्पार्स रिवार्ड्स के तहत सटीक लागत नियंत्रण की आवश्यकता थी।
सुरक्षा गतिशीलता:
- कम दोलन (Reduced Oscillations): CSCO ने लैग्रेंजियन बेसलाइन्स की तुलना में सीमा के पास काफी कम लागत दोलन प्रदर्शित किए।
  क्योकि CSPO ने कम टाइम-टू-सेफ्टी (TTS) और कम वाइलेशन फ्रीक्वेंसी (VF) प्रदर्शित किया।
- रिवॉर्ड प्रिजर्वेशन: विधि ने उच्च रिवॉर्ड प्रिजर्वेशन (RP) बनाए रखा, जो इंगित करता है कि सुरक्षा रिकवरी से रिवॉर्ड में महत्वपूर्ण गिरावट नहीं आई।
संवेदनशीलता विश्लेषण:
- पैरामीटर $\alpha$ : भिन्नात्मक न्यूनीकरण कारक $\alpha$ रिकवरी की आक्रामकता के लिए एक नॉब के रूप में कार्य करता है। अचानक उल्लंघन वाले लोकोमोशन कार्यों के लिए बड़ा $\alpha$ (जैसे, 0.85) उपयुक्त था, जबकि नेविगेशन के लिए छोटा $\alpha$ (जैसे, 0.3) प्रभावी था।
- मजबूती (Robustness): CSPO ने PPO-Lag की तुलना में लैग्रेंज मल्टीप्लायर के इनिशियलाइजेशन और लर्निंग रेट के प्रति कम संवेदनशीलता दिखाई, जिसका श्रेय संवेदनशीलता-जागरूक सुधार (sensitivity-aware correction) को व्यवहार्यता बहाली के बोझ को संभालने को जाता है।

5. महत्व और दावे

पेपर दावा करता है कि CSPO सुरक्षित RL में एक महत्वपूर्ण अंतर को संबोधित करता है: प्रथम-क्रम विधियों में स्थानीय बाधा ज्यामिति (local constraint geometry) की कमी। बाधा ग्रेडिएंट के आधार पर सुधारों को स्केल करके, CSPO मानक प्रिमल-डुअल दृष्टिकोणों में निहित ओवरशूटिंग और दोलन व्यवहार को कम करता है, और इसके लिए द्वितीय-क्रम की जानकारी या महंगे प्रोजेक्शन की आवश्यकता नहीं होती है।

लेखक CSPO को एक ऐसी विधि के रूप में प्रस्तुत करते हैं जो प्रथम-क्रम लैग्रेंजियन विधियों की सरलता और स्केलेबिलिटी प्रदान करती है, जबकि अधिक जटिल ट्रस्ट-रीजन या प्रोजेक्शन-आधारित दृष्टिकोणों की स्थिरता और तेज़ रिकवरी डायनेमिक्स प्रदान करती है। वे इस बात पर जोर देते हैं कि विधि मूल बाधित समस्या की सैद्धांतिक अखंडता को बनाए रखती है जबकि व्यावहारिक प्रशिक्षण गतिशीलता में सुधार करती है।

स्वीकृत सीमाएं:
पेपर नोट करता है कि CSPO सटीक लागत-ग्रेडिएंट अनुमानों पर निर्भर करता है, जो स्पार्स या विच्छिन्न (discontinuous) वातावरण में शोर युक्त (noisy) हो सकते हैं, जिससे नॉर्मलाइजेशन की प्रभावशीलता कम हो सकती है। इसके अतिरिक्त, हालांकि $\alpha$ एक व्याख्या योग्य पैरामीटर है, इसका इष्टतम मान कार्य-निर्भर रहता है, हालांकि एक एडेप्टिव शेड्यूल प्रस्तावित किया गया है। लेखक सुझाव देते कि भविष्य के कार्य CSPO को विलंबित या शोर वाले लागत संकेतों को संभालने और ज्यामिति-जागरूक स्केलिंग के लिए कर्वेचर जानकारी (जैसे फिशर सूचना) को शामिल करने के लिए विस्तारित कर सकते हैं।