🤖 machine learning

Constrained Policy Optimization via Sampling-Based Weight-Space Projection

यह शोधपत्र SCPO को प्रस्तुत करता है, जो एक सैंपलिंग-आधारित वेट-स्पेस प्रोजेक्शन विधि है जो विश्लेणात्मक ग्रेडिएंट्स की आवश्यकता के बिना पैरामीटर स्पेस में सुरक्षा बाधाओं को लागू करता है, जिससे यह सुनिश्चित होता है कि सभी मध्यवर्ती नीतियां सुरक्षित रहें और साथ ही सुरक्षा-महत्वपूर्ण शिक्षण परिदृश्यों में सार्थक प्रदर्शन सुधार सक्षम हो सकें।

मूल लेखक: Shengfan Cao, Francesco Borrelli, Eunhyek Joa

प्रकाशित 2026-05-19

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Shengfan Cao, Francesco Borrelli, Eunhyek Joa

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को कार चलाना सिखा रहे हैं। आप चाहते हैं कि रोबोट बेहतर ड्राइविंग करे (तेज़, सुचारू, अधिक कुशल), लेकिन एक गैर-परक्राम्य (non-negotiable) नियम है: इसे कभी भी दुर्घटनाग्रस्त नहीं होना चाहिए या सड़क से बाहर नहीं जाना चाहिए।

समस्या यह है कि रोबोट 'ट्रायल एंड एरर' (प्रयास और त्रुटि) के माध्यम से सीखता है। यदि आप इसे बस नई चीजें आज़माने देते हैं, तो यह गलती से ऐसा "शॉर्टकट" सीख सकता है जो इसे सीधे एक पेड़ से टकरा देता है।

यह पेपर एक विधि पेश करता है जिसे SCPO (सैंपलिंग-बेस्ड कंस्ट्रेंड पॉलिसी ऑप्टिमाइज़ेशन) कहा जाता है। SCPO को एक कठोर, सुरक्षा-सचेत कोच के रूप में समझें जो अभ्यास के हर सत्र के दौरान रोबोट के पास खड़ा रहता है। यह इस प्रकार काम करता है, जिसे सरल अवधारणाओं में विभाजित किया गया है:

1. "सेफ बेस" (बैकअप ड्राइवर)

रोबोट को शून्य से शुरू करने के बजाय, लेखक एक "बैकअप ड्राइवर" से शुरुआत करते हैं। यह एक सरल, उबाऊ, लेकिन पूरी तरह से सुरक्षित कंट्रोलर है (जैसे कि एक क्रूज कंट्रोल जो कभी गति नहीं बढ़ाता)।

उपमा: कल्पना कीजिए कि रोबोट एक छात्र पायलट है। "बैकअप ड्राइवर" वह प्रशिक्षक है जो सह-पायलट की सीट पर बैठा है, और अगर चीजें गलत होती हैं तो नियंत्रण लेने के लिए तैयार है।
ट्रिक: रोबोट का मस्तिष्क इस तरह बनाया गया है कि शुरुआत में, वह बिल्कुल वही करता है जो प्रशिक्षक करता है। यह एक "रेसिडुअल" (residual) लेयर जोड़कर सीखता है—एक छोटा न्यूरल नेटवर्क जो प्रशिक्षक के कार्यों में बेहतर बनाने के लिए सूक्ष्म समायोजन करने की कोशिश करता है।

2. "सेफ्टी नेट" (कोच की नियम पुस्तिका)

रोबोट सीखना चाहता है, लेकिन कोच (SCPO) का एक नियम है: "आप केवल वे बदलाव कर सकते हैं जिन्हें हम अभी सुरक्षित साबित कर सकते हैं।"

आमतौर पर, यह जांचना कि क्या कोई बदलाव सुरक्षित है, कठिन होता है क्योंकि इसके लिए आपको यह देखने के लिए रोबोट को घंटों तक सिम्युलेट करना होगा कि क्या वह दुर्घटनाग्रस्त होता है। इसमें बहुत समय लगता है।

नवाचार: SCPO एक "सैंपलिंग" ट्रिक का उपयोग करता है। पूरे भविष्य को सिम्युलेट करने के बजाय, यह रोबोट के मस्तिष्क में छोटे, यादृच्छिक (random) बदलावों के साथ कुछ त्वरित "टेस्ट ड्राइव" (rollouts) लेता है।
रूपक: कल्पना कीजिए कि आप जमी हुई झील पर चल रहे हैं। आप एक बार में पूरी झील का परीक्षण नहीं करना चाहते। इसके बजाय, आप अपने ठीक सामने बर्फ के कुछ स्थानों पर प्रहार (poke) करते हैं। यदि वे स्थान टिके रहते हैं, तो आप मान लेते हैं कि तत्काल क्षेत्र में कदम रखना सुरक्षित है। SCPO गणितीय रूप से यही करता है: यह सुरक्षा बाधाओं (safety constraints) को छोटे बदलावों के साथ परखता है ताकि यह देखा जा सके कि वे टिकते हैं या नहीं।

3. "प्रोजेक्शन" (बाउंसर)

हर बार जब रोबोट कुछ नया सीखता है (एक "ग्रेडिएंट अपडेट"), तो वह तेज़ ड्राइविंग शैली की ओर एक बड़ी छलांग लगाने की कोशिश कर सकता है।

समस्या: वह छलांग असुरक्षित हो सकती है।
समाधान (प्रोजेक्शन): SCPO एक क्लब के बाउंसर की तरह कार्य करता है। जब रोबोट एक नए विचार के साथ प्रवेश करने की कोशिश करता है, तो बाउंसर उसे "सेफ ज़ोन" (वह क्षेत्र जहाँ बर्फ टिकी रही थी) के विरुद्ध जांचता है।
- यदि विचार सुरक्षित है, तो रोबोट अंदर जाता है।
- यदि विचार असुरक्षित है, तो बाउंसर उसे प्रोजेक्ट (project) करता है। इसका अर्थ है कि वे रोबोट के विचार को गणितीय रूप से तब तक "दबाते" (squash) हैं जब तक कि वह सुरक्षित क्षेत्र के भीतर फिट न हो जाए। रोबोट अभी भी सीखता है, लेकिन वह उस दिशा में सीखता है जो गारंटी के साथ सुरक्षा नियमों को नहीं तोड़ेगा।

4. "इंडक्शन" गारंटी (सुरक्षा की श्रृंखला)

लेखक एक शक्तिशाली अवधारणा सिद्ध करते हैं जिसे "सेफ-बाय-इंडक्शन" (safe-by-induction) कहा जाता है।

तर्क:
1. हम एक सुरक्षित रोबोट (प्रशिक्षक) के साथ शुरू करते हैं।
2. हम केवल उन बदलावों की अनुमति देते हैं जो सुरक्षा जांच पास करते हैं।
3. इसलिए, रोबोट का अगला संस्करण भी सुरक्षित है।
4. क्योंकि अगला संस्करण सुरक्षित है, हम इस प्रक्रिया को अनंत काल तक दोहरा सकते हैं।
परिणाम: जब तक गणित काम करता है, रोबोट बिना कभी भी सुरक्षा नियमों का उल्लंघन किए, हमेशा बेहतर और सुधार कर सकता है। यह एक ऐसी श्रृंखला की तरह है जहाँ हर कड़ी सुरक्षित धातु से गढ़ी गई है।

5. उन्होंने क्या परीक्षण किया

लेखकों ने दो परिदृश्यों में इसका परीक्षण किया:

"बैड टीचर" टेस्ट: उन्होंने एक रोबोट को एक "दुर्भावनापूर्ण विशेषज्ञ" (एक शिक्षक जो बुरा, खतरनाक सुझाव देता है) की नकल करने के लिए सिखाने की कोशिश की। रोबोट ने बुरे शिक्षक से सीखने की कोशिश की, लेकिन SCPO ने एक फिल्टर के रूप में कार्य किया, जिसने खतरनाक सलाह को खारिज कर दिया जबकि रोबोट को उपयोगी, सुरक्षित सुधार सीखने की अनुमति दी।
"डबल इंटीग्रेटर" टेस्ट: एक क्लासिक भौतिकी समस्या (जैसे ट्रैक पर एक कार्ट)। उन्होंने दिखाया कि जब रोबोट को अस्थिरता की ओर धकेला जा रहा था, तब भी प्रोजेक्शन विधि ने इसे स्थिर रखा और ट्रैक पर बनाए रखा।

सारांश

SCPO सिखाने का एक तरीका है कि AI को किसी कार्य में बेहतर कैसे बनाया जाए, बिना सुरक्षा नियमों को तोड़े। यह इसे इस प्रकार करता है:

एक ज्ञात सुरक्षित बेसलाइन से शुरुआत करके।
छोटे बदलावों का परीक्षण करके कि क्या वे सुरक्षित हैं।
किसी भी "लर्निंग" को सुरक्षित ज़ोन के भीतर रहने के लिए मजबूर करके, भले ही मूल विचार खतरनाक क्यों न हो।

यह एक रेस कार ड्राइवर को प्रशिक्षित करने जैसा है: आप उन्हें कार की सीमा तक जाने देते हैं, लेकिन आपके पास एक सुरक्षा पिंजरा (safety cage) है जो शारीरिक रूप से उन्हें दीवार से टकराने से रोकता है, चाहे वे उस दिशा में स्टीयरिंग करने की कितनी भी कोशिश क्यों न करें।

तकनीकी सारांश: सैंपलिंग-आधारित वेट-स्पेस प्रोजेक्शन के माध्यम से कन्सट्रेंड पॉलिसी ऑप्टिमाइज़ेशन (SCPO)

1. समस्या विवरण (Problem Statement)

यह शोध पत्र सेफ्टी-क्रिटिकल लर्निंग की चुनौती को संबोधित करता है, विशेष रूप से सुरक्षा बाधाओं (safety constraints) का उल्लंघन किए बिना या ज्ञात सुरक्षित ऑपरेटिंग रिजीम को छोड़े बिना लर्निंग-आधारित कंट्रोलर्स के प्रदर्शन को सुधारने की आवश्यकता पर। लेखक एक ऐसे परिवेश पर ध्यान केंद्रित करते हैं जहाँ:

सुरक्षा बाधाएं रोलआउट-आधारित हैं: सुरक्षा को प्रक्षेपवक्र-स्तरीय मेट्रिक्स (जैसे, स्टेट कंस्ट्रेंट्स, स्टेबिलिटी मार्जिन) द्वारा परिभाषित किया जाता है जिन्हें सिमुलेशन (रोलआउट्स) के माध्यम से मूल्यांकन किया जा सकता है, लेकिन वे पॉलिसी पैरामीटर्स के सापेक्ष विश्लेषणात्मक रूप से डिफरेंशिएबल (analytically differentiable) नहीं हैं।
ब्लैक-बॉक्स बाधाएं: कंस्ट्रेंट फंक्शन्स $g(\theta)$ में क्लोज्ड-फॉर्म जैकोबियन (Jacobians) का अभाव है, जिससे मानक कंस्ट्रेंड ऑप्टिमाइज़ेशन विधियां (जैसे कि वे जिन्हें बाधाओं के स्पष्ट ग्रेडिएंट की आवश्यकता होती है) अनुपयुक्त हो जाती हैं।
लक्ष्य: एक ऐसा कंस्ट्रेंड पॉलिसी ऑप्टिमाइज़ेशन करना जो रिकर्सिव फिजिबिलिटी (recursive feasibility) (प्रत्येक ट्रेनिंग स्टेप पर सुरक्षित रहना) और एक प्रमाणित सुरक्षित इनिशियलाइजेशन से शुरू होकर टास्क ऑब्जेक्टिव में मोनोटोनिक इम्प्रूवमेंट (monotonic improvement) सुनिश्चित करे।

2. कार्यप्रणाली: SCPO

लेखक SCPO (Sampling-Based Constrained Policy Optimization) प्रस्तावित करते हैं, जो पॉलिसी नेटवर्क के वेट-स्पेस में सीधे सुरक्षा लागू करता है।

2.1 आर्किटेक्चर और इनिशियलाइजेशन

लो-रैंक अडैप्टेशन (LoRA) से प्रेरित होकर, पॉलिसी $\pi_\theta$ को एक सर्टिफाइड बेसलाइन कंट्रोलर ( $\pi_{safe}$ ) और एक रेसिडुअल न्यूरल नेटवर्क ( $\phi_\theta$ ) के संयोजन के रूप में संरचित किया गया है:
$\pi_\theta(x) = \begin{cases} \pi_{safe}(x) + \phi_\theta(x) & x \notin X_f \\ \pi_{safe}(x) & x \in X_f \end{cases}$

$\pi_{safe}$ : एक नॉन-पैरामीट्रिक, स्टेबलाइजिंग कंट्रोलर (जैसे, क्लिपिंग के साथ LQR) जो एक क्षेत्र $\Omega$ के भीतर सुरक्षा और स्थिरता की गारंटी देता है।
$\phi_\theta$ : एक न्यूरल नेटवर्क जिसे शून्य आउटपुट देने के लिए इनिशियलाइज किया गया है ( $\phi_{\theta_0} \equiv 0$ )। यह सुनिश्चित करता है कि प्रारंभिक पॉलिसी सुरक्षित बेसलाइन के समान है।
लर्निंग ऑब्जेक्टिव: प्रशिक्षण प्रक्रिया को $\pi_{safe}$ के पड़ोस में "सेफ अडैप्टेशन" के रूप में देखा जाता है, जहाँ $\phi_\theta$ प्रदर्शन सुधारने के लिए सीखता है जबकि प्रोजेक्शन मैकेनिज्म यह सुनिश्चित करता है कि संयुक्त पॉलिसी स्टेबिलाइजिंग बनी रहे।

2.2 लोकल सेफ रीजन कंस्ट्रक्शन

चूंकि $g(\theta)$ नॉन-डिफरेंशिएबल है, SCPO वेट स्पेस में एक लोकल सेफ सेट का निर्माण करता है:

पॉइंटवाइज इवैल्यूएशन: सुरक्षा मेट्रिक्स का मूल्यांकन कैंडिडेट वेट अपडेट्स (रोलआउट्स) के एक परिमित सेट पर किया जाता है।
स्मूथनेस बाउंड्स: विधि सुरक्षा बाधाओं की स्थानीय लिप्सचिट्ज़ निरंतरता (Lipschitz continuity) को मानती है। यह कंस्ट्रेंट सरफेस को अनुमानित करने के लिए एक क्वाड्रेटिक अपर बाउंड का उपयोग करती है:
$g_i(\theta_t + \Delta\theta) \leq g_i(\theta_t) + \nabla g_i(\theta_t)^\top \Delta\theta + \frac{L_i}{2}\|\Delta\theta\|^2$
जहाँ $L_i$ कर्वचर कांस्टेंट्स हैं जिन्हें सैंपल्ड अपडेट्स से अनुमानित किया गया है।

2.3 सैंपलिंग-आधारित प्रोजेक्शन

डायरेक्टली हाई-डायमेंशनल कंस्ट्रेंड ऑप्टिमाइज़ेशन समस्या को हल करने के बजाय, SCPO अपडेट को सैंपल्ड कैंडिडेट अपडेट्स के स्पैन (span) ( $D$ ) तक सीमित करता है।

कैंडिडेट बैंक: एक बफर $D$ हाल के अपडेट्स और उनके संबंधित सुरक्षा मूल्यांकनों $G$ को स्टोर करता है।
लो-डायमेंशनल प्रोजेक्शन: अपडेट को $\Delta\theta = Dc$ के रूप में पैरामीटराइज किया जाता है, जहाँ $c \in \mathbb{R}^m$ एक कोएफिशिएंट वेक्टर है।
कॉन्वेक्स ऑप्टिमाइज़ेशन: यह समस्या लो-डायमेंशनल स्पेस $c$ में एक सेकंड-ऑर्डर कोन प्रोग्राम (SOCP) (या क्वाड्रैटिक कंस्ट्रेंड क्वाड्रैटिक प्रोग्राम) में बदल जाती है:
$\min_c \|c - e_m\|_S^2 \quad \text{s.t.} \quad (1 - \mathbf{1}^\top c)g(\theta_t) + Gc + \frac{1}{2}(c^\top Sc + |c|^\top \text{diag}(S))L \leq 0$
यह रॉ ग्रेडिएंट अपडेट को एक कंजर्वेटिव लोकल सेफ सेट पर प्रोजेक्ट करता है, यह गारंटी देते हुए कि नए वेट्स सुरक्षा बाधाओं को पूरा करते हैं।

2.4 सैद्धांतिक गारंटी (Theoretical Guarantees)

सेफ-बाय-इंडक्शन: एक सुरक्षित इनिशियलाइजेशन ( $g(\theta_0) \leq 0$ ) से शुरू करते हुए, प्रोजेक्शन यह सुनिश्चित करता है कि सभी आगामी स्टेप्स के लिए $g(\theta_{t+1}) \leq 0$ हो, बशर्ते प्रोजेक्शन फिजिबल हो।
स्टेबिलिटी: लीनियर डायनामिकल सिस्टम्स के लिए, यह विधि ल्यपुनोव मार्जिन (Lyapunov margin) को संरक्षित करती है, यह सुनिश्चित करती है कि क्लोज्ड-लूप सिस्टम स्थानीय रूप से एसिम्प्टोटिकली स्टेबल रहे और सेफ रीजन $\Omega$ फॉरवर्ड इनवेरिएंट बना रहे।
मोनोटोनिक इम्प्रूवमेंट: एक आर्मिजो-स्टाइल बैकट्रैकिंग लाइन सर्च का उपयोग करके, एल्गोरिदम बाधाओं का उल्लंघन किए बिना टास्क लॉस $L(\theta)$ में कमी की गारंटी देता है।

3. मुख्य योगदान (Key Contributions)

वेट-स्पेस प्रोजेक्शन: एक नवीन सैंपलिंग-आधारित विधि जो कंस्ट्रेंट फंक्शन्स के ग्रेडिएंट की आवश्यकता के बिना सीधे पैरामीटर स्पेस में सुरक्षा प्रोजेक्शन करती है।
सेफ-बाय-इंडक्शन मैकेनिज्म: एक लर्निंग फ्रेमवर्क जो किसी भी सुरक्षित इनिशियलाइजेशन से शुरू होकर रिकर्सिव फिजिबिलिटी और मोनोटोनिक ऑब्जेक्टिव इम्प्रूवमेंट की गारंटी देता है।
कंट्रोल-थियोरेटिक एनालिसिस: एक औपचारिक प्रमाण कि SCPO ल्यपुनोव मार्जिन को संरक्षित करके लीनियर सिस्टम्स के लिए क्लोज्ड-लूप स्टेबिलिटी बनाए रखता है।
एम्पिरिकल वैलिडेशन: कंस्ट्रेंड रिग्रेशन और इमिटेशन लर्निंग कार्यों में हानिकारक सुपरविजन के विरुद्ध मजबूती और सुरक्षित एक्सप्लोरेशन का प्रदर्शन।

4. प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने दो कार्यों पर SCPO का मूल्यांकन किया है:

4.1 कंस्ट्रेंड रिग्रेशन

सेटअप: एक 1D रिग्रेशन समस्या जहाँ टारगेट फंक्शन कुछ क्षेत्रों में एक हार्ड कंस्ट्रेंट ( $|y| \leq 1.4$ ) का उल्लंघन करता है।
परिणाम: SCPO सुरक्षित क्षेत्रों में टारगेट फंक्शन को सफलतापूर्वक फिट करता है और कंस्ट्रेंट बाउंड्री पर सुचारू रूप से सैचुरेट होता है। सॉफ्ट-कंस्ट्रेंट बेसलाइन (जिसके लिए डिफरेंशिएबल कंस्ट्रेंट्स और हाइपरपैरामीटर ट्यूनिंग की आवश्यकता होती है) के विपरीत, SCPO बिना किसी उल्लंघन के हार्ड कंस्ट्रेंट को सख्ती से लागू करता है।

4.2 डबल-इंटीग्रेटर इमिटेशन लर्निंग

सेटअप: एक कंट्रोल टास्क जहाँ एक न्यूरल नेटवर्क एक "मैलीशियस एक्सपर्ट" (एक आक्रामक पॉलिसी जो सिस्टम को अस्थिर कर देती है) की नकल करने का प्रयास करता है, जबकि यह एक सुरक्षित LQR बेसलाइन से शुरू होता है।
परिणाम:
- हानिकारक अपडेट्स का रिजेक्शन: SCPO उन अपडेट्स को खारिज कर देता है जो अस्थिरता पैदा कर सकते हैं, जिससे पॉलिसी को एक्सपर्ट के अस्थिर व्यवहार की नकल करने से रोका जा सके।
- स्टेबिलिटी प्रिजर्वेशन: सीखी गई पॉलिसी मूल सुरक्षित कंट्रोलर के स्टेबलाइजिंग रीजन को बनाए रखती है, जबकि मैलीशियस एक्सपर्ट स्टेट स्पेस के एक बड़े हिस्से में सिस्टम को स्थिर करने में विफल रहता है।
- परफॉरमेंस: पॉलिसी सुरक्षित ऑपरेटिंग रिजीम के भीतर रहते हुए इमिटेशन ऑब्जेक्टिव में सार्थक सुधार प्राप्त करती है।

5. महत्व और सीमाएं (Significance and Limitations)

महत्व:
पेपर का दावा है कि SCPO एक व्यावहारिक, डेटा-संचालित दृष्टिकोण प्रदान करता है जो स्पष्ट कंस्ट्रेंट कॉस्ट या डिफरेंशिएबल सेफ्टी फिल्टर्स पर निर्भर नहीं करता है। सर्टिफाइड बैकअप कंट्रोलर को एक फ्रोजन बेस के रूप में उपयोग करके और वेट-स्पेस में अपडेट्स को प्रोजेक्ट करके, यह कंजर्वेटिव बेसलाइन्स से आगे सुरक्षित अनुकूलन (safe adaptation) को सक्षम बनाता है। यह स्वायत्त ड्राइविंग और रोबोटिक्स जैसे डोमेन के लिए विशेष रूप से प्रासंगिक है जहाँ औपचारिक गारंटी प्राप्त करना कठिन है लेकिन सुरक्षा सर्वोपरि है।

सीमाएं:
लेखक स्वीकार करते हैं कि यह विधि कंजर्वेटिव (conservative) है। प्रोजेक्शन स्टेप सुधार के लिए नए दिशाओं को उत्पन्न नहीं करता है; यह केवल मौजूदा सैंपल्ड कैंडिडेट्स में से सबसे अच्छे सुरक्षित दिशा का चयन करता है। लेखक उल्लेख करते हैं कि भविष्य के कार्य बेहतर सुरक्षित एक्सप्लोरेशन के लिए ऑब्जेक्टिव को संशोधित करने हेतु अन्य तकनीकों को एकीकृत करने का लक्ष्य रखते हैं, जिससे इस कंजर्वेटिव प्रकृति का समाधान किया जा सके।

निष्कर्ष:
SCPO कंस्ट्रेंड पॉलिसी ऑप्टिमाइज़ेशन के लिए एक कठोर फ्रेमवर्क प्रदान करता है जो हाई-परफॉरमेंस लर्निंग और सख्त सुरक्षा आवश्यकताओं के बीच के अंतर को पाटता है, यह सुनिश्चित करता है कि लर्निंग-आधारित कंट्रोलर्स प्रशिक्षण प्रक्रिया के दौरान सुरक्षित और स्थिर रहें।