🤖 machine learning

Latent Q-Barrier Shielding for Safe In-Context Reinforcement Learning

यह शोध पत्र एक लेटेंट क्यू-बैरियर शील्डिंग (Latent Q-Barrier Shielding) फ्रेमवर्क प्रस्तावित करता है जो आउट-ऑफ-डिस्ट्रीब्यूशन शिफ्ट्स के तहत सुरक्षित इन-कॉन्टेक्स्ट सुदृढीकरण शिक्षण (in-context reinforcement learning) को बढ़ाता है, जो टेस्ट-टाइम पैरामीटर अपडेट की आवश्यकता के बिना संदर्भ का अनुमान लगाकर और भविष्य की लागतों एवं शेष सुरक्षा बजटों के आधार पर कार्यों को फ़िल्टर करके किया जाता है, जिससे कई बेंचमार्क में बेहतर रिवॉर्ड-सेफ्टी ट्रेडऑफ़ प्राप्त होता है।

मूल लेखक: Minjae Kwon, Amir Moeini, Shangtong Zhang, Lu Feng

प्रकाशित 2026-05-26

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Minjae Kwon, Amir Moeini, Shangtong Zhang, Lu Feng

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को भूलभुलैया (maze) में रास्ता खोजना सिखा रहे हैं। पुराने दिनों में, आप रोबोट को महीनों तक प्रशिक्षित करते, उसकी हर गलती पर उसके "मस्तिष्क" (इसके पैरामीटर्स) को थोड़ा-थोड़ा बदलते रहते, जब तक कि वह दीवारों से बचना और सुरक्षित रूप से बाहर निकलना न सीख जाए।

इन-कॉन्टेक्स्ट रीइन्फोर्समेंट लर्निंग (ICRL) एक नया और स्मार्ट तरीका है। रोबोट के मस्तिष्क को हर बार फिर से प्रशिक्षित करने के बजाय, आप उसे एक "याददाश्त" देते हैं जो उसने अभी-अभी क्या किया है। जैसे-जैसे वह भूलभुलैया में चलता है, वह अपने इतिहास को देखता है: "मैंने बाएँ मुड़ने की कोशिश की और दीवार से टकरा गया; मैंने दाएँ मुड़ा और मुझे एक सिक्का मिल गया।" वह बिना अपने मस्तिष्क को बदले, तुरंत ढलने के लिए इस इतिहास का उपयोग करता है।

समस्या:
कभी-कभी, रोबोट बहुत अधिक आत्मविश्वासी हो जाता है। वह एक ऐसा शॉर्टकट देख सकता है जो इनाम (एक सिक्का) पाने के लिए बहुत अच्छा दिखता है, लेकिन उसे यह एहसास नहीं होता कि उस रास्ते को चुनने से उसका सारा "सुरक्षा ईंधन" (बजट) खत्म हो जाएगा और बाद में वह दुर्घटनाग्रस्त हो जाएगा। मौजूदा तरीके ट्रेनिंग के दौरान रोबोट को सुरक्षित रहने के लिए सिखाने की कोशिश करते हैं, लेकिन एक बार जब रोबोट वास्तविक दुनिया में होता है, तो उसके पास कोई अंतर्निहित "सुरक्षा जांच" नहीं होती जो उसे केवल इसलिए जोखिम भरा कदम उठाने से रोक सके क्योंकि उसे ऐसा लग रहा है।

समाधान: "लेटेंट Q-बैरियर शील्ड" (The Latent Q-Barrier Shield)
लेखकों ने एक सुरक्षा गार्ड (शील्ड) बनाया है जो रोबोट के मस्तिष्क और उसके कार्यों के बीच बैठता है। इसे एक ट्रैफिक पुलिस या को-पायलट की तरह समझें जो गाड़ी नहीं चलाता, बल्कि सड़क और ईंधन के गेज (fuel gauge) पर नज़र रखता है।

यह इस प्रकार काम करता है, सरल उपमाओं का उपयोग करते हुए:

1. दो आँखें (लेटेंट व्यूज़ - Latent Views)

रोबोट के पास दुनिया को देखने के दो तरीके हैं, जो एक विशेष "अनुवादक" (एनकोडर) द्वारा बनाए गए हैं:

ड्राइवर की आँख: यह स्थिति को देखती है ताकि यह तय किया जा सके कि क्या करना है (जैसे, "बाएँ मुड़ो!")।
सुरक्षा अधिकारी की आँख: यह उसी स्थिति को देखती है लेकिन पूछती है, "क्या यह सुरक्षित है, यह देखते हुए कि हमारे पास कितना ईंधन बचा है?"

शील्ड ड्राइवर के विचारों को होने से पहले ही जाँचने के लिए सुरक्षा अधिकारी के दृश्य का उपयोग करती है।

2. ईंधन गेज और क्रिस्टल बॉल (कॉस्ट क्रिटिक और डायनेमिक्स)

शील्ड के पास दो महाशक्तियाँ हैं जो उसने ट्रेनिंग के दौरान सीखी हैं:

क्रिस्टल बॉल (लेटेंट डायनेमिक्स): यह एक कदम आगे की दुनिया कैसी दिखेगी, इसका अनुमान लगाती है। "यदि मैं बाएँ मुड़ता हूँ, तो मैं एक अंधेरे कोने में रहूँगा।"
लागत के लिए क्रिस्टल बॉल (कॉस्ट क्रिटिक): यह अनुमान लगाती है कि उस चाल में भविष्य में कितना "सुरक्षा ईंधन" खर्च होगा। "बाएँ मुड़ने से हमें भूलभुलैया के बाकी हिस्से में जाने के लिए 5 यूनिट ईंधन खर्च करना पड़ेगा।"

3. "बैरियर" (सुरक्षा जांच)

शील्ड बचा हुआ ईंधन और अनुमानित भविष्य की लागत की तुलना करती है।

बैरियर: कल्पना कीजिए कि रेत पर एक रेखा खींची गई है। यदि अनुमानित लागत आपके पास बचे ईंधन से अधिक है, तो रेखा पार हो जाती है।
Q-बैरियर: यह वह गणित है जो आपकी वर्तमान ईंधन और अनुमानित लागत के बीच की दूरी की गणना करता है।
- यदि संख्या धनात्मक (positive) है, तो आपके पास सुरक्षा मार्जिन है। आप जाने के लिए तैयार हैं।
- यदि संख्या ऋणात्मक (negative) है, तो आप ईंधन खत्म होने वाले हैं।

4. कोमल हाथ (रीवेटिंग, बैन करना नहीं)

पुराने सुरक्षा सिस्टम एक बाउंसर की तरह थे जो आपको क्लब से बाहर निकाल देते थे यदि आप जोखिम भरे दिखते थे। यह नया शील्ड एक कोमल कोच की तरह है।

यह यह कहने के बजाय कि "नहीं, आप यह नहीं कर सकते," कहता है, "यह चाल जोखिम भरी है। आइए इसे इस तरह बनाएं कि इसकी संभावना कम हो जाए कि आप इसे चुनें।"
यह रोबोट की मूल योजना लेता है और विकल्पों को रीवेट (reweight) करता है। सुरक्षित विकल्पों को बड़ा स्पॉटलाइट मिलता है; जोखिम भरे विकल्पों को धुंधला कर दिया जाता है। इस तरह, रोबोट अभी भी अन्वेषण (explore) कर सकता है, लेकिन इसकी संभावना बहुत कम हो जाती है कि वह दुर्घटनाग्रस्त हो जाए।

उन्होंने क्या पाया?

शोधकर्ताओं ने इस शील्ड का परीक्षण पांच अलग-अलग "भूलभुलैया" (बेंचमार्क) पर किया जहाँ रोबोट को नई, कठिन स्थितियों (आउट-ऑफ-डिस्ट्रीब्यूशन) में ढलना था।

बेहतर संतुलन: पाँच में से चार मामलों में, शील्ड वाले रोबोट ने बिना शील्ड वाले रोबोट की तुलना में अधिक इनाम (सिक्के) प्राप्त किए और कम सुरक्षा ईंधन खर्च किया।
"रूढ़िवादी" मामला: एक विशिष्ट वातावरण (हाफचीटा नामक दौड़ता हुआ रोबोट) में, शील्ड इतनी सावधान थी कि उसने अतिरिक्त सुरक्षा के लिए रोबोट की गति को थोड़ा धीमा कर दिया। इसने गति के बदले सुरक्षा में बड़ी बढ़त हासिल की।
पुनः प्रशिक्षण की आवश्यकता नहीं: सबसे अच्छी बात? शील्ड रोबोट के मस्तिष्क को बदले बिना काम करती है। यह बस निर्णय लेने के समय एक स्मार्ट पर्यवेक्षण की परत जोड़ देती है।

सारांश में:
यह पेपर AI एजेंटों के लिए एक "सुरक्षा को-पायलट" पेश करता है। यह एजेंट को अपने इतिहास से सीखने और तेजी से ढलने की अनुमति देता है, लेकिन साथ ही एक स्मार्ट, गणित-आधारित गार्ड जोड़ता है जो हर चाल से पहले ईंधन गेज की जाँच करता है। यह सुनिश्चित करता है कि एजेंट लालची न हो जाए और सुरक्षा बजट खत्म न कर दे, जिससे कठिन और नई स्थितियों में बेहतर प्रदर्शन होता है।

तकनीकी सारांश: सुरक्षित इन-कॉन्टेक्स्ट सुदृढीकरण शिक्षण (In-Context Reinforcement Learning) के लिए लेटेंट Q-बैरियर शील्डिंग

समस्या विवरण

सुरक्षित इन-कॉन्टेक्स्ट सुदृढीकरण शिक्षण (ICRL) का लक्ष्य एजेंटों को टेस्ट-टाइम पर पैरामीटर अपडेट किए बिना, विस्तार योग्य इंटरैक्शन हिस्ट्री (interaction history) पर निर्भर करके नई कार्यों (tasks) के अनुकूल बनाना है। जबकि SCARED [40] जैसे हालिया तरीके प्रीट्रेनिंग के माध्यम से बजट-सम्मान करने वाली नीतियों को सीखकर सुरक्षित ICRL को एक बाधा-युक्त (constrained) समस्या के रूप में तैयार करते हैं, वे आउट-ऑफ-डिस्ट्रीब्यूशन (OOD) परिनियोजन (deployment) के दौरान एक गंभीर सीमा का सामना करते हैं। मौजूदा सुरक्षित ICRL विधियाँ सुरक्षा को मुख्य रूप से प्रीट्रेनिंग उद्देश्यों या कॉस्ट-कंडीशनिंग के माध्यम से एनकोड करती हैं, न कि स्पष्ट एक्शन-लेवल चेक के माध्यम से। फलस्वरूप, एक फ्रोजन (frozen) ICRL पॉलिसी अभी भी उन क्रियाओं (actions) को प्रायिकता दे सकती है जहाँ भविष्य की अनुमानित लागत शेष सुरक्षा बजट से अधिक हो जाती है, विशेष रूप से सामान्यीकरण (generalization) सेटिंग्स में जहाँ टास्क स्ट्रक्चर को कॉन्टेक्स्ट से इन्फर (infer) करना होता है। यह उन स्थितियों में उप-इष्टतम रिवॉर्ड-सेफ्टी ट्रेडऑफ़ का कारण बनता है जब एजेंट टास्क या सुरक्षा बाधाओं में बदलाव का सामना करता है।

कार्यप्रणाली (Methodology)

लेखक Q-Barrier का प्रस्ताव करते हैं, जो एक डिप्लॉयमेंट-टाइम शील्डिंग तंत्र है जो एक फ्रोजन सुरक्षित ICRL पॉलिसी को बजट-जागरूक एक्शन सिलेक्शन लेयर के साथ संवर्धित करता है। यह विधि बिना टेस्ट-टाइम पैरामीटर अपडेट के कार्य करती है, बल्कि इसके बजाय प्रीट्रेनिंग के दौरान सीखे गए मॉड्यूल्स पर निर्भर करती है।

1. लेटेंट स्टेट और प्रोजेक्शन स्पेस

शील्ड एक साझा एनकोडर $E_\phi$ का उपयोग करती है जो कॉन्टेक्स्ट $H$ और वर्तमान स्टेट $S$ को एक साझा लेटेंट स्टेट $Z$ में मैप करती है। पॉलिसी जनरेशन को सुरक्षा मूल्यांकन से अलग करने के लिए, दो प्रोजेक्शन हेड्स का उपयोग किया जाता है:

पॉलिसी प्रोजेक्शन ( $Z_p$ ): बेस पॉलिसी $\pi_\theta$ द्वारा एक्शन प्रस्तावित करने के लिए उपयोग किया जाता है।
वर्ल्ड प्रोजेक्शन ( $Z_w$ ): सुरक्षा मॉडलिंग के लिए उपयोग किया जाता है, जिसमें लेटेंट डायनेमिक्स प्रेडिक्शन और कॉस्ट एस्टीमेशन शामिल है।

वर्ल्ड-प्रोजेक्टेड लेटेंट स्पेस $Z_w$ पर, सिस्टम निम्नलिखित सीखता है:

एक संभाव्य लेटेंट ट्रांजिशन मॉडल $p_z$ ।
एक कॉस्ट क्रिटिक्स का एन्सेम्बल $\{\hat{Q}_{C,i}\}_{i=1}^M$ ।
एक पेसिमिस्टिक (pessimistic) एगोग्रेट कॉस्ट-टू-गो एस्टीमेट $\hat{Q}^+_C(Z, A) = \max_i \hat{Q}_{C,i}(Z, A)$ , ताकि भविष्य की लागतों को कम आंकने के जोखिम को कम किया जा सके।

2. Q-फंक्शन बैरियर और शील्ड पॉलिसी

मुख्य नवाचार कॉस्ट क्रिटिक और शेष बजट $B_t$ से प्राप्त एक सीखा हुआ बैरियर सिग्नल है।

स्टेट बैरियर: $b_{V,t}(Z_w, B_t) = B_t - \min_{A \in \mathcal{A}_{cand}} \hat{Q}^+_C(Z_w, A)$ ।
एक्शन बैरियर: $b_{Q,t}(Z_w, B_t, A) = B_t - \hat{Q}^+_C(Z_w, A)$ ।

शील्ड कैंडिडेट एक्शन्स के एक परिमित सेट $\mathcal{A}_{cand}$ का मूल्यांकन करती है। वे एक्शन्स जिनका बैरियर नेगेटिव है (अनुमानित कॉस्ट-टू-गो शेष बजट से अधिक है) उन्हें हतोत्साहित किया जाता है। लेखक डिफॉल्ट के रूप में एक सॉफ्ट शील्ड (soft shield) लागू करते हैं, जो कैंडिडेट पर बेस पॉलिसी डिस्ट्रीब्यूशन को रीवेट (reweight) करती है:
$w_t(A) = \rho_t(A) \exp\left(-[-b_{Q,t}(Z_w, B_t, A)]_+\right)$
जहाँ $\rho_t(A)$ बेस पॉलिसी प्रोबेबिलिटी (या सैंपल किए गए कैंडिडेट के लिए 1) है। यह पॉलिसी सपोर्ट को बनाए रखते हुए जोखिम भरे कैंडिडेट को दंडित करता है, जिससे हार्ड फिल्टरिंग की संवेदनशीलता से बचा जा सके।

3. ट्रेनिंग और एसिमेट्रिक ग्रेडिएंट रूटिंग (Asymmetric Gradient Routing)

सभी मॉड्यूल्स को प्रीट्रेनिंग चरण के दौरान संयुक्त रूप से प्रशिक्षित किया जाता है और परिनियोजन के समय फ्रोजन रखा जाता है। पॉलिसी लर्निंग और वर्ल्ड मॉडलिंग के बीच हस्तक्षेप को रोकने के लिए, लेखक एसिमेट्रिक ग्रेडिएंट रूटिंग का उपयोग करते हैं:

वर्ल्ड-मॉडल लॉस: साझा एनकोडर और वर्ल्ड प्रोजेक्शन को अपडेट करता है ताकि लेटेंट डायनेमिक्स, रिवार्ड्स और कॉस्ट की प्रेडिक्टेबिलिटी सुनिश्चित हो सके।
स्ट्रक्चरल एलाइनमेंट लॉसेस: साझा एनकोडर को सीधे अपडेट किए बिना पॉलिसी और वर्ल्ड प्रोजेक्शन को अलाइन करने के लिए स्टॉप-ग्रेडिएंट्स का उपयोग करते हैं, यह सुनिश्चित करते हुए कि $Z_w$ सुरक्षा अनुमान का समर्थन करे जबकि $Z_p$ पॉलिसी-प्रासंगिक फीचर्स को बनाए रखे।

सैद्धांतिक विश्लेषण (Theoretical Analysis)

पेपर एक कंडीशनल, एरर-डीकंपोज्ड बैरियर-मार्जिन रिजल्ट (थ्योरम 1) प्रदान करता है। यह सिद्ध करता है कि यदि कोई एक्शन Q-बैरियर को संतुष्ट करता है (अर्थात, $b_{Q,t} \ge 0$ ), तो अगला लेटेंट-बजट स्टेट दो एरर टर्म्स तक लगभग बजट-सुरक्षित रहता है:

बेलमैन अपर-बाउंड एरर ( $\Delta_{bell}$ ): वह डिग्री जिससे सीखा हुआ क्रिटिक वन-स्टेप बेलमैन अपर बाउंड का उल्लंघन करता है।
लेटेंट प्रेडिक्शन एरर ( $\epsilon_{pred}$ ): अगले लेटेंट स्टेट को प्रेडिक्ट करने में त्रुटि।

थ्योरम स्थापित करती है कि एक Q-Barrier-संतुष्ट एक्शन एक अनुमानित बजट-सुरक्षित निरंतरता (continuation) को स्वीकार करता है, बशर्ते ये त्रुटियां सीमित हों। एक एपिसोड-लेवल बजट बाउंड (प्रपोजिशन 1) संचयी लागत उल्लंघनों को सिलेक्शन गैप्स, बेलमैन रेसिडुअल्स और प्रेडिक्शन एरर्स में और अधिक डीकंपोज करता है।

प्रयोगात्मक परिणाम (Experimental Results)

विधि का मूल्यांकन पांच सुरक्षित ICRL बेंचमार्क (SafeDarkRoom, SafeDarkMujoco-Point/Car, SafeVelocity-HalfCheetah/Ant) पर किया गया, जिसमें स्ट्रक्चरल OOD और अनसीन ID जनरलाइजेशन रिजीम शामिल थे।

रिवॉर्ड-सेफ्टी ट्रेडऑफ़: Q-Barrier ने SCARED बेसलाइन की तुलना में ट्रेडऑफ़ में लगातार सुधार किया। पांच में से चार वातावरणों में, इसने औसत एपिसोड लागत को मैच करते हुए या कम करते हुए उच्च संचयी रिटर्न प्राप्त किया।
- SafeDarkRoom: 46% अधिक रिटर्न, 47.2% कम लागत।
- SafetyAnt: 30.9% अधिक रिटर्न, 74.3% कम लागत।
बजट संवेदनशीलता: बजट स्वीप्स के दौरान, Q-Barrier ने अधिकांश सेटिंग्स में बजट बाधाओं को पूरा करते हुए पांच में से चार वातावरणों में उच्चतम संचयी रिटर्न प्राप्त किया। उल्लंघन मुख्य रूप से शून्य के करीब बजट में सीमित थे जहाँ छोटी मॉडल त्रुटियां भी बजट से अधिक होने का कारण बन सकती हैं।
कंजर्वेटिव केस: SafetyHalfCheetah में, Q-Barrier ने अधिक रूढ़िवादी रुख अपनाया, जिससे लागत में 81% की कमी आई लेकिन रिटर्न में भी 39% की कमी आई। डायग्नोस्टिक्स से पता चला कि इस वातावरण में सबसे बड़ा लेटेंट प्रेडिक्शन एरर था, जिससे सीखा हुआ बैरियर सुरक्षा बनाए रखने के लिए अधिक कंजर्वेटिव हो गया।
एब्लेशन (Ablations): सॉफ्ट शील्डिंग को हार्ड ट्रंकेशन की तुलना में अधिक स्थिर पाया गया, विशेष रूप से उच्च प्रेडिक्शन एरर वाले वातावरणों में, क्योंकि यह विच्छिन्न (discontinuous) फॉलबैक व्यवहारों से बचता है।

महत्व और दावे (Significance and Claims)

पेपर दावा करता है कि Q-Barrier सुरक्षित ICRL के एक विशिष्ट अंतराल को संबोधित करता है: फ्रोजन पॉलिसियों में शेष बजट के विरुद्ध स्पष्ट, रनटाइम एक्शन-लेवल चेक्स की कमी। एक लेटेंट Q-Barrier शील्ड पेश करके, लेखक प्रदर्शित करते हैं कि:

स्पष्ट बजट जागरूकता: शेष बजट को एक स्पष्ट एक्शन-सिलेक्शन बाधा में बदलना OOD अनुकूलन के दौरान रिवॉर्ड-सेफ्टी ट्रेडऑफ़ में महत्वपूर्ण सुधार करता है।
सैद्धांतिक आधार: विधि को एक बैरियर-मार्जिन प्रोपेगेशन विश्लेषण द्वारा समर्थित किया गया है जो मॉडल त्रुटियों (बेलमैन और प्रेडिक्शन एरर) के संदर्भ में सुरक्षा गारंटी को मात्रात्मक रूप से निर्धारित करता है।
डिप्लॉयमेंट दक्षता: इस दृष्टिकोण के लिए टेस्ट-टाइम पैरामीटर अपडेट की आवश्यकता नहीं होती है, जो इसे उन परिदृश्यों के लिए उपयुक्त बनाता है जहाँ ऑनलाइन अनुकूलन प्रतिबंधित या कम्प्यूटेशनल रूप से महंगा है।

लेखक विनम्रतापूर्वक नोट करते हैं कि विधि की प्रभावशीलता लेटेंट प्रेडिक्शन की सटीकता और क्रिटिक कैलिब्रेशन पर निर्भर करती है। वे भविष्य के कार्य दिशाओं में बेहतर अनिश्चितता कैलिब्रेशन, एडेप्टिव शील्ड स्ट्रेंथ और कई बाधाओं (constraints) तक विस्तार शामिल करते हैं, यह स्वीकार करते हुए कि अत्यधिक पेसिमिस्टिक अनुमान उच्च-रिटर्न वाले एक्शन्स को डाउनवेट कर सकते हैं।