🤖 machine learning

Lyapunov-Guided Self-Alignment: Test-Time Adaptation for Offline Safe Reinforcement Learning

यह शोध पत्र SAS प्रस्तुत करता है, जो एक ट्रांसफार्मर-आधारित फ्रेमवर्क है जो एजेंट के व्यवहार को बिना पुन: प्रशिक्षित किए सुरक्षा की ओर पुनर्गठित करने के लिए इन-कॉन्टेक्स्ट प्रॉम्प्ट्स के रूप में लयापुनोव-अनुपालन (Lyapunov-compliant) काल्पनिक प्रक्षेप पथों को उत्पन्न करने और चुनने के माध्यम से ऑफलाइन सुरक्षित सुदृढीकरण लर्निंग (offline safe reinforcement learning) के लिए टेस्ट-टाइम अनुकूलन सक्षम करता है।

मूल लेखक: Seungyub Han, Hyungjin Kim, Jungwoo Lee

प्रकाशित 2026-04-30

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Seungyub Han, Hyungjin Kim, Jungwoo Lee

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपने एक अत्यधिक कुशल रोबोट ड्राइवर को काम पर रखा है जिसने विशेषज्ञ ड्राइविंग वीडियो के हजारों घंटों को देखकर गाड़ी चलाना सीखा है। यह रोबोट सड़क का अनुसरण करने में बहुत अच्छा है, लेकिन इसकी एक समस्या है: इसे एक आदर्श, धूप वाले सिमुलेशन में प्रशिक्षित किया गया था। जब आप अंततः इसे वास्तविक सड़क पर रखते हैं जहाँ अप्रत्याशित बारिश, गड्ढे या अचानक कोई मोड़ आता है, तो रोबोट घबरा जाता है। यह अपने पुराने नियमों को एक नई स्थिति में लागू करने की कोशिश करता है और शायद दीवार या खाई में जा सकता है।

यह वह मुख्य समस्या है जिसे यह पेपर संबोधित करता है: ऑफलाइन सुदृढीकरण लर्निंग (Offline Reinforcement Learning - RL)। यह एक रोबोट को पिछले अनुभवों के विशाल डेटासेट पर प्रशिक्षित करने जैसा है बिना उसे वास्तविक दुनिया में अभ्यास करने देने के। जब वास्तविक दुनिया थोड़ी बदल जाती है, तो रोबोट असुरक्षित हो जाता है।

लेखक एक समाधान प्रस्तावित करते हैं जिसे SAS (Self-Alignment for Safety) कहा जाता है। SAS को एक नए शिक्षक के रूप में नहीं, बल्कि एक सेफ्टी कोच के रूप में सोचें जो रोबोट को गाड़ी चलाना शुरू करने से ठीक पहले बात करता है।

यहाँ बताया गया है कि SAS कैसे काम करता है, जिसे सरल अवधारणाओं में विभाजित किया गया है:

1. "कल्पना" चरण (The "Imagination" Phase)

इससे पहले कि रोबोट वास्तविक कदम भी उठाए, SAS उससे अगले कुछ सेकंड के लिए कई अलग-अलग तरीकों से गाड़ी चलाने की कल्पना करने को कहता है।

रूपक (Metaphor): कल्पना कीजिए कि आप एक व्यस्त सड़क पार करने जा रहे हैं। कदम बाहर रखने से पहले, आप जल्दी से तीन परिदृश्य सोचते हैं: "यदि मैं बाईं ओर चलता हूँ, तो मैं कार से टकरा सकता हूँ," "यदि मैं दाईं ओर चलता हूँ, तो मैं लड़खड़ा सकता हूँ," और "यदि मैं सीधा चलता हूँ, तो मैं सुरक्षित हूँ।"
तकनीक: रोबोट अपने आंतरिक "वर्ल्ड मॉडल" (दुनिया कैसे काम करती है इसका मानसिक मानचित्र) का उपयोग करके इन काल्पनिक रास्तों, या "रोलआउट्स" (rollouts) को उत्पन्न करता है।

2. "ल्यपुनोव" सुरक्षा जांच (The "Lyapunov" Safety Check)

रोबोट को कैसे पता चलता है कि कौन सा काल्पनिक रास्ता सुरक्षित है? यह एक गणितीय उपकरण का उपयोग करता है जिसे ल्यपुनोव फंक्शन (Lyapunov function) कहते हैं।

रूपक: ल्यपुनोव जांच को एक ऐसी सेंसर के रूप में सोचें जो यह सुनिश्चित करती है कि गेंद हमेशा एक सुरक्षित घाटी (लक्ष्य) की ओर नीचे की ओर लुढ़क रही है और कभी भी एक चट्टान (खतरा) की ओर ऊपर की ओर नहीं लुढ़क रही है।
तकनीक: पेपर एक "सेफ्टी स्कोर" को परिभाषित करता है जो इस बात पर आधारित है कि रोबोट ने अपने प्रशिक्षण डेटा में कितनी बार समान स्थितियों को देखा है। यदि एक काल्पनिक रास्ता ऐसी जगह ले जाता है जिसे रोबोट ने पहले कभी नहीं देखा है (एक "लो-डेंसिटी" क्षेत्र), तो सुरक्षा स्कोर गिर जाता है, और उस रास्ते को खतरनाक के रूप में चिह्नित किया जाता है। रोबोट जाँचता है: "क्या यह रास्ता सुरक्षा स्कोर को नीचे (या सुरक्षित) रखता है?"

3. "सेल्फ-अलाइनमेंट" (The "Self-Alignment" - जादू का कमाल)

यह सबसे अनूठा हिस्सा है। आमतौर पर, किसी रोबोट को ठीक करने के लिए, आपको इसे शून्य से फिर से प्रशिक्षित करना पड़ता है, जिसमें बहुत समय और डेटा लगता है। SAS कुछ अधिक स्मार्ट करता है: यह रोबोट की अपनी कल्पना का उपयोग खुद को सुधारने के लिए करता है।

रूपक: कल्पना कीजिए कि रोबोट गाड़ी चलाने वाला है। उसे फिर से प्रशिक्षित करने के बजाय, SAS कहता है: "हे, इन तीन काल्पनिक रास्तों को देखो जो तुमने अभी बनाए हैं। दो में दीवार टकराती है। एक सुरक्षित है। आइए मान लें कि वह सुरक्षित रास्ता एक संकेत (hint) या एक प्रॉम्प्ट (prompt) है।"
रोबोट फिर उस सुरक्षित काल्पनिक पथ को लेता है और उसे अपने मस्तिष्क में एक "प्रदर्शन" (demonstration) के रूप में वापस फीड करता है। यह ऐसा है जैसे रोबोट कह रहा हो, "ठीक है, मैं अब सुरक्षित रास्ता देख सकता हूँ। मैं इस विशिष्ट उदाहरण का पालन करूँगा।"
परिणाम: रोबोट अपने मूल कोड या वेट्स (weights) को बदले बिना अपने व्यवहार को सुरक्षित बनाने के लिए संरेखित (align) करता है। यह एक प्रॉम्प्ट के माध्यम से किया गया "स्व-सुधार" है, जैसा कि आप किसी स्मार्ट AI से पूछ सकते हैं, "यहाँ एक सुरक्षित उदाहरण है, अब इसी तरह करो," बिना AI को फिर से प्रशिक्षित किए।

4. "हाइरार्किकल" मस्तिष्क (The "Hierarchical" Brain)

पेपर बताता है कि रोबोट का मस्तिष्क (एक ट्रांसफार्मर मॉडल) दो-स्तरीय प्रबंधक की तरह काम करता है।

रूपक: एक बॉस (हाई-लेवल पॉलिसी) है जो सामान्य रणनीति तय करता है (जैसे, "लक्ष्य तक जाओ"), और एक वर्कर (लो-लेवल पॉलिसी) है जो वास्तव में पहियों को घुमाता है।
तकनीक: SAS "बॉस" के रूप में कार्य करता है। सुरक्षित "कल्पना किए गए" पथ को प्रॉम्प्ट के रूप में फीड करके, SAS वास्तव में बॉस को एक नया निर्देश फुसफुसा रहा है: "इस विशिष्ट स्थिति के लिए, रणनीति 'इस सुरक्षित पथ का पालन करें' होनी चाहिए।" यह रोबोट को नए खतरों के प्रति तुरंत अनुकूल होने की अनुमति देता है।

हमने क्या पाया?

लेखकों ने विभिन्न रोबोट सिमुलेशन (जैसे बाधाओं के बीच कार, बिंदु या ड्रोन को चलाना) पर इसका परीक्षण किया।

परिणाम: SAS का उपयोग करने वाले रोबानों ने अपने मूल प्रशिक्षण का उपयोग करने वाले रोबोटों की तुलना में काफी कम गलतियाँ कीं और कम दुर्घटनाग्रस्त हुए।
बोनस: उन्होंने प्रदर्शन का बलिदान नहीं दिया। रोबोट अभी भी तेज़ थे और अपने लक्ष्यों तक पहुँचे, लेकिन उन्होंने इसे बहुत अधिक सुरक्षित तरीके से किया।
मुख्य निष्कर्ष: SAS एक रोबोट को अपने पुराने डेटा से प्रशिक्षित होकर, अपनी ही "कल्पना" का उपयोग करके एक सुरक्षित रास्ता खोजने और फिर उस पथ को एक नियम के रूप में पालन करके, तुरंत नई और खतरनाक स्थितियों के अनुकूल होने की अनुमति देता है।

सारांश

SAS एक सुरक्षा जाल की तरह है जो रोबोट के अपने विचारों से बना है। रोबोट को नए नियम सिखाने के (जो धीमा और कठिन है) के बजाय, SAS रोबोट से भविष्य की कल्पना करने, उस भविष्य के सबसे सुरक्षित संस्करण को चुनने और फिर उस सुरक्षित संस्करण को अभी क्या करना है, इसके मार्गदर्शन के रूप में उपयोग करने को कहता है। यह "क्या होगा अगर" को "क्या करना है" में बदल देता है, जिससे रोबोट को बिना एक सेकंड भी पुन: प्रशिक्षित किए सुरक्षित रखा जा सकता है।

यहाँ शोध पत्र "Lyapunov-Guided Self-Alignment: Test-Time Adaptation for Offline Safe Reinforcement Learning" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

ऑफलाइन रीइन्फोर्समेंट लर्निंग (RL) एजेंट, जो स्थिर डेटासेट (जैसे D4RL, DSRL) पर प्रशिक्षित होते हैं, वितरण बदलाव (distribution shifts) के कारण वास्तविक दुनिया के वातावरण में तैनात होने पर अक्सर विफल हो जाते हैं। भले ही एक एजेंट प्रशिक्षण डेटा पर अच्छा प्रदर्शन करता हो, लेकिन डायनेमिक्स या स्टेट ट्रांज़िशन में मामूली अंतर भी असुरक्षित व्यवहार (जैसे टकराव, लागत सीमा पार करना) का कारण बन सकता है।

मौजूदा समाधानों की महत्वपूर्ण सीमाएँ हैं:

विश्वास-आधारित अनुकूलन (Belief-based adaptation): अनिश्चितता को मॉडल करने के लिए पुन: प्रशिक्षण (retraining) की आवश्यकता होती है।
प्रतिबंधित/रूढ़िवादी RL (Constrained/Conservative RL): अक्सर प्रदर्शन (रिटर्न) का त्याग करता है या अतिरिक्त लागत संकेतों के साथ फाइन-ट्यूनिंग की आवश्यकता होती है।
टेस्ट-टाइम अनुकूलन (Test-time adaptation): अधिकांश वर्तमान विधियाँ पैरामीटर अपडेट या मानव पर्यवेक्षण के बिना तैनाती के समय एक प्री-ट्रेन्ड ऑफलाइन एजेंट को सुरक्षा बाधाओं के लिए अनुकूलित नहीं कर सकती हैं।

मूल प्रश्न यह है: क्या एक ऑफलाइन RL एजेंट को बिना पुन: प्रशिक्षण के, केवल अपने प्री-ट्रेन्ड वितरण का उपयोग करके, टेस्ट टाइम पर सुरक्षा के लिए स्वयं-संरेखित (self-aligned) किया जा सकता है?

2. कार्यप्रणाली: SAS (Self-Alignment for Safety)

लेखक SAS प्रस्तावित करते हैं, जो एक ट्रांसफार्मर-आधारित ढांचा है जो Lyapunov-गाइडेड सेल्फ-अलाइनमेंट के माध्यम से टेस्ट-टाइम अनुकूलन को सक्षम बनाता है। यह विधि मॉडल पैरामीटर्स को अपडेट किए बिना, इन-कॉन्टेक्स्ट लर्निंग (in-context learning) और बायेसियन इन्फरेंस (Bayesian inference) पर निर्भर करती है।

मुख्य घटक

ऑफलाइन RL के लिए Lyapunov डेंसिटी मॉडल (LDM):
- लेखक ऑफलाइन डेटा से प्राप्त ऑक्यूपेंसी मेजर्स (occupancy measures) का उपयोग करके Lyapunov स्थिरता को पुनर्गठित करते हैं।
- वे एक ऊर्जा फलन $E(s, a) = -\log \hat{\rho}_\pi(s, a)$ को परिभाषित करते हैं, जहाँ $\hat{\rho}_\pi$ कल्पित प्रक्षेपवक्रों (imagined trajectories) से अनुमानित मॉडल-आधारित ऑक्यूपेंसी मेजर है।
- एक Lyapunov सरोगेट $G_{SAS}(s, a)$ का निर्माण किया जाता है ताकि यह सुनिश्चित किया जा सके कि एजेंट एक कंट्रोल-इनवेरिएंट सेट ( $R_{SAS}^G$ ) के भीतर रहे। यह सेट गारंटी देता है कि प्रक्षेपवक्र कम-घनत्व (असुरक्षित/आउट-ऑफ-डिस्ट्रीब्यूशन) वाले क्षेत्रों में प्रवेश नहीं करेंगे।
- $G_{SAS}$ को किसी भी प्रक्षेपवक्र के दौरान सामना की गई न्यूनतम ऊर्जा के रूप में परिभाषित किया गया है, जिससे यह सुनिश्चित होता है कि पॉलिसी असुरक्षित, कम-संभाव्यता वाले क्षेत्रों में ढहने से बचे।
प्रोबेबिलिस्टिक इन्फरेंस दृष्टिकोण:
- यह शोध पत्र ट्रांसफार्मर-आधारित RL एजेंट को एक Hierarchical RL प्रणाली के रूप में व्याख्यायित करता है जहाँ उच्च-स्तरीय पॉलिसी लेटेंट स्किल्स ( $z_t$ ) का चयन करती है और निम्न-स्तरीय पॉलिसी एक्शन निष्पादित करती है।
- इन-कॉन्टेक्स्ट लर्निंग को इन लेटेंट स्किल्स पर बायेसियन इन्फरेंस के रूप में फ्रेम किया गया है। एक प्रॉम्प्ट (स्टेट-एक्शन पेयर्स का एक अनुक्रम) प्रदान करके, मॉडल उस सबसे संभावित उच्च-स्तरीय पॉलिसी का अनुमान लगाता है जो उस प्रॉम्प्ट के अनुरूप है।
- सुरक्षा शर्तों को अवलोकन योग्य संकेतकों (observable indicators) ( $U_t$ $U_{t}$ और $V_t$ $V_{t}$ ) के रूप में एनकोड किया गया है:
  - $U_t$ : यह इंगित करता है कि क्या वर्तमान स्टेट-एक्शन पेयर सुरक्षित डेंसिटी क्षेत्र के भीतर है ( $G_{SAS} > 0$ )।
  - $V_t$ : यह इंगित करता है कि क्या Lyapunov फलन गैर-बढ़ रहा है ( $G_{SAS}(s_t, a_t) \geq G_{SAS}(s_{t+1}, a_{t+1}$ )।
SAS एल्गोरिदम (एल्गोरिदम 1):
इस प्रक्रिया में "कल्पना" (imagination) और चयन के दो लूप शामिल हैं:
- चरण 1 (स्थिति $U_t$ ): एक निश्चित प्रारंभिक अवस्था से, ट्रांसफार्मर $N$ प्रक्षेपवक्रों की कल्पना करता है। यह अधिकतम ऊर्जा (सबसे खराब स्थिति का जोखिम) को कम करने वाले प्रक्षेपवक्रम खंड का चयन करता है ताकि एक प्रारंभिक प्रॉम्प्ट बनाया जा सके।
- चरण 2 (स्थिति $V_t$ ): प्रारंभिक प्रॉम्प्ट का उपयोग करते हुए, ट्रांसफार्मर $M$ नए प्रक्षेपवक्रों की कल्पना करता है। यह उस प्रक्षेपवक्रम का चयन करता है जो संचयी Lyapunov डिसेंट (cumulative Lyapunov descent - $V_t$ संकेतकों का योग) को अधिकतम करता है।
- चरण 3 (तैनाती/Deployment): चयनित सुरक्षित खंड का उपयोग ट्रांसफार्मर के लिए इन-कॉन्टेक्स्ट प्रॉम्प्ट ( $p_{1:K}$ ) के रूप में किया जाता है। एजेंट फिर इस प्रॉम्प्ट और वर्तमान स्टेट पर अपने एक्शन को कंडिशन करता है, जो प्रभावी रूप से बिना ग्रेडिएंट अपडेट के प्री-ट्रेन्ड पॉलिसी को सुरक्षित व्यवहार की ओर "स्टीयर" करता है।

3. प्रमुख योगदान

नया सूत्रीकरण: ऑफलाइन RL के लिए ऑक्यूपेंसी मेजर्स पर आधारित Lyapunov स्थिरता की एक नवीन परिभाषा, जो स्पष्ट लागत कार्यों (explicit cost functions) के बजाय डेटा डेंसिटी के माध्यम से सुरक्षा बाधाओं को लागू करने की अनुमति देती है।
सैद्धांतिक ढांचा: बायेसियन इन्फरेंस के माध्यम से ट्रांसफार्मर-आधारित RL का एक Hierarchical RL व्याख्या, जहाँ प्रॉम्प्टिंग लेटेंट हाई-लेवल स्किल्स को इन्फर करने के अनुरूप है। यह एक सैद्धांतिक आधार प्रदान करता है कि इन-कॉन्टेक्स्ट लर्निंग सुरक्षा के लिए क्यों काम करती है।
टेस्ट-टाइम अनुकूलन विधि (SAS): एक व्यावहारिक एल्गोरिदम जो व्यवहार को पुन: संरेखित करने के लिए Lyapunov-गाइडेड प्रॉम्प्ट उत्पन्न करता है। यह ऑफलाइन डेटा से प्राप्त कंट्रोल-इनवेरिएंट सेट्स को प्रतिबंधित करके सुरक्षा की गारंटी देता है।
प्रोबेबिलिस्टिक सुरक्षा गारंटी: लेखक एक औपचारिक बाउंड (Theorem 4) प्रदान करते हैं जो यह दर्शाता है कि एजेंट के सुरक्षित सेट को छोड़ने की संभावना, कल्पित रोलआउट्स ( $N$ ) और पुन: कल्पना परीक्षणों ( $M$ ) की संख्या के साथ तेजी से (exponentially) घटती है।

4. प्रयोगात्मक परिणाम

विधि का मूल्यांकन Safety Gymnasium, MuJoCo, और Bullet-Safety-Gym बेंचमार्क पर किया गया।

प्रदर्शन बनाम सुरक्षा: SAS ने Decision Transformer (DT), Constrained Decision Transformer (CDT), और विभिन्न सेफ RL बेसलाइन्स (BC-Safe, COptiDICE, आदि) की तुलना में लागत (cost) और विफलता दर (failure rates) को लगातार कम किया (2x तक सुधार) और साथ ही रिटर्न (reward) को बनाए रखा या सुधारा।
सामान्यीकरण (Generalization): SAS ने उन बैकबोन (DT) के लिए भी सुरक्षा में सुधार किया जिन्हें स्पष्ट लागत संकेतों के साथ प्रशिक्षित नहीं किया गया था, यह प्रदर्शित करते हुए कि डेंसिटी-आधारित Lyapunov मार्गदर्शन एक अंतर्निहित (implicit) सुरक्षा प्रॉक्सी के रूप में कार्य करता है।
एब्लेशन अध्ययन (Ablation Studies):
- Lyapunov डिसेंट ( $V_t$ ): डिसेंट स्थिति को हटाने से लागत काफी बढ़ गई, जो दीर्घकालिक स्थिरता (long-horizon stability) के लिए इसकी आवश्यकता को सिद्ध करती है।
- प्रॉम्प्ट चयन: रैंडम प्रॉम्प्टिंग या मैक्स-एनर्जी प्रॉम्प्टिंग, Lyapunov-गाइडेड चयन की तुलना में खराब प्रदर्शन किया, जो विशिष्ट चयन मानदंडों की प्रभावकारिता की पुष्टि करता है।
- मॉडल मजबूती: विधि ने विभिन्न प्रॉम्प्ट लंबाई, कल्पित प्रक्षेपवक्रों की संख्या और बैकबोन मॉडल के आकार (DT से GPT-2 तक) के बीच मजबूती दिखाई।

5. महत्व और प्रभाव

LLM और RL को जोड़ना: यह शोध पत्र सफलतापूर्वक सेल्फ-अलाइनमेंट (जो Large Language Models में लोकप्रिय है) की अवधारणा को सेफ RL के क्षेत्र में अनुकूलित करता है, जिससे एजेंट अपने स्वयं के आंतरिक वर्ल्ड मॉडल का उपयोग करके सुरक्षा के बारे में "तर्क" करने में सक्षम होते हैं।
तैनाती व्यवहार्यता (Deployment Viability): पुन: प्रशिक्षण या फाइन-ट्यूनिंग की आवश्यकता को समाप्त करके, SAS उन गतिशील और अनिश्चित वातावरणों में ऑफलाइन RL एजेंटों को तैनात करने के लिए एक स्केलेबल समाधान प्रदान करता है जहाँ सुरक्षा महत्वपूर्ण है।
सैद्धांतिक कठोरता: यह केवल ह्यूरिस्टिक सुरक्षा जाँचों से आगे बढ़कर एक प्रोबेबिलिस्टिक गारंटी प्रदान करता है कि एजेंट एक कंट्रोल-इनवेरिएंट सेट के भीतर रहेगा, जो Lyapunov स्थिरता सिद्धांत और बायेसियन इन्फरेंस पर आधारित है।
दक्षता: हालांकि इसके लिए इमेजिनेशन (रोलआउट्स) के लिए इन्फरेंस-टाइम कंप्यूटेशन की आवश्यकता होती है, यह पूर्ण पुन: प्रशिक्षण की कम्प्यूटेशनल लागत से बचता है, जिससे यह उन परिदृश्यों के लिए उपयुक्त बनता है जहाँ डेटा स्थिर है लेकिन वातावरण नहीं है।

संक्षेप में, SAS इन-कॉन्टेक्स्ट लर्निंग के माध्यम से टेस्ट टाइम पर व्यवहार को स्वयं सुधारने के लिए Lyapunov-गाइडेड इमेजिनेशन का लाभ उठाकर ऑफलाइन RL एजेंटों को वितरण बदलाव के प्रति मजबूत बनाने की दिशा में एक महत्वपूर्ण कदम है।