🤖 machine learning

ISEP: Implicit Support Expansion for Offline Reinforcement Learning via Stochastic Policy Optimization

यह शोध पत्र ISEP का प्रस्ताव करता है, जो ऑफलाइन सुदृढीकरण शिक्षण (reinforcement learning) के लिए एक स्टोकेस्टिक पॉलिसी ऑप्टिमाइज़ेशन फ्रेमवर्क है, जो वैल्यू फंक्शन इंटरपोलेशन के माध्यम से व्यवहार्य एक्शन सपोर्ट का निहित रूप से विस्तार करता है और परिणामी मल्टीमॉडल परिदृश्य (multimodal landscape) में नेविगेट करने के लिए कंडीशनल फ्लो मैचिंग का उपयोग करता है, जिससे सख्त बाधाओं की कठोरता को दूर करते हुए मोड कोलैप्स से बचा जा सके।

मूल लेखक: Yifei Chen, Shaoqin Zhu, Xiaoqiang Ji

प्रकाशित 2026-05-19

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Yifei Chen, Shaoqin Zhu, Xiaoqiang Ji

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ शोध पत्र ISEP: Implicit Support Expansion for Offline Reinforcement Learning का सरल अवधारणाओं, उपमाओं और रूपकों के माध्यम से विवरण दिया गया है।

बड़ी समस्या: "सुरक्षित लेकिन फंसा हुआ" रोबोट

कल्पना कीजिए कि आप एक इंसान के चलने के वीडियो रिकॉर्डिंग का उपयोग करके एक रोबोट को चलना सिखाने की कोशिश कर रहे हैं। आप रोबोट को वास्तविक दुनिया में अभ्यास करने की अनुमति नहीं दे सकते क्योंकि वह गिर सकता है और कुछ तोड़ सकता है (यह Offline Reinforcement Learning है)।

समस्या यह है कि वीडियो रिकॉर्डिंग (डेटासेट) केवल यह दिखा सकती है कि इंसान धीरे चल रहा है या एक विशिष्ट, सुरक्षित पथ पर चल रहा है। यह शायद यह नहीं दिखा सकता कि इंसान दौड़ रहा है या कोई छोटा रास्ता ले रहा है जो वास्तव में तेज़ और सुरक्षित है, लेकिन वीडियो में मौजूद नहीं था।

रूढ़िवादी दृष्टिकोण (The Conservative Approach): अधिकांश वर्तमान तरीके कहते हैं, "रोबोट केवल वही कर सकता है जो उसने वीडियो में देखा है।" यह सुरक्षित है, लेकिन रोबोट कभी दौड़ना या शॉर्टकट लेना नहीं सीख पाता। वह "सुरक्षित क्षेत्र" में ही फंसा रह जाता है।
जोखिम भरा दृष्टिकोण (The Risky Approach): यदि आप रोबोट को बिना किसी सीमा के कहते हैं, "सबसे अच्छा रास्ता खोजो!", तो वह बेतरतीब ढंग से अनुमान लगाने लगेगा, छत पर चलने की कोशिश करेगा और दीवार से टकरा जाएगा (इसे extrapolation error कहा जाता है)।

समाधान: ISEP (एक "सुरक्षित पुल" बनाने वाला)

लेखक ISEP (Implicit Support Expansion via stochastic Policy optimization) का प्रस्ताव करते हैं। ISEP को एक स्मार्ट शिक्षक के रूप में सोचें जो ज्ञात वीडियो डेटा से अज्ञात, बेहतर पथों तक एक सुरक्षित पुल बनाता है।

यह यहाँ कैसे काम करता है, चरण-दर-चरण देखें:

1. "हाइब्रिड मैप" (Implicit Support Expansion)

आमतौर पर, एक रोबोट का दुनिया का "मैप" (नक्शा) सख्ती से उन्हीं स्थानों तक सीमित होता है जहाँ वीडियो डेटा मौजूद है।

ISEP क्या करता है: यह एक "हाइब्रिड मैप" बनाता है। यह वास्तविक वीडियो डेटा (सुरक्षित स्थानों) को देखता है लेकिन साथ ही रोबोट से पूछता है, "क्या होगा अगर तुम यह नया मूव आज़माओ?"
उपमा: कल्पना करें कि आप एक जंगल में हाइकिंग कर रहे हैं और आपके पास एक नक्शा है जो केवल मुख्य रास्तों को दिखाता है। ISEP एक गाइड की तरह है जो कहता है, "नक्शा मुख्य रास्ते को दिखाता है, लेकिन मैंने कुछ साइड पाथ भी चेक किए हैं जो आशाजनक लग रहे हैं। आइए मुख्य नक्शे को उन साइड पाथ के साथ मिलाकर एक नया, थोड़ा बड़ा नक्शा बनाएं।"
सुरक्षा जांच: गाइड आपको खतरनाक दलदल में भटकने नहीं देता। वे केवल मैप को उन क्षेत्रों में विस्तारित करते हैं जो सुरक्षित और उच्च-पुरस्कार (high-reward) वाले दिखते हैं, यह सुनिश्चित करते हुए कि रोबोट गलती से खाई में न गिर जाए।

2. "दो-मोड" की समस्या (क्यों औसत निकालना विफल रहता है)

यह इस पेपर का सबसे महत्वपूर्ण हिस्सा है।

परिदृश्य: कल्पना करें कि रोबोट के पास दो अच्छे विकल्प हैं:
1. विकल्प A: धीरे चलना (वीडियो से)।
2. विकल्प B: तेज़ दौड़ना (रोबोट द्वारा खोजा गया एक नया, बेहतर विचार)।
गलती (Deterministic Averaging): यदि आप रोबोट को इन दोनों का "औसत" (average) निकालने के लिए कहते हैं, तो वह इनके बीच का कुछ करने की कोशिश कर सकता है, जैसे कि "अजीब तरीके से जॉगिंग करना।" वास्तविक दुनिया में, यह "बीच का" एक्शन एक आपदा हो सकता है (जैसे अपने ही पैरों में उलझकर गिर जाना)। इसे Mode Collapse कहा जाता है।
ISEP का समाधान (Stochastic Selection): रोबोट को एक "बीच का" एक्शन चुनने के लिए मजबूर करने के बजाय, ISEP हर स्टेप पर एक सिक्का उछालता है।
- हेड्स (Heads): "ठीक वही करो जो वीडियो ने दिखाया था (विकल्प A)।"
- टेल्स (Tails): "उस नए, तेज़ विचार को आज़माओ (विकल्प B)।"
परिणाम: रोबोट धीरे चलने और तेज़ दौड़ने दोनों में माहिर होने के लिए सीखता है, न कि एक "अजीब जॉगर" बनने के लिए जो दोनों में से कुछ भी ठीक से नहीं कर पाता। यह व्यवहार के अलग-अलग "मोड्स" को अलग और सुरक्षित रखता है।

3. "आकार बदलने वाला" (Flow Matching)

इस कॉइन-फ्लिप रणनीति को सफल बनाने के लिए, रोबोट को एक ऐसे दिमाग की आवश्यकता है जो जटिल आकारों को संभाल सके।

पुराना तरीका: अधिकांश रोबोट एक "Gaussian" दिमाग का उपयोग करते हैं, जो एक सिंगल बेल कर्व (bell curve) की तरह है। यह केवल एक "केंद्र" वाले व्यवहार को दर्शा सकता है। यदि आपके पास दो अच्छे रास्ते हैं (धीमी चाल और तेज़ दौड़), तो बेल कर्व उन्हें बीच में एक गंदे ढेर में मिलाने की कोशिश करता है।
ISEP का तरीका: वे Flow Matching (विशेष रूप से Conditional Flow Matching) का उपयोग करते हैं।
उपमा: एक Gaussian पॉलिसी को स्याही की एक बूंद की तरह समझें जो फैल जाती है। ISEP का Flow Matching आकार बदलने वाली मिट्टी (shape-shifting clay) की तरह है। यह दो अलग-अलग द्वीपों (एक धीमी चाल के लिए और एक दौड़ने के लिए) में खुद को ढाल सकता है बिना बीच में दलदल बनाए। यह रोबोट को दोनों रणनीतियों को एक साथ अलग-अलग बनाए रखने की अनुमति देता है।

"डायल" (पैरामीटर p)

पेपर एक कंट्रोल नॉब पेश करता है जिसे $p$ कहा जाता है।

$p = 0$ : रोबोट डरपोक है। यह केवल वही करता है जो उसने वीडियो में देखा है। यह सुरक्षित है लेकिन सब-ऑप्टिमल (कम कुशल) है।
$p = 1$ : रोबोट लापरवाह है। यह वीडियो को अनदेखा करता है और बेतहाशा अनुमान लगाता है। यह सबसे अच्छा रास्ता ढूंढ सकता है, लेकिन यह टकरा भी सकता है।
$p = 0.3$ या $0.5$: यह "गोल्डिलॉक्स" ज़ोन (Goldilocks zone) है। रोबोट ज्यादातर वीडियो पर टिका रहता है लेकिन कभी-कभी नए, बेहतर मूव्स आज़माता है। पेपर गणितीय रूप से सिद्ध करता है कि यदि आप इस डायल को सही ढंग से सेट करते हैं, तो रोबोट एक्सप्लोर करते समय भी गारंटीड रूप से नहीं टकराएगा।

परिणामों का सारांश

लेखकों ने मानक रोबोट कार्यों (जैसे चलना, कूदना और वस्तुओं को नियंत्रित करना) पर इसका परीक्षण किया।

परिणाम: ISEP (और इसका उन्नत संस्करण, ISEP-FM) लगातार अन्य तरीकों से बेहतर प्रदर्शन करता है।
क्यों? इसने सब-ऑप्टिमल डेटा (धीमी चाल) के "जाल" से निकलने और बेहतर प्रदर्शन के "द्वीप" (तेज़ दौड़ना) को खोजने में महारत हासिल की, वह भी खराब अनुमानों के "खतरे वाले क्षेत्र" में गिरे बिना।

मुख्य निष्कर्ष (Takeaway)

ISEP एक ऐसा तरीका है जो AI को एक स्थिर डेटासेट से सीखने में मदद करता है बिना उसमें फंसे। यह इसे निम्न प्रकार से करता है:

आशाजनक नए विचारों को शामिल करने के लिए "सुरक्षित क्षेत्र" को धीरे से विस्तारित करता है।
अच्छे विचारों को आपस में मिलने से रोकने के लिए "सिक्का उछालने" (coin flip) की रणनीति का उपयोग करता है।
उन अच्छे विचारों को अलग रखने के लिए एक लचीले "आकार बदलने वाले" दिमाग का उपयोग करता है।

यह एक छात्र को केवल पाठ्यपुस्तक रटने के बजाय, इमारत से बाहर कदम रखे बिना, सबसे अच्छे उत्तर खोजने के लिए सुरक्षित रूप से लाइब्रेरी तलाशने के लिए सिखाने जैसा है।

तकनीकी सारांश: ISEP – ऑफलाइन सुदृढीकरण शिक्षण (Reinforcement Learning) के लिए अंतर्निहित समर्थन विस्तार (Implicit Support Expansion)

1. समस्या विवरण (Problem Statement)

ऑफलाइन सुदृढीकरण शिक्षण (Offline RL) का लक्ष्य बिना ऑनलाइन इंटरेक्शन के स्थिर डेटासेट से प्रभावी नीतियों (policies) को सीखना है, जो रोबोटिक्स और स्वास्थ्य सेवा जैसे उच्च-जोखिम वाले क्षेत्रों के लिए अत्यंत महत्वपूर्ण है। इस परिवेश में एक मौलिक चुनौती रूढ़िवादिता (conservatism) (वैध मूल्य अनुमान सुनिश्चित करने के लिए डेटासेट के समर्थन के भीतर रहना) और आशावाद (optimism) (बेहतर व्यवहार खोजने के लिए उप-इष्टतम डेटा से आगे बढ़ना) के बीच का तनाव है।

मौजूदा विधियाँ आमतौर पर सख्त 'सपोर्ट कंस्ट्रेंट्स' लागू करके इसका समाधान करती हैं: जैसे इन-सैंपल ट्रांजिशन तक अपडेट को सीमित करना, या व्यवहार नीति (behavior policy) के समर्थन तक क्रियाओं (actions) को प्रतिबंधित करना, या अत्यधिक अनुमानित क्रिटिक मूल्यों को दंडित करना। जबकि ये बाधाएं सुरक्षा सुनिश्चित करती हैं, वे अक्सर उच्च-पुरस्कार वाले व्यवहारों को दबा देती हैं जो डेटासेट में विरल (sparsely represented) होते हैं। यह "डेंसिटी बायस" (density bias) इष्टतम नीतियों की खोज को रोकता है, विशेष रूपकर तब जब इष्टतम प्रक्षेपवक्र (trajectory) में पर्याप्त डेटा घनत्व की कमी हो। इसके अतिरिक्त, रूढ़िवादी डेटा और आशावादी प्रस्तावों के बीच मानक नियत इंटरपोलेशन (deterministic interpolation) अक्सर मोड कोलैप्स (mode collapse) की ओर ले जाता है, जहाँ नीति विभिन्न वैध क्रियाओं का औसत निकालकर एक निम्न-मूल्य वाली, अमान्य क्रिया उत्पन्न कर देती है जो डेटा मैनिफोल्ड से बाहर होती है।

2. कार्यप्रणाली (Methodology)

लेखक ISEP (स्टोकेस्टिक पॉलिसी ऑप्टिमाइज़ेशन के माध्यम से अंतर्निहित समर्थन विस्तार) का प्रस्ताव करते हैं, जो एक ऐसा ढांचा है जिसे स्थिर डेटासेट से सुरक्षित रूप से विस्तार करने के लिए डिज़ाइन किया गया है। ISEP तीन जुड़े हुए नवाचारों के माध्यम से कार्य करता है:

2.1 इंटरपोलेटेड वैल्यू एस्टीमेशन (अंतर्निहित समर्थन विस्तार)

डेटासेट वितरण को एक कठोर सीमा मानने के बजाय, ISEP वैल्यू फंक्शन के वैध समर्थन को उन उच्च-मूल्य वाली क्रियाओं तक शामिल करने के लिए अंतर्निहित रूप से विस्तारित करता है जो वैध तो हैं लेकिन विरल हैं। यह $V_\psi$ के लिए एक हाइब्रिड ऑब्जेक्टिव फंक्शन के माध्यम से प्राप्त किया जाता है:

$L_V(\psi) = (1 - p)\mathbb{E}_{(s,a)\sim D} [L_\tau^2(\hat{Q}_\theta(s, a) - V_\psi(s))] + p\mathbb{E}_{s\sim D, \hat{a}\sim \pi_\phi} [(\hat{Q}_\theta(s, \hat{a}) - V_\psi(s))^2]$

पहला पद (Term 1): एसिमेट्रिक एक्सपेक्टाइल लॉस (IQL दृष्टिकोण) का उपयोग करके वास्तविक ट्रांजिशन के साथ मूल्य अनुमानों को स्थिर (anchor) करता है।
दूसरा पद (Term 2): वर्तमान नीति $\hat{a} \sim \pi_\phi$ से सैंपल की गई क्रियाओं के साथ Q-फंक्शन को क्वेरी करके विस्तार को प्रेरित करता है।
पैरामीटर $p$ : एक नियंत्रणीय स्केलर जो सुरक्षा (इन-डिस्ट्रीब्यूशन) और अन्वेषण (पॉलिसी-जेनरेटेड) के बीच संतुलन को नियंत्रित करता है। यह तंत्र उच्च-पुरस्कार वाले क्षेत्रों को "सघन" (densify) बनाता है, जिससे नीति सुधार के लिए एक पथ निर्मित होता है।

2.2 स्टोकेस्टिक एक्शन सिलेक्शन (Stochastic Action Selection)

परिणामी ऑब्जेक्टिव की मल्टीमॉडल प्रकृति को संबोधित करने के लिए, ISEP एक स्टोकेस्टिक एक्शन सिलेक्शन रणनीति का उपयोग करता है। मानक नियत इंटरपोलेशन (ग्रेडिएंट का औसत लेना) नीति को एक रूढ़िवादी क्रिया और एक आशावादी क्रिया के अंकगणितीय माध्य की ओर धकेलता है, जो अक्सर एक निम्न-मूल्य वाले "ऑफ-मैनिफोल्ड" एक्शन का परिणाम देता है।

ISEP एक बर्नौली गेट $B \sim \text{Bernoulli}(p)$ का उपयोग करके प्रत्येक अपडेट स्टेप पर लक्ष्यों के बीच स्टोकेस्टिक रूप से बारी-बारी से बदलकर इससे बचता है:

$L_\pi(\phi) = (1 - B) \cdot \mathbb{E}_{(s,a)\sim D}[\omega(s, a) \log \pi_\phi(a|s)] + B \cdot \mathbb{E}_{s\sim D, \hat{a}\sim \pi_\phi}[\omega(s, \hat{a}) \log \pi_\phi(\hat{a}|s)]$

यह सुनिश्चित करता है कि नीति या तो विशिष्ट, वैध मोड्स (या तो रूढ़िवादी डेटा सैंपल या आशावादी प्रस्ताव) की ओर बढ़े, न कि उनके बीच के निम्न-मूल्य वाले घाटी (valley) में ढह जाए।

2.3 इंस्टेंटिएशन: ISEP-FM

चूंकि स्टोकेस्टिक रणनीति के लिए एक ऐसी नीति की आवश्यकता होती जो जटिल, मल्टीमॉडल वितरणों का प्रतिनिधित्व कर सके, लेखक इसे क्लासिफायर-फ्री गाइडेंस (CFG) के साथ कंडीशनल फ्लो मैचिंग (CFM) का उपयोग करके कार्यान्वित करते हैं।

फ्लो मॉडल को एक इष्टतमता टोकन (optimality token) $o \in \{\emptyset, 1\}$ के साथ कंडिशन किया गया है।
इन्फरेंस (inference) के समय, क्रियाएं वेलोसिटी फील्ड को गाइडेंस स्केल $w$ के साथ इंटीग्रेट करके उत्पन्न की जाती हैं, जो बेस व्यवहार वितरण और उच्च-मूल्य वाली इष्टतमता स्थिति के बीच गतिशील नियंत्रण की अनुमति देता है।

3. सैद्धांतिक गारंटी (Theoretical Guarantees)

पेपर एक सैद्धांतिक विश्लेषण प्रदान करता है जो दर्शाता है कि ISEP बाउंडेड वैल्यू एरर (bounded value error) की गारंटी देता है। परिमित सैंपल साइज (Expectile Gap) और डेटासेट की उप-इष्टतमता (sub-optimality) की धारणाओं के तहत, लेखक सिद्ध करते हैं कि यदि इंटरपोलेशन पैरामीटर $p$ डेटासेट की विशेषताओं से प्राप्त एक विशिष्ट सीमा को संतुष्ट करता है:

$p \leq \frac{\delta_\tau + \delta_{sub}}{V_{max} - V^*(s) + \delta_\tau + \delta_{sub}}$

तो, कम से कम $\eta$ प्रायिकता के साथ (जो डेटासेट की गुणवत्ता द्वारा निर्धारित होता है), सीखा गया वैल्यू फंक्शन $\hat{V}(s)$ , इष्टतम स्टेट वैल्यू $V^*(s)$ द्वारा ऊपरी रूप से सीमित (upper-bounded) रहता है। यह $p$ को एक कठोर सुरक्षा तंत्र के रूप में स्थापित करता है जो नियंत्रित विस्तार को सक्षम करते हुए विनाशकारी विचलन (catastrophic divergence) को रोकता है।

4. प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने D4RL बेंचमार्क पर ISEP और इसके फ्लो-मैचिंग वेरिएंट (ISEP-FM) का मूल्यांकन किया, जिसमें Gym-MuJoCo लोकोमोशन, Adroit रोबोटिक हैंड मैनिपुलेशन और किचन सीक्वेंशियल ऑब्जेक्ट मैनिपुलेशन शामिल हैं।

प्रदर्शन (Performance): ISEP-FM ने कई वातावरणों में स्टेट-ऑफ-द-आर्ट परिणाम प्राप्त किए। उदाहरण के लिए, hopper-med-rep पर, इसने 104.5 का नॉर्मलाइज्ड स्कोर प्राप्त किया, जो मजबूत बेसलाइन्स जैसे QIPO (101.2) और IDQL (82.4) से बेहतर है। halfcheetah-med पर, इसने 59.9 स्कोर किया, जो पिछले सर्वश्रेष्ठ 54.1 से अधिक है।
एब्लेशन स्टडीज (Ablation Studies):
- पैरामीटर $p$ : मध्यम मान ( $p \in \{0.3, 0.5\}$ ) लगातार उच्चतम स्कोर प्रदान करते हैं। आक्रामक मान ( $p \geq 0.9$ ) विनाशकारी विचलन (catastrophic divergence) की ओर ले जाते हैं, जो "मिडल-ग्राउंड" दृष्टिकोण की आवश्यकता की पुष्टि करते हैं।
- स्टोकेस्टिक बनाम नियत (Deterministic): नियत इंटरपोलेशन के स्थान पर स्टोकेस्टिक चयन का उपयोग करने से प्रदर्शन में महत्वपूर्ण गिरावट आई, जो यह प्रमाणित करता है कि सरल औसत (naive averaging) गैर-कॉन्वेक्स (non-convex) लैंडस्केप में विफल रहता है।
- सपोर्ट विस्तार (Support Expansion): t-SNE विज़ुअलाइज़ेशन ने पुष्टि की कि ISEP सफलतापूर्वक क्रिया समर्थन (action support) को उन विरल, उच्च-पुरस्कार वाले क्षेत्रों में विस्तारित करता है जहाँ सख्त इन-डिस्ट्रीब्यूशन विधियाँ (जैसे $p=0$ के साथ IQL) डेंसिटी बायस के कारण नहीं पहुँच पाती हैं।

5. महत्व और दावे (Significance and Claims)

पेपर दावा करता है कि ISEP उन ऑफलाइन RL विधियों की महत्वपूर्ण सीमा को संबोधित करता है जो डेटासेट वितरणों को कठोर सीमाओं के रूप में मानती हैं। इन-डिस्ट्रीब्यूशन डेटा और पॉलिसी सैंपल्स के बीच इंटरपोलेटेड वैल्यू फंक्शन के माध्यम से अंतर्निहित रूप से व्यवहार्य एक्शन सपोर्ट का विस्तार करके, ISEP बिना किसी स्पष्ट बाधा या जटिल दो-चरणीय पाइपलाइन के उच्च-पुरस्कार वाले क्षेत्रों को "सघन" बनाता है।

इस कार्य का महत्व इसकी क्षमता में निहित है:

सुरक्षा और आशावाद के बीच के अंतर को पाटना, जिससे एजेंटों को स्टेट-एक्शन स्पेस के विरल क्षेत्रों में बेहतर क्रियाओं की खोज करने की अनुमति मिलती है।
गैर-कॉन्वेक्स लैंडस्केप में मोड कोलैप्स को रोकना, एक नवीन स्टोकेस्टिक एक्शन सिलेक्शन रणनीति के माध्यम से, जो मल्टीमॉडल पॉलिसी लर्निंग के लिए आवश्यक है।
सैद्धांतिक सुरक्षा गारंटी प्रदान करना, यह दिखाना कि जब डेटासेट की गुणवत्ता के अनुसार इंटरपोलेशन पैरामीटर को ट्यून किया जाता है, तो वैल्यू अनुमान आउट-ऑफ-डिस्ट्रीब्यूशन क्रियाओं के बावजूद ऊपरी रूप से सीमित रहते हैं।

लेखक निष्कर्ष निकालते हैं कि सपोर्ट विस्तार को आधुनिक जेनेरेटिव मॉडल्स (Flow Matching) की अभिव्यक्ति (expressivity) के साथ जोड़ना, ऑफलाइन RL एजेंटों को सुरक्षा से समझौता किए बिना बेहतर व्यवहारों को प्रभावी ढंग से खोजने में सक्षम बनाता है।