🤖 AI

EXPO: Stable Reinforcement Learning with Expressive Policies

यह शोध पत्र एक्सप्रेसिव पॉलिसी ऑप्टिमाइज़ेशन (EXPO) का प्रस्ताव करता है, जो एक सैंपल-कुशल ऑनलाइन सुदृढीकरण शिक्षण (reinforcement learning) एल्गोरिदम है, जो वैल्यू मैक्सिमाइजेशन को जटिल बेस पॉलिसी से अलग करके और इसके बजाय ऑन-द-फ्लाई (on-the-fly) क्रियाओं को अनुकूलित करने के लिए एक लाइटवेट गॉसियन एडिट पॉलिसी का उपयोग करके एक्सप्रेसिव पॉलिसियों के प्रशिक्षण को स्थिर करता है, जिससे ऑफलाइन डेटा के साथ फाइन-ट्यूनिंग और ऑनलाइन प्रशिक्षण दोनों के लिए सैंपल दक्षता में महत्वपूर्ण सुधार प्राप्त होता है।

मूल लेखक: Perry Dong, Qiyang Li, Dorsa Sadigh, Chelsea Finn

प्रकाशित 2026-05-01

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Perry Dong, Qiyang Li, Dorsa Sadigh, Chelsea Finn

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को एक जटिल कार्य करना सिखाने की कोशिश कर रहे हैं, जैसे कि सुई में धागा पिरोना या भूलभुलैया (maze) से बाहर निकलना। आपके पास दो मुख्य उपकरण हैं: वीडियो का एक विशाल पुस्तकालय जो मनुष्यों को वह कार्य करते हुए दिखाता है (ऑफलाइन डेटासेट) और एक तरीका जिससे रोबोट वास्तविक समय में अपनी गलतियों से सीख सके और चीजें आजमा सके (ऑनलाइन रीइन्फोर्समेंट लर्निंग)।

यह शोध पत्र एक नई विधि पेश करता है जिसे EXPO (एक्सप्रेसिव पॉलिसी ऑप्टिमाइज़ेशन) कहा जाता है, जो एक विशिष्ट समस्या को हल करती है: आप एक ऐसे रोबोट को कैसे सिखा सकते हैं जो पहले से ही मानवीय गतिविधियों की नकल करने में बहुत कुशल है (वीडियो लाइब्रेरी के माध्यम से), और उसे बिना खराब किए और भी बेहतर और विश्वसनीय कैसे बनाया जाए?

यहाँ समस्या और समाधान का सरल विवरण दिया गया है, जिसमें रोजमर्रा के उदाहरणों का उपयोग किया गया है।

समस्या: "अति-जटिल" कलाकार

अधिकांश मानक रोबोट प्रशिक्षण विधियाँ सरल, "गौसियन" (Gaussian) पॉलिसियों का उपयोग करती हैं। इन्हें पेंट-बाय-नंबर्स किट की तरह समझें। वे स्थिर हैं, समझने में आसान हैं, और रोबند को पता होता है कि बेहतर स्कोर प्राप्त करने के लिए अपने ब्रश के स्ट्रोक को कैसे समायोजित करना है।

हालाँकि, आधुनिक रोबोट अक्सर "एक्सप्रेसिव" पॉलिसियों (जैसे डिफ्यूजन मॉडल) का उपयोग करते हैं। ये महारत हासिल कलाकारों की तरह हैं जो अविश्वसनीय रूप से जटिल और यथार्थवादी दृश्य चित्रित कर सकते हैं। उन्हें विशाल डेटासेट पर प्रशिक्षित किया जाता है ताकि वे मनुष्यों की सटीक नकल कर सकें। लेकिन यहाँ एक पेंच है:

समस्या: यदि आप एक मास्टर आर्टिस्ट को यह बताने की कोशिश करते हैं कि, "अपनी पेंटिंग की कीमत बढ़ाओ," और उन्हें अपनी पूरी 100-चरणीय रचनात्मक प्रक्रिया को बदलना पड़ता है, तो निर्देश शोर (noise) में खो जाते हैं। "ग्रेडिएंट" (निर्देश संकेत) अस्थिर हो जाता है। यह एक विशाल क्रूज शिप को एक छोटे से रडर (पतवार) से मोड़ने की कोशिश करने जैसा है; जहाज मुड़ता नहीं है, या वह अचानक मुड़कर दुर्घटनाग्रस्त हो जाता है।
परिणाम: इन जटिल रोबोटों को बेहतर प्रदर्शन के लिए सीधे अनुकूलित (optimize) करने की कोशिश करने से वे अस्थिर हो जाते हैं या वे जो सीखा है उसे भूल जाते हैं।

समाधान: "संपादक" और "चयनकर्ता"

EXPO इसे मास्टर आर्टिस्ट के जटिल मस्तिष्क को सीधे बदलने की कोशिश को रोककर हल करता है। इसके बजाय, यह एक दो-चरणीय टीम दृष्टिकोण का उपयोग करता है:

1. बेस आर्टिस्ट (स्थिर नकल करने वाला)

यह क्या है: यह मूल, जटिल रोबोट पॉलिसी है जिसे ऑफलाइन वीडियो डेटा पर प्रशिक्षित किया गया है।
भूमिका: यह एक विश्वसनीय आधार के रूप में कार्य करता है। इसे "इमिटेशन लर्निंग" का उपयोग करके प्रशिक्षित किया जाता है, जिसका अर्थ है "मनुष्यों की नकल करना।" इसे पुरस्कार (reward) को अधिकतम करने या अपने जटिल आंतरिक तर्क को बदलने के लिए नहीं कहा जाता है। यह बस वही करता रहता है जिसमें यह अच्छा है।
उपमा: इसे एक पेशेवर शेफ के रूप में सोचें जो रेसिपी के आधार पर एक परफेक्ट स्टेक बनाना जानता है। हम शेफ को खाना बनाने के तरीके को फिर से आविष्कार करने के लिए नहीं कहते; हम बस उन्हें खाना बनाने देते हैं।

2. एडिटर (हल्का-फुल्का सुधार करने वाला)

यह क्या है: एक छोटा, सरल और तेज़ पॉलिसी (एक गौसियन वितरण)।
भूमिका: यह एक सहायक शेफ (sous-chef) या स्वाद चखने वाला है। यह शेफ द्वारा पकाए गए स्टेक को देखता है और छोटे, स्थानीय समायोजन करता है। "शायद थोड़ा और नमक डालें," या "आंच थोड़ी कम करें।"
यह क्यों काम करता है: क्योंकि एडिटर सरल है और केवल छोटे बदलाव करता है (इसमें एक "दूरी प्रतिबंध" है ताकि यह व्यंजन को खराब न करे), यह बहुत स्थिर है। यह शेफ के कार्यों को उच्च पुरस्कारों की ओर धकेलना सीख जाता है, बिना उस जटिल 100-चरणीय कुकिंग प्रक्रिया को समझे।
उपमा: एडिटर एक जीपीएस (GPS) की तरह है जो पहले से गाड़ी चलाना जानने वाले ड्राइवर को छोटे मोड़-दर-मोड़ निर्देश देता है। जीपीएस कार नहीं चलाता; यह केवल छोटे कोर्स सुधार सुझाता है।

3. "ऑन-द-फ्लाई" सेलेक्टर (मैनेजर)

यह क्या है: एक निर्णय लेने वाला चरण जो हर बार जब रोबोट को कार्य करने की आवश्यकता होती है, तब तुरंत होता है।
भूमिका: सिस्टम बेस आर्टिस्ट से कुछ विचार (क्रियाएं) मांगता है और एडिटर से उन विचारों को सुधारने के लिए कहता है। फिर, यह सभी विकल्पों (मूल और संशोधित) को देखता है और उस विकल्प को चुनता है जिसे "वैल्यू फंक्शन" (स्कोरकीपर) सबसे अच्छा बताता है।
उपमा: एक टैलेंट शो जज की कल्पना करें। जज गाना दोबारा नहीं लिखता। इसके बजाय, गायक (बेस आर्टिस्ट) प्रदर्शन करता है, एक साउंड इंजीनियर (एडिटर) वॉल्यूम में मामूली बदलाव करता है, और जज उस संस्करण को चुनता है जो सुनने में सबसे अच्छा लगता है। जज फिर अगली बार सीखने के लिए उसी "सर्वश्रेष्ठ संस्करण" का उपयोग करता है।

यह एक बड़ी बात क्यों है?

शोध पत्र का दावा है कि "जटिल मस्तिष्क" (बेस) को "अनुकूलन" (एडिटर) से अलग करके, EXPO दो प्रमुख जीत हासिल करता है:

स्थिरता (Stability): आपको डिफ्यूजन मॉडल के जटिल गणित से लड़ने की आवश्यकता नहीं है। आप बस आउटपुट को थोड़ा सा बदलते हैं, जो बहुत सुरक्षित है।
दक्षता (Efficiency): रोबोट पिछले तरीकों की तुलना में 2 से 3 गुना तेज़ी से सीखता है। यह एक अच्छी शुरुआत पाने के लिए ऑफलाइन डेटा का उपयोग करता है, और उन कौशलों को तेजी से परिष्कृत करने के लिए ऑनलाइन "एडिटर" का उपयोग करता है ताकि कोई दुर्घटना न हो।

"एंट्रॉपी" बोनस (जब डेटा कम हो)

शोध पत्र एक विशेष मोड का भी उल्लेख करता है जो तब काम आता है जब ऑफलाइन वीडियो लाइब्रेरी बहुत छोटी या उबाऊ होती है। इस स्थिति में, सिस्टम एडिटर में थोड़ी सी "रैंडमनेस" (एंट्रॉपी) जोड़ देता है।

उपमा: यदि शेफ केवल स्टेक बनाना जानता है, तो एडिटर को कहा जाता है कि "बस यह देखने के लिए कि क्या होता है, एक अजीब मसाला डालकर देखें।" यह रोबोट को उन नई चीजों को खोजने के लिए प्रोत्साहित करता है जो उसने वीडियो में नहीं देखी हैं, जिससे वह एक ही ढर्रे में फंसने से बच जाता है।

सारांश

EXPO एक ऐसी विधि है जो आपको एक अत्यधिक जटिल, पूर्व-प्रशिक्षित रोबोट ( "मास्टर आर्टिस्ट") को लेने और उसे बिना खराब किए वास्तविक दुनिया के प्रदर्शन के लिए फाइन-ट्यून करने की अनुमति देती है। यह इसे जटिल रोबोट को स्थिर रखकर और छोटे, स्मार्ट समायोजन करने के लिए एक छोटे, सरल "एडिटर" का उपयोग करके करता है। सिस्टम फिर इन समायोजनों से प्राप्त सर्वोत्तम परिणाम को चुनने के लिए उपयोग करता है।

परिणामस्वरूप, रोबोट तेजी से, अधिक स्थिरता के साथ सीखता है, और उन जटिल कार्यों को संभाल सकता है जिन्हें सुधारने में पिछले तरीके संघर्ष करते थे।

यहाँ शोध पत्र "EXPO: Stable Reinforcement Learning with Expressive Policies" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

यह शोध पत्र एक ऑफलाइन डेटासेट का उपयोग करके एक्सप्रेसिव पॉलिसियों (जैसे डिफ्यूजन मॉडल, फ्लो-मैचिंग पॉलिसियाँ) को ऑनलाइन रिइन्फोर्समेंट लर्निंग (RL) के माध्यम से फाइन-ट्यून करने की चुनौती का समाधान करता है।

मुख्य संघर्ष (The Core Conflict): जबकि एक्सप्रेसिव पॉलिसियाँ इमिटेशन लर्निंग (IL) के माध्यम से जटिल, मल्टी-मोडल एक्शन डिस्ट्रीब्यूशन को कैप्चर करने में उत्कृष्ट होती हैं, उन्हें सीधे RL के साथ ऑप्टिमाइज़ करना कठिन होता है।
अस्थिरता का मुद्दा (The Instability Issue): एक्सप्रेसिव पॉलिसियाँ लंबे डीनॉइजिंग स्टेप्स (denoising steps) द्वारा पैरामीटराइज़ की जाती हैं। वैल्यू फंक्शन (Q-function) से पॉलिसी पैरामीटर्स को अपडेट करने के लिए इन लंबी श्रृंखलाओं के माध्यम से सीधे बैकप्रोपैगेशन करना अनस्टेबल ग्रेडिएंट प्रोपेगेशन की ओर ले जाता है, जिससे स्थिर वैल्यू मैक्सिमाइजेशन लगभग असंभव हो जाता है।
अंतराल (The Gap): मौजूदा ऑनलाइन RL विधियाँ सरल गौसियन पॉलिसियों के लिए डिज़ाइन की गई हैं और वे प्री-ट्रेंड एक्सप्रेसिव मॉडल्स की क्षमता का लाभ उठाने में विफल रहती हैं। इसके विपरीत, एक्सप्रेसिव पॉलिसियों को फाइन-ट्यून करने का प्रयास करने वाली विधियाँ अक्सर कन्वर्जेंस या सैंपल एफिशिएंसी के साथ संघर्ष करती हैं।

2. कार्यप्रणाली: EXPO (Expressive Policy Optimization)

लेखक EXPO का प्रस्ताव करते हैं, जो एक सैंपल-एफिशिएंट ऑनलाइन RL एल्गोरिदम है जो एक्सप्रेसिव पॉलिसी को डायरेक्ट वैल्यू ऑप्टिमाइजेशन से अलग (decouple) करता है। वैल्यू फंक्शन के विरुद्ध एक्सप्रेसिव पॉलिसी को ऑप्टिमाइज़ करने के बजाय, EXPO एक "ऑन-द-फ्लाई" (OTF) पॉलिसी का निर्माण करता है जो दो अलग-अलग घटकों का उपयोग करके वैल्यू को मैक्सिमाइज़ करती है:

A. दो-घटक पॉलिसी आर्किटेक्चर (Two-Component Policy Architecture)

बेस एक्सप्रेसिव पॉलिसी ( $\pi_{base}$ ):
- भूमिका: ऑफलाइन डेटासेट के आधार पर विविध, उच्च-गुणवत्ता वाले एक्शन कैंडिडेट जेनरेट करती है।
- प्रशिक्षण: इसे एक स्थिर इमिटेशन लर्निंग (IL) ऑब्जेक्टिव (जैसे डीनॉइजिंग डिफ्यूजन प्रोबेबिलिस्टिक मॉडल्स) का उपयोग करके प्रशिक्षित किया जाता है। इसे कभी भी स्पष्ट रूप से Q-वैल्यू को मैक्सिमाइज़ करने के लिए प्रशिक्षित नहीं किया जाता है, जिससे इसकी स्थिरता और जटिल डिस्ट्रीब्यूशन को मॉडल करने की क्षमता बनी रहती है।
लाइट-वेट एडिट पॉलिसी ( $\pi_{edit}$ ):
- भूमिका: एक छोटा, गौसियन पॉलिसी जो $\pi_{base}$ से लिए गए एक एक्शन को लेती है और Q-वैल्यू को मैक्सिमाइज़ करने के लिए उसे "एडिट" (संशोधित) करती है।
- प्रशिक्षण: इसे $Q(s, a + \hat{a})$ को मैक्सिमाइज़ करने के लिए एक मानक एंट्रॉपी-रेगुलराइज्ड RL लॉस के साथ प्रशिक्षित किया जाता है।
- प्रतिबंध (Constraint): एक एडिट डिस्टेंस कंस्ट्रेंट ( $\hat{a}$ को $[-\beta, \beta]$ तक स्केल करना) यह सुनिश्चित करता है कि संपादन स्थानीय (local) रहें, जिससे पॉलिसी व्यवहार वितरण (behavior distribution) से बहुत दूर न जाए। यह एडिट पॉलिसी को एक सरल, स्थानीय ऑप्टिमाइजेशन समस्या हल करने की अनुमति देता है।

B. ऑन-द-फ्लाई (OTF) पॉलिसी एक्सट्रैक्शन

$\pi_{base}$ के पैरामीटर्स को Q-फंक्शन के साथ अलाइन करने के लिए अपडेट करने के बजाय, EXPO इंफरेंस और ट्रेनिंग के समय एक डायनेमिक पॉलिसी $\pi_{OTF}$ का निर्माण करता है:

सैंपलिंग: $\pi_{base}$ से $N$ एक्शन सैंपल करें।
एडिटिंग: प्रत्येक एक्शन पर $\pi_{edit}$ लागू करें ताकि $N$ एडिटेड कैंडिडेट जेनरेट हों।
चयन (Selection): मूल और एडिटेड कैंडिडेट में से उच्चतम Q-वैल्यू वाले एकल एक्शन का चयन करें।
- इस चयनित एक्शन का उपयोग एन्वायरमेंट इंटरैक्शन (सैंपलिंग) और टेम्पोरल-डिफरेंस (TD) बैकअप टारगेट्स दोनों के लिए किया जाता है।

C. डेटा-लिमिटेड रिजीम्स के लिए एंट्रॉपी बैकअप

उन परिदृश्यों में जहाँ ऑफलाइन डेटासेट छोटा है, लेखक एक एंट्रॉपी बैकअप पेश करते हैं। चूंकि एक्सप्रेसिव पॉलिसियों (जैसे डिफ्यूजन) में क्लोज्ड-फॉर्म एंट्रॉपी का अभाव होता है, वे $N$ कैंडिडेट एक्शन्स पर आधारित एक सॉफ्ट सैंपलिंग डिस्ट्रीब्यूशन का निर्माण करते हैं जो उनके Q-वैल्यू द्वारा भारित (weighted) होते हैं। यह एंट्रॉपी रेगुलराइजेशन की अनुमति देता है जो बेस पॉलिसी के लिए क्लोज्ड-फॉर्म एंट्रॉपी गणना की आवश्यकता के बिना एक्सप्लोरेशन को प्रोत्साहित करता है।

3. मुख्य योगदान (Key Contributions)

स्थिर वैल्यू मैक्सिमाइजेशन: पेपर में यह पहचाना गया है कि एक्सप्रेसिव पॉलिसी के डीनॉइजिंग चेन के माध्यम से सीधे ग्रेडिएंट प्रोपेगेशन से बचना स्थिरता की कुंजी है। एक्सप्रेसिव पॉलिसी को एक छोटे, स्थानीय एडिट पॉलिसी पर वैल्यू मैक्सिमाइजेशन को सौंपकर, EXPO स्थिर प्रशिक्षण प्राप्त करता है।
डीकप्ल्ड ऑप्टिमाइजेशन: यह विधि जटिल व्यवहार वितरण के मॉडलिंग (जिसे IL के माध्यम से $\pi_{base}$ द्वारा संभाला जाता है) को वैल्यू मैक्सिमाइजेशन (जिसे RL के माध्यम से $\pi_{edit}$ द्वारा संभाला जाता है) से अलग करती है।
ऑन-द-फ्लाई एक्सट्रैक्शन: सैंपलिंग और TD बैकअप दोनों के लिए OTF पॉलिसी का उपयोग यह सुनिश्चित करता है कि Q-फंक्शन में परिवर्तन तुरंत एजेंट के व्यवहार में प्रतिबिंबित हो, उन विधियों के विपरीत जिन्हें पॉलिसी को Q-फंक्शन के साथ अलाइन करने के लिए धीमे पैरामीटर अपडेट की आवश्यकता होती है।
पॉलिसी एग्नोस्टिक (Policy Agnostic): हालांकि इसे डिफ्यूजन पॉलिसियों के साथ प्रदर्शित किया गया है, लेकिन यह फ्रेमवर्क एक्सप्रेसिव बेस पॉलिसी के विशिष्ट पैरामीटराइजेशन के प्रति तटस्थ (agnostic) है।

4. प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने 4 डोमेन (Antmaze, Adroit, Robomimic, MimicGen) में 12 चुनौतीपूर्ण कंटीन्यूअस कंट्रोल टास्क पर EXPO का मूल्यांकन किया, जिनमें सभी में स्पार्स रिवॉर्ड्स (sparse rewards) थे।

सैंपल एफिशिएंसी: EXPO ने पिछले स्टेट-ऑफ-द-आर्ट तरीकों (IDQL, Cal-QL, DAC, और RLPD सहित) की तुलना में औसतन 2-3 गुना सुधार में सैंपल एफिशिएंसी हासिल की।
ऑफलाइन-टू-ऑनलाइन फाइन-ट्यूनिंग:
- EXPO ने बिना परफॉरमेंस कोलैप्स के प्री-ट्रेंड पॉलिसियों को सफलतापूर्वक फाइन-ट्यून किया, जो एक सामान्य समस्या है जहाँ अन्य विधियाँ ऑफलाइन प्री-ट्रेनिंग से ऑनलाइन RL में जाने पर खराब प्रदर्शन करने लगती हैं।
- इसने बारीक मैनिपुलेशन कार्यों (जैसे सुई में धागा पिरोना, ब्लॉक्स को स्टैक करना) पर बेसलाइन्स को काफी बेहतर प्रदर्शन किया जहाँ सटीकता और एक्सप्लोरेशन महत्वपूर्ण हैं।
एब्लेशन स्टडीज (Ablation Studies):
- TD बैकअप में OTF: पाया गया कि TD टारगेट के लिए वैल्यू-मैक्सिमाइजिंग एक्शन्स का उपयोग करना (न कि केवल सैंपलिंग के लिए) अत्यंत महत्वपूर्ण था; मानक SARSA-जैसे अपडेट का उपयोग करने से प्रदर्शन काफी कम हो गया।
- एक्शन एडिट्स: एडिट पॉलिसी को हटाने से प्रदर्शन खराब हो गया, विशेष रूप से उन कार्यों में जिनमें संकीर्ण ऑफलाइन डेटासेट से परे एक्सप्लोरेशन की आवश्यकता थी।
- एंट्रॉपी बैकअप: डेटा-दुर्लभ परिदृश्यों में, एंट्रॉपी बैकअप तंत्र ने EXPO को एक ऐसी नीति सीखने की अनुमति दी जो मानक IL पॉलिसी के सफल होने के लिए अपर्याप्त डेटासेट के बावजूद भी लगभग पूर्ण (near-perfect) थी।

5. महत्व (Significance)

अंतराल को पाटना: EXPO शक्तिशाली, प्री-ट्रेंड जेनेरेटिव पॉलिसियों (डिफ्यूजन/फ्लो) को ऑनलाइन RL लूप में एकीकृत करने की दीर्घकालिक समस्या का एक व्यावहारिक समाधान प्रदान करता है।
रोबोटिक्स अनुप्रयोग: यह विधि रोबोटिक्स के लिए विशेष रूप से महत्वपूर्ण है, जहाँ बड़े डेटासेट्स पर प्री-ट्रेंड मॉडल आम हैं, लेकिन वास्तविक दुनिया के परिनियोजन (deployment) के लिए ऑनलाइन अनुकूलन और फाइन-ट्यूनिंग की आवश्यकता होती है जिसमें वर्तमान RL विधियाँ संघर्ष करती हैं।
दक्षता: हर ग्रेडिएंट स्टेप के लिए लंबे डीनॉइजिंग चेन्स के माध्यम से बैकप्रोपैगेट करने की कम्प्यूटेशनल लागत से बचकर, EXPO उच्च-प्रदर्शन वाले RL फाइन-ट्यूनिंग के लिए एक कम्प्यूटेशनल रूप से व्यवहार्य मार्ग प्रदान करता है।

सीमाएँ (Limitations): पेपर नोट करता है कि TD बैकअप के लिए कई एक्शन्स को सैंपल करना प्रति बैच कम्प्यूटेशनल रूप से महंगा है, और विधि यह मानती है कि प्रशिक्षण शुरू करने के लिए एक उचित प्रायर (ऑफलाइन डेटासेट या प्री-ट्रेंड पॉलिसी) मौजूद है।