🤖 machine learning

Peng's Q( $\lambda$ ) for Conservative Value Estimation in Offline Reinforcement Learning

यह शोध पत्र कंजर्वेटिव पेंग्स क्यू( $\lambda$ ) (CPQL) को प्रस्तुत करता है, जो एक मॉडल-फ्री ऑफलाइन मल्टी-स्टेप सुदृढीकरण शिक्षण एल्गोरिदम है जो निहित व्यवहार नियमितीकरण और निकट-इष्टतम प्रदर्शन प्राप्त करने के लिए एक कंजर्वेटिव पेंग्स क्यू( $\lambda$ ) ऑपरेटर का लाभ उठाता है, जो D4RL बेंचमार्क पर मौजूदा सिंगल-स्टेप बेसलाइनों से काफी बेहतर प्रदर्शन करता है और साथ ही ऑफलाइन-टू-ऑनलाइन लर्निंग फ्रेमवर्क को भी बढ़ाता है।

मूल लेखक: Byeongchan Kim, Min-hwan Oh

प्रकाशित 2026-05-15

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Byeongchan Kim, Min-hwan Oh

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को चलना सिखाने की कोशिश कर रहे हैं, लेकिन आपको उसे वास्तविक दुनिया में अभ्यास करने की अनुमति नहीं है। इसके बजाय, आपके पास केवल किसी और के चलने का एक विशाल वीडियो पुस्तकालय (video library) है। यह ऑफलाइन रीइन्फोर्समेंट लर्निंग (Offline Reinforcement Learning - RL) की चुनौती है। रोबोट को इन पुराने वीडियो से सीखना होगा बिना कोई नई गलती किए।

समस्या यह है कि रोबोट बहुत अधिक आत्मविश्वासी हो सकता है। वह वीडियो देख सकता है, एक ऐसा रास्ता देख सकता है जो मूल चलने वाले ने कभी नहीं लिया, और अनुमान लगा सकता है, "हे, यह एक शॉर्टकट लग रहा है!" लेकिन क्योंकि यह एक ऐसा अनुमान है जो उस डेटा पर आधारित है जिसे उसने नहीं देखा है, यह एक बहुत बुरा विचार हो सकता है जिससे रोबट गिर सकता है। इसे "आउट-ऑफ-डिस्ट्रीब्यूशन" (Out-of-Distribution - OOD) समस्या कहा जाता है।

रोबोट को बहुत अधिक आत्मविश्वासी होने से रोकने के लिए, पिछले तरीकों ने एक "डराने वाली तकनीक" (scare tactic) का उपयोग किया। उन्होंने रोबोट को बताया, "यदि तुम कुछ ऐसा करने की कोशिश करते हो जो तुमने वीडियो में नहीं देखा है, तो मान लो कि वह बहुत बुरा है और उसे बहुत कम स्कोर दो।" इसे कंजर्वेटिव क्यू-लर्निंग (Conservative Q-Learning - CQL) कहा जाता है।

डराने वाली तकनीक की समस्या:
जबकि यह रोबोट को जंगली अंदाज़ों (wild guesses) से रोकता है, यह उसे कुछ भी नया करने से भी रोक देता है। रोबोट इतना डरा हुआ हो जाता है कि वह गलतियाँ करने के डर से वीडियो में मौजूद व्यक्ति के स्तर से आगे बढ़ने से इनकार कर देता है। यह अत्यधिक निराशावादी (over-pessimistic) हो जाता है। यह एक ऐसे छात्र की तरह है जो कठिन समस्याओं को हल करने की कोशिश करने के बजाय, केवल उन्हीं आसान चीज़ों तक सीमित रहता है जिन्हें वह जानता है, क्योंकि वह गलत उत्तर देने से बहुत डरता है।

CPQL का आगमन: "स्मार्ट ट्रैवलर" (चतुर यात्री)

लेखकों ने एक नई विधि प्रस्तावित की है जिसे कंजर्वेटिव पेंग्स क्यू(λ) (CPQL) कहा जाता है। इसे समझने के लिए, आइए एक उपमा (analogy) का उपयोग करें।

उपमा: टूर गाइड बनाम मैप रीडर (नक्शा पढ़ने वाला)

पुराने तरीके (Single-Step): कल्पना कीजिए कि एक पर्यटक एक समय में एक सड़क के कोने को देखकर शहर में रास्ता खोजने की कोशिश कर रहा है। वह एक सड़क देखता है, तय करता है कि कहाँ जाना है, और फिर अगले कोने को देखता है। यदि वह गलती करता है, तो उसे वापस पीछे जाना पड़ता है। यह धीमा है और त्रुटियों के प्रति संवेदनशील है क्योंकि वे बड़ी तस्वीर (big picture) नहीं देख पाते।
नया तरीका (CPQL): अब, एक टूर गाइड की कल्पना करें जिसने पूरा रास्ता पहले ही तय कर लिया है। केवल अगले कोने को देखने के बजाय, गाइड पूरे रास्ते को देखता है। वे कहते हैं, "यदि हम इस मोड़ लेते हैं, तो हम 5 मिनट में एक पार्क में पहुँच जाएँगे, भले ही तत्काल दिखने वाली सड़क भ्रमित करने वाली लगे।"

CPQL इस "टूर गाइड" दृष्टिकोण का उपयोग करता है। केवल एक कदम (पुराने तरीकों की तरह) देखने के बजाय, यह एक साथ कई कदमों (एक "मल्टी-स्टेप" दृष्टिकोण) को देखता है। यह वातावरण के प्रवाह को समझने के लिए वीडियो लाइब्रेरी से पूरे प्रक्षेपवक्र (trajectory) का उपयोग करता है।

CPQL "डराने वाली तकनीक" को कैसे ठीक करता है

यह पूरी तस्वीर देखता है: एक क्रमबद्ध चाल (trajectory) को देखकर, रोबोट संदर्भ (context) को बेहतर ढंग से समझता है। वह जानता है कि एक अजीब दिखने वाली चाल वास्तव में एक सफल पथ का हिस्सा हो सकती है।
यह स्वाभाविक रूप से सतर्क है: CPQL के पीछे का गणित (जिसे Peng's Q(λ) ऑपरेटर कहा जाता है) में एक विशेष गुण है। यह स्वाभाविक रूप से वीडियो में मौजूद व्यक्ति के व्यवहार (behavior policy) की ओर झुकता है। इसका मतलब है कि रोबोट को सुरक्षित रहने के लिए भारी "डराने वाली तकनीक" की आवश्यकता नहीं है। यह स्वाभाविक रूप से वही रहता है जो वह जानता है कि काम करता है, लेकिन यह डर से जड़ (paralyzed) नहीं होता है।
यह "अत्यधिक निराशावाद" के जाल से बचता है: क्योंकि इसके पास सड़क का बेहतर दृश्य है (मल्टी-स्टेप व्यू), इसे कुछ नया करने के लिए खुद को बहुत कठोरता से दंडित करने की आवश्यकता नहीं है। यह यह सोचने के जाल में फंसे बिना कि हर नई चीज़ खतरनाक है, थोड़ा बेहतर पथों का पता लगा सकता है।

परिणाम: उन्होंने क्या पाया?

लेखकों ने इसका परीक्षण D4RL नामक एक प्रसिद्ध बेंचमार्क पर किया, जिसमें शामिल हैं:

MuJoCo: सिम्युलेटेड रोबोट जो चलना, कूदना या दौड़ना सीख रहे हैं।
Adroit: एक रोबोटिक हाथ जो पेन या दरवाजे जैसी वस्तुओं को नियंत्रित करना सीख रहा है।
AntMaze: एक रोबोट चींटी जो जटिल भूलभुलैया (mazes) में रास्ता खोजना सीख रही है।

निष्कर्ष:

पुराने दिग्गजों को पछाड़ना: CPQL ने लगातार सभी पिछले "सिंगल-स्टेप" तरीकों से अधिक स्कोर किया। इसने उन रोबोटों की तुलना में बेहतर चलना और दौड़ना सीखा जिन्हें पुराने "डराने वाली तकनीक" वाले तरीकों से प्रशिक्षित किया गया था।
कम संवेदनशीलता: पुराने तरीकों को अपने "डर" की सेटिंग्स को बहुत सटीक रूप से ट्यून करने की आवश्यकता थी। यदि आप डर को बहुत अधिक सेट करते हैं, तो रोबोट कुछ नहीं करता; बहुत कम सेट करते हैं, तो वह क्रैश हो जाता है। CPQL बहुत अधिक मजबूत (robust) था; यह तब भी अच्छा काम करता था जब आपने सेटिंग्स को पूरी तरह से ट्यून नहीं किया था।
"वार्म स्टार्ट" बोनस: पेपर ने यह भी दिखाया कि यदि आप CPQL का उपयोग करके रोबोट को ऑफलाइन प्रशिक्षित करते हैं, और फिर उसे वास्तविक दुनिया (Online RL) में अभ्यास करने देते हैं, तो यह शुरुआत में क्रैश नहीं होता है। आमतौर पर, जब एक रोबोट "वीडियो लर्निंग" से "वास्तविक जीवन" में बदलता है, तो वह सब कुछ भूल जाता है और कुछ समय के लिए खराब प्रदर्शन करता है। CPQL-प्री-ट्रेन्ड रोबोटों ने इस "भूलने की बीमारी" (amnesia) चरण को छोड़ दिया और तुरंत सुधारना शुरू कर दिया।

सारांश में

CPQL को एक ऐसे छात्र के रूप में सोचें जो एक पाठ्यपुस्तक (ऑफलाइन डेटा) से सीखता है लेकिन एक स्मार्ट स्टडी गाइड का उपयोग करता है जो अध्यायों को आपस में जोड़ता है (मल्टी-स्टेप लर्निंग)। डराने वाली हर नई स्थिति से भयभीत होने के बजाय, यह छात्र संदर्भ को इतनी अच्छी तरह समझता है कि वह आत्मविश्वास के साथ उत्तर दे सके। वे केवल उत्तरों को रटते नहीं हैं; वे विषय के प्रवाह को समझते हैं, जिससे उन्हें उन छात्रों की तुलना में बेहतर प्रदर्शन करने में मदद मिलती है जो एक बार में केवल एक पृष्ठ पढ़ते हैं।

पेपर का दावा है कि यह पहली बार है जब ऐसे "मल्टी-स्टेप" दृष्टिकोण को "कंजर्वेटिव" सुरक्षा उपायों के साथ सफलतापूर्वक जोड़ा गया है ताकि ऑफलाइन लर्निंग की समस्या को हल किया जा सके, जिससे ऐसे रोबोट मिलते हैं जो सुरक्षित भी हैं और अत्यधिक कुशल भी।

तकनीकी सारांश: कंजर्वेटिव वैल्यू एस्टीमेशन के लिए पेंग का Q(λ)

1. समस्या विवरण (Problem Statement)

ऑफलाइन सुदृढीकरण शिक्षण (Reinforcement Learning - RL) अज्ञात व्यवहार नीतियों (behavior policies) द्वारा एकत्र किए गए स्थिर डेटासेट से नीतियों को सीखने का लक्ष्य रखता है, जिसमें आगे कोई वातावरण संपर्क नहीं होता है। इस सेटिंग में एक प्राथमिक चुनौती वितरणात्मक बदलाव (distributional shift) है, जहाँ सीखी गई नीति का अवस्था-क्रिया (state-action) वितरण व्यवहार नीति से विचलित हो जाता है। इसके परिणामस्वरूप एक्सट्रपोलेशन त्रुटियां (extrapolation errors) होती हैं जब बेलमैन अपडेट्स आउट-ऑफ-डिस्ट्रीब्यूशन (OOD) अवस्था-क्रिया युग्मों को क्वेरी करते हैं, जो अक्सर खराब नीति प्रदर्शन का कारण बनती हैं।

मौजूदा मॉडल-फ्री ऑफलाइन RL विधियाँ, जैसे कि कंजर्वेटिव Q-लर्निंग (CQL), इसे OOD क्रियाओं को दंडित करके (penalize) अत्यधिक निराशावाद (over-pessimism) को रोकने के लिए संबोधित करती हैं। हालाँकि, ये दृष्टिकोण अक्सर अत्यधिक निराशावाद (over-pessimism) से ग्रस्त होते हैं, जहाँ मूल्य अनुमान (value estimates) अत्यधिक कम हो जाते हैं, जिससे नीति अन्वेषण (exploration) बाधित होता है। इसके अतिरिक्त, कई अत्याधुनिक विधियाँ अज्ञात व्यवहार नीति के अनुमान या सहायक नेटवर्क (जैसे क्वांटाइल्स या स्टेट वैल्यूज के लिए) पर निर्भर करती हैं, जिससे जटिलता बढ़ती है और अनुमानित नीति एवं डेटासेट के बीच बेमेल (mismatch) होने की संभावना रहती है। साथ ही, अधिकांश मौजूदा मॉडल-फ्री ऑफलाइन विधियाँ केवल सिंगल-स्टेप टेम्पोरल-डिफरेंस (TD) लर्निंग का उपयोग करती हैं, जिससे मल्टी-स्टेप ऑफलाइन ट्रेजेक्टरीज में निहित पूर्ण जानकारी का लाभ उठाने में विफलता होती है।

2. कार्यप्रणाली: कंजर्वेटिव पेंग का Q(λ) (CPQL)

लेखक कंजर्वेटिव पेंग का Q(λ) (CPQL) प्रस्तावित करते हैं, जो एक मॉडल-फ्री ऑफलाइन मल्टी-स्टेप RL एल्गोरिदम है। CPQL कंजर्वेटिव वैल्यू एस्टीमेशन के लिए मानक बेलमैन ऑपरेटर को बदलने के लिए पेंग का Q(λ) (PQL) ऑपरेटर को अनुकूलित करता है।

मुख्य तंत्र (Core Mechanisms)

पेंग का Q(λ) ऑपरेटर: अन्य मल्टी-स्टेप ऑपरेटरों के विपरीत जो ट्रेजेक्टरीज को ट्रंकेट (truncate) करते हैं, PQL ऑपरेटर पूर्ण ट्रेजेक्टरीज का पूरा लाभ उठाता है। यह व्यवहार नीति ( $\pi_\beta$ ) और लक्षित नीति ( $\pi$ ) के बीच इंटरपोलेशन करने वाले रिकर्सन का उपयोग करके Q-फंक्शन को अपडेट करता है।
निहित व्यवहार नियमितीकरण (Implicit Behavior Regularization): एक निश्चित व्यवहार नीति वाले ऑफलाइन सेटिंग्स में, PQL ऑपरेटर का फिक्स्ड पॉइंट एक मिश्रण नीति (mixture policy), $\lambda \pi_\beta + (1-\lambda)\pi$ के Q-फंक्शन में अभिसरित (converge) होता है। क्योंकि यह फिक्स्ड पॉइंट इष्टतम नीति के वैल्यू फंक्शन की तुलना में व्यवहार नीति के वैल्यू फंक्शन के अधिक करीब होता है, यह स्वाभाविक रूप से निहित व्यवहार नियमितीकरण को प्रेरित करता है। यह फिक्स्ड पॉइंट को व्यवहार नीति के करीब लाता है, जिससे स्पष्ट व्यवहार नीति अनुमान की आवश्यकता के बिना वितरणात्मक बदलाव के प्रभाव को कम किया जाता है।
कंजर्वेटिव एकीकरण (Conservative Integration): CPQL, PQL ऑपरेटर को CQL लॉस फंक्शन में एकीकृत करता है। ऑब्जेक्टिव Q-फंक्शन और PQL टारगेट के बीच स्क्वेयर्ड एरर को कम करता है, जबकि एक कंजर्वेटिव पेनल्टी टर्म जोड़ता है जो अनुभवजन्य व्यवहार नीति के सापेक्ष सीखी गई नीति के तहत अपेक्षित Q-वैल्यू को दंडित करता है।
$\min_Q \left\{ \frac{1}{2}\mathbb{E}_{D}[(Q(s,a) - T^{\hat{\pi}_\beta, \pi}_{\lambda} Q(s,a))^2] + \alpha (\mathbb{E}_{a \sim \pi}[Q(s,a)] - \mathbb{E}_{(s,a) \sim D}[Q(s,a)]) \right\}$
एल्गोरिदम कार्यान्वयन: एल्गोरिदम ट्रेस पैरामीटर $\lambda$ का उपयोग करके रिकर्सिव रूप से टारगेट Q-वैल्यूज की गणना करने के लिए लंबाई $n$ के आंशिक ट्रेजेक्टरी का उपयोग करता है। यह ड्यूअल-क्रिटिक आर्किटेक्चर (SAC से प्रेरित) का उपयोग करता है और एंट्रॉपी टर्म द्वारा नियमित एंट्रॉपी मैक्सिमाइजेशन के माध्यम से क्रिटिक्स के न्यूनतम Q-वैल्यू को मैक्सिमाइज करने के लिए एक्टर को अपडेट करता है।

3. प्रमुख योगदान

पेपर निम्नलिखित योगदानों का दावा करता है:

प्रथम मल्टी-स्टेप ऑफलाइन एल्गोरिदम: CPQL पहला मॉडल-फ्री ऑफलाइन मल्टी-स्टेप Q-लर्निंग एल्गोरिदम है। यह अतिरिक्त मॉडल का अनुमान लगाए बिना ऑफलाइन ट्रेजेक्टरीज का पूर्ण लाभ उठाकर कंजर्वेटिव मल्टी-स्टेप वैल्यू एस्टीमेशन की प्रभावशीलता को सैद्धांतिक और अनुभवजन्य रूप से प्रदर्शित करने वाला पहला कार्य है।
सैद्धांतिक गारंटी (Theoretical Guarantees):
- लोअर बाउंड (Lower Bound): पर्याप्त बड़े कंजर्वेटिविटी पैरामीटर्स ( $\alpha$ ) के लिए सीखा गया Q-फंक्शन मिश्रण नीति के वास्तविक स्टेट वैल्यू फंक्शन का लोअर बाउंड प्रदान करता है।
- परफॉरमेंस गारंटी: CPQL द्वारा सीखी गई मिश्रण नीति व्यवहार नीति के प्रदर्शन के बराबर या उससे अधिक प्रदर्शन प्राप्त करने की गारंटी देती है।
- सब-ऑप्टिमैलिटी गैप (Sub-optimality Gap): CPQL, CQL (जहाँ $\lambda=0$ ) की तुलना में सब-ऑप्टिमैलिटी गैप को कम करता है। सैद्धांतिक विश्लेषण दिखाता है कि पैरामीटर $\lambda$ , व्यवहार नीति और लक्षित नीति के बीच संतुलन बनाता है, जो प्रभावी रूप से ओवर-प्रेसिज्म (over-pessimism) को कम करता है।
हाइपरपैरामीटर्स के प्रति मजबूती: CQL के विपरीत, जो $\alpha$ के चुनाव के प्रति अत्यधिक संवेदनशील है, CPQL $\alpha$ के विस्तृत रेंज में उच्च प्रदर्शन बनाए रखता है।
ऑफलाइन-टू-ऑनलाइन उपयोगिता: CPQL ऑफलाइन-टू-ऑनलाइन लर्निंग फ्रेमवर्क को सुगम बनाता है। CPQL के साथ प्री-ट्रेनिंग करने से ऑनलाइन PQL एजेंट को फाइन-ट्यूनिंग की शुरुआत में देखे जाने वाले विशिष्ट प्रदर्शन गिरावट से बचने में मदद मिलती है, जिससे मजबूत प्रदर्शन सुधार संभव होता है।

4. प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने D4RL बेंचमार्क पर, जिसमें MuJoCo लोकोमोशन, Adroit मैनिपुलेशन और AntMaze नेविगेशन कार्य शामिल हैं, CPQL का मूल्यांकन किया।

ऑफलाइन प्रदर्शन: CPQL ने 22 में से 29 कार्यों में मौजूदा सिंगल-स्टेप बेसलाइन्स (जिसमें TD3+BC, CQL, IQL, MCQ, MISA, CSVE, और EPQ शामिल हैं) को लगातार और महत्वपूर्ण रूप से पछाड़ दिया। इसने कई वातावरणों में, विशेष रूप से मीडियम और एक्सपर्ट डेटासेट्स में, लगभग इष्टतम प्रदर्शन प्राप्त किया।
सेंसिटिविटी एनालिसिस: प्रयोगों ने प्रदर्शित किया कि CPQL, कंजर्वेटिविटी पैरामीटर $\alpha$ के प्रति मजबूत है, जबकि CQL का प्रदर्शन $\alpha$ में छोटे बदलावों के साथ काफी उतार-चढ़ाव करता है।
मल्टी-स्टेप तुलना: अन्य मल्टी-स्टेप ऑपरेटर्स (Uncorrected N-step, Retrace, Tree-backup) के साथ कंजर्वेटिव एस्टीमेशन को मिलाने पर, CPQL ने अधिक स्थिर और प्रतिस्पर्धी प्रदर्शन हासिल किया। अन्य ऑपरेटर्स या तो गलत व्यवहार नीति अनुमान (Retrace) के कारण प्रदर्शन में गिरावट का शिकार हुए या निरंतर स्पेस में अस्थिर अपडेट (Tree-backup) का सामना किया।
ऑफलाइन-टू-ऑनलाइन: ऑफलाइन-टू-ऑनलाइन सेटिंग्स में, ऑनलाइन PQL को CPQL-प्रीट्रेन्ड Q-फंक्शन्स के साथ इनिशियलाइज करने से तेज़ अनुकूलन हुआ और CQL-to-SAC या Cal-QL जैसे अन्य तरीकों में देखी गई प्रारंभिक प्रदर्शन गिरावट से बचा जा सका।
कंप्यूटेशनल दक्षता: CPQL में सिंगल-स्टेप CQL की तुलना में केवल मामूली रनटाइम वृद्धि (लगभग 4.4% की वृद्धि) हुई और यह ऑटोएनकोडर्स या अतिरिक्त पेनल्टी एडैप्टेशन (MCQ, EPQ) की आवश्यकता वाले तरीकों की तुलना में अधिक कुशल था।

5. महत्व और दावे (Significance and Claims)

यह पेपर CPQL को कंजर्वेटिव मेथड्स में निहित ओवर-प्रेसिमिस्टिक वैल्यू एस्टीमेशन समस्या को संबोधित करके ऑफलाइन RL में एक मील का पत्थर मानता है। PQL ऑपरेटर का लाभ उठाकर, CPQL एक ऐसा संतुलन प्राप्त करता है जहाँ वैल्यू फंक्शन का फिक्स्ड पॉइंट स्वाभाविक रूप से व्यवहार नीति की ओर नियमित (regularized) होता है, जिससे आक्रामक कंजर्वेटिविटी या जटिल सहायक नेटवर्क की आवश्यकता कम हो जाती है।

लेखक दावा करते हैं कि CPQL लगभग इष्टतम प्रदर्शन गारंटी (near-optimal performance guarantees) प्रदान करता है जो पिछले कंजर्वेटिव दृष्टिकोण प्राप्त नहीं कर सके थे, विशेष रूप से व्यवहार नीति के सापेक्ष सब-ऑप्टिमैलिटी गैप को कम करके। इसके अलावा, ऑनलाइन फाइन-ट्यूनिंग के लिए एक मजबूत प्री-ट्रेनिंग स्टेप के रूप में इसकी क्षमता ऑनलाइन और ऑफलाइन RL के बीच के अंतर को पाटने की इसकी उपयोगिता को उजागर करती है, जो ऑनलाइन एजेंटों में "कोल्ड स्टार्ट" समस्या के समाधान के रूप में कार्य करती है।

पेपर निष्कर्ष निकालता है कि हालांकि CPQL में मल्टी-स्टेप बैकअप के कारण थोड़ा कंप्यूटेशनल खर्च होता है, लेकिन यह खर्च प्रदर्शन में महत्वपूर्ण सुधार और व्यवहार नीति अनुमान या जटिल नेटवर्क आर्किटेक्चर की आवश्यकता के उन्मूलन की तुलना में नगण्य है।