🤖 AI

Long-Horizon Q-Learning: Accurate Value Learning via n-Step Inequalities

यह शोध पत्र लॉन्ग-होरिज़न Q-लर्निंग (LQL) प्रस्तुत करता है, जो एक ऐसी विधि है जो हिंज लॉस के माध्यम से n-स्टेप ऑप्टिमैलिटी असमानताओं के उल्लंघन को दंडित करके ऑफ-पॉलिसी वैल्यू लर्निंग को स्थिर करती है, जिससे संचयी बूटस्ट्रैपिंग त्रुटियों को कम किया जा सके और बिना किसी अतिरिक्त कम्प्यूटेशनल ओवरहेड के मानक TD दृष्टिकोणों से बेहतर प्रदर्शन किया जा सके।

मूल लेखक: Armaan A. Abraham, Lucy Xiaoyang Shi, Chelsea Finn

प्रकाशित 2026-05-08

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Armaan A. Abraham, Lucy Xiaoyang Shi, Chelsea Finn

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को एक विशाल, जटिल भूलभुलैया में छिपे हुए एक अकेले खजाने को खोजने के लिए रास्ता दिखाना सिखा रहे हैं। रोबोट पिछले प्रयासों के एक विशाल स्क्रैपबुक (scrapbook) को देखकर सीखता है (जिसमें कुछ विशेषज्ञ थे, कुछ अनाड़ी थे, और कुछ बस बिना किसी दिशा के भटक रहे थे)।

रोबोट को सिखाने का मानक तरीका Q-learning कहलाता है। यह "टेलीफोन गेम" की तरह काम करता है। रोबोट अपने द्वारा उठाए गए एक कदम को देखता है, पूछता है, "यह कितना अच्छा था?" और फिर अगले कदम से उत्तर प्राप्त करने के लिए अगले कदम को देखता है। यह मान लेता है कि अगला कदम एकदम सही है। यदि अगला कदम वास्तव में एक गलती थी (क्योंकि स्क्रैपबुक में वहां एक अनाड़ी रोबोट था), तो वह गलती वर्तमान कदम तक वापस पहुँच जाती है। एक लंबी यात्रा के दौरान, ये छोटी-छोटी गलतियाँ जमा होती हैं, बढ़ती हैं, और अंततः दुनिया के प्रति रोबोट के पूरे मानचित्र को पूरी तरह से गलत बना देती हैं। इसे कंपाउंडिंग एरर (compounding error) कहा जाता है।

इसे ठीक करने के लिए, लोग आमतौर पर स्क्रैपबुक में और आगे देखने की कोशिश करते हैं (जैसे 4 कदम, 8 कदम, या 16 कदम एक समय में देखना)। लेकिन इससे एक नई समस्या पैदा होती है: यदि रोबोट 16 कदमों का एक क्रम देखता है जहाँ पहले 15 कदम बहुत खराब थे, तो वह यह तय कर सकता है कि पहला कदम भी बहुत बुरा था, भले ही वह वास्तव में एक अच्छा कदम रहा हो। वह पूरे क्रम को बुरे हिस्सों के लिए दोष देने के चक्कर में फंस जाता है।

नया समाधान: लॉन्ग-होराइजन Q-लर्निंग (LQL)

लेखक एक नया तरीका प्रस्तावित करते हैं जिसे लॉन्ग-होराइजन Q-लर्निंग (LQL) कहा जाता है। इसे रोबोट को एक "रियलिटी चेक" या एक सुरक्षा जाल (safety net) देने के रूप में समझें जो उसे बहुत अधिक भटकने से रोकता है।

यह इस प्रकार काम करता है:

1. "ऑप्टिमैलिटी इनइक्वैलिटी" (स्वर्ण नियम)

मूल विचार एक सरल तार्किक सत्य पर आधारित है: यदि आप अब से पूरी तरह से आदर्श रूप से कार्य करने जा रहे हैं, तो आप उस स्थिति से बदतर नहीं होंगे जिसमें आपने बाद में आदर्श रूप से कार्य किया होता लेकिन बीच में कुछ रैंडम (random) किया होता।

कल्पना कीजिए कि आप अपनी मंजिल की ओर गाड़ी चला रहे हैं।

परिदृश्य A: आप शुरुआत से ही पूरी तरह से आदर्श रूप से गाड़ी चलाते हैं।
परिदृश्य B: आप 10 मील तक आदर्श रूप से गाड़ी चलाते हैं, फिर 5 मील के लिए गलत मोड़ ले लेते हैं, और फिर आदर्श रूप से गाड़ी चलाना शुरू करते हैं।

तर्क कहता है कि परिदृश्य A, परिदृश्य B की तुलना में बेहतर (या उसके बराबर) होना चाहिए। यदि आपका मानचित्र कहता है कि परिदृश्य A, परिदृश्य B से बदतर है, तो आपका मानचित्र गलत है।

2. "हिंज लॉस" (सुरक्षा जाल)

LQL इस तर्क का उपयोग एक सुरक्षा जाल बनाने के लिए करता है जो रोबोट के मानचित्र की इस स्वर्ण नियम के विरुद्ध निरंतर जांच करता है।

यदि मानचित्र कहता है कि एक अच्छा कदम एक बुरे क्रम से भी बदतर है: तो सुरक्षा जाल उस अच्छे कदम के मूल्य को ऊपर धकेलता है।
यदि मानचित्र कहता है कि एक बुरा कदम एक आदर्श शुरुआत से बेहतर है: तो सुरक्षा जाल उस बुरे कदम के मूल्य को नीचे धकेलता है।

यह एक हिंज लॉस (hinge loss) नामक गणितीय उपकरण का उपयोग करके किया जाता है। इसे एक स्प्रिंग-लोडेड दरवाजे की तरह समझें। यदि रोबोट का अनुमान "सुरक्षित क्षेत्र" के भीतर है (स्वर्ण नियम का पालन कर रहा है), तो दरवाजा बंद रहता है और कोई दंड लागू नहीं होता है। लेकिन यदि अनुमान नियम को तोड़ने की कोशिश करता है, तो स्प्रिंग जोर से बंद होता है, और अनुमान को वापस सुरक्षित क्षेत्र में धकेल देता है।

3. यह कुशल क्यों है (कोई अतिरिक्त काम नहीं)

आमतौरता पर, इन नियमों की जांच करने के लिए, आपको अतिरिक्त सिमुलेशन चलाने या अतिरिक्त कंप्यूटरों का उपयोग करने की आवश्यकता हो सकती है। लेकिन LQL चतुर है: यह उसी डेटा का उपयोग करता है जिसे रोबोट पहले से ही सीखने के लिए देख रहा है। इसे दूसरे मस्तिष्क या स्क्रैपबुक की अतिरिक्त यात्राओं की आवश्यकता नहीं है। यह बस उन नंबरों का पुन: उपयोग करता है जिन्हें यह पहले से ही गणना कर रहा है ताकि इस "सुरक्षा जाल" की जांच जोड़ी जा सके।

परिणाम: क्या हुआ?

लेखकों ने इसका परीक्षण बहुत कठिन कार्यों पर किया, जैसे कि एक 21-जोड़ों वाले ह्यूमनॉइड रोबोट को एक विशाल भूलभुलैया (humanoidmaze-giant) के माध्यम से चलने की कोशिश करना।

मानक लर्निंग (1-स्टेप): रोबोट लंबी दूरी के कारण भ्रमित हो गया और पूरी तरह विफल रहा (0% सफलता)। त्रुटियां बहुत तेज़ी से जमा हुईं।
आगे देखना (n-step): रोबट थोड़ा बेहतर हुआ लेकिन एक दीवार से टकरा गया। यदि वह बहुत आगे तक देखता (जैसे 64 कदम), तो वह वास्तव में और भी खराब हो जाता क्योंकि वह लंबे क्रम के बीच के बुरे कदमों से भ्रमित हो जाता।
LQL (नया तरीका): रोबोट 75.7% बार सफल रहा। वह डेटा के लंबे अनुक्रमों का उपयोग करने में सक्षम था बिना बुरे हिस्सों से भ्रमित हुए। वह यह सीख सका कि भले ही रास्ते का मध्य हिस्सा अस्त-व्यस्त रहा हो, फिर भी शुरुआत एक बेहतरीन कदम हो सकती है।

मुख्य निष्कर्ष

LQL एक छात्र को एक ऐसे शिक्षक देने जैसा है जो न केवल उनके होमवर्क को चरण-दर-चरण ग्रेड करता है, बल्कि यह भी जाँचता है कि उनका समग्र तर्क सही है या नहीं। यह छात्र को एक लंबे टेस्ट के बीच में कुछ गलत उत्तरों के कारण हतोत्साहित होने से रोकता है और यह सुनिश्चित करता है कि वे एक भाग्यशाली दौर के आधार पर अपने कौशल का बहुत अधिक आकलन न करें।

यह रोबोट को डेटा के बहुत लंबे और अव्यवस्थित इतिहास से सीखने की अनुमति देता है बिना "टेलीफोन गेम" की त्रुटियों के उनकी दुनिया की समझ को खराब किए। और सबसे अच्छी बात? यह बिना उन्हें धीमा किए या अतिरिक्त उपकरण की आवश्यकता के किया जाता है।

तकनीकी सारांश: लॉन्ग-होराइजन Q-लर्निंग (LQL)

समस्या विवरण

ऑफ-पॉलिसी, वैल्यू-बेस्ड रिइन्फोर्समेंट लर्निंग (RL), विशेष रूप से Q-लर्निंग, सैद्धांतिक रूप से इसलिए आकर्षक है क्योंकि यह किसी भी पुराने अनुभव से सीख सकता है, जिसमें पुराने पॉलिसियों या अन्य एजेंटों द्वारा एकत्र किया गया डेटा शामिल है। हालाँकि, व्यवहार में, लॉन्ग-होराइजन लर्निंग (long-horizon learning) बूटस्ट्रैपिंग के माध्यम से नाजुक होती है। बाद के स्टेट्स (states) में अनुमान संबंधी त्रुटियाँ (estimation errors) टेम्पोरल-डिफरेंस (TD) अपडेट्स के माध्यम से पीछे की ओर प्रसारित होती हैं, जो समय के साथ संचयी (compounding) होकर लर्निंग को अस्थिर कर देती हैं।

एक सामान्य शमन रणनीति (mitigation strategy) मल्टी-स्टेप टारगेट्स (जैसे $n$ -step रिटर्न्स या $\lambda$ -रिटर्न्स) का उपयोग करना है, जो एक लंबे क्षितिज (horizon) पर देखे गए रिवार्ड्स को शामिल करके सिंगल-स्टेप बूटस्ट्रैपिंग पर निर्भरता को कम करती है। हालाँकि, ऑफ-पॉलिसी सेटिंग्स में, $n$ -step टारगेट्स एक नया तनाव पैदा करते हैं: वे अप्रत्यक्ष रूप से यह मान लेते हैं कि एजेंट अगले $n$ स्टेप्स के लिए उसी बिहेवियर पॉलिसी (जो लॉग किए गए ट्राजेक्टरी को जनरेट करती है) का पालन करना जारी रखेगा। यदि लॉग किए गए एक्शन सब-ऑप्टिमल (suboptimal) हैं, तो परिणामी बैकअप पक्षपाती (biased) या निराशाजनक हो सकता है, जो सुधर रही पॉलिसी की क्षमता को पकड़ने में विफल रहता है। यह ऑफ-पॉलिसी बायस अक्सर $n$ -step TD के प्रदर्शन को कम करता है जैसे-जैसे $n$ बढ़ता है, विशेष रूप से स्पार्स रिवार्ड्स (sparse rewards) और लंबे हॉराइजन्स वाले कार्यों में।

कार्यप्रणाली: लॉन्ग-होराइजन Q-लर्निंग (LQL)

लेखक लॉन्ग-होराइजन Q-लर्निंग (LQL) का प्रस्ताव करते हैं, जो एक ऐसी विधि है जिसे मानक $n$ -step टारगेट्स में निहित ऑफ-पॉलिसी बायस को पेश किए बिना, संचयी TD एरर्स के विरुद्ध एक सिद्धांतगत "बैकस्टॉप" (backstop) प्रदान करने के लिए डिज़ाइन किया गया है।

मुख्य अंतर्दृष्टि: ऑप्टिमैलिटी इनइक्वेलिटीज (Optimality Inequalities)

LQL ऑप्टिमल वैल्यू फंक्शन्स के एक मौलिक गुण पर आधारित है: क्रियाओं का कोई भी वास्तविक अनुक्रम (realized sequence) उस अपेक्षित रिटर्न पर एक निचली सीमा (lower bound) प्रदान करता है जो एक ही शुरुआती स्टेट से ऑप्टिमल पॉलिसी प्राप्त कर सकती है। विशेष रूप से, तुरंत ऑप्टिमली कार्य करना, एक निश्चित अवधि के लिए देखे गए क्रियाओं के अनुक्रम का पालन करने और उसके बाद ऑप्टिमली व्यवहार करने की तुलना में खराब (अपेक्षित रिटर्न में) नहीं होना चाहिए।

लेखक इसे ट्राजेक्टरीज पर ऑप्टिमैलिटी इनइक्वेलिटीज के रूप में औपचारिक रूप देते हैं:

लोअर बाउंड (Lower Bound): स्टेट $s_i$ पर देखा गया एक्शन, $i$ से $j$ तक के देखे गए रिवार्ड्स के योग और $s_j$ पर ऑप्टिमल एक्शन के डिस्काउंटेड वैल्यू से कम नहीं होना चाहिए।
अपर बाउंड (Upper Bound): एक पहले के स्टेट $s_i$ पर ऑप्टिमल एक्शन का वैल्यू, $i$ से $j$ तक के देखे गए रिवार्ड्स के योग और $s_j$ पर देखे गए एक्शन के डिस्काउंटेड वैल्यू से अधिक नहीं होना चाहिए।

एल्गोरिद्मिक कार्यान्वयन

LQL इन इनइक्वेलिटीज से प्राप्त एसिमेट्रिक हिंज पेनल्टीज़ (asymmetric hinge penalties) के साथ स्टैंडर्ड 1-स्टेप TD लॉस को बढ़ाता है।

लोअर-बाउंड (LB) पेनल्टीज़: यदि वर्तमान अनुमान $Q_\theta(s_k, a_k)$ , ट्राजेक्टरी सेगमेंट $G_{k:\ell}$ के वास्तविक रिटर्न और भविष्य के स्टेट $s_\ell$ पर बूटस्ट्रैप्ड वैल्यू से कम है, तो $Q_\theta(s_k, a_k)$ को ऊपर की ओर धकेलने के लिए एक पेनल्टी लगाई जाती है।
अपर-बाउंड (UB) पेनल्टीज़: यदि वर्तमान अनुमान $Q_\theta(s_k, a_k)$ को पूर्ववर्ती रिवार्ड्स के साथ जोड़ने से एक ऐसा रिटर्न प्राप्त होता है जो $s_i$ पर ऑप्टिमली कार्य करने से प्राप्त किया जा सकता था उससे अधिक है, तो $Q_\theta(s_k, a_k)$ को नीचे की ओर धकेलने के लिए एक पेनल्टी लगाई जाती है।

मुख्य दक्षता विशेषता: महत्वपूर्ण रूप से, LQL इन पेनल्टीज़ की गणना केवल उन्हीं नेटवर्क आउटपुट्स का उपयोग करके करता है जो एक मानक TD अपडेट के दौरान पहले से ही जनरेट किए जा चुके हैं (अर्थात, $Q_\theta(s, a)$ और टारगेट नेटवर्क वैल्यूज $Q_{\bar{\theta}}(s, a^*)$ )। इसके लिए कोई भी सहायक नेटवर्क (auxiliary networks) या कोई अतिरिक्त फॉरवर्ड पास आवश्यक नहीं है। विधि रीप्ले बफर से ट्राजेक्टरीज को सैंपल करती है और इन हिंज लॉस को ट्राजेक्टरी में एकत्रित करती है।

मुख्य योगदान

सिद्धांतगत बैकस्टॉप: LQL टेम्पोरली दूर स्थित स्टेट्स के बीच वैल्यू विसंगतियों (value inconsistencies) का पता लगाने और उन्हें ठीक करने के लिए एक तंत्र पेश करता है, जो सीधे तौर पर ऑफ-पॉलिसी लर्निंग में संचयी त्रुटि की समस्या को संबोधित करता है।
कंप्यूटेशनल दक्षता: उन विधियों के विपरीत जो ऑप्टिमैलिटी इनइक्वेलिटीज (जैसे, ऑप्टिमैलिटी टाइटनिंग) पर निर्भर करती हैं, LQL अतिरिक्त फॉरवर्ड पास या सहायक नेटवर्क के कंप्यूटेशनल ओवरहेड से बचता है क्योंकि यह मौजूदा TD नेटवर्क आउटपुट्स का पुन: उपयोग करता है।
ट्राजेक्टरी लेंथ के साथ स्केलेबिलिटी: विधि ट्राजेक्टरी लेंथ को एक स्केलिंग एक्सिस (scaling axis) के रूप में मानती है। TD में बैच-साइज स्केलिंग के विपरीत, जो ओवरफिटिंग और प्रदर्शन गिरावट का कारण बन सकती है, LQL में ट्राजेक्टरी की लंबाई बढ़ाने से प्रदर्शन में लगातार सुधार होता है।
अनुकूलता (Compatibility): LQL पॉलिसी एक्सट्रैक्शन मैकेनिज्म के प्रति उदासीन (agnostic) है और विभिन्न एक्टर आर्किटेक्चर (Gaussian, Flow-based, Action Chunking) के साथ जोड़ा जा सकता है।

प्रयोगात्मक परिणाम

लेखकों ने OGBench (लॉन्ग-होराइजन के साथ रोबोट नेविगेशन और मैनिपुलेशन) और RoboMimic (ह्यूमनॉइड मैनिपुलेशन) सहित ऑनलाइन और ऑफलाइन-टू-ऑनलाइन बेंचमार्क पर एक रेंज में LQL का मूल्यांकन किया।

बेसलाइन्स के विरुद्ध प्रदर्शन: चार अलग-अलग पॉलिसी एक्सट्रैक्शन परिवारों (Best-of-N, Flow Q-Learning, Gaussian, और Action Chunking) में, LQL ने लगातार 1-स्टेप TD और लेंथ-मैच्ड $n$ -step TD दोनों को पछाड़ दिया।
लॉन्ग-होराइजन सफलता: सबसे चुनौतीपूर्ण कार्य, humanoidmaze-giant (स्पार्स रिवार्ड्स, हजारों स्टेप्स) में, 1-स्टेप TD किसी भी कार्य को हल करने में विफल रहा (0% सफलता)। स्टैंडर्ड $n$ -step TD ने आंशिक सुधार दिखाया लेकिन जैसे-जैसे $n$ बढ़कर 4 से अधिक हुआ, प्रदर्शन काफी गिर गया। इसके विपरीत, $L=64$ की ट्राजेक्टरी लेंथ के साथ LQL ने 75.7% औसत सफलता दर प्राप्त की, और दो कार्यों को लगभग पूर्ण सफलता (>97%) के साथ हल किया।
स्थिरता: LQL ने वैल्यू एस्टीमेशन में बेहतर स्थिरता प्रदर्शित की। जबकि 1-स्टेप TD अक्सर "रनवे" ओवरएस्टीमेशन (Q-वैल्यूज का अत्यधिक परिमाण तक पहुँचना) से ग्रस्त होता था, LQL ने Q-वैल्यूज को विश्लेषणात्मक रूप से वैध रेंज के भीतर रखा, जिससे विचलन (divergence) को रोका जा सका।
मजबूती (Robustness): LQL ने स्टोकैस्टिक वातावरण में भी प्रदर्शन बनाए रखा जहाँ इन-एक्सपेक्टेशन इनइक्वेलिटीज से होने वाले सैद्धांतिक बायस के कारण समस्याएं उत्पन्न हो सकती थीं।
ओवरहेड: स्टैंडर्ड TD की तुलना में इस विधि ने नगण्य रनटाइम लागत (प्रति अपडेट औसतन 4.7% धीमापन) दर्ज की।

महत्व और दावे

पेपर का दावा है कि LQL, लॉन्ग-होरइजन कंसिस्टेंसी चेक प्रदान करके ऑफ-पॉलिसी लर्निंग, बूटस्ट्रैपिंग और फंक्शन एप्रोक्सिमेशन के "डेडली ट्रायड" (deadly triad) का एक व्यावहारिक समाधान प्रदान करता है, जो $n$ -step टारगेट्स के ऑफ-पॉलिसी बायस को विरासत में नहीं लेता है।

लेखक दो व्यापक निहितार्थों पर प्रकाश डालते हैं:

सूचना अवशोषण (Information Absorption): LQL बहुत लंबी ट्राजेक्टरीज से जानकारी को अवशोषित करने का एक मार्ग प्रदान करता है, जिसमें वह ऑफ-पॉलिसी बायस नहीं है जो $n$ -step टारगेट्स को सीमित करता है।
स्केलिंग एक्सिस: ट्राजेक्टरी लेंथ डीप वैल्यू-बेस्ड RL के लिए एक व्यवहार्य स्केलिंग एक्सिस के रूप में उभरती है, जो स्टैंडर्ड TD लर्निंग में बैच साइज को स्केल करने पर देखी जाने वाली पैथोलॉजिकल गिरावट से बचती है।

कार्य अपनी सैद्धांतिक सीमाओं के संबंध में विनम्र है, यह स्वीकार करते हुए कि ऑप्टिमैलिटी इनइक्वेलिटीज 'इन-एक्सपेक्टेशन' स्टेटमेंट्स हैं, जो सिंगल सैंपल्स के माध्यम से अनुमानित होने पर स्टोकैस्टिक वातावरण में एक सैद्धांतिक बायस पेश करती हैं। हालाँकि, प्रयोगात्मक परिणाम और सैद्धांतिक सीमाएं बताती हैं कि यह बायस सीमित है और व्यवहार में प्रदर्शन को महत्वपूर्ण रूप से नुकसान नहीं पहुँचाता है।