🤖 machine learning

Multistep Quasimetric Learning for Scalable Goal-conditioned Reinforcement Learning

यह शोध पत्र मल्टीस्टेप क्वासीमेट्रिक लर्निंग (Multistep Quasimetric Learning) को प्रस्तुत करता है, जो एक एंड-टू-एंड ऑफलाइन गोल-कंडीशन्ड रिइन्फोर्समेंट लर्निंग विधि है जो टेम्पोरल दूरियों का अनुमान लगाने के लिए मल्टीस्टेप मोंटे कार्लो रिटर्न्स को एकीकृत करती है, जिससे अनलेबल विजुअल डेटासेट्स पर बेहतर लॉन्ग-होरिजन प्रदर्शन और वास्तविक दुनिया की रोबोटिक स्टिचिंग क्षमताएं प्राप्त होती हैं।

मूल लेखक: Bill Chunyuan Zheng, Vivek Myers, Benjamin Eysenbach, Sergey Levine

प्रकाशित 2026-02-24

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Bill Chunyuan Zheng, Vivek Myers, Benjamin Eysenbach, Sergey Levine

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ "मल्टीस्टेप क्वासिकमेट लर्निंग फॉर स्केलेबल गोल-कंडीशन्ड रिइन्फोर्समेंट लर्निंग" (MQE) के पेपर का स्पष्टीकरण दिया गया है, जिसे सरल अवधारणाओं और रचनात्मक उपमाओं में तोड़ा गया है।

बड़ी समस्या: "लंबी राह" की दुविधा

कल्पना कीजिए कि आप एक रोबोट को एक विशाल, जटिल भूलभुलैया (maze) में एक विशिष्ट खजाना खोजने के लिए नेविगेट करना सिखा रहे हैं।

पुराना तरीका (लोकल अपडेट्स): अधिकांश AI तरीके एक व्यक्ति की तरह काम करते हैं जो एक बार में एक कदम लेता है और पूछता है, "यदि मैं बाईं ओर मुड़ता हूँ, तो क्या मैं करीब पहुँच रहा हूँ?" वे केवल अगले कदम को देखते हैं। यह धीमा है और इसमें भटक जाने की संभावना अधिक होती है क्योंकि वे पूरी तस्वीर नहीं देख पाते। यदि भूलभुलैया बहुत बड़ी है (हजारों कदम), तो वे अक्सर हार मान लेते हैं या लूप में फंस जाते हैं।
दूसरा तरीका (ग्लोबल अपडेट्स): कुछ तरीके एक साथ शुरू से अंत तक के पूरे रास्ते को देखने की कोशिश करते हैं। यह बड़ी तस्वीर देखने के लिए बेहतरीन है, लेकिन यह गणनात्मक रूप से भारी (computationally heavy) है और अक्सर उस विशिष्ट "नियम" को सीखने में विफल रहता है कि वर्तमान क्षण में कुशलता से कैसे चला जाए।

चुनौती: आप एक रोबोट को पूरी यात्रा (बड़ी तस्वीर) देखना कैसे सिखा सकते हैं और साथ ही यह भी सुनिश्चित कर सकते हैं कि वह ठीक से अगला कदम उठा सके (लोकल विवरण), विशेष रूप से तब जब यात्रा अविश्वसनीय रूप से लंबी हो?

समाधान: MQE (द "वेपॉइंट्स विद जीपीएस" मेथड)

लेखकों ने MQE (मल्टीस्टेप क्वासिकमेट एस्टिमेशन) का प्रस्ताव दिया है। इसे एक बहुत ही स्मार्ट GPS देने के तरह समझें जो न केवल मंजिल दिखाता है, बल्कि रास्ते में सहायक "वेपॉइंट्स" (मार्ग के पड़ाव) भी सुझाता है।

यह कैसे काम करता है, इसके लिए तीन सरल रूपकों का उपयोग किया गया है:

1. "क्वासिकमेट" मैप (ट्रायंगल नियम)

गणित में, "मेट्रिक" दूरी मापने का एक तरीका है। "क्वासिकमेट" इसका थोड़ा अधिक लचीला संस्करण है जो अभी भी ट्रायंगल इनइक्वलिटी (Triangle Inequality) का पालन करता है।

उपमा: कल्पना कीजिए कि आप घर से एयरपोर्ट जा रहे हैं।
- मानक दूरी: दूरी केवल मील में है।
- क्वासिकमेट दूरी: यह एक "कठिनाई स्कोर" की तरह है। यह कहता है: "घर $\to$ एयरपोर्ट जाने की कठिनाई, घर $\to$ कॉफी शॉप $\to$ एयरपोर्ट जाने की कठिनाई से कम या उसके बराबर है।"
- यह क्यों मायने रखता है: यह AI को यह समझने के लिए मजबूर करता है कि यदि आप एक "वेपॉइंट" (कॉफी शॉप) तक आसानी से पहुँच सकते हैं, और फिर आसानी से एयरपोर्ट तक पहुँच सकते हैं, तो पूरी यात्रा प्रबंधनीय होनी चाहिए। यह AI को यह सोचने से रोकता है कि एक छोटा रास्ता वास्तव में एक लंबा, असंभव रास्ता है।

2. "मल्टीस्टेप" वेपॉइंट्स (हाइकर की रणनीति)

केवल अगले कदम को देखने के बजाय, MQE भविष्य के यादृच्छिक (random) "वेपॉइंट्स" की ओर देखता है।

उपमा: कल्पना कीजिए कि एक हाइकर (पगडंडी पर चलने वाला) पहाड़ की चोटी तक पहुँचने की कोशिश कर रहा है।
- पुराना तरीका: "मैं एक कदम आगे लूँगा। ठीक है, अब मैं दूसरा कदम लूँगा।" (बहुत धीमा, भटकना आसान)।
- MQE तरीका: हाइकर चोटी को देखता है, फिर 100 मीटर दूर एक यादृच्छिक पेड़ को "वेपॉइंट" के रूप में चुनता है। वह पूछता है, "क्या मैं उस पेड़ तक पहुँच सकता हूँ? और उस पेड़ से, क्या मैं चोटी तक पहुँच सकता हूँ?"
- इन यादृच्छिक भविष्य के स्थानों तक "छलांग" लगाने का अभ्यास करके, रोबोट छोटे, आसान मूव्स को एक लंबी, जटिल यात्रा में जोड़ने के लिए सीखता है। वह सीखता है कि A + B + C = सफलता है, भले ही उसने कभी पूरा A-से-C वाला रास्ता ट्रेनिंग डेटा में न देखा हो।

3. "स्टिचिंग" (सिलाई करने की) सुपरपावर

यही इस पेपर की सबसे बड़ी सफलता है।

उपमा: कल्पना कीजिए कि आपके पास वीडियो क्लिप्स का एक पुस्तकालय है।
- क्लिप A: दराज खोलना।
- क्लिप B: मशरूम उठाना।
- क्लिप C: मशरूम को दराज में रखना।
- समस्या: ट्रेनिंग डेटा में कभी भी यह नहीं दिखाया गया कि एक रोबोट A, फिर B, फिर C को एक साथ करे। उन्होंने उन्हें अलग-अलग ही देखा।
- MQE का जादू: क्योंकि MQE ने हर स्थिति (state) के बीच की "दूरी" (कठिनाई) को सीखा है, वह समझ जाता है: "हे, क्लिप A का अंत क्लिप B की शुरुआत के बहुत करीब है!" यह इन अलग-अलग क्लिप्स को एक नया, जटिल व्यवहार बनाने के लिए स्टिच (जोड़ने) में सक्षम है (दराज खोलना $\to$ मशरूम उठाना $\to$ दराज में रखना), बिना यह देखे कि उसने पहले कभी वह विशिष्ट क्रम देखा है।

यह क्यों मायने रखता है (परिणाम)

शोधकर्ताओं ने इसे दो प्रकार की चुनौतियों पर परखा:

सिम्युलेटेड भूलभुलैया (भूलभुलैया में "चींटी"):
उन्होंने एक डिजिटल चींटी को एक ऐसी भूलभुलैया में डाला जो इतनी बड़ी थी कि उसे पार करने में 4,000 कदम लगे।
- परिणाम: अन्य रोबोट या तो रास्ता भटक गए या हार मान ली। MQE रोबोट ने पूरी भूलभुलैया को सफलतापूर्वक पार किया, भले ही उसे बहुत छोटे रास्तों पर प्रशिक्षित किया गया था। इसने दिखाया कि यह अपने प्रशिक्षण से कहीं अधिक "लंबे" क्षितिज (horizons) को संभालने में सक्षम है।
वास्तविक दुनिया के रोबोट (द "ब्रिज" टेस्ट):
उन्होंने एक वास्तविक रोबोट आर्म (WidowX) का एक मेज पर परीक्षण किया।
- कार्य: रोबोट को एक दराज खोलनी थी और उसके अंदर एक वस्तु रखनी थी।
- ट्विस्ट: ट्रेनिंग डेटा में केवल दराज खोलने या वस्तु रखने के उदाहरण थे। इसमें कभी भी इन दोनों को एक क्रम में करने का उदाहरण नहीं था।
- परिणाम: MQE ही एकमात्र तरीका था जिसने सफलतापूर्वक दराज खोलने और उसके अंदर वस्तु रखने का कार्य सीखा। इसने दोनों अलग-अलग कार्यों को आपस में "स्टिच" कर दिया। अन्य तरीके विफल रहे क्योंकि वे इन दो अलग-अलग कार्यों के बीच के संबंध को नहीं जोड़ सके।

निष्कर्ष

MQE केवल एक मार्ग को रटने के बारे में नहीं है, बल्कि यात्रा की ज्यामिति (geometry) को समझने के बारे में है।

लोकल स्टेप्स (अभी कैसे चलें) को ग्लोबल प्लानिंग (लक्ष्य कितनी दूर है?) के साथ जोड़कर, और वेपॉइंट्स का उपयोग करके लंबी छलांगों का अभ्यास करके, MQE रोबोट्स को उन समस्याओं को हल करने की अनुमति देता है जो उनके प्रशिक्षण से 10 गुना लंबी और अधिक जटिल हैं। यह एक ऐसे रोबोट को बदल देता है जो केवल एक रेसिपी का पालन कर सकता है, एक ऐसे रोबोट में जो पुरानी सामग्री को मिलाकर नई रेसिपी बनाना सीख जाता है।

यहाँ शोध पत्र "Multistep Quasimetric Learning for Scalable Goal-Conditioned Reinforcement Learning" (MQE) का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

यह शोध पत्र गोल-कंडीशन्ड रिइन्फोर्समेंट लर्निंग (GCRL) की चुनौती को संबोधित करता है, विशेष रूप से ऑफलाइन सेटिंग्स में लंबे क्षितिज (long horizons) पर तर्क करने की कठिनाई को।

मुख्य मुद्दा: आधुनिक ऑफलाइन GCRL विधियाँ उन कार्यों पर सामान्यीकरण (generalize) करने में संघर्ष करती हैं जो प्रशिक्षण डेटा में देखे गए कार्यों की तुलना में काफी लंबे होते हैं।
ट्रेड-ऑफ (Trade-off):
- टेम्पोरल डिफरेंस (TD) लर्निंग: यह इष्टतमता गारंटी (optimal $Q^*$ प्राप्त कर सकती है) प्रदान करती है लेकिन स्थानीय, सिंगल-स्टेप अपडेट पर निर्भर करती है। इससे लंबे क्षितिज पर संचयी त्रुटियां (compounding errors) होती हैं और क्षितिज सामान्यीकरण (horizon generalization) खराब होता है।
- मोंटे कार्लो (MC) लर्निंग: वैश्विक अपडेट (मल्टी-स्टेप रिटर्न्स) का उपयोग करती है जो लंबे क्षितिज के लिए व्यवहार में तो अच्छा काम करता है, लेकिन आमतौर पर केवल व्यवहार नीति (behavior policy) के वैल्यू फंक्शन ( $Q_\beta$ ) को ही रिकवर करता है, न कि इष्टतम (optimal) को, जिससे इसमें इष्टतमता की सैद्धांतिक गारंटी का अभाव होता है।
अंतराल (The Gap): मौजूदा विधियाँ अक्सर इन दृष्टिकोणों को अलग करती हैं या जटिल पदानुक्रमित (hierarchical) संरचनाओं पर निर्भर करती हैं जिन्हें लागू करना कठिन है। एक ऐसी विधि की आवश्यकता है जो एक एकीकृत, स्केलेबल आर्किटेक्चर के भीतर MC के वैश्विक मूल्य प्रसार (global value propagation) को TD की इष्टतमता गारंटी के साथ एकीकृत कर सके।

2. कार्यप्रणाली: मल्टीस्टेप क्वासिकमेट्रिक एस्टिमेशन (MQE)

लेखक MQE प्रस्तावित करते हैं, जो एक ऑफलाइन GCRL विधि है जो अवस्थाओं (states) (और स्टेट-एक्शन पेयर्स) तथा लक्ष्यों (goals) के बीच एक क्वासिकमेट्रिक दूरी (quasimetric distance) को मल्टी-स्टेप रिटर्न्स का उपयोग करके सीखती है।

मुख्य घटक:

A. क्वासिकमेट्रिक आर्किटेक्चर (Quasimetric Architecture)
मानक Q-नेटवर्क्स के बजाय, MQE गोल-कंडीशन्ड वैल्यू फंक्शन को एक डिस्टेंस मेट्रिक के रूप में पैरामीटराइज़ करता है।

परिभाषा: Q-वैल्यू को $Q_g(s, a) = V_g(g)e^{-d((s,a), g)}$ के रूप में परिभाषित किया गया है, जहाँ $d$ एक सीखा गया डिस्टेंस है।
मेट्रिक रेसिडुअल नेटवर्क (MRN): डिस्टेंस फंक्शन $d$ को एक MRN आर्किटेक्चर का उपयोग करके लागू किया गया है। यह ट्राइएंगल इनइक्वेलिटी (Triangle Inequality) ( $d(x, z) \leq d(x, y) + d(y, z)$ ) और गैर-ऋणात्मकता (non-negativity) को लागू करता है, जिससे यह सुनिश्चित होता है कि सीखा गया डिस्टेंस प्लानिंग के लिए उपयुक्त एक वैध ज्यामितीय संरचना रखता है।

B. वेपॉइंट्स के साथ मल्टी-स्टेप रिटर्न्स (Multistep Returns with Waypoints)
TD और MC के बीच के अंतर को पाटने के लिए, MQE एक मल्टी-स्टेप बैकअप तंत्र पेश करता है:

वेपॉइंट सैंपलिंग ( $s^w_t$ ): केवल तत्काल अगले स्टेट $s'$ से बूटस्ट्रैपिंग करने के बजाय, एल्गोरिदम भविष्य के ट्राजेक्टरी से मध्यवर्ती "वेपॉइंट्स" (waypoints) को सैंपल करता है। इन्हें बर्नौली (Bernoulli) और जियोमेट्रिक (Geometric) वितरणों के मिश्रण का उपयोग करके सैंपल किया जाता है (Eq. 8)।
मल्टी-स्टेप ऑब्जेक्टिव ( $T_\beta$ ): लॉस फंक्शन वर्तमान स्टेट से लक्ष्य तक की दूरी को चुने गए वेपॉइंट से लक्ष्य तक की डिस्काउंटेड दूरी के विरुद्ध रिग्रेट (regress) करता है:
$e^{-d((s,a),g)} \leftarrow \mathbb{E}[\gamma^{k'} \cdot e^{-d(s^w_t, g)}]$
यह एक एकल अपडेट स्टेप में ट्राजेक्टरी के माध्यम से वैश्विक स्तर पर वैल्यू जानकारी को प्रसारित करने की अनुमति देता है, जो MC के लाभों की नकल करता है जबकि बेलमैन-जैसे अपडेट की संरचना को बनाए रखता है।

C. एक्शन इनवेरिएंस कंस्ट्रेंट (Action Invariance Constraint)
यह सुनिश्चित करने के लिए कि सीखा गया डिस्टेंस एक वैध वैल्यू फंक्शन का प्रतिनिधित्व करता है (जहाँ स्टेट का वैल्यू उस एक्शन से स्वतंत्र होता है जो उसे प्राप्त करने के लिए लिया गया था यदि स्टेट समान है), MQE एक्शन इनवेरिएंस को लागू करता है:

प्रतिबंध (Constraint): सभी एक्शन $a$ के लिए $d(s, (s, a)) = 0$ ।
कार्यान्वयन (Implementation): एक विशिष्ट लॉस टर्म ( $L_I$ ) जोड़ा जाता है जो उन विचलन को दंडित करता है जहाँ एक स्टेट और उसके स्टेट-एक्शन पेयर के बीच की दूरी शून्य नहीं होती है। यह नेटवर्क को ट्रिवियल सॉल्यूशंस की ओर ढहने से रोकता है और ट्रेनिंग को स्थिर करता है।

D. पॉलिसी एक्सट्रैक्शन (Policy Extraction)
पॉलिसी को वर्तमान स्टेट और लक्ष्य के बीच सीखी गई दूरी को कम करके निकाला जाता है, जिसे बिहेवियर क्लोनिंग (DDPG + BC) द्वारा नियमित किया जाता है:
$\min_\pi \mathbb{E}[d((s, \pi(s, g)), g) - \alpha \log \pi(a|s, g)]$

3. मुख्य योगदान (Key Contributions)

क्वासिकमेट्रिक्स के साथ मल्टी-स्टेप रिटर्न्स का पहला एकीकरण: MQE मल्टी-स्टेप मोंटे कार्लो रिटर्न्स और क्वासिकमेट्रिक डिस्टेंस आर्किटेक्चर को प्रभावी ढंग से संयोजित करने वाली पहली विधि है, जो बिना किसी स्पष्ट पदानुक्रम (hierarchy) के स्थानीय और वैश्विक वैल्यू प्रसार को सक्षम बनाती है।
होराइजन जनरलाइजेशन (Horizon Generalization): यह विधि प्रशिक्षण डेटा में मौजूद क्षितिज से काफी अधिक लंबे (1000% तक अधिक) क्षितिज तक सामान्यीकरण करने की उत्कृष्ट क्षमता प्रदर्शित करती है।
वास्तविक दुनिया का "स्टिचिंग" (Real-World "Stitching"): MQE वास्तविक रोबोटिक्स में कंपोजिशनल जनरलाइजेशन (stitching) को सक्षम बनाता है। यह अनलेबल डेटासेट से सीखे गए छोटे, स्वतंत्र कौशल को जटिल, बहु-चरणीय कार्यों (जैसे दराज खोलना फिर उसके अंदर कोई वस्तु रखना) को हल करने के लिए जोड़ सकता है, जो डेटा में कभी भी एक एकल ट्राजेक्टरी के रूप में नहीं देखे गए थे।
सैद्धांतिक गारंटी: लेखक एक प्रमाण (Theorem 1) प्रदान करते हैं जो दिखाता है कि टैबुलर सेटिंग में, MQE बिहेवियर पॉलिसी के ऊपर पॉलिसी इम्प्रूवमेंट करता है, जिससे एक ऐसी पॉलिसी प्राप्त होती है जहाँ $V^\pi \geq V^{\pi_\beta}$ ।

4. प्रयोगात्मक परिणाम (Experimental Results)

सिम्युलेटेड बेंचमार्क्स (OGBench)

कार्य (Tasks): इसका मूल्यांकन 95 कार्यों पर किया गया जिसमें लोकोमोशन (AntMaze, HumanoidMaze) और मैनिपुलेशन (Cube, Puzzle) शामिल हैं, जिसमें स्टेट-आधारित और पिक्सेल-आधारित ऑब्जर्वेशन दोनों का उपयोग किया गया।
लॉन्ग-होराइजन प्रदर्शन: MQE ने मौजूदा अत्याधुनिक (state-of-the-art) बेसलाइन्स (TMD, CRL, HIQL, और GCIQL सहित) को काफी पीछे छोड़ दिया।
- "कोलोसल" AntMaze (मौजूदा बेंचमार्क्स से 50% बड़ा, जिसमें ~4000 स्टेप्स की आवश्यकता है) पर, MQE एकमात्र विधि थी जिसने नॉन-जीरो सक्सेस रेट हासिल किया।
- "स्टिच" (stitch) डेटासेट्स में (जहाँ ट्रेनिंग ट्राजेक्टरीज छोटी हैं, जैसे 4m, लेकिन टेस्टिंग के लिए 40m पार करना आवश्यक है), MQE ने मजबूत सामान्यीकरण दिखाया, जबकि अन्य विधियाँ पूरी तरह विफल रहीं।
विजुअल ऑब्जर्वेशन: MQE ने उच्च-आयामी विजुअल इनपुट (64x64x3) को सफलतापूर्वक संभाला, जो इसकी स्केलेबिलिटी को दर्शाता है।

रियल-वर्ल्ड रोबोटिक्स (BridgeData)

सेटअप: एक 6-DoF WidowX250 रोबोट द्वारा मैनिपुलेशन कार्य।
कंपोजिशनल कार्य: एजेंट का परीक्षण 4 "पिक एंड प्लेस" (Pick and Place) कार्यों के अनुक्रम और एक "ओपन ड्रॉअर + प्लेस" (Open Drawer + Place) कार्य के लिए किया गया। डेटासेट में इन विशिष्ट लॉन्ग-होराइजन कंपोजिशन के कोई उदाहरण नहीं थे।
परिणाम:
- क्वाड्रपल पिक एंड प्लेस: MQE ने 13.3% सफलता दर (15 में से 2 ट्रायल) प्राप्त की, जबकि सभी अन्य बेसलाइन्स (GCBC, GCIQL, TRA) ने 0% प्राप्त किया।
- ओपन ड्रॉअर एंड प्लेस: MQE ने 33.3% सफलता (15 में से 5) प्राप्त की, जो बेसलाइन्स से काफी बेहतर थी जो डिपेंडेंसी को जोड़ने में विफल रहे।
- टास्क प्रोग्रेस: जैसे-जैसे आवश्यक अनुक्रमिक स्टेप्स की संख्या बढ़ी, MQE ने उच्च टास्क प्रोग्रेस बनाए रखा, जबकि अन्य विधियों का प्रदर्शन तेजी से गिर गया।

5. महत्व और प्रभाव (Significance and Impact)

लॉन्ग-होराइजन बॉटलनेक को हल करना: MQE ऑफलाइन RL की एक मौलिक सीमा को संबोधित करता है: स्पष्ट पदानुक्रमित योजना या भारी मात्रा में लॉन्ग-होराइजन डेटा के बिना लॉन्ग-होराइजन कार्यों तक स्केल करने में असमर्थता।
डेटा दक्षता (Data Efficiency): क्वासिकमेट्रिक्स के ज्यामितीय संरचना और मल्टी-स्टेप रिटर्न्स का लाभ उठाकर, MQE अनलेबल, शॉर्ट-होराइजन ऑफलाइन डेटासेट्स से जटिल व्यवहार सीख सकता है।
वास्तविक दुनिया में प्रयोज्यता: वास्तविक रोबोट पर "स्टिचिंग" कार्यों के लिए सफल परिनियोजन (deployment) यह दर्शाता है कि ये सैद्धांतिक प्रगति व्यावहारिक रोबोटिक मैनिपुलेशन में अनुवादित होती है, जो सिमुलेशन से आगे बढ़ती है।
सरलता: हिरा्रिकल RL विधियों के विपरीत, जिनमें जटिल सब-पॉलिसी ट्रेनिंग की आवश्यकता होती है, MQE एक सिंगल क्रिटिक और पॉलिसी का उपयोग करने वाला एक एंड-टू-एंड मेथड है, जिससे इसे लागू करना और तैनात करना आसान हो जाता है।

संक्षेप में, MQE ऑफलाइन गोल-कंडीशन्ड RL को स्केलेबल, सुदृढ़ और कम्पोजिशनल रीजनिंग के लिए सक्षम बनाकर एक महत्वपूर्ण कदम है।