🤖 machine learning

Beyond the Next Step: Variable-Length Latent World Models for Long-Horizon Planning

यह शोध पत्र वेरिएबल-लेंथ लेटेंट वर्ल्ड मॉडल्स (VLWMs) को प्रस्तुत करता है, जो एक ऐसा ढांचा है जो करिकुलम ट्रेनिंग के माध्यम से परिवर्तनीय एक्शन होराइजन्स (variable action horizons) पर भविष्य के लेटेंट स्टेट्स की भविष्यवाणी करना सीखता है, जिससे पारंपरिक वन-स्टेप मॉडल्स की संचयी त्रुटियों (compounding errors) को दूर किया जा सके और लॉन्ग-होरिज़न प्लानिंग प्रदर्शन में महत्वपूर्ण सुधार किया जा सके।

मूल लेखक: Tianqi Du, Qi Zhang, Yifei Wang, Yisen Wang

प्रकाशित 2026-06-23

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Tianqi Du, Qi Zhang, Yifei Wang, Yisen Wang

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को भूलभुलैया (maze) में रास्ता खोजना या किसी ब्लॉक को किसी खास जगह तक धकेलना सिखाने की कोशिश कर रहे हैं। ऐसा करने के लिए, रोबोट को एक "मानसिक मानचित्र" या वर्ल्ड मॉडल (World Model) की आवश्यकता होगी। यह मॉडल उसके मस्तिष्क में एक सिम्युलेटर की तरह काम करता है, जिससे वह यह कल्पना कर सकता है कि "अगर मैं अपना हाथ इस तरह हिलाऊं तो क्या होगा?"—वास्तव में ऐसा करने से पहले।

लंबे समय तक, इन मानसिक सिम्युलेटरों में एक बड़ी खामी थी: वे एक ऐसे व्यक्ति की तरह थे जो केवल एक कदम उठाता है, देखता है कि वह कहाँ पहुँचा, फिर दूसरा कदम उठाता है, फिर देखता है, और इसी तरह चलता रहता है। यदि रोबोट अपने पहले कदम में एक छोटी सी गलती करता है, तो वह त्रुटि (error) हर अगले कदम के साथ बढ़ती जाएगी। जब तक वह एक लंबी यात्रा की योजना बनाने की कोशिश करता, उसका मानसिक मानचित्र पूरी तरह से गलत हो जाता। इसे कंपाउंडिंग एरर (compounding error) कहा जाता है।

प्रस्तुत शोध पत्र एक नया सिस्टम पेश करता है जिसे VLWM (Variable-length Latent World Models) कहा जाता है। यह कैसे काम करता है, इसका सरल विवरण यहाँ दिया गया है:

1. पुराना तरीका: "बेबी स्टेप्स" की समस्या

पुराने मॉडलों (जैसे कि जिसे वे LeWM कहते हैं) को एक ऐसे छात्र की तरह समझें जो केवल एक बार में एक कदम का अभ्यास करके चलना सीख रहा है।

प्रशिक्षण (Training): शिक्षक केवल पूछता है, "यदि तुम एक कदम उठाते हो, तो तुम कहाँ होगे?"
समस्या: जब छात्र 100 कदमों की यात्रा की योजना बनाने की कोशिश करता है, तो उसे लगातार 100 एकल कदमों की कल्पना करनी पड़ती है। यदि वह पहले कदम पर लड़खड़ा जाता है, तो 100वें कदम के लिए उसका अनुमान पूरी तरह से गलत होगा। वे छोटी यात्राओं के लिए बेहतरीन हैं लेकिन लंबी यात्राओं के लिए बहुत खराब हैं।

2. नया तरीका: "लीपफ्रॉग" (Leapfrog) विधि (VLWM)

लेखक रोबोट के मस्तिष्क को प्रशिक्षित करने का एक स्मार्ट तरीका प्रस्तावित करते हैं। केवल एक कदम का अभ्यास करने के बजाय, वे रोबोट को किसी भी दूरी पर भविष्य की भविष्यवाणी करना सिखाते हैं।

परिवर्तनीय लंबाई वाला प्रशिक्षण (Variable-Length Training): कल्पना कीजिए कि एक शिक्षक छात्र से पूछता है: "यदि तुम 3 कदम चलते हो, तो तुम कहाँ होगे?" फिर, "यदि तुम 5 कदम चलते हो, तो तुम कहाँ होगे?" फिर, "यदि तुम 10 कदम चलते हो तो?"
परिणाम: रोबोट बीच के हिस्से को "लीपफ्रॉग" (कूदकर पार करना) करना सीख जाता है। उसे अंत तक पहुँचने के लिए हर छोटी हलचल की गणना करने की आवश्यकता नहीं है; वह 5 या 10 कदमों के अनुक्रम के गंतव्य तक सीधे कूद सकता है। यह छोटी त्रुटियों को जमा होने से रोकता है।

3. "एक्शन-एज़-टोकन" (Action-as-Token) का कमाल

पुराने मॉडलों में, रोबोट के कार्य (जैसे "बाएं मुड़ें" या "आगे धकेलें") एक कठोर तरीके से गणित के भीतर छिपे हुए थे। यह एक ऐसी किताब पढ़ने जैसा था जहाँ शब्द आपस में चिपके हुए हों।

नया कमाल: लेखक हर कार्य (action) को एक अलग टोकन (जैसे वाक्य में एक शब्द) के रूप में देखते हैं। वे "स्टेट" (रोबोट कहाँ है) और "एक्शन" (वह क्या करता है) को एक लंबे अनुक्रम में मिला देते हैं, बिल्कुल एक वाक्य की तरह।
यह क्यों मदद करता है: यह रोबोट को बिना अपने मस्तिष्क की संरचना बदले 3 कार्यों के वाक्य या 10 कार्यों के वाक्य को पढ़ने की अनुमति देता है। यह लचीला और स्वाभाविक है।

4. "पहाड़ चढ़ने" की रणनीति (Curriculum Learning)

आप एक बच्चे को पहले ही दिन मैराथन दौड़ना नहीं सिखा सकते। यदि आप रोबोट को तुरंत 100 कदमों की भविष्यवाणी करना सिखाने की कोशिश करेंगे, तो वह भ्रमित हो जाएगा और असफल हो जाएगा।

समाधान: वे एक करिकुलम (पाठ्यक्रम) का उपयोग करते हैं।
- चरण 1: रोबलेट केवल 1 कदम की भविष्यवाणी करना सीखता है।
- चरण 2: वह 1 या 2 कदमों की भविष्यवाणी करना सीखता है।
- चरण 3: वह 1, 2, 3 या 4 कदमों की भविष्यवाणी करना सीखता है।
- अंतिम चरण: वह अधिकतम सीमा तक किसी भी दूरी की भविष्यवाणी कर सकता है।
यह लंबी अवधि की योजना की जटिलता जोड़ने से पहले अल्पकालिक कौशल की एक मजबूत नींव बनाता है।

5. योजना बनाना: "चंकिंग" (Chunking) रणनीति

जब रोबोट वास्तव में किसी समस्या को हल करने की आवश्यकता होती है (जैसे भूलभुलैया में नेविगेट करना), तो वह केवल एक विधि का उपयोग नहीं करता। उसके पास रणनीतियों का एक टूलबॉक्स होता है:

फिक्स्ड जंप (Fixed Jump): वह तय करता है कि वह हमेशा 5 कदम एक साथ कूदेगा।
रैंडम जंप (Random Jumps): वह 2 कदम, फिर 7, फिर 3, बेतरतीब ढंग से कूदता है।
लॉन्ग-टू-शॉर्ट (Long-to-Short): वह एक सामान्य विचार प्राप्त करने के लिए बड़े जंप के साथ शुरू करता है, फिर जैसे-जैसे वह लक्ष्य के करीब आता है, वह छोटे और सटीक जंप पर स्विच करता है।
लाभ: क्योंकि रोबोट को किसी भी जंप साइज को संभालने के लिए प्रशिक्षित किया गया है, इसलिए वह फंसने से बचने के लिए इन रणनीतियों को आपस में मिला सकता है।

परिणाम: उन्होंने क्या पाया?

लेखकों ने तीन अलग-अलग कार्यों पर इसका परीक्षण किया:

PushT: एक T-आकार के ब्लॉक को धकेलना।
OGBench-Cube: एक रोबोटिक आर्म द्वारा क्यूब उठाना।
TwoRoom: एक रोबोट द्वारा दरवाजे के माध्यम से एक कमरे से दूसरे कमरे में जाना।

निष्कर्ष:

छोटी यात्राएं: नया सिस्टम पुराने सिस्टम जितना ही अच्छा प्रदर्शन करता है।
लंबी यात्राएं: नया सिस्टम काफी बेहतर था। "TwoRoom" कार्य में, जब लक्ष्य दूर था, तो पुराना सिस्टम केवल 36% बार सफल हुआ, जबकि नया सिस्टम 68% बार सफल हुआ।
क्यों? पुराना सिस्टम एक बार में एक कदम लेने वाली "कंपाउंडिंग एरर्स" के कारण रास्ता भटक गया। नया सिस्टम ट्रैक पर रहा क्योंकि उसने बड़ी तस्वीर देखना सीख लिया था।

सारांश

यह शोध पत्र तर्क देता है कि रोबोट को लंबी अवधि की योजना बनाने में कुशल बनाने के लिए, हमें उन्हें केवल एक बार में एक कदम उठाना नहीं सिखाना चाहिए। इसके बजाय, हमें उन्हें विभिन्न आकारों के टुकड़ों (chunks) में भविष्य की भविष्यवाणी करना सिखाना चाहिए, जो छोटे से शुरू होकर बड़े होते जाएं। यह सरल बदलाव उन्हें रास्ता भटके बिना बहुत आगे तक योजना बनाने की अनुमति देता है।

तकनीकी सारांश: दीर्घ-क्षिति नियोजन (Long-Horizon Planning) के लिए परिवर्तनीय-लंबाई वाले लेटेंट वर्ल्ड मॉडल (Variable-Length Latent World Models)

1. समस्या विवरण

वर्ल्ड मॉडल (World models), इंटेलिजेंट एजेंट बनाने के लिए परिवेश की गतिशीलता (environment dynamics) के भविष्य कहने वाले मॉडल सीखने के एक प्रतिमान (paradigm) के रूप में उभरे हैं। जबकि हालिया लेटेंट वर्ल्ड मॉडल (जैसे, JEPA-शैली के आर्किटेक्चर) कॉम्पैक्ट रिप्रेजेंटेशन स्पेस में काम करके पिक्सेल-स्पेस प्रेडिक्शन के कुशल विकल्प प्रदान करते हैं, वे दीर्घ-क्षिति नियोजन (long-horizon planning) में महत्वपूर्ण सीमाओं का सामना करते हैं।

पहचानी गई प्राथमिक समस्याएँ हैं:

संचयी त्रुटियाँ (Compounding Errors): मौजूदा मॉडल आमतौर पर एक-चरण भविष्यवाणी ( $t \to t+1$ ) पर निर्भर करते हैं। दीर्घ-क्षिति कार्यों के लिए, इन मॉडलों को पुनरावर्ती रूप से रोलआउट (recursive rollouts) करना पड़ता है, जिससे प्रेडिक्शन एरर तेजी से जमा होने लगते हैं, जिससे टेम्पोरल ड्रिफ्ट (temporal drift) और प्रक्षेपवक्र (trajectory) की गुणवत्ता में गिरावट आती है।
प्रशिक्षण-नियोजन बेमेल (Training-Planning Mismatch): अधिकांश मॉडल एक निश्चित-चरण भविष्यवाणी उद्देश्य (fixed-step prediction objective) के साथ प्रशिक्षित होते हैं। यह केवल स्थानीय टेम्पोरल स्केल पर पर्यवेक्षण (supervision) प्रदान करता है, जो दीर्घ-दूरी की निरंतरता (long-range consistency) के लिए स्पष्ट रूप से अनुकूलित करने में विफल रहता है। फलस्वरूप, प्रशिक्षण संकेत (training signal) दीर्घ-क्षिति नियोजन समस्याओं की प्रकृति के साथ संरेखित नहीं होता है।
आर्किटेक्चरल कठोरता (Architectural Rigidity): वर्तमान लेटेंट वर्ल्ड मॉडल अक्सर समर्पित कंडीशनिंग तंत्र (जैसे, FiLM लेयर्स या क्रॉस-अटेंशन) के माध्यम से क्रियाओं (actions) को शामिल करते हैं जो हिडन स्टेट्स में क्रियाओं को फ्यूज करते हैं। यह डिज़ाइन मॉडल को एक निश्चित एक्शन लेआउट (आमतौर पर प्रति चरण एक एक्शन) के साथ मजबूती से जोड़ देता है, जिससे कई क्रियाओं के योगदान को अलग करना या परिवर्तनीय-लंबाई वाले एक्शन सीक्वेंस को स्वाभाविक रूप से संभालना कठिन हो जाता है।

2. कार्यप्रणाली: परिवर्तनीय-लंबाई वाले लेटेंट वर्ल्ड मॉडल (VLWM)

लेखक VLWM का प्रस्ताव करते हैं, जो एक एकल मॉडल के भीतर कई प्रेडिक्शन होराइजन्स (prediction horizons) में लेटेंट एनवायरनमेंट डायनेमिक्स सीखने के लिए डिज़ाइन किया गया एक फ्रेमवर्क है।

2.1 परिवर्तनीय-लंबाई वाला पर्यवेक्षण (Variable-Length Supervision)

पर्यवेक्षण को केवल अगले तत्काल चरण तक सीमित रखने के बजाय, VLWM एक एकल प्रेडिक्टर $g_\phi$ को एक मनमाने भविष्य के ऑफसेट $k \ge 1$ पर लेटेंट स्टेट का पूर्वानुमान लगाने के लिए प्रशिक्षित करता है। प्रशिक्षण उद्देश्य है:
$\mathcal{L}_{VLWM} = \mathbb{E}_{t, k \sim p(k)} \left[ \| g_\phi(s_t, a_{t:t+k-1}) - \bar{g}(\bar{f}_{\bar{\theta}}(o_{t+k})) \|_2^2 \right]$
जहाँ $s_t$ वर्तमान लेटेंट स्टेट है, $a_{t:t+k-1}$ लंबाई $k$ का एक परिवर्तनीय-लंबाई वाला एक्शन सेगमेंट है, और लक्ष्य समय $t+k$ पर लेटेंट स्टेट है। यह लघु-अवधि की गतिशीलता और दीर्घ-दूरी की सिमेंटिक निरंतरता को एक ही उद्देश्य के तहत एकीकृत करता है।

2.2 एक्शन-एज़-टोकन फॉर्मूलेशन (Action-as-Token Formulation)

परिवर्तनीय-लंबाई वाले एक्शन सीक्वेंस को मूल रूप से समर्थन देने के लिए, VLWM लेयर-इंटरनल कंडीशनिंग से हटकर काम करता है। इसके बजाय, यह एक्शन एम्बेडिंग्स को प्रथम-श्रेणी के ट्रांसफार्मर टोकन (first-class transformer tokens) के रूप में मानता है।

इनपुट सीक्वेंस: मॉडल एक सीक्वेंस $X$ प्राप्त करता है जिसमें हिस्ट्री के स्टेट टोकन्स और उसके बाद परिवर्तनीय संख्या में एक्शन टोकन्स ( $e_t, \dots, e_{t+k-1}$ ) होते हैं।
तंत्र (Mechanism): स्टेट और एक्शन टोकन्स को एडिटिव टाइप एम्बेडिंग्स द्वारा अलग किया जाता है। ट्रांसफार्मर कॉज़ल (causal) है, और अनुमानित लेटेंट $\hat{s}_{t+k}$ को सीक्वेंस के अंतिम टोकन के आउटपुट से सीधे पढ़ा जाता है।
लाभ: यह पूर्वनिर्धारित एक्शन-कंडीशनिंग इंटरफेस की आवश्यकता को समाप्त करता है, जिससे मॉडल बिना किसी आर्किटेक्चरल बदलाव के मनमाने पिछले एक्शनों पर कंडीशन हो सकता है।

2.3 करिकुलम ट्रेनिंग रणनीति (Curriculum Training Strategy)

शुरुआत से ही बड़े प्रेडिक्शन होराइजन्स के साथ सीधे प्रशिक्षण देना शोर वाले ग्रेडिएंट्स (noisy gradients) और ऑप्टिमाइज़ेशन विफलता के कारण अस्थिर होता है। VLWM एक करिकुलम लर्निंग रणनीति का उपयोग करता है:

प्रशिक्षण को चरणों में विभाजित किया गया है। चरण $j$ में, होराइजन $k$ को $\{1, 2, \dots, j\}$ से यूनिफॉर्मली सैंपल किया जाता है।
मॉडल $k=1$ से शुरू होता है और अधिकतम $K_{max}$ तक सैंपल किए गए होराइजन्स की रेंज को धीरे-धीरे बढ़ाता है।
यह सुनिश्चित करता है कि दीर्घ-दूरी की सिमेंटिक्स, अच्छी तरह से सीखे गए लघु-होराइजन डायनेमिक्स पर आधारित हों, जिससे ऑप्टिमाइज़ेशन स्थिर होता है।

2.4 परिवर्तनीय-लंबाई वाले जंप के साथ नियोजन (Planning with Variable-Length Jumps)

इन्फरेंस (inference) के दौरान, प्लानिंग होराइजन $H$ को निरंतर चंक्स (contiguous chunks) में विभाजित किया जाता है $H = k_1 + k_2 + \dots + k_M$ । प्लानर रोलआउट का मूल्यांकन पुनरावर्ती एक-चरण भविष्यवाणियों के बजाय परिवर्तनीय-लंबाई वाले लेटेंट जंप के एक अनुक्रम के रूप में करता है। पेपर तीन नियोजन रणनीतियों का प्रस्ताव करता है:

P1 (निश्चित लेकिन कार्य-अनुकूलित): एक स्थिर चंक साइज $k^*$ का उपयोग करता है जो प्रति कार्य चुना जाता है (बारीक नियंत्रण के लिए छोटा, दीर्घ-क्षिति लक्ष्यों के लिए बड़ा)।
P2 (रैंडम-होराइजन सैंपलिंग): प्रत्येक बाउंड्री पर $\{1, \dots, K_{max}\}$ से चंक साइज को यूनिफॉर्मली सैंपल करता है।
P3 (लॉन्ग-टू-शॉर्ट): दीर्घ-दूरी की संरचना को कवर करने के लिए बड़े चंक्स के साथ शुरू होता है और बारीक डायनेमिक्स को रिफाइन करने के लिए अंत की ओर चंक साइज को धीरे-धीरे कम करता है (एक कोर्स-टू-फाइन सर्च)।

3. मुख्य योगदान

एकीकृत फ्रेमवर्क: VLWM का परिचय, एक ऐसा फ्रेमवर्क जो कई होराइजन्स में लेटेंट डायनेमिक्स सीखता है और "एक्शन-एज़-टोकन" फॉर्मूलेशन के माध्यम से स्वाभाविक रूप से परिवर्तनीय-लंबाई वाले एक्शन सीक्वेंस का समर्थन करता है।
स्थिर प्रशिक्षण और नियोजन: स्थिर परिवर्तनीय-लंबाई प्रशिक्षण के लिए एक स्केलेबल करिकुलम लर्निंग रणनीति और नियोजन एल्गोरिदम का एक सेट जो एक ही मॉडल के भीतर विभिन्न प्रेडिक्शन होराइजन्स का अनुकूलन क्षमता से लाभ उठाता है।
अनुभवजन्य सत्यापन (Empirical Validation): यह प्रदर्शन कि VLWM दीर्घ-क्षिति नियोजन बेंचमार्क पर फिक्स्ड-होराइजन वर्ल्ड मॉडल्स (विशेष रूप से LeWM) को लगातार पछाड़ता है, जिसमें बेहतर दीर्घ-दूरी की प्रेडिक्टेबिलिटी और डाउनस्ट्रीम कंट्रोलैबिलिटी के विश्लेषण शामिल हैं।

4. प्रयोगात्मक परिणाम

लेखकों ने तीन गोल-कंडीशन्ड प्लानिंग एनवायरनमेंट्स पर VLWM का मूल्यांकन किया: PushT (2D मैनिपुलेशन), OGBench-Cube (3D रोबोटिक मैनिपुलेशन), और TwoRoom (2D नेविगेशन)।

प्रदर्शन में सुधार: VLWM ने डेटासेट्स पर स्टेट-ऑफ-द-आर्ट LeWM की तुलना में औसतन 13% सुधार हासिल किया। लाभ दीर्घ-क्षिति व्यवस्थाओं में सबसे महत्वपूर्ण थे (उदाहरण के लिए, 100 स्टेप्स के होराइजन के साथ TwoRoom पर, सफलता दर LeWM के 36% से सुधरकर VLWM के साथ 68% हो गई)।
त्रुटि शमन (Error Mitigation): विज़ुअलाइज़ेशन ने दिखाया कि जबकि LeWM के पुनरावर्ती रोलआउट्स भटक (drift) गए और पर्यावरणीय सीमाओं (जैसे दरवाजे) को पार करने में विफल रहे, VLLM के चंक्ड वेरिएबल-लेंथ जंप ग्राउंड-ट्रुथ ट्रेजेक्टरीज के करीब रहे।
रिप्रेजेंटेशन की गुणवत्ता: फ्रोजन एनकोडर्स पर लीनियर प्रोब मूल्यांकन से पता चला कि VLWM ने LeWM की तुलना में भौतिक गुणों (जैसे ब्लॉक एंगल) के लिए उच्च पियर्सन कोरिलेशन के साथ लेटेंट्स का उत्पादन किया, जो बेहतर धीमी सिमेंटिक स्टेट परिवर्तन को कैप्चर करने का सुझाव देता है।
करिकुलम की आवश्यकता: एब्लेशन स्टडीज ने पुष्टि की कि विस्तारित नियोजन की आवश्यकता वाले कार्यों पर, विशेष रूप से, स्थिर परिवर्तनीय-लंबाई प्रशिक्षण के लिए करिकुलम ट्रेनिंग रणनीति आवश्यक है।

5. महत्व और दावे

पेपर का दावा है कि VLWM लेटेंट वर्ल्ड मॉडल्स में दीर्घ-क्षिति प्रेडिक्शन और प्लानिंग में सुधार के लिए एक सरल लेकिन प्रभावी प्रतिमान प्रदान करता है।

इंजीनियरिंग से परे: लेखक तर्क देते हैं कि दीर्घ-क्षिति नियोजन का संघर्ष केवल एक इंजीनियरिंग मुद्दा नहीं है, बल्कि प्रशिक्षण उद्देश्यों का परिणाम है। फिक्स्ड-स्टेप से परिवर्तनीय-लंबाई वाले पर्यवेक्षण की ओर शिफ्ट होकर, VLWM प्रशिक्षण संकेत को दीर्घ-क्षिति तर्क (reasoning) की आवश्यकताओं के साथ संरेखित करता है।
एकीकृत इंटरफेस: यह फ्रेमवर्क एक ही प्रशिक्षित मॉडल के भीतर फिक्स्ड- और हायरार्किकल-होराइजन रणनीतियों की एक श्रृंखला को समाहित करता है, जिससे अलग-अलग हाई-लेवल और लो-लेवल पॉलिसी या सहायक मॉड्यूल की आवश्यकता समाप्त हो जाती है।
भविष्य की दिशा: परिणाम बताते हैं कि परिवर्तनीय-लंबाई वाला पर्यवेक्षण अधिक मजबूत नियोजन एल्गोरिदम की ओर एक बुनियादी कदम है, जो एक लचीला इंटरफेस प्रदान करता है जहाँ प्लानर कार्य की विशिष्ट आवश्यकताओं के अनुसार प्रेडिक्शन ग्रेनुलैरिटी को अनुकूलित कर सकते हैं।