💻 computer science

DREAM-Chunk: Reactive Action Chunking with Latent World Model

DREAM-Chunk एक टेस्ट-टाइम स्केलिंग विधि है जो एक हल्के लेटेंट वर्ल्ड मॉडल को एकीकृत करके स्टोकेस्टिक वातावरणों में एक्शन-चंकिंग पॉलिसियों की मजबूती को बढ़ाती है, ताकि बिना किसी अतिरिक्त पॉलिसी फाइन-ट्यूनिंग के, भविष्य की अनुमानित अवस्थाओं के आधार पर सबसे रिएक्टिव एक्शन चंक्स को सैंपल और सेलेक्ट किया जा सके।

मूल लेखक: Wenxi Chen, Kaidi Zhang, Chi Lin, Zhiyuan Zhang, Yu She, Yuejiang Liu, Raymond A. Yeh, Shaoshuai Mou, Yan Gu

प्रकाशित 2026-06-19

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Wenxi Chen, Kaidi Zhang, Chi Lin, Zhiyuan Zhang, Yu She, Yuejiang Liu, Raymond A. Yeh, Shaoshuai Mou, Yan Gu

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को एक जटिल कार्य करना सिखा रहे हैं, जैसे कि एक कप उठाना और एक गिलास में पानी डालना। अतीत में, रोबोटों को अक्सर हर एक सूक्ष्म गति (उठाना, ले जाना, झुकाना, डालना) के बारे में एक-एक करके सोचना पड़ता था, जो धीमा और गणनात्मक रूप से भारी था।

इस प्रक्रिया को तेज करने के लिए, आधुनिक रोबोट एक ट्रिक का उपयोग करते हैं जिसे "एक्शन चंकिंग" (Action Chunking) कहा जाता है। एक समय में एक कदम की योजना बनाने के बजाय, रोबोट का मस्तिष्क (एक बड़ा AI मॉडल) एक बार में पूरे "चंक" (chunk) की गतिविधियों की योजना बनाता है—मान लीजिए, एक ही विचार में अगली 10 सेकंड की हलचल। यह बिल्कुल वैसा ही है जैसे एक इंसान यह निर्णय लेता है, "मैं रसोई में जाऊंगा, फ्रिज खोलूंगा और दूध का कार्टन उठाऊंगा," न कि प्रत्येक मांसपेशी की हरकत के लिए हर कदम पर गणना करता है।

समस्या: "ओपन-लूप" (Open-Loop) का जाल
यह पेपर इस दृष्टिकोण में एक दोष की ओर इशारा करता है। एक बार जब रोबोट उस 10-सेकंड के "चंक" के लिए प्रतिबद्ध हो जाता है, तो वह आमतौर पर इसे अंधे होकर निष्पादित करता है, जैसे पटरी पर चलती हुई ट्रेन। वह यह नहीं देखता कि आसपास क्या बदल रहा है।

उपमा: कल्पना कीजिए कि आप आंखों पर पट्टी बांधकर कार चला रहे हैं, जबकि आप इस बात पर भरोसा कर रहे हैं कि आपके GPS ने कहा था "5 मील में बाएं मुड़ें।" यदि अचानक आपके सामने एक विशाल चट्टान आ जाती है, या सड़क बदल जाती है, तो आप अंधे होकर चट्टान की ओर गाड़ी चलाते रहते हैं क्योंकि आप अपने "चंक" में फंसे हुए हैं। रोबोटिक्स में, इसे "स्टोकेस्टिक डायनेमिक्स" (stochastic dynamics) कहा जाता है—अनिश्चित चीजें जैसे फिसलन भरा फर्श, लड़खड़ाते रोबोटिक हाथ, या उम्मीद से तेज़ चलती वस्तुएं।

समाधान: DREAM-Chunk
लेखक एक नया तरीका प्रस्तावित करते हैं जिसे DREAM-Chunk कहा जाता है। इसके लिए रोबोट के मुख्य मस्तिष्क को फिर से प्रशिक्षित (retrain) करने की आवश्यकता नहीं है। इसके बजाय, यह एक हल्का "ड्रीमर" (dreamer) मॉड्यूल जोड़ता है जो मुख्य मस्तिष्क के साथ मिलकर काम करता है।

यह इस प्रकार काम करता है, एक रचनात्मक उपमा का उपयोग करते हुए:

"सपनों वाली" उपमा (The "Dreaming" Analatoogy)

कल्पना कीजिए कि आप एक जहाज के कप्तान हैं, और आपका मुख्य मस्तिष्क (VLA पॉलिसी) अगले एक घंटे की नौकायन के लिए आपको एक मानचित्र देता है। लेकिन समुद्र तूफानी और अप्रत्याशित है।

मुख्य मस्तिष्क: आपका मुख्य मस्तिष्क कहता है, "ठीक है, यहाँ योजना है: बाएं मुड़ें, फिर सीधा चलें, फिर दाएं मुड़ें।"
ड्रीमर (The Dreamer): उस एक योजना का अंधे होकर पालन करने के बजाय, आपका "ड्रीमर" (एक हल्का वर्ल्ड मॉडल) उस एक योजना के आधार पर कई संभावित भविष्यों का तेजी से अनुकरण (simulate) करता है।
- सपना A: "यदि हम बाएं मुड़ते हैं, लेकिन एक लहर हमें थोड़ा दाएं धकेल देती है, तो हम यहाँ पहुँचते हैं।"
- सपना B: "यदि हम बाएं मुड़ते हैं, लेकिन हवा अधिक तेज है, तो हम वहां पहुँचते हैं।"
- सपना C: "यदि हम बाएं मुड़ते हैं, लेकिन करंट अजीब है, तो हम वहां पहुँचते हैं।"
वास्तविकता की जांच (The Reality Check): जैसे-जैसे जहाज वास्तव में चलता है, आप खिड़की से बाहर देखते हैं (रोबोट का कैमरा) यह देखने के लिए कि आप वास्तव में कहाँ हैं।
स्विच (The Switch): आप अपनी वास्तविक स्थिति की तुलना "सपनों" से करते हैं।
- यदि आप वास्तव में उस स्थान पर हैं जिसकी भविष्यवाणी सपना B ने की थी, तो आप तुरंत अपना रास्ता बदलकर सपना B के शेष भाग का अनुसरण करने के लिए स्विच कर जाते हैं।
- यदि जहाज को एक लहर द्वारा धकेल दिया जाता है, तो आप अगली योजना बनाने के लिए अगले एक घंटे का इंतजार नहीं करते। आप तुरंत उस "सपने" पर स्विच कर जाते हैं जो आपकी वर्तमान वास्तविकता से मेल खाता है।

पेपर के मुख्य निष्कर्ष

पुनः प्रशिक्षण की आवश्यकता नहीं: रोबोट का मुख्य मस्तिष्क बिल्कुल वैसा ही रहता है। DREAM-Chunk एक "स्मार्ट ओवरले" की तरह है जो टेस्ट टाइम (जब रोबोट वास्तव में काम कर रहा होता है) पर चलता है।
यह तेज़ है: "सपनों वाला" हिस्सा बहुत हल्का है। मुख्य मस्तिष्क भारी और धीमा है (एक सुपरकंप्यूटर की तरह), लेकिन ड्रीमर एक त्वरित स्केच आर्टिस्ट की तरह है। यह मिलीसेकंड में भविष्य का अनुकरण कर सकता है।
इसे अच्छे प्रशिक्षण डेटा की आवश्यकता है: यह विधि तब सबसे अच्छा काम करती है जब रोबोट को उन उदाहरणों पर प्रशिक्षित किया गया हो जहाँ विशेषज्ञों ने गलतियाँ कीं और उन्हें सुधारा। यदि प्रशिक्षण डेटा केवल पूर्ण, सीधी रेखा वाली गतिविधियों को दिखाता है, तो जब चीजें गलत होती हैं, तो रोबोट के पास स्विच करने के लिए कोई "बैकअप सपने" नहीं होंगे।
वास्तविक दुनिया में सफलता: लेखकों ने वास्तविक रोबोटों (जैसे फ्रैंका पांडा आर्म और SO-101 आर्म) पर इन कार्यों का परीक्षण किया:
- USB केबल प्लग करना (जहाँ पोर्ट थोड़ा हटकर हो सकता है)।
- लुढ़कती हुई गेंद को पकड़ना (जहाँ गति अप्रत्याशित होती है)।
- एक डिब्बे में कैन डालना जिसे कोई हिला रहा है।
- परिणाम: एक परीक्षण में, एक रोबोट जो अस्थिर वातावरण में आमतौर पर 90% बार विफल (10% सफलता) होता था, DREAM-Chunk का उपयोग करके 65% सफलता तक पहुँच गया।

सारांश

DREAM-Chunk एक "क्रिस्टल बॉल" देने जैसा है जो रोबोट को जल्दी से यह कल्पना करने की अनुमति देता है कि उसके वर्तमान प्लान के कई अलग-अलग परिणाम कैसे हो सकते हैं। जब वास्तविक दुनिया अस्त-व्यस्त हो जाती है, तो रोबोट तुरंत उस "सपने" पर स्विच कर जाता है जो वास्तविकता से मेल खाता है, जिससे बिना दोबारा प्रशिक्षित हुए भी यह बहुत अधिक मजबूत और प्रतिक्रियाशील बन जाता है।

तकनीकी सारांश: DREAM-Chunk

समस्या विवरण (Problem Statement)

एक्शन चंकिंग (Action chunking) विजन-लैंग्वेज-एक्शन (VLA) मॉडल्स के लिए एक मानक इंटरफ़ेस बन गया है, जो कम-आवृत्ति वाले पॉलिसी इन्फरेंस (low-frequency policy inference) को उच्च-आवृत्ति वाले रोबोट निष्पादन (high-frequency robot execution) को संचालित करने की अनुमति देता है। हालाँकि, एक बार जब एक्शन का एक चंक (chunk) प्रतिबद्ध हो जाता है, तो रोबोट इसे काफी हद तक ओपन-लूप (open-loop) तरीके से निष्पादित करता है। यह दृष्टिकोण स्टोकेस्टिक डायनेमिक्स (stochastic dynamics), हार्डवेयर निष्पादन त्रुटियों (hardware execution errors), और आंशिक रूप से प्रेक्षित अवस्थाओं (partially observed states) के तहत नाजुक हो जाता है। निष्पादन के दौरान त्रुटियाँ संचित होती हैं क्योंकि पॉलिसी अगले इन्फरेंस स्टेप तक विचलन (deviations) पर प्रतिक्रिया नहीं दे पाती है। जबकि हाल के प्रयास बार-बार रीप्लानिंग (replanning), हल्के आर्किटेटेक्चरल संशोधनों या एडेप्टिव होराइजन्स के माध्यम से प्रतिक्रियाशीलता में सुधार करने का प्रयास करते हैं, इन विधियों को अक्सर कम्प्यूटेशनल लागतों का सामना करना पड़ता है, वे लंबे समय के प्लान्स को बर्बाद कर देते हैं, या बड़े मॉडल्स की स्केलिंग क्षमता को सीमित करते हैं।

कार्यप्रणाली: DREAM-Chunk

लेखक DREAM-Chunk (Dreamed-state REactive Action Matching for Action Chunking) का प्रस्ताव करते हैं, जो एक टेस्ट-टाइम स्केलिंग फ्रेमवर्क है जो मौजूदा एक्शन-चंकिंग पॉलिसी की प्रतिक्रियाशीलता को मौजूदा VLA को संशोधित या फाइन-ट्यून किए बिना बढ़ाता है।

मुख्य तंत्र (Core Mechanism)

DREAM-Chunk एक निश्चित चंकिंग-आधारित VLA पॉलिसी को एक हल्के सहायक लेटेंट वर्ल्ड मॉडल (lightweight auxiliary latent world model) के साथ जोड़ता है। यह प्रक्रिया इस प्रकार संचालित होती है:

बैच्ड इन्फरेंस (Batched Inference): प्रत्येक रीप्लानिंग स्टेप $t$ पर, निश्चित पॉलिसी $\pi$ वर्तमान अवलोकन $o_t$ से $N$ कैंडिडेट एक्शन चंक्स ( $A^{(1)}, \dots, A^{(N)}$ ) सैंपल करती है।
पैरेलल लेटेंट रोलआउट्स (Parallel Latent Rollouts): एक हल्का वर्ल्ड मॉडल (जिसमें एक एनकोडर $e$ और एक लेटेंट डायनेमिक्स मॉडल $f$ शामिल है) सभी $N$ कैंडिडेट चंक्स के लिए भविष्य के लेटेंट स्टेट्स की समानांतर (parallel) भविष्यवाणी करता है। एनकोडर अवलोकनों को लेटेंट स्पेस $s_t = e(o_t)$ में मैप करता है, और डायनेमिक्स मॉडल $s_{t+\tau} = f(s_{t+\tau-1}, a_{t+\tau-1})$ की भविष्यवाणी करता है।
रिएक्टिव मैचिंग (Reactive Matching): निष्पादन के दौरान, जैसे ही रोबोट प्रत्येक चरण $\tau$ पर नए अवलोकन $o_{t+\tau}$ प्राप्त करता है, उन्हें लेटेंट स्पेस में एनकोड किया जाता है। DREAM-Chunk देखे गए लेटेंट स्टेट की तुलना सभी कैंडिडेट चंक्स के फेज-अलाइन्ड ड्रीमड स्टेट्स (phase-aligned dreamed states) से करता है।
चयन (Selection): सिस्टम उस कैंडिडेट चंक से एक्शन चुनता है जिसका प्रेडिक्टेड लेटेंट स्टेट देखे गए स्टेट से सबसे अच्छा मेल खाता है (लेटेंट स्पेस में यूक्लिडियन दूरी को न्यूनतम करता है)। यह रोबोट को एक अलग कैंडिडेट चंक पर स्विच करने की अनुमति देता है यदि स्टोकेस्टिसिटी के कारण वर्तमान ट्रेजेक्टरी विचलित हो जाती है, जिससे प्रभावी रूप से निष्पादन क्षितिज (execution horizon) के भीतर रिएक्टिव सुधार संभव होता है।

प्रमुख डिज़ाइन विशेषताएँ

पॉलिसी-एग्नोस्टिक (Policy-Agnostic): मूल VLA स्थिर रहता; इस विधि के लिए केवल कई चंक्स को सैंपल करने और एक हल्के वर्ल्ड मॉडल को चलाने की आवश्यकता होती है।
लेटेंट मैचिंग (Latent Matching): हर स्टेप पर VLA को पुन: इन्फर करने के बजाय (जो कम्प्यूटेशनल रूप से महंगा है), यह विधि भविष्य को "सपना" (dream) देखने और उन्हें वास्तविकता से मिलाने के लिए वर्ल्ड मॉडल का उपयोग करती है।
एसिंक्रोनस सपोर्ट (Asynchronous Support): यह विधि एसिंक्रोनस इन्फरेंस का समर्थन करती है, जिससे वर्तमान बैच के निष्पादित होने के दौरान ही अगले बैच के चंक्स को सैंपल किया जा सकता है।

मुख्य योगदान (Key Contributions)

फ्रेमवर्क प्रस्ताव: DREAM-Chunk का परिचय, जो एक टेस्ट-टाइम स्केलिंग विधि है जो बेस पॉलिसी को फाइन-ट्यून किए बिना स्टोकेस्टिक डायनेमिक्स के तहत प्रतिक्रियाशीलता में सुधार करती है।
सिमुलेशन विश्लेषण: Kinetix बेंचमार्क पर अनुभवजन्य सत्यापन (Empirical validation) दर्शाता है कि:
- प्रदर्शन बड़े कैंडिडेट सैंपल साइज ( $N$ ) के साथ बेहतर होता है।
- इसकी प्रभावशीलता सुधारात्मक व्यवहारों (corrective behaviors) की उपस्थिति पर अत्यधिक निर्भर है (अर्थात, पॉलिसी को उपयोगी रिकवरी विकल्प सैंपल करने में सक्षम होना चाहिए)।
- लेटेंट रिप्रेजेंटेशन का चुनाव (जैसे, RSSM, LEWM, EB-JEPA) प्रदर्शन को महत्वपूर्ण रूप से प्रभावित करता है, जिसमें वे मॉडल जो विश्वसनीय फेज-अलाइन्ड मैचिंग का समर्थन करते हैं, श्रेष्ठ होते हैं।
हार्डवेयर वैलिडेशन: दो रोबोट प्लेटफॉर्म (SO-101 और Franka Panda) और दो VLA पॉलिसी (SmolVLA और $\pi_0.5$ ) के माध्यम से चार वास्तविक-दुनिया के मैनिपुलेशन कार्यों पर तैनाती। यह विधि हार्डवेयर निष्पादन त्रुटियों, आंशिक अवलोकन और बाहरी व्यवधानों को सफलतापूर्वक कम करती है।

प्रयोगात्मक परिणाम (Experimental Results)

सिमुलेशन (Kinetix)

स्टोकेस्टिसिटी (Stochasticity): जैसे-जैसे एक्शन नॉइज़ बढ़ता है, DREAM-Chunk बेसलाइन्स (Naive Asynchronous, BID, RTC, Adaptive Chunking) को पछाड़ देता है। जबकि बेसलाइन्स क्रॉस-चंक कंसिस्टेंसी पर ध्यान केंद्रित करते हैं, DREAM-Chunk की विदिन-चंक (within-chunk) प्रतिक्रियाशीलता तब महत्वपूर्ण हो जाती है जब ट्रेजेक्टरीज नाममात्र के रोलआउट से विचलित होती हैं।
सैंपल स्केलिंग (Sample Scaling): अधिक संख्या में सैंपल किए गए चंक्स ( $N$ ) को बढ़ाने से प्रेडिक्टेड लेटेंट स्टेट्स और वास्तविक स्टेट्स के बीच की दूरी कम हो जाती है, जिससे संभावित भविष्य का कवरेज बेहतर होता है।
सुधारात्मक डेटा (Corrective Data): यह विधि केवल तभी प्रभावी ढंग से स्केल होती है जब अंतर्निहित पॉलिसी को प्रदर्शनों (demonstrations) पर प्रशिक्षित किया गया हो जिनमें सुधारात्मक व्यवहार शामिल हों (जैसे, उच्च एक्शन नॉइज़ के साथ प्रशिक्षित एक्सपर्ट्स)।

हार्डवेयर पर तैनाती (Hardware Deployment)

कार्य: USB अनप्लिंग/इन्सर्टिंग, चलती वस्तुओं को पकड़ना, खिलौनों को उठाना/इन्सर्ट करना, और व्यवधान के तहत कैन डालना।
प्रदर्शन लाभ:
- SmolVLA (SO-101): सभी कार्यों में सफलता दर में सुधार (जैसे, USB कार्य: 75% $\to$ 95%; मूविंग ऑब्जेक्ट को पकड़ना: 60% $\to$ 80%)।
- $\pi_0.5$ (Franka): बाहरी व्यवधान के तहत एक सटीक इंसर्शन कार्य पर, DREAM-Chunk ने ओपन-लूप पॉलिसी की सफलता दर को 10% से बढ़ाकर 65% ( $N=5$ के साथ) कर दिया।
लेटेंसी (Latency): वर्ल्ड मॉडल ओवरहेड न्यूनतम (मिलीसेकंड में) है। $N=20$ के लिए, वर्ल्ड मॉडल घटकों (एनकोडर, प्रेडिक्टर, मैचिंग) के लिए अतिरिक्त लेटेंसी लगभग 4.8 ms है, जबकि पॉलिसी इन्फरेंस कुल समय पर हावी रहता है।

महत्व और दावे (Significance and Claims)

पेपर का दावा है कि DREAM-Chunk VLA और वर्ल्ड मॉडल रिसर्च को एकीकृत करके व्यावहारिक रूप से तैनात करने योग्य एम्बोडीड इंटेलिजेंस (embodied intelligence) की ओर एक मॉड्यूलर मार्ग प्रदान करता है। इसका प्राथमिक महत्व निम्नलिखित में निहित है:

री-ट्रेनिंग के बिना प्रतिक्रियाशीलता: यह लंबे समय के चंक निष्पादन को बार-बार VLA री-इन्फरेंस की कम्प्यूटेशनल लागत या बड़े मॉडल्स को फाइन-ट्यून करने की जटिलता के बिना, स्टोकेस्टिक डायनेमिक्स के प्रति रिएक्टिव बनाता है।
मौजूदा डेटा का लाभ उठाना: यह रेखांकित करता है कि जेनेरेटिव पॉलिसीज़ की मजबूती अक्सर ट्रेनिंग डिस्ट्रीब्यूशन में मौजूद स्थानीय सुधारात्मक विविधताओं (local corrective variations) को सैंपल करने की क्षमता पर निर्भर करती है, न कि टेस्ट टाइम पर पूरी तरह से नई उच्च-स्तरीय रणनीतियों को सीखने पर।
स्केलेबिलिटी: विकल्पों के "प्लानिंग" को एक हल्के वर्ल्ड मॉडल को सौंपकर, यह दृष्टिकोण बड़े VLAs को वास्तविक समय नियंत्रण के लिए व्यावहारिक बनाए रखते हुए मॉडल-आधारित प्लानिंग की मजबूती प्रदान करता है।

लेखक निष्कर्ष निकालते हैं कि हल्के प्रेडिक्टिव मॉडल व्यावहारिक रिएक्टिव मॉड्यूल के रूप में कार्य कर सकते हैं, जो निष्पादन शोर (execution noise), आंशिक अवलोकन और बाहरी व्यवधानों द्वारा चिह्नित वातावरणों में एक्शन-चंकिंग पॉलिसी की सफलता दर में उल्लेखनीय सुधार करते हैं।