💻 computer science

Persistent Robot World Models: Stabilizing Multi-Step Rollouts via Reinforcement Learning

यह शोध पत्र एक सुदृढीकरण शिक्षण (रिनफोर्समेंट लर्निंग) पोस्ट-ट्रेनिंग फ्रेमवर्क प्रस्तुत करता है जो कंट्रास्टिव ऑब्जेक्टिव्स को अनुकूलित करके, परिवर्तनीय-लंबाई वाले कैंडिडेट तुलनाओं का उपयोग करके, और मल्टी-व्यू विजुअल फिडेलिटी रिवॉर्ड्स का उपयोग करके एक्शन-कंडीशन्ड रोबोट वर्ल्ड मॉडल्स में ऑटो-रिग्रेसिव मल्टी-स्टेप रोलआउट्स को स्थिर करता है, जिससे DROID डेटासेट पर अत्याधुनिक प्रेडिक्शन क्वालिटी प्राप्त होती है।

मूल लेखक: Jai Bardhan, Patrik Drozdik, Josef Sivic, Vladimir Petrik

प्रकाशित 2026-03-27

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Jai Bardhan, Patrik Drozdik, Josef Sivic, Vladimir Petrik

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

बड़ी समस्या: रोबोट का "विस्पर गेम" (फुसफुसाहट का खेल)

कल्पना कीजिए कि आप "टेलीफोन" (या "विस्पर") खेल रहे हैं। एक व्यक्ति अगले व्यक्ति को एक संदेश फुसफुसाता है, जो उसे अगले व्यक्ति को फुसफुसाता है, और यह सिलसिला चलता रहता है। जब तक संदेश अंत तक पहुँचता है, वह आमतौर पर अर्थहीन हो जाता है।

अब, कल्पना कीजिए कि एक रोबोट भविष्य के बारे में "सपना" देखने की कोशिश कर रहा है। वह देखता है कि मेज पर एक कटोरा रखा है और अनुमान लगाने की कोशिश करता है कि यदि वह कटोरे को धक्का देता है तो क्या होगा।

चरण 1: रोबोट भविष्यवाणी करता है कि कटोरा थोड़ा सा हिलता है। (अच्छा!)
चरण 2: अगले सेकंड की भविष्यवाणी करने के लिए, रोबोट को चरण 1 से अपने ही पिछले अनुमान को शुरुआती बिंदु के रूप में उपयोग करना होगा।
चरण 3: वह चरण 1 के थोड़े से अपूर्ण अनुमान के आधार पर अगले सेकंड की भविष्यवाणी करता है।

पारंपरिक रोबोट मॉडल में, यह एक आपदा है। क्योंकि रोबोट अपना भविष्य अपने ही छोटे-छोटे सुधारों (mistakes) के ऊपर बना रहा है, वे गलतियाँ एक ढलान से लुढ़कते हुए हिमखंड (snowball) की तरह जमा होती जाती हैं। कुछ ही सेकंडों के भीतर, भविष्य का रोबोट का "सपना" एक मतिभ्रम (hallucination) बन जाता है: कटोरा एक ढेर में बदल जाता है, रोबोट का हाथ गायब हो जाता है, या मेज एक दलदल में बदल जाती है।

इसे एक्सपोज़र बायस (Exposure Bias) कहा जाता है। रोबोट को वास्तविक दुनिया के परफेक्ट वीडियो (शिक्षक) पर प्रशिक्षित किया गया था, लेकिन जब उसे अपने दम पर चलना होता है (छात्र), तो वह विफल हो जाता है क्योंकि उसने कभी अपनी गलतियों को नहीं देखा होता।

समाधान: "PersistWorld" (रोबोट का आत्म-सुधार)

लेखकों ने PersistWorld नामक एक नई विधि बनाई है। केवल रोबोट को परफेक्ट वीडियो कॉपी करना सिखाने के बजाय, उन्होंने उसे अपने बुरे सपनों को ठीक करना सिखाया। उन्होंने इसे रीइन्फोर्समेंट लर्निंग (RL) का उपयोग करके किया, जो एक कुत्ते को 'ट्रीट्स' (इनाम) देकर प्रशिक्षित करने जैसा है।

उन्होंने इसे चार सरल चरणों में किया है:

1. "क्या होगा अगर" का खेल (कॉन्ट्रास्टिव आरएल - Contrastive RL)

कल्पना कीजिए कि आप एक कलाकार हैं जो सूर्यास्त की पेंटिंग बनाने की कोशिश कर रहे हैं।

पुराना तरीका: आप सूर्यास्त की एक फोटो देखते हैं और उसे पूरी तरह से कॉपी करने की कोशिश करते हैं।
नया तरीका (PersistWorld): आप खुद सूर्यास्त की पेंटिंग बनाते हैं। फिर, आप इसे फिर से पेंट करते हैं, लेकिन इस बार आप इसे थोड़ा अलग बनाने की कोशिश करते हैं। आप दोनों पेंटिंग्स को एक जज को दिखाते हैं।
- यदि पेंटिंग A, पेंटिंग B से बेहतर दिखती है, तो जज पेंटिंग A के लिए आपको एक "ट्रीट" (इनाम) देता है और कहता है, "पेंटिंग B के लिए ऐसा मत करो।"
- रोबोट इसे हजारों बार करता है। वह कई संभावित भविष्य उत्पन्न करता है, उनकी तुलना करता है, और सीखता है: "जब मैं गलती करता हूँ, तो मुझे वास्तविकता के करीब वाले संस्करण की ओर वापस मुड़ना चाहिए।"

2. "शाखाओं वाला मार्ग" प्रोटोकॉल (The Branching Path Protocol)

वीडियो गेम में, कभी-कभी आप सड़क के दोराहे पर पहुँचते हैं। आप बाईं ओर जा सकते हैं या दाईं ओर।

रोबोट एक वास्तविक वीडियो क्लिप (साझा पथ) से शुरू करता है।
फिर, वह समय को रोक देता है और अगले क्या होने वाला है, इसके 16 अलग-अलग संस्करण (शाखाएँ) बनाता है।
वह इन सभी 16 शाखाओं की वास्तविक दुनिया से तुलना करता है। कुछ शाखाएँ दिखा सकती हैं कि रोब образом कप गिरा रहा है; अन्य दिखा सकती हैं कि वह उसे पकड़ रहा है।
रोबोट उन शाखाओं को पसंद करना सीखता है जो वास्तविक दिखती हैं और उन्हें दंडित करता है जो अजीब दिखती हैं। यह उसे सुसंगत (consistent) रहना सिखाता है, भले ही वह अपने पिछले अनुमानों के आधार पर भविष्यवाणियाँ कर रहा हो।

3. "बहु-आंख" स्कोरकार्ड (The Multi-Eye Scorecard)

आप कैसे जानेंगे कि रोबोट का सपना अच्छा है या नहीं? आप केवल एक तस्वीर नहीं देख सकते; आपको पूरे दृश्य को देखना होगा।

रोबोट की तीन "आंखें" (कैमरे) हैं: दो बगल से देख रही हैं और एक उसकी कलाई (wrist) पर है।
प्रशिक्षण प्रणाली एक सख्त कला समीक्षक की तरह कार्य करती है। वह तीन अलग-अलग नियमों का उपयोग करके वास्तविकता के विरुद्ध रोबोट के सपने की जाँच करती है:
1. क्या यह एक फोटो की तरह दिखता है? (पिक्सेल सटीकता)
2. क्या इसकी संरचना बनी रहती है? (क्या कटोरा अभी भी एक कटोरा है, या वह एक ढेर बन गया है?)
3. क्या यह सही महसूस होता है? (अनुभवात्मक समानता)
यदि रोबोट कलाई के दृश्य को सही रखता है लेकिन साइड व्यू को बिगाड़ देता है, तो उसे दंड भी मिलता है। यह रोबोट को हर कोण से सुसंगत होने के लिए मजबूर करता है।

4. परिणाम: एक रोबोट जो भूलता नहीं है

परिणाम यह है कि रोबोट अपना मानसिक संतुलन खोए बिना लंबे समय तक "सपना" देख सकता है।

पहले: यदि आप रोबोट को पानी डालने के 10 सेकंड की भविष्यवाणी करने के लिए कहते, तो 2 सेकंड के बाद कप पिक्सेल के तरल ढेर में बदल जाता।
बाद में (PersistWorld): रोबोट 10 सेकंड की भविष्यवाणी करता है, और कप एक कप ही रहता है, पानी तरल रहता है, और रोबोट का हाथ जुड़ा रहता है।

यह क्यों महत्वपूर्ण है?

एक रोबोट वर्ल्ड मॉडल को एक फ्लाइट सिम्युलेटर के रूप में सोचें।

यदि सिम्युलेटर ग्लिच वाला है और विमान 5 सेकंड के बाद एक क्यूब (घन) में बदल जाता है, तो पायलट (या AI पॉलिसी) उड़ना नहीं सीख सकते।
PersistWorld सिम्युलेटर को ठीक करता है। यह आभासी दुनिया को स्थिर और विश्वसनीय बनाता है। यह इंजीनियरों को पहले कंप्यूटर में रोबोट को प्रशिक्षित करने की अनुमति देता है, यह जानते हुए कि जो वे वहां सीखेंगे वह वास्तव में वास्तविक दुनिया में काम करेगा।

संक्षेप में

यह पेपर रोबोट को केवल परफेक्ट वीडियो कॉपी करना नहीं, बल्कि अपनी गलतियों पर अभ्यास करना सिखाता है। "तुलना करें और चुनें" (compare and choose) पद्धति का उपयोग करके, रोबोट अपनी भविष्यवाणियों को स्थिर रखना सीखता है, जिससे वे "मतिभ्रम" (hallucinations) रुक जाते हैं जो आमतौर पर तब होते हैं जब रोबोट भविष्य की भविष्यवाणी करने की कोशिश करते हैं। यह एक ऐसे रोबोट में बदल जाता है जो कुछ ही सेकंड में वास्तविकता को भूल जाता है, एक ऐसे रोबोट में जो अपनी कल्पना में बहुत लंबे समय तक "बना रह" (persist) सकता है।

यहाँ शोध पत्र "Persistent Robot World Models: Stabilizing Multi-Step Rollouts via Reinforcement Learning" (जो PersistWorld को प्रस्तुत करता है) का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण: क्लोज्ड-लूप गैप (The Closed-Loop Gap)

एक्शन-कंडीशन्ड रोबोट वर्ल्ड मॉडल्स (WMs), जो आमतौर पर वीडियो डिफ्यूजन पर आधारित होते हैं, इतिहास के फ्रेम्स और रोबोटिक एक्शन दिए जाने पर अल्पकालिक, उच्च-सटीकता वाले वीडियो क्लिप उत्पन्न करने में उत्कृष्ट होते हैं। हालाँकि, जब इन्हें लॉन्ग-होरिज़न ऑटोरेग्रेसिव रोलआउट्स (सेकंड या मिनटों के दौरान कार्यों को सिम्युलेट करने) के लिए तैनात किया जाता है, तो वे एक गंभीर विफलता मोड का सामना करते हैं।

एक्सपोज़र बायस (Exposure Bias): प्रशिक्षण के दौरान, मॉडल "टीचर-फोर्स्ड" होते हैं, जिसका अर्थ है कि वे ग्राउंड-ट्रुथ इतिहास के आधार पर भविष्य के फ्रेम्स की भविष्यवाणी करते हैं। अनुमान (inference) के दौरान, उन्हें अपने स्वयं के पहले से उत्पन्न (और अपूर्ण) आउटपुट पर निर्भर रहना पड़ता है।
त्रुटि संचय (Error Compounding): शुरुआती जेनरेट किए गए क्लिप में छोटी स्थानिक या अस्थायी त्रुटियाँ लेटेंट हिस्ट्री बफर को दूषित कर देती हैं। ये दूषित लेटेंट्स अगले जनरेशन स्टेप को बढ़ी हुई त्रुटि के साथ कंडीशन करते हैं, जिससे एक तीव्र फीडबैक लूप बन जाता है।
परिणाम: कुछ ही सेकंडों के भीतर, जेनरेट किया गया वीडियो विकेंद्रित (decohere) हो जाता है। वस्तुएं अपनी संरचनात्मक पहचान खो देती हैं (जैसे, एक कटोरा पिघलकर एक धब्बे में बदल जाता है), रोबोट के एंड-इफेक्टर्स कमांड किए गए प्रक्षेपवक्र (trajectories) से भटक जाते हैं, और दृश्य कॉन्फ़िगरेशन ढह जाता है। यह वर्तमान WMs को जटिल, लॉन्ग-होरिज़न कार्यों के सिमुलेशन के लिए अविश्वसनीय बना देता है।

2. कार्यप्रणाली: डिफ्यूजन मॉडल्स के लिए RL पोस्ट-ट्रेनिंग

लेखक PersistWorld का प्रस्ताव करते हैं, जो एक सुदृढीकरण लर्निंग (RL) पोस्ट-ट्रेनिंग फ्रेमवर्क है जो वर्ल्ड मॉडल को उसके अपने ऑटोरेग्रेसिव रोलआउट्स पर सीधे ऑप्टिमाइज़ करता है, जिससे प्रभावी रूप से ट्रेन/टेस्ट डिस्ट्रीब्यूशन मिसमैच को पाटा जा सके।

A. कंट्रास्टिव RL ऑब्जेक्टिव ( $x_0$ -Prediction के लिए अनुकूलित)

डिफ्यूजन के लिए मानक RL कठिन है क्योंकि डिफ्यूजन मॉडल्स लाइक्लीहुड (likelihoods) प्रदान नहीं करते हैं, और पूर्ण डिनोइजिंग प्रक्रिया के माध्यम से बैकप्रोपैगेट करना महंगा है। लेखक DiffusionNFT (नेगेटिव-अवेयर फाइन-ट्यूनिंग) दृष्टिकोण को अनुकूलित करते हैं, जिसे मूल रूप से वेलोसिटी-प्रेडिक्शन फ्लो-मैचिंग मॉडल्स के लिए डिज़ाइन किया गया था, अपने बेस मॉडल (Ctrl-World/SVD) द्वारा उपयोग किए जाने वाले $x_0$ -prediction पैरामीट्रिज़ेशन के लिए।

तंत्र (Mechanism): लाइक्लीहुड्स का अनुमान लगाने के बजाय, यह विधि उम्मीदवारों का एक समूह उत्पन्न करती है, उन्हें स्कोर करती है, और एक कंट्रास्टिव लॉस के माध्यम से मॉडल को अपडेट करती है।
लॉस फंक्शन:
मान लीजिए $\hat{x}_{0,\theta}$ $\overset{x}{^}_{0, θ}$ वर्तमान मॉडल का प्रेडिक्शन है और $\hat{x}_{0}^{old}$ $\overset{x}{^}_{0}^{o l d}$ एक फ्रोजन रेफरेंस (EMA कॉपी) है। एक उम्मीदवार के लिए जिसका नॉर्मलाइज्ड रिवॉर्ड वेट $r \in [0,1]$ $r \in [0, 1]$ है:
1. पॉजिटिव ब्रांच: $\hat{x}_{0}^+ = (1-\beta)\hat{x}_{0}^{old} + \beta\hat{x}_{0,\theta}$ (वर्तमान मॉडल की ओर एक्सट्रपलेशन करता है)।
2. नेगेटिव ब्रांच: $\hat{x}_{0}^- = (1+\beta)\hat{x}_{0}^{old} - \beta\hat{x}_{0,\theta}$ (वर्तमान मॉडल से दूर एक्सट्रपलेशन करता है)।
3. ऑब्जेक्टिव: $L = \mathbb{E}[r \|\hat{x}_{0}^+ - x_0\|^2 + (1-r) \|\hat{x}_{0}^- - x_0\|^2]$ को मिनिमाइज़ करें।
- यदि $r$ अधिक है (अच्छी गुणवत्ता), तो मॉडल को अपनी वर्तमान दिशा में बढ़ने के लिए सुदृढ़ किया जाता है।
- यदि $r$ कम है (खराब गुणवत्ता), तो मॉडल को दंडित किया जाता है और उसके वर्तमान प्रेडिक्शन से दूर धकेला जाता है।
सैद्धांतिक गारंटी: लेखक सिद्ध करते हैं कि $x_0$ -prediction नेटवर्क्स के लिए, एफाइन मैपिंग यह सुनिश्चित करती है कि मूल कंट्रास्टिव RL थ्योरी की कन्वर्जेंस गारंटी सटीक रूप से बनी रहती है, बिना किसी $\sigma$ -डिपेंडेंट करेक्शन टर्म की आवश्यकता के।

B. ट्रेनिंग प्रोटोकॉल: वेरिएबल-लेंथ ब्रांचिंग

चूंकि ऑटोरेग्रेसिव वीडियो में एक निश्चित "प्रॉम्ट" का अभाव होता है (टेक्स्ट-टू-इमेज के विपरीत), लेखकों ने तुलनीय कैंडिडेट ग्रुप बनाने के लिए एक विशिष्ट प्रोटोकॉल डिज़ाइन किया है:

शेयर्ड प्रीफिक्स (S1): एक ग्राउंड-ट्रुथ स्टार्ट से ऑटोरेग्रेसिव रूप से रैंडम लंबाई $P$ (0 से 9 स्टेप्स के बीच सैंपल की गई) का एक साझा इतिहास प्रीफिक्स जेनरेट करें। यह टेस्ट टाइम पर पाए जाने वाले एरर एक्यूमुलेशन के विभिन्न स्तरों का अनुकरण करता है।
ब्रांचिंग (S2): इस प्रीफिक्स की फ्रोजन अवस्था से, $K=16$ स्वतंत्र कैंडिडेट कंटीन्यूएशन जेनरेट करें।
स्कोरिंग और रैंकिंग (S3): मल्टी-व्यू रिवॉर्ड्स का उपयोग करके ग्राउंड ट्रुथ के विरुद्ध उम्मीदवारों को स्कोर करें। ग्रुप के भीतर सापेक्ष गुणवत्ता पर ध्यान केंद्रित करने के लिए रिवॉर्ड्स को (Z-score के माध्यम से) नॉर्मलाइज़ करें।
अपडेट (S4): कंट्रास्टिव लॉस का उपयोग करके अपडेट लागू करें। केवल LoRA एडैप्टर और एक्शन एनकोडर को अपडेट किया जाता है; बैकबोन फ्रोजन रहता है।

C. मल्टी-व्यू विजुअल रिवॉर्ड्स

सघन, लो-वेरिएंस ट्रेनिंग सिग्नल प्रदान करने के लिए, रिवॉर्ड फंक्शन तीन कैमरा व्यूज (दो बाहरी, एक रिस्ट-माउंटेड) में पूरक पर्सेप्चुअल मेट्रिक्स को एकत्रित करता है:

मेट्रिक्स: LPIPS (पर्सेप्चुअल सिमिलैरिटी), SSIM (स्ट्रक्चरल सिमिलैरिटी), और PSNR (पिक्सेल फिडेलिटी)।
एग्रीगेशन: मेट्रिक्स को क्लिप पर टेम्पोरली और व्यूज के बीच स्पैटियली एवरेज किया जाता है।
मास्किंग: यह सुनिश्चित करने के लिए कि मॉडल केवल स्टैटिक बैकग्राउंड को बनाए रखने के बजाय टास्क-रेलेवेंट डायनेमिक्स में सुधार करता है, ऑब्जेक्ट-सेंट्रिक और रोबोट-सेंट्रिक मास्क पर अतिरिक्त मूल्यांकन किया जाता है।

3. मुख्य योगदान

रोबोट WMs के लिए RL पोस्ट-ट्रेनिंग: एक नया स्कीम जो वर्ल्ड मॉडल्स को उनके अपने ऑटोरेग्रेसिव रोलआउट्स पर प्रशिक्षित करता है, जो सीधे एक्सपोज़र बायस को संबोधित करता है।
सैद्धांतिक अनुकूलन: वेलोसिटी-प्रेडिक्शन से $x_0$ -प्रेडिक्शन डिफ्यूजन बैकबोन्स तक कंट्रास्टिव RL थ्योरी का विस्तार करना, सटीक कन्वर्जेंस गारंटी सिद्ध करना।
वेरिएबल-लेंथ ब्रांचिंग प्रोटोकॉल: एक ट्रेनिंग मैकेनिज्म जो एक साझा, एरर-करप्टेड हिस्ट्री से कैंडिडेट कंटीन्यूएशन जेनरेट करता है, जिससे ऑटोरेग्रेसिव सेटिंग्स में सार्थक ग्रुप-रिलेटिव ऑप्टिमाइजेशन संभव होता है।
मल्टी-व्यू पर्सेप्चुअल रिवॉर्ड्स: एक मजबूत रिवॉर्ड डिज़ाइन जो विभिन्न एरर रेजीम्स को संभालने के लिए LPIPS, SSIM और PSNR को मल्टी-व्यू में संयोजित करता है।

4. प्रयोगात्मक परिणाम

इस पद्धति का मूल्यांकन DROID डेटासेट (मल्टी-व्यू कैमरों के साथ बड़े पैमाने पर रोबोट मैनिपुलेशन) पर किया गया।

स्टेट-ऑफ-द-आर्ट प्रदर्शन: PersistWorld सभी मेट्रिक्स में मजबूत बेसलाइन्स (Ctrl-World, WPE, IRASim) को पछाड़ देता है।
- एक्सटर्नल कैमरे: LPIPS में 14.0% की कमी आई, PSNR में 1.40 dB का सुधार हुआ।
- रिस्ट कैमरा: SSIM में 9.1% का सुधार हुआ, PSNR में 1.59 dB का सुधार हुआ।
मानवीय प्राथमिकता (Human Preference): एक ब्लाइंड स्टडी में, मानव रेटर्स ने 80% समय PersistWorld रोलआउट्स को बेसलाइन से बेहतर चुना।
स्थिरता (Stability): जबकि बेसलाइन्स तेजी से खराब हो जाते हैं (सेकंडों के भीतर वस्तुएं घुलने लगती हैं), PersistWorld लंबे क्षितिज (11 सेकंड/70 फ्रेम्स तक) के लिए स्ट्रक्चरल इंटीग्रिटी और स्पेशियल कंसिस्टेंसी बनाए रखता है।
पॉलिसी इवैल्यूएशन: मॉडल वास्तविक दुनिया के टास्क प्रोग्रेशन रेट्स के साथ उच्च सहसंबंध दिखाता है, जो पॉलिसी इवैल्यूएशन के लिए सिम्युलेटर के रूप में इसकी उपयोगिता को प्रमाणित करता है।

5. महत्व

यह कार्य रोबोट वर्ल्ड मॉडल्स के प्रतिमान को शॉर्ट-टर्म प्रेडिक्शन से परसिस्टेंट, लॉन्ग-होरिज़न सिमुलेशन की ओर मौलिक रूप से बदल देता है।

विश्वसनीयता: मल्टी-स्टेप रोलआउट्स को स्थिर करके, यह विजन-लैंग्वेज-एक्शन (VLA) पॉलिसियों के प्रशिक्षण और मूल्यांकन के लिए स्केलेबल, हाई-फिडेलिटी वर्चुअल एनवायरनमेंट के रूप में वर्ल्ड मॉडल्स के उपयोग को सक्षम बनाता है।
सामान्यीकरण (Generalizability): कंट्रास्टिव RL फ्रेमवर्क रिवॉर्ड-अग्नोस्टिक है, जिसका अर्थ है कि इसे केवल विजुअल फिडेलिटी से परे भौतिक बाधाओं या टास्क-विशिष्ट लक्ष्यों के लिए अनुकूलित किया जा सकता है।
गैप को पाटना: यह उस "क्लोज्ड-लूप गैप" को हल करता है जिसने ऐतिहासिक रूप से जेनेरेटिव वर्ल्ड मॉडल्स की तैनाती को सीमित किया है, जिससे वे जटिल मैनिपुलेशन कार्यों के लिए व्यावहारिक उपयोगिता के करीब पहुँच जाते हैं।