💻 computer science

Is the Future Compatible? Diagnosing Dynamic Consistency in World Action Models

यह शोध पत्र एक्शन-स्टेट निरंतरता (action-state consistency) को वर्ल्ड एक्शन मॉडल्स के लिए एक महत्वपूर्ण विश्वसनीयता मीट्रिक के रूप में पहचानता है जो सफल और विफल रोलआउट्स के बीच अंतर करता है, और इस अंतर्दृष्टि का लाभ उठाते हुए एक वैल्यू-फ्री सर्वसम्मति रणनीति प्रस्तावित करता है जो बिना किसी अतिरिक्त प्रशिक्षण के प्लानिंग प्रदर्शन में सुधार करती है।

मूल लेखक: Bo-Kai Ruan, Teng-Fang Hsiao, Ling Lo, Hong-Han Shuai

प्रकाशित 2026-05-12

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Bo-Kai Ruan, Teng-Fang Hsiao, Ling Lo, Hong-Han Shuai

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट हैं जो कॉफी बनाने का तरीका सीखने की कोशिश कर रहे हैं। आपके पास एक "दिमाग" (एक AI मॉडल) है जो रसोई को देख सकता है, आपके निर्देश ("कॉफी बनाओ") को पढ़ सकता है और यह अनुमान लगा सकता है कि आपको आगे क्या करना चाहिए।

लेकिन समस्या यह है कि कभी-कभी रोबोट का दिमाग थोड़ा ख्याली पुलाव पकाने वाला होता है। वह एक ऐसा भविष्य कल्पना कर सकता है जहाँ वह सफलतापूर्वक कप में कॉफी डाल रहा है, लेकिन वास्तव में, यदि वह अपना हाथ उस तरह से हिलाने की कोशिश करता है, तो वह कप को गिरा देगा। उसका "सपना" बहुत सुंदर दिखता है, लेकिन वह भौतिकी के नियमों या मशीन के वास्तविक बटनों से मेल नहीं खाता।

यह पेपर यह जांचने का एक नया तरीका पेश करता है कि क्या रोबोट के ख्याली पुलाव वास्तव में भरोसेमंद हैं। वे इसे "एक्शन-स्टेट कंसिस्टेंसी" (Action-State Consistency) कहते हैं।

यहाँ उनके निष्कर्षों का सरल उपमाओं (analogies) का उपयोग करके विवरण दिया गया है:

1. समस्या: "सुंदर झूठ" (The "Beautiful Lie")

शोधकर्ताओं ने उन्नत रोबोट मॉडल, जिन्हें वर्ल्ड एक्शन मॉडल्स (WAMs) कहा जाता है, का अध्ययन किया। ये मॉडल एक साथ दो चीजों की भविष्यवाणी करने की कोशिश करते हैं:

क्या कदम उठाना है (जैसे, "हैंडल पकड़ो")।
उस कदम के बाद भविष्य कैसा दिखेगा (जैसे, "दरवाजा खुलता है")।

समस्या यह है कि एक मॉडल भविष्य को बहुत वास्तविक दिखाने में बहुत अच्छा हो सकता है (जैसे कि एक उच्च-गुणवत्ता वाली फिल्म का स्पेशल इफेक्ट), लेकिन वह इस मामले में पूरी तरह गलत हो सकता है कि वह वहां कैसे पहुँचा। यह एक फिल्म निर्देशक की तरह है जो एक दृश्य फिल्माता है जहाँ एक कार खाई से नीचे गिर रही है, लेकिन वास्तव में वह कार एक धागे से बंधी खिलौना कार है। दृश्य एकदम सटीक है, लेकिन भौतिकी नकली है।

पेपर पूछता है: क्या रोबोट द्वारा कल्पित भविष्य वास्तव में उस क्रिया के अनुकूल है जिसे वह करने की योजना बना रहा है?

2. खोज: निरंतरता एक "सत्य डिटेक्टर" है (Consistency is a "Truth Detector")

टीम ने इस विचार का परीक्षण दो अलग-अलग प्रकार के रोबोट दिमागों पर किया। उन्होंने एक सरल नियम पाया:

जब रोबता सफल होता है: तो भविष्य जो उसने कल्पित किया था, वह वास्तविकता के बहुत करीब होता है। "सपना" और "वास्तविकता" तालमेल में होते हैं।
जब रोबोट विफल होता है: तो उसके द्वारा कल्पित भविष्य अक्सर वास्तविकता से भटक जाता है। "सपना" एक ऐसी कल्पना बन जाता है जो क्रिया के साथ फिट नहीं बैठती।

उन्होंने पाया कि वे इस "सिंक स्कोर" (कंसिस्टेंसी) का उपयोग यह अनुमान लगाने के लिए कर सकते हैं कि रोबोट का कार्य सफल होगा या विफल, भले ही उन्हें अंतिम रिवॉर्ड (इनाम) का पता न हो। यह कहानी के अंत तक इंतजार करने के बजाय, कहानी को पढ़ते समय यह जांचने जैसा है कि क्या कहानी समझ में आ रही है या नहीं।

3. जाल: "फ्रोज़न बैकग्राउंड" का भ्रम (The "Frozen Background" Illusion)

हालाँकि, शोधकर्ताओं ने एक पेचीदा जाल पाया। कभी-कभी, एक रोबोट विफल हो जाता है, लेकिन कंसिस्टेंसी स्कोर बहुत अधिक दिखता है। क्यों?

कल्पना कीजिए कि एक रोबोट भारी दरवाजा खोलने की कोशिश कर रहा है। वह फंस जाता है और रुक जाता है।

वास्तविकता: दरवाजा फंसा हुआ है; रोबोट स्थिर है।
रोबोट का सपना: रोबोट भविष्यवाणी करता है, "मैं बिल्कुल वहीं रहूँगा जहाँ मैं हूँ।"

क्योंकि रोबोट ने भविष्यवाणी की थी कि वह स्थिर रहेगा, और वह वास्तव में स्थिर रहा, इसलिए भविष्यवाणी "कंसिस्टेंट" (संगत) थी। लेकिन यह एक खराब कंसिस्टेंसी थी। रोबोट ने हार मान ली थी, और मॉडल ने बस एक उबाऊ, स्थिर बैकग्राउंड की भविष्यवाणी कर दी।

लेखक इसे "बैकग्राउंड कोलैप्स" (Background Collapse) कहते हैं। यह एक ऐसे छात्र की तरह है जिसने पढ़ाई करना छोड़ दिया और भविष्यवाणी की कि उसे टेस्ट में शून्य मिलेगा। यदि वास्तव में उसे शून्य मिलता है, तो उसकी भविष्यवाणी "सटीक" थी, लेकिन यह सफलता का संकेत नहीं था। पेपर हमें चेतावनी देता है कि जब रोबोट का भविष्य बहुत स्थिर और उबाऊ दिखने लगे, तो सावधान रहें।

4. समाधान: "ग्रुप कंसेंसस" रणनीति (The "Group Consensus" Strategy)

चूंकि हम हमेशा रोबोट को वास्तविक दुनिया में हर संभव चाल आज़माने के लिए नहीं कह सकते (क्योंकि इसमें बहुत समय लगेगा या चीजें टूट सकती हैं), टीम ने "कंसिस्टेंसी-कंसेंसस" (Consistency-Consensus) नामक एक चतुर ट्रिक निकाली।

कल्पना कीजिए कि आप एक भूलभुलैया में कौन सा रास्ता लेना है, यह तय करने की कोशिश कर रहे हैं। केवल एक व्यक्ति से पूछने के बजाय, आप 8 अलग-अलग लोगों से रास्ता कल्पित करने के लिए कहते हैं।

पुराना तरीका: आप उस रास्ते को चुनते हैं जो आपको सबसे अधिक मूल्यवान लगता है (यदि आपके पास "वैल्यू" स्कोर है)।
नया तरीका: आप सभी 8 लोगों को उनके कल्पित रास्तों को चित्रित करने के लिए कहते हैं। फिर, आप उन 8 चित्रों के "औसत" (average) को देखते हैं। आप उस व्यक्ति को चुनते जिसका चित्र समूह के औसत के सबसे करीब दिखता है।

यह क्यों काम करता है? यदि एक व्यक्ति ऐसे रास्ते के बारे में सपना देख रहा है जो मौजूद ही नहीं है (एक "झूठ"), तो उसका चित्र अन्य 7 लोगों के चित्र से बहुत अलग दिखेगा। समूह का औसत एक "रियलिटी चेक" के रूप में कार्य करता है। जिस व्यक्ति की भविष्यवाणी समूह के साथ सहमत होती है, वह संभवतः सच बोल रहा है।

परिणाम

टीम ने इसे दो रोबोट डेटासेट्स (RoboCasa और RoboTwin 2.0) पर परखा।

उन्हें रोबोट को फिर से प्रशिक्षित करने या उन्हें नए रिवॉर्ड सिखाने की आवश्यकता नहीं पड़ी।
उन्होंने बस निर्णय लेते समय इस "कंसेंसस चेक" का उपयोग किया।
परिणाम: रोबोट अपने कार्यों में बेहतर हो गए। एक डेटासेट पर, सफलता दर 90.2% से बढ़कर 93.0% हो गई। दूसरे पर, यह 66.6% से बढ़कर 67.3% हो गई।

सारांश

संक्षेप में, यह पेपर हमें सिखाता है कि एक रोबोट के विश्वसनीय होने के लिए, भविष्य का उसका कल्पित दृश्य उसकी क्रियाओं की भौतिकी (physics) के अनुरूप होना चाहिए। यदि रोबोट का "सपना" अपनी "चालों" के साथ सुसंगत (consistent) है, तो इसकी संभावना अधिक है कि वह सफल होगा। यदि सपना केवल एक स्थिर, उबाऊ चित्र (Background Collapse) है, तो यह विफलता का संकेत है। रोबोट की कई भविष्यवाणियों को यह वोट देने देकर कि कौन सा भविष्य सबसे अधिक सुसंगत है, हम रोबोट को अतिरिक्त प्रशिक्षण दिए बिना स्मार्ट और अधिक विश्वसनीय बना सकते हैं।

तकनीकी सारांश: क्या भविष्य संगत है? वर्ल्ड एक्शन मॉडल्स में डायनेमिक कंसिस्टेंसी का निदान

समस्या विवरण

विज़न-लैंग्वेज-एक्शन (VLA) मॉडल रोबोट नियंत्रण के लिए एक स्केलेबल प्रतिमान (paradigm) के रूप में उभरे हैं, जो दृश्य अवलोकनों और भाषाई निर्देशों को सीधे निष्पादनीय कार्यों (actions) में मैप करते हैं। हालाँकि, प्रत्यक्ष क्रिया भविष्यवाणी अक्सर किसी क्रिया के भविष्य के परिणामों को स्पष्ट रूप से प्रदर्शित करने में विफल रहती है, जिससे यह स्पष्ट नहीं हो पाता कि क्या एक अनुमानित भौतिक संक्रमण (physical transition) व्यवहार्य है या इच्छित कार्य परिणाम के अनुरूप है।

वर्ल्ड एक्शन मॉडल्स (WAMs) भविष्य के अवलोकनों और क्रियाओं को संयुक्त रूप से भविष्यवाणी करके VLA मॉडल्स का विस्तार करके इस समस्या का समाधान करते हैं। जबकि WAMs दृष्टिगत रूप से प्रशंसनीय (visually plausible) भविष्य उत्पन्न कर सकते हैं, उनकी विश्वसनीयता अभी भी अनिश्चित बनी हुई है। विशेष रूप से, यह स्पष्ट नहीं है कि क्या एक उत्पन्न भविष्य केवल दृष्टिगत रूप से यथार्थवादी है या क्या वह उस क्रिया अनुक्रम के साथ डायनेमिकली कंपैटिबल (गतिशील रूप से संगत) है जिसका वह मॉडलिंग दावा करता है। यह शोध एक्शन-स्टेट कंसिस्टेंसी (क्रिया-अवस्था संगतता) की पहचान करता है—जो अनुमानित क्रियाओं और प्रेरित अवस्था संक्रमणों के बीच संरेखण है—एक लुप्त विश्वसनीयता अक्ष के रूप में। एक बेमेल (mismatch) क्रिया कंडीशनिंग की विफलता का संकेत देता है, जहाँ मॉडल दृष्टिगत रूप से प्रशंसनीय लेकिन गतिशील रूप से असंगत भविष्य उत्पन्न कर सकता है, जो संपर्क या वस्तु की गति का गलत प्रतिनिधित्व करता है।

कार्यप्रणाली (Methodology)

एक्शन-स्टेट कंसिस्टेंसी को परिभाषित करना

लेखक एक्शन-स्टेट कंसिस्टेंसी को एक स्केलर माप के रूप में परिभाषित करते हैं कि कैसे भविष्य के अनुमानित अवलोकन, अनुमानित क्रियाओं के निष्पादन से प्राप्त वास्तविक अवलोकनों से मेल खाते हैं। एक प्रक्षेपवक्र टाइमस्टेप $t$ और हॉराइजन $\Delta$ के लिए, कंसिस्टेंसी स्कोर $c_t$ की गणना इस प्रकार की जाती है:
$c_t(o_{t+\Delta}, \hat{o}_{t+\Delta}) = \exp(-\alpha \cdot d(o_{t+\Delta}, \hat{o}_{t+\Delta}))$
जहाँ $\hat{o}$ अनुमानित अवलोकन है, $o$ वास्तविक अवलोकन है, $\alpha$ एक स्केलिंग टर्म है, और $d(\cdot, \cdot)$ एक दूरी फलन (distance function) है। लेखक पिक्सेल-स्तरीय विविधताओं के प्रति संवेदनशीलता से बचने और निर्णय-प्रासंगिक फीचर स्पेस में संरचनात्मक सहमति सुनिश्चित करने के लिए VAE डिकोडिंग से पहले लेटेंट स्पेस में मीन स्क्वेर्ड एरर (MSE) का उपयोग करते हैं।

मॉडल और डेटासेट

यह अध्ययन दो डेटासेट्स पर दो प्रतिनिधि WAM फॉर्मुलेशन का मूल्यांकन करता है:

जॉइंट-प्रेडिक्शन मॉडल्स: Cosmos-Policy द्वारा प्रतिनिधित्व किया गया (जो RoboCasa पर प्रीट्रेन है)। ये मॉडल पूर्ण जॉइंट डिस्ट्रीबशन $p(o_{t+1:t+\Delta}, a_{t+1:t+\Delta} | \dots)$ को पैरामीटराइज करते हैं, जो अवलोकनों और क्रियाओं को एक साथ उत्पन्न करते हैं।
इनवर्स-डायनेमिक्स मॉडल्स: LingBot-VA द्वारा प्रतिनिधित्व किया गया (जो RoboTwin 2.0 पर प्रीट्रेन है)। ये मॉडल जॉइंट डिस्ट्रीबशन को डीकंपोज करते हैं, पहले भविष्य की अवस्थाओं की भविष्यवाणी करते हैं और फिर उन्हें साकार करने के लिए आवश्यक क्रियाओं का अनुमान लगाते हैं।

विश्लेषण के अक्ष (Analysis Axes)

लेखक तीन आयामों के साथ एक्शन-स्टेट कंसिस्टेंसी की जांच करते हैं:

इमर्जेंस और सेपरेबिलिटी: क्या कंसिस्टेंसी स्कोर सफल और विफल रोलआउट्स को व्यवस्थित रूप से अलग करते हैं।
बाउंड्री कंडीशंस: उन विफलता मोड की पहचान करना जहाँ कंसिस्टेंसी अविश्वसनीय हो जाती है, विशेष रूप से बैकग्राउंड कोलैप्स (background collapse) की घटना।
यूटिलिटी के साथ संरेखण: क्या कंसिस्टेंसी ट्रेंड्स सीखे गए वैल्यू प्रेडिक्शन्स को प्रतिबिंबित करते हैं, जो एक वैल्यू-फ्री सिग्नल के रूप में इसकी व्यवहार्यता का सुझाव देते हैं।

टेस्ट-टाइम सिलेक्शन रणनीतियाँ

एक्सप्लिसिट वैल्यू हेड्स के बिना निर्णय लेने के लिए कंसिस्टेंसी का लाभ उठाने हेतु, पेपर दो रणनीतियाँ प्रस्तावित करता है:

कंसिस्टेंसी-एक्सप्लोरिंग (Consistency-Exploring): वातावरण में प्रत्येक $N$ कैंडिडेट ब्रांच को निष्पादित करता है और उस एक को चुनता है जिसका ऑब्जर्व्ड स्टेट के विरुद्ध उच्चतम कंसिस्टेंसी स्कोर होता है। यह एक अपर-बाउंड परफॉरमेंस मेट्रिक के रूप में कार्य करता है।
कंसिस्टेंसी-कंसेंसस (Consistency-Consensus): एक तैनात करने योग्य (deployable), वैल्यू-फ्री रणनीति जो एनवायरनमेंट रिसेट से बचती है। यह $N$ अनुमानित भविष्यों को एक कंसेंसस मीन ( $\bar{o}_{t+\Delta}$ ) में एकत्रित करती है और उस ब्रांच को चुनती है जिसका अनुमानित भविष्य इस कंसेंसस के साथ सबसे अधिक सुसंगत है। यह इस धारणा पर निर्भर करता है कि कंसेंसस मीन व्यक्तिगत सैंपल्स की तुलना में वास्तविक भविष्य का बेहतर अनुमान लगाता है।

मुख्य योगदान (Key Contributions)

एक्शन-स्टेट कंसिस्टेंसी का लक्षण वर्णन: अध्ययन यह प्रदर्शित करता है कि एक्शन-स्टेट कंसिस्टेंसी जॉइंट-प्रेडिक्शन और इनवर्स-डायनेमिक्स दोनों WAMs में मापने योग्य है और कार्य सफलता (task success) के साथ मजबूती से जुड़ी हुई है। नॉर्मलाइज्ड कंसिस्टेंसी स्कोर का उपयोग करने वाला एक सरल क्लासिफायर सफल बनाम विफल रोलआउट की भविष्यवाणी AUC स्कोर के 0.77 (Cosmos-Policy) और 0.88 (LingBot-VA) के साथ करता है।
बैकग्राउंड कोलैप्स की पहचान: लेखक बैकग्राउंड कोलैप्स नामक एक विशिष्ट विफलता मोड की पहचान करते हैं, जहाँ कम-डायनेमिक्स वाले विफल प्रक्षेपवक्र भ्रामक रूप से सुसंगत हो जाते हैं। इन मामलों में, मॉडल एक स्थिर बैकग्राउंड या न्यूनतम गति का अनुमान लगाता है, जिसे अनुमानित करना बहुत आसान होता है, जिससे कार्य में विफलता के बावजूद उच्च कंसिस्टेंसी स्कोर प्राप्त होता है। यह कम लेटेंट ट्रांजिशन मैग्नीट्यूड ( $\Delta z_t$ ) से सहसंबंधित है।
वैल्यू-फ्री टेस्ट-टाइम सिलेक्शन: पेपर स्थापित करता है कि कंसिस्टेंसी सीखे गए वैल्यू प्रेडिक्शन्स के समान सफलता-विफलता ट्रेंड्स का पालन करती है। फलस्वरूप, यह टेस्ट-टाइम चयन के लिए एक वैल्यू-फ्री रैंकिंग सिग्नल के रूप में कार्य कर सकता है। प्रस्तावित कंसिस्टेंसी-कंसेंसस रणनीति अतिरिक्त रिवॉर्ड मॉडलिंग या ट्रेनिंग की आवश्यकता के बिना सफलता दर में सुधार करती है।

प्रयोगात्मक परिणाम (Experimental Results)

RoboCasa (जॉइंट-प्रेडिक्शन)

24 किचन मैनिपुलेशन टास्क पर Cosmos-Policy का उपयोग करते हुए:

बेसलाइन: 66.6% सफलता दर।
कंसिस्टेंसी-कंसेंसस: सफलता दर में सुधार होकर 67.3% हो गई, जो वैल्यू-बेस्ड सिलेक्शन (67.4%) के प्रदर्शन के लगभग बराबर है।
कंसिस्टेंसी-एक्सप्लोरिंग: उच्चतम सफलता दर 68.0% प्राप्त की, जो एक अपर-बाउंड के रूप में कार्य करती है।

RoboTwin 2.0 (इनवर्स-डायनेमिक्स)

50 से अधिक बाइमैनुअल मैनिपुलेशन टास्क पर LingBot-VA का उपयोग करते हुए:

बेसलाइन: 90.2% सफलता दर।
कंसिस्टेंसी-कंसेंसस: सफलता दर में सुधार होकर 93.0% हो गई।
यह परिणाम पुष्टि करता है कि कंसिस्टेंसी-गाइडेड सिलेक्शन जॉइंट-प्रेडिक्शन मॉडल्स से आगे इनवर्स-डायनेमिक्स फॉर्मुलेशन तक सामान्यीकृत (generalize) होता है।

कैंडिडेट्स के साथ स्केलिंग

कैंडिडेट्स ( $N$ ) की संख्या को 1 से बढ़ाकर 8 करने पर दोनों मॉडल्स के लिए सफलता दर में लगातार सुधार हुआ, जो दर्शाता है कि कंसिस्टेंसी टेस्ट-टाइम स्केलिंग के लिए एक प्रभावी सिग्नल प्रदान करती है।

महत्व और दावे (Significance and Claims)

पेपर का दावा है कि एक्शन-स्टेट कंसिस्टेंसी दोहरी भूमिका निभाती है:

नैदानिक उपकरण (Diagnostic Tool): यह WAMs के आंतरिक विश्वसनीयता के मूल्यांकन के लिए एक विश्वसनीय मीट्रिक है, जो दृष्टिगत रूप से प्रशंसनीय लेकिन गतिशील रूप से असंगत भविष्यों और उन भविष्यों के बीच अंतर करता है जो क्रिया-कंडीशन ट्रांजिशन का निष्ठापूर्वक प्रतिनिधित्व करते हैं।
व्यावहारिक सिग्नल (Practical Signal): यह टेस्ट-टाइम निर्णय लेने के लिए एक मॉडल-एग्नोस्टिक, वैल्यू-फ्री तंत्र प्रदान करता है। यह विशेष रूप से उन WAMs के लिए महत्वपूर्ण है जिनमें स्पष्ट वैल्यू हेड्स की कमी है या जहाँ रिवॉर्ड सिग्नल विरल (sparse) हैं।

लेखक इस बात पर जोर देते हैं कि हालांकि कंसिस्टेंसी एक शक्तिशाली सिग्नल है, लेकिन यह अचूक नहीं है। बैकग्राउंड कोलैप्स की पहचान यह उजागर करती है कि कंसिस्टेंसी भ्रामक हो सकती है। पेपर सुझाव देता है कि भविष्य के WAMs को न केवल क्रियाओं या भविष्यों की भविष्यवाणी करनी चाहिए, बल्कि यह भी स्पष्ट रूप से प्रकट करना चाहिए कि उनके कल्पित भविष्य विचाराधीन क्रियाओं के साथ गतिशील रूप से कितने सुसंगत हैं, जिससे रोबोट कार्य करने से पहले अपने अनुमानित परिणामों की विश्वसनीयता के बारे में तर्क कर सकें।