💻 computer science

LaST $_{0}$ : Latent Spatio-Temporal Chain-of-Thought for Robotic Vision-Language-Action Model

LaST $_0$ एक रोबोटिक विजन-लैंग्वेज-एक्शन फ्रेमवर्क है जो एक ड्यूल-सिस्टम मिक्स्चर-ऑफ-ट्रांसफॉर्मर्स आर्किटेक्चर के भीतर एक टोकन-कुशल, लेटेंट स्पैटियो-टेम्पोरल चेन-ऑफ-थॉट का उपयोग करके स्पष्ट भाषाई तर्क की विलंबता (latency) और निर्णयात्मक सीमाओं को दूर करता है, जिससे विविध वास्तविक-दुनिया के हेरफेर कार्यों में महत्वपूर्ण सफलता दर सुधार प्राप्त होता है।

मूल लेखक: Zhuoyang Liu, Jiaming Liu, Hao Chen, Jiale Yu, Ziyu Guo, Chengkai Hou, Chenyang Gu, Xiangju Mi, Renrui Zhang, Kun Wu, Zhengping Che, Jian Tang, Pheng-Ann Heng, Shanghang Zhang

प्रकाशित 2026-06-16

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Zhuoyang Liu, Jiaming Liu, Hao Chen, Jiale Yu, Ziyu Guo, Chengkai Hou, Chenyang Gu, Xiangju Mi, Renrui Zhang, Kun Wu, Zhengping Che, Jian Tang, Pheng-Ann Heng, Shanghang Zhang

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को अंडा पकाना सिखा रहे हैं। आप उसे कहते हैं, "अंडे को पैन से निकालो और उसे ब्रेड पर रख दो।"

पुराना तरीका (स्पष्ट तर्क - Explicit Reasoning):
पहले, यह करने के लिए, रोबोट को रुकना पड़ता, जोर से सोचना पड़ता और अपने हाथ को हिलाने से पहले एक चरण-दर-चरण निबंध लिखना पड़ता। वह शायद कहता: "सबसे पहले, मुझे अपना हाथ नीचे करना होगा। फिर, मुझे पैन को थोड़ा झुकाना होगा। फिर, मुझे अंडे को निकालना होगा..."
जब रोबिम्स यह निबंध लिखने में व्यस्त होता, तब तक अंडा ठंडा हो जाता, या इससे भी बुरा, पैन पलट जाता। यह "बोलकर सोचने" की प्रक्रिया में बहुत समय (लेटेंसी) लगता है, जिससे रोबोट धीमा और अनाड़ी हो जाता है। साथ ही, कुछ चीजें शब्दों के साथ समझाना कठिन होता है, जैसे अंडे के फिसलने का सटीक अहसास या पैन का 3D आकार।

नया तरीका (LaST0):
यह शोध पत्र LaST0 को पेश करता है, जो एक अलग तरह से सोचने वाला रोबोटिक मस्तिष्क है। यह निबंध लिखने के बजाय, एक "शांत, अदृश्य विचार प्रक्रिया" (जिसे Latent Spatio-Temporal Chain-of-Thought कहा जाता है) का उपयोग करता है।

LaST0 कैसे काम करता है, इसके सरल उदाहरण यहाँ दिए गए हैं:

1. "साइलेंट मूवी" बनाम "स्क्रिप्ट"

शब्दों को उत्पन्न करने के बजाय जो वह करने जा रहा है उसका वर्णन करे, LaST0 भविष्य की एक शांत, आंतरिक फिल्म (Silent Movie) बनाता है।

यह क्या देखता है: यह केवल चित्र नहीं देखता; यह अंडे के 3D आकार, पैन की बनावट और रोबोट के अपने हाथ के अहसास (proprioception) की कल्पना करता है।
"Latent" (सुप्त) भाग: ये विचार शब्द नहीं हैं जिन्हें आप पढ़ सकें; ये संक्षिप्त, उच्च-गति डेटा पैकेट हैं। यह एक लंबी रेसिपी बुक पढ़ने (धीमा) और एक शेफ की 'मसल्स मेमोरी' (तेज़ और सहज) के बीच के अंतर जैसा है। यह रोबोट को शब्दावली में उलझे बिना स्थिति के भौतिक विज्ञान (physics) को "महसूस" करने की अनुमति देता है।

2. "मस्तिष्क और शरीर" की टीम (Dual-System)

LaST0 अपने मस्तिष्क को दो विशेषज्ञ टीमों में विभाजित करता है जो एक साथ काम करते हैं, जैसे एक रणनीतिक कमांडर (Strategic Commander) और एक त्वरित एथलीट (Reflexive Athlete)।

कमांडर (धीमी तर्क विशेषज्ञ - Slow Reasoning Expert): यह हिस्सा धीमी गति से काम करता है। यह बड़ी तस्वीर को देखता है, भविष्य के कुछ सेकंड की "साइलेंट मूवी" की कल्पना करता है, और योजना बनाता है। यह पूछता है, "यदि मैं अपना हाथ इस तरह हिलाता हूँ, तो 0.5 सेकंड में अंडा कहाँ होगा?" यह यह काम केवल कभी-कभी करता है (जैसे हर कुछ सेकंड में मैप चेक करना)।
एथलीट (तेज़ क्रिया विशेषज्ञ - Fast Acting Expert): यह बहुत तेज़ है। यह बड़े प्लान के बारे में सोचने के लिए नहीं रुकता। यह बस कमांडर के नवीनतम अपडेट को देखता है और अपने आस-पास के परिवेश के प्रति तुरंत प्रतिक्रिया देता है। यह अंडे को गिरने से बचाने के लिए आवश्यक उच्च-गति वाली गतिविधियों को संभालता है।

जादुई संबंध: वे एक "टेलीपैथिक लिंक" (Shared Attention) साझा करते हैं। कमांडर एथलीट को एक नया प्लान अपडेट करता है, और एथलीट उसे तुरंत लागू करता है। इसका मतलब है कि रोबोट अपनी वर्तमान गतिविधियों को धीमा किए बिना भविष्य के बारे में गहराई से सोच सकता है।

3. यह बेहतर क्यों है?

गति: क्योंकि यह वाक्य लिखने में समय बर्बाद नहीं करता, इसलिए यह रोबोट पिछले तरीकों की तुलना में 14 गुना तेज़ है जो "बोलकर सोचते" थे। यह वास्तविक समय में प्रतिक्रिया कर सकता है, ठीक एक इंसान की तरह।
भौतिक विज्ञान की समझ: यह उन चीजों को पकड़ता है जिन्हें शब्द वर्णित नहीं कर सकते। यह अपने आंतरिक 3D मॉडल के माध्यम से अंडे के "वजन" और "फिसलन" को समझता है, न कि केवल टेक्स्ट के माध्यम से।
निरंतरता: क्योंकि यह भविष्य की एक निरंतर "मूवी" की कल्पना करता है, इसके कार्य सुचारू और जुड़े हुए होते हैं। यह झटके नहीं लेता; यह सहजता से चलता है।

परिणाम

शोधकर्ताओं ने इस रोबोट का परीक्षण 10 अलग-अलग वास्तविक दुनिया के कार्यों पर किया, जिसमें साधारण टेबलटॉप ट्रिक्स से लेकर मोबाइल रोबोट और कुशल हाथों (जैसे मानव हाथ) वाले जटिल कार्य शामिल थे।

सफलता दर: LaST0 पिछले सर्वश्रेष्ठ रोबोटों की तुलना में 13% से 14% अधिक बार सफल रहा।
लंबे कार्य: यह विशेष रूप से लंबे, जटिल कार्यों (जैसे अंडे को निकालना, ब्रेड पर रखना और प्रक्रिया को दोहराना) में अच्छा था, जहाँ अन्य रोबोट भ्रमित होकर विफल हो जाते थे।

सारांश में:
LaST0 एक ऐसा रोबोट है जो खुद से "बात करना" बंद करता है और भविष्य को "महसूस करना" शुरू करता है। 3D स्पेस और समय के एक शांत, आंतरिक सिमुलेशन और एक धीमे योजनाकार और एक तेज़ कर्ता के विभाजन का उपयोग करके, यह एक कंप्यूटर द्वारा मैनुअल पढ़ने की हिचकिचाहट के बजाय, एक इंसान की गति और गरिमा के साथ चलता है।

तकनीकी सारांश: LaST0 – रोबोटिक विजन-लैंग्वेज-एक्शन मॉडल्स के लिए लेटेंट स्पैटियो-टेम्पोरल चेन-ऑफ-थॉट (Latent Spatio-Temporal Chain-of-Thought)

1. समस्या विवरण (Problem Statement)

विज़न-लैंग्वेज-एक्शन (VLA) मॉडल्स ने विज़न-लैंग्वेज मॉडल्स (VLMs) की सिमेंटिक समझ को रोबोटिक कंट्रोल पॉलिसी के साथ एकीकृत करके हाल ही में मजबूत सामान्यीकरण (generalization) प्रदर्शित किया है। हालांकि, तर्क करने की क्षमताओं में सुधार करने का प्रयास करने वाले मौजूदा दृष्टिकोणों को रोबोटिक मैनिपुलेशन में दो मौलिक सीमाओं का सामना करना पड़ता है:

इन्फरेंस लेटेंसी (Inference Latency): वे विधियाँ जो कार्य करने से पहले भाषाई तर्क ट्रेस (Chain-of-Thought) या भविष्य के दृश्य अवलोकनों (visual observations) को स्पष्ट रूप से उत्पन्न करती हैं, वे महत्वपूर्ण ऑटोरिग्रेसिव जनरेशन ओवरहेड (autoregressive generation overhead) का सामना करती हैं। यह लेटेंसी वास्तविक समय के, क्लोज्ड-लूप रोबोटिक कंट्रोल के लिए आवश्यक टेम्पोरल रेजोल्यूशन को बाधित करती है।
रिप्रजेंटेशनल बॉटलनेक (Representational Bottleneck): स्पष्ट तर्क भाषाई स्थान (linguistic space) तक सीमित है, जो उन "अनिर्वचनीय" (ineffable) भौतिक गुणों और सूक्ष्म रोबोटिक डायनेमिक्स को सटीक रूप से पकड़ने में संघर्ष करता है जिन्हें शब्दों में व्यक्त करना कठिन है। रोबोटिक एजेंटों को भौतिक और ज्यामितीय अवस्थाओं के बारे में तर्क करने की आवश्यकता होती है जो अक्सर प्राकृतिक भाषा की अभिव्यंजक क्षमता से परे होती हैं।

2. कार्यप्रणाली: LaST0 फ्रेमवर्क (Methodology: LaST0 Framework)

लेखक LaST0 का प्रस्ताव करते हैं, जो एक एकीकृत VLA मॉडल है जो एक लेटेंट स्पैटियो-टेम्पोरल चेन-ऑफ-थॉट (LaST CoT) के माध्यम से कुशल "रीजन-बिफोर-एक्ट" (कार्य करने से पहले तर्क करना) व्यवहार को सक्षम बनाता है। टेक्स्ट या इमेज जेनरेट करने के बजाय, मॉडल एक कॉम्पैक्ट, निरंतर लेटेंट स्पेस के भीतर तर्क करता है।

मुख्य आर्किटेक्चर (Core Architecture)

LaST0 एक मिक्सचर-ऑफ-ट्रांसफॉर्मर्स (MoT) डिजाइन पर बना है, जिसे Janus-Pro (DeepSeek-LLM 1.5B) बैकबोन से इनिशियलाइज किया गया है। यह रीजनिंग और कंट्रोल को दो विशिष्ट विशेषज्ञों (experts) में विभाजित करता है जो एक ग्लोबल सेल्फ-अटेंशन कॉन्टेक्स्ट साझा करते हैं लेकिन अलग-अलग फ्रीक्वेंसी पर काम करते हैं:

स्लो रीजनिंग एक्सपर्ट (Slow Reasoning Expert): यह कम फ्रीक्वेंसी (जैसे, प्रत्येक $k$ -वें टाइमस्टेप पर) पर काम करता है। यह भविष्य की भौतिक गतिशीलता (physical dynamics) का प्रतिनिधित्व करने वाले लेटेंट टोकन के अनुक्रम, यानी LaST CoT को उत्पन्न करने के लिए ऑटोरिग्रेसिव इन्फरेंस करता है।
फास्ट एक्टिंग एक्सपर्ट (Fast Acting Expert): यह नेटिव हाई-फ्रीक्वेंसी कंट्रोल रेट पर काम करता है। यह हाई-फ्रीक्वेंसी ऑब्जर्वेशन और रीजनिंग एक्सपर्ट से प्राप्त आवधिक रूप से अपडेट किए गए लेटेंट रिप्रजेंटेशन के आधार पर निरंतर एक्शन कमांड जेनरेट करता है।

लेटेंट स्पैटियो-टेम्पोरल CoT (Latent Spatio-Temporal CoT)

LaST CoT एक टोकन-एफिशिएंट लेटेंट स्पेस है जो एक टाइम होराइजन $H$ के दौरान तीन मोडैलिटीज में भविष्य की अवस्थाओं की ऑटोरिग्रेसिव भविष्यवाणी करता है:

2D विजुअल लेटेंट्स (2D Visual Latents): भविष्य के RGB फ्रेम्स से एनकोड किए गए, जो एक फ्रोजन SigLIP-Large एनकोडर का उपयोग करते हैं।
3D ज्योमेट्रिक लेटेंट्स (3D Geometric Latents): भविष्य के पॉइंट क्लाउड्स से एनकोड किए गए, जो एक प्रीट्रेंड Uni3D एनकोडर का उपयोग करते हैं (यह केवल ट्रेनिंग के दौरान ग्राउंड-ट्रुथ टारगेट्स प्रदान करने के लिए उपयोग किया जाता है)।
रोबोट प्रोप्रियोसेप्शन लेटेंट्स (Robot Proprioception Latents): भविष्य की रोबोट अवस्थाओं (जॉइंट एंगल्स, वेलोसिटी, ग्रिपर स्टेट) से एनकोड किए गए।

इन मोडैलिटीज को क्रोनोलॉजिकल क्रम में ( $z^v_1, z^p_1, z^s_1, \dots$ ) इंटरलीव किया जाता है ताकि कपल्ड स्पैटियो-टेम्पोरल डिपेंडेंसी को मॉडल किया जा सके। ट्रेनिंग के दौरान, रीजनिंग एक्सपर्ट को डिस्क्रीट टोकन प्रेडिक्शन के बजाय भविष्य के ऑब्जर्वेशन से प्राप्त ग्राउंड-ट्रुथ लेटेंट सीक्वेंस के विरुद्ध कोसाइन सिमिलैरिटी लॉस (cosine similarity loss) के माध्यम से सुपरवाइज किया जाता है।

ट्रेनिंग स्ट्रैटेजी (Training Strategy)

प्रीट्रेनिंग (Pretraining): LaST0 को Open-X-Embodiment, DROID, और RoboMIND से 400K से अधिक ट्राजेक्टरीज के विविध कॉर्पस पर प्रीट्रेन किया गया है।
सुपरवाइज्ड फाइन-ट्यूनिंग (SFT): मॉडल एक जॉइंट ऑप्टिमाइजेशन के तहत गुजरता है जहाँ रीजनिंग एक्सपर्ट लेटेंट रिग्रेशन लॉस को कम करता है, और एक्शन एक्सपर्ट फ्लो मैचिंग लॉस (Flow Matching loss) को कम करता है।
हेटरोजेनियस फ्रीक्वेंसी ट्रेनिंग (Heterogeneous Frequency Training): एक्शन एक्सपर्ट को रैंडमली मिक्स किए गए फास्ट-स्लो ऑपरेटिंग रेश्यो (जैसे, 1:1, 1:2, 1:4) के साथ ट्रेन किया जाता है। यह मॉडल को डिप्लॉयमेंट के दौरान उपयुक्त निष्पादन आवृत्तियों (execution frequencies) को अनुकूल रूप से चुनने में सक्षम बनाता है, जिससे यह सुनिश्चित होता है कि जब रीजनिंग अपडेट रेट बदलता है तो भी मजबूती बनी रहे।

3. प्रमुख योगदान (Key Contributions)

लेटेंट स्पैटियो-टेम्पोरल CoT: एक नया फ्रेमवर्क जो एक कॉम्पैक्ट लेटेंट स्पेस में तर्क करता है, जो सूक्ष्म भौतिक और रोबोटिक डायनेमिक्स (2D, 3D, और प्रोप्रियोसेप्टिव) को कैप्चर करता है जिन्हें शब्दों में व्यक्त करना कठिन है, साथ ही टेम्पोरल कंसिस्टेंसी को सपोर्ट करता है।
ड्यूल-सिस्टम MoT आर्किटेक्चर: एक डिजाइन जो मिक्सचर-ऑफ-ट्रांसफॉर्मर्स स्कीम के माध्यम से लो-फ्रीक्वेंसी लेटेंट रीजनिंग को हाई-फ्रीक्वेंसी एक्शन जनरेशन के साथ समन्वयित करता है। यह रियल-टाइम कंट्रोल रिस्पॉन्सिवनेस से समझौता किए बिना विचारशील तर्क (deliberative reasoning) की अनुमति देता है।
कुशल ट्रेनिंग और इन्फरेंस: स्पष्ट टेक्स्ट/इमेज जनरेशन के बजाय लेटेंट रिग्रेशन का उपयोग करके और एसिंक्रोनस फ्रीक्वेंसी कोऑर्डिनेशन का उपयोग करके, यह विधि स्पष्ट CoT दृष्टिकोणों की तुलना में महत्वपूर्ण स्पीडअप प्राप्त करती है।

4. प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने सिमुलेशन और रियल-वर्ल्ड बेंचमार्क्स पर LaST0 का मूल्यांकन किया, और अत्याधुनिक VLA मॉडल्स (जैसे, OpenVLA, $\pi_0.5$ , CoT-VLA, SpatialVLA) के साथ तुलना की।

सिमुलेशन बेंचमार्क्स (Simulation Benchmarks)

RLBench: 10 विविध मैनिपुलेशन टास्क पर, LaST0 ने 82% की औसत सफलता दर हासिल की, जो सबसे मजबूत बेसलाइन (HybridVLA-7B, 74%) को 8% से पीछे छोड़ देती है। इसने स्पष्ट CoT मेथड्स (1.1 Hz) की तुलना में बेहतर इन्फरेंस स्पीड (15.4 Hz) भी प्रदर्शित की।
LIBERO: LaST0 ने 98.1% की स्टेट-ऑफ-द-आर्ट औसत सफलता दर प्राप्त की, जो $\pi_0.5$ (96.9%) और OpenVLA-OFT (97.1%) से बेहतर है। विशेष रूप से, यह लॉन्ग-होराइजन LIBERO-Long सूट (95.6%) में उत्कृष्ट रहा, जो विस्तारित कार्यों को प्रभावी ढंग से संभालने का प्रदर्शन करता है।

रियल-वर्ल्ड प्रयोग (Real-World Experiments)

टेबलटॉप (सिंगल/डुअल-आर्म), मोबाइल मैनिपुलेशन, और डेक्सट्रस हैंड कंट्रोल को कवर करने वाले 10 जटिल कार्यों पर मूल्यांकन किया गया:

प्रदर्शन (Performance): LaST0 ने फ्रैंका (Franka) प्लेटफॉर्म पर 72% की औसत सफलता दर हासिल की, जो SpatialVLA (41%), $\pi_0.5$ (59%), और CoT-VLA (50%) से काफी बेहतर है।
लॉन्ग-होराइजन रोबस्टनेस (Long-Horizon Robustness): एक लॉन्ग-होराइजन टास्क में जिसमें तीन लगातार सफल निष्पादन (ब्रेड पर बार-बार अंडा रखना) की आवश्यकता थी, LaST0 ने स्टेप्स के दौरान सफलता दर 66% $\to$ 47% $\to$ 33% बनाए रखी, जबकि $\pi_0.5$ घटकर 47% $\to$ 20% $\to$ 7% हो गई।
जनरलाइजेशन (Generalization): मॉडल ने मोबाइल प्लेटफॉर्म (AgileX) और डेक्सट्रस ह्यूमनॉइड हाथों (TienKung 2.0) तक सफलतापूर्वक सामान्यीकरण किया, और जटिल आर्टिकुलेटेड ऑब्जेक्ट मैनिपुलेशन को संभाला।

5. महत्व और दावे (Significance and Claims)

पेपर का दावा है कि LaST0 रोबोटिक VLA मॉडल्स में रीजनिंग डेप्थ और इन्फरेंस स्पीड के बीच के महत्वपूर्ण ट्रेड-ऑफ को संबोधित करता है। भाषाई स्पेस से फिजिकली ग्राउंडेड लेटेंट स्पेस में तर्क को स्थानांतरित करके, यह फ्रेमवर्क उन "अनिर्वचनीय" भौतिक डायनेमिक्स को कैप्चर करता है जो मजबूत मैनिपुलेशन के लिए आवश्यक हैं, और ऐसा बिना ऑटोरिग्रेसिव टेक्स्ट जनरेशन के लेटेंसी पेनल्टी के।

लेखक इस बात पर जोर देते हैं कि ड्यूल-सिस्टम आर्किटेक्चर मॉडल को "रीजन-बिफोर-एक्ट" (टेम्पोरल कंसिस्टेंसी, फिजिकल अंडरस्टैंडिंग) के लाभों को बनाए रखने की अनुमति देता है, जबकि रियल-टाइम कंट्रोल के लिए उपयुक्त फ्रीक्वेंसी पर काम करता है। परिणाम बताते हैं कि स्पष्ट टेक्स्टुअल या विजुअल प्रेडिक्शन की तुलना में लेटेंट रीजनिंग, विशेष रूप से उन कार्यों के लिए जो सूक्ष्म भौतिक इंटरेक्शन और लॉन्ग-होराइजन प्लानिंग की मांग करते हैं, एम्बॉडीड AI (embodied AI) के लिए एक अधिक प्रभावी और कुशल प्रतिमान (paradigm) है।