💻 computer science

Native Video-Action Pretraining for Generalizable Robot Control

LingBot-VA 2.0 एक वीडियो-एक्शन फाउंडेशन मॉडल है जिसे विशेष रूप से रोबोटिक एम्बॉडमेंटमेंट के लिए बनाया गया है, जिसमें एक सिमेंटिक विजुअल-एक्शन टोकेनाइज़र, कॉज़ल प्रीट्रेनिंग, एक स्पार्स MoE बैकबोन और एक एसिंक्रोनस इन्फरेंस स्कीम शामिल है ताकि वास्तविक दुनिया के वातावरण में मजबूत, फ्यू-शॉट जनरलाइज़ेबल कंट्रोल प्राप्त किया जा सके।

मूल लेखक: Qihang Zhang, Lin Li, Luyao Zhang, Shuai Yang, Yiming Luo, Shuaiting Li, Ruilin Wang, Junke Wang, Jiahao Shao, Gangwei Xu, Jiaming Zhou, Yishu Shen, Yudong Jin, Fangyi Xu, Shuailei Ma, Jiaqi Liao, Gua

प्रकाशित 2026-07-10

📖 7 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Qihang Zhang, Lin Li, Luyao Zhang, Shuai Yang, Yiming Luo, Shuaiting Li, Ruilin Wang, Junke Wang, Jiahao Shao, Gangwei Xu, Jiaming Zhou, Yishu Shen, Yudong Jin, Fangyi Xu, Shuailei Ma, Jiaqi Liao, Guanxing Lu, Zifan Shi, Yongkun Wen, Yujie Zhao, Weixuan Tang, Xinyang Wang, Chaojian Li, Jiapeng Zhu, Ka Leong Cheng, Nan Xue, Xing Zhu, Yujun Shen, Yinghao Xu

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को वीडियो गेम खेलना सिखाने की कोशिश कर रहे हैं। आज के अधिकांश लोग इसे करने के लिए एक सुपर-स्मार्ट मूवी-मेकिंग AI लेते हैं, उसे "बाएं मुड़ने" या "उठाने" के लिए कुछ अतिरिक्त बटन देते हैं, और उम्मीद करते हैं कि वह बाकी चीजें खुद समझ जाएगा। इस पेपर के लेखक, हालांकि, यह तर्क देते हैं कि यह एक मछली को केवल एक जीन (saddle) बांधकर साइकिल चलाने के लिए सिखाने जैसा है। यह काम के लिए गलत उपकरण है।

इसके बजाय, उन्होंने LingBot-VA 2.0 बनाया, जो एक रोबोटिक मस्तिष्क है जिसे विशेष रूप से यह समझने के लिए बनाया गया है कि भौतिक दुनिया कैसे चलती है और प्रतिक्रिया करती है। इसे एक फिल्म निर्देशक के रूप में नहीं, बल्कि एक "भविष्य-दृष्टि" कोच के रूप में सोचें जो एक दृश्य को देखता है, भविष्यवाणी करता है कि एक सेकंड के छोटे से हिस्से में वह बिल्कुल कैसे बदलेगा, और रोबोट को वह भविष्य बनाने के लिए ठीक वही बताता है जो उसे करना चाहिए।

पुराना तरीका क्यों काम नहीं आया

पेपर स्पष्ट रूप से वीडियो जनरेटरों को "पुन: उपयोग" करने के वर्तमान चलन के खिलाफ तर्क देता है। ये पुराने मॉडल सुंदर फिल्में बनाने के लिए प्रशिक्षित किए गए थे जहाँ लक्ष्य केवल यथार्थवादी दिखना होता है। वे "द्विदिश" (bidirectional) हैं, जिसका अर्थ है कि वे अतीत को समझने में मदद करने के लिए भविष्य को देख सकते हैं, जो एक फिल्म को एडिट करने के लिए तो बहुत अच्छा है लेकिन एक ऐसे रोबोट के लिए बहुत बुरा है जिसे केवल अभी जो वह देख रहा है उसके आधार पर अभी कार्य करना है।

लेखकों ने पुराने दृष्टिकोण में तीन बड़ी समस्याएं पाईं:

यह बहुत सुंदर है, भौतिक रूप से पर्याप्त नहीं: पुराने मॉडल पिक्सेल को अच्छा दिखाने पर ध्यान केंद्रित करते हैं, न कि यह समझने पर कि यदि आप एक कप को धकेलते हैं, तो वह फिसलता है। वे वास्तव में कारण और प्रभाव (cause and effect) को नहीं समझते।
यह बहुत धीमा है: वास्तविक रोबोटों को एक सेकंड में सैकड़ों बार सोचने की आवश्यकता होती है। पुराने मॉडल वीडियो फ्रेम को "डिनोइज़" (साफ करने) में बहुत समय लेते हैं, जिससे रोबोट जम जाता है या सुस्त हो जाता है।
यह नियम भूल जाता है: एक मूवी-मेकर को रोबोटिक मूव्स सीखने के लिए मजबूर करने से अक्सर वह सामान्य ज्ञान भूल जाता है जो उसने इंटरनेट के अरबों घंटों के वीडियो देखकर सीखा था।

नया गुप्त मंत्र: चार जादुई ट्रिक्स

इसे ठीक करने के लिए, टीम ने चार चतुर डिजाइन सिद्धांतों का उपयोग करके LingBot-VA 2.0 बनाया:

1. "अर्थपूर्ण अनुवादक" (Semantic Tokenizer)
कल्पना कीजिए कि आपके पास एक अनुवादक है जो न केवल शब्दों का अनुवाद करता है, बल्कि वाक्य की भावना का भी अनुवाद करता है। पुराने मॉडल वीडियो को पिक्सेल-पैच के समूह में अनुवाद करते थे। LingBot-VA 2.0 एक नया "टोकेनाइज़र" उपयोग करता है जो वीडियो को एक संक्षिप्त, उच्च-स्तरीय सारांश में अनुवाद करता है जो समझता है कि चीजें क्या हैं और वे कैसे चलती हैं। यह रोबोट के विजन को एक विशाल, पूर्व-प्रशिक्षित "विजन ब्रेन" के साथ संरेखित करता है ताकि वह समझ सके कि एक "कप" केवल रंगों का संग्रह नहीं, बल्कि एक कप है। महत्वपूर्ण रूप से, यह "लेटेंट एक्शन्स" (latent actions) भी सीखता है—एक गुप्त कोड जो दो क्षणों के बीच के बदलाव को दर्शाता है, जैसे कि हाथ द्वारा कप पकड़ने की अदृश्य शक्ति, बिना किसी इंसान द्वारा हर एक मूव को लेबल करने की आवश्यकता के।

2. "एकतरफा रास्ता" (Causal Pretraining)
फिल्म संपादक समय में आगे-पीछे कूद सकते हैं। रोबोट नहीं कर सकते। लेखकों ने अपने मॉडल को एक सख्त "एकतरफा" (causal) पथ पर प्रशिक्षित किया। यह केवल अतीत से सीखकर भविष्य की भविष्यवाणी करता है। उन्होंने केवल एक पुराने मॉडल को ट्यून नहीं किया; उन्होंने इस पूरे सिस्टम को वेब-स्केल डेटा पर शुरू से प्रशिक्षित किया। यह सुनिश्चित करता है कि रोबोट का मस्तिष्क स्वाभाविक रूप से समय में आगे की ओर सोचने के लिए बना है, जिससे उस "भूलने की बीमारी" (amnesia) से बचा जा सके जो तब होती है जब आप एक पीछे देखने वाले मॉडल को आगे देखने के लिए मजबूर करते हैं।

3. "व्यस्त मधुमक्खी" नेटवर्क (Sparse MoE)
रोबोट को उड़ती हुई गेंद को पकड़ने के लिए पर्याप्त तेज़ बनाने के लिए, मॉडल एक "मिक्सचर ऑफ एक्सपर्ट्स" (MoE) बैकबोन का उपयोग करता है। एक विशाल पुस्तकालय की कल्पना करें जहाँ, हर लाइब्रेरियन द्वारा हर किताब पढ़ने के बजाय, केवल काम के लिए आवश्यक विशिष्ट विशेषज्ञ को बुलाया जाता है। यह मॉडल को बहुत बड़ा और स्मार्ट (13 बिलियन पैरामीटर्स!) होने की अनुमति देता है, लेकिन प्रत्येक चरण के लिए इसके मस्तिष्क का केवल एक छोटा हिस्सा (लगभग 1.9 बिलियन) ही "जागता" है। यह इसे अपनी बुद्धिमत्ता खोए बिना बिजली की तरह तेज़ रखता है।

4. "क्रिस्टल बॉल" इन्फरेंस (Foresight Reasoning)
यह सबसे शानदार हिस्सा है। आमतौर पर, एक रोबोट कंप्यूटर के सोचने के पूरा होने का इंतज़ार करता है, फिर हिलता है, फिर कैमरा अपडेट होने का इंतज़ार करता है, फिर सोचता है। यह बहुत धीमा है। LingBot-VA 2.0 "फोरसाइट रीजनिंग" का उपयोग करता है। जब रोबोट शारीरिक रूप से अपना हाथ कार्य A करने के लिए हिला रहा होता है, तब कंप्यूटर बैकग्राउंड में कार्य B की भविष्यवाणी कर रहा होता है।
लेकिन यहाँ एक सुरक्षा जाल है: यदि रोबोट की भविष्यवाणी भटक जाती है (जैसे कि यह कल्पना करना कि कप अभी भी मेज पर है जबकि वह वास्तव में फर्श पर है), तो सिस्टम तुरंत नवीनतम वास्तविक कैमरा इमेज का उपयोग करके खुद को "री-ग्राउंड" (re-ground) कर लेता है। यह एक पायलट की तरह है जो खिड़की से बाहर देखते हुए और साथ ही उपकरणों की जांच करते हुए विमान उड़ाता है, और यदि वास्तविकता भविष्यवाणी से मेल नहीं खाती है, तो तुरंत रास्ता सुधार लेता है।

यह वास्तव में कितना अच्छा काम करता है?

लेखकों ने इसे केवल कल्पना में नहीं छोड़ा; उन्होंने इसका कड़ाई से परीक्षण किया।

वास्तविक दुनिया में: उन्होंने लैब में रोबोट को फल छांटने, पेन इकट्ठा करने और दराजों को व्यवस्थित करने जैसे कार्य करने के लिए रखा। LingBot-VA 2.0 ने पिछले सर्वश्रेष्ठ मॉडलों (जैसे $\pi0.5$ और मूल LingBot-VA) को काफी पीछे छोड़ दिया। उदाहरण के लिए, "फ्रूट सॉर्टिंग" में, यह 77% बार सफल हुआ जबकि अगले सर्वश्रेष्ठ मॉडल की सफलता दर 64% थी।
सिमुलेशन में: उन्होंने RoboTwin नामक एक जटिल दो-हाथ वाले रोबोट सिमुलेशन में इसका परीक्षण किया। इसने 93.6% की सफलता दर हासिल की, जो सभी प्रतिस्पर्धियों से बेहतर है।
गति: अपने स्पीड ट्रिक्स के कारण, रोबोट 225 Hz की पीक फ्रीक्वेंसी पर निर्णय ले सकता है। यह एक सेकंड में 200 बार से अधिक है—इतना तेज़ कि यह एयर हॉकी खेल सके या गिरती हुई वस्तु को पकड़ सके।
तेजी से सीखना: रोबोट बहुत कम उदाहरणों के साथ नए कार्य सीख सकता है। एक परीक्षण में, इसने प्रति कार्य केवल 15 प्रदर्शनों (demonstrations) को देखकर प्लेटों और कपों को व्यवस्थित करना सीखा, और यह मानव वीडियो को देखकर (जिसे "इन-कॉन्टेक्स्ट लर्निंग" कहा जाता है) उन वस्तुओं के नए संयोजनों तक भी सामान्यीकरण कर सका जिन्हें इसने पहले कभी नहीं देखा था।

निष्कर्ष

पेपर सुझाव देता है कि एक वास्तव में सामान्य-उद्देश्य वाले रोबोट को बनाने के लिए, हम केवल पुराने वीडियो टूल्स को रोबोटिक हाथों पर पैच नहीं कर सकते। हमें एक नए प्रकार के मस्तिष्क की आवश्यकता है जो भौतिकी को समझता हो, तेजी से चलता हो, और इंटरनेट के विशाल वीडियो और वास्तविक रोबोट डेटा से एक साथ सीख सके। LingBot-VA 2.0 यह साबित करता है कि यह संभव है, यह दिखाते हुए कि एक रोबोट एक तेज़ विचारक और एक सटीक कर्ता दोनों हो सकता है, जो केवल कुछ निर्देशों के साथ वास्तविक दुनिया के कामों को संभालने के लिए तैयार है।

तकनीकी सारांश: सामान्यीकरण योग्य रोबोट नियंत्रण के लिए नेटिव वीडियो-एक्शन प्रीट्रेनिंग (LingBot-VA 2.0)

समस्या विवरण (Problem Statement)

रोबोट नियंत्रण के लिए वर्तमान वीडियो-एक्शन मॉडल काफी हद तक जेनेरिक वीडियो जनरेशन आर्किटेक्चर (जो डिजिटल कंटेंट क्रिएशन के लिए डिज़ाइन किए गए हैं) को पोस्ट-हॉक एक्शन मॉड्यूल जोड़कर पुनरुत्पादित करते हैं। लेखक तर्क देते हैं कि यह दृष्टिकोण भौतिक वातावरण के लिए स्वाभाविक रूप से अपर्याप्त है क्योंकि इसके तीन प्राथमिक सीमाएँ हैं:

प्रतिनिधित्व बेमेल (Representation Mismatch): मानक वेरिएशनल ऑटोएनकोडर्स (VAEs) पिक्सेल पुनर्निर्माण के लिए अनुकूलित होते हैं, जो दृश्य विवरण को तो सुरक्षित रखते हैं लेकिन सिमेंटिक संरचना या भौतिक गतिशीलता (physical dynamics) को पकड़ने में विफल रहते हैं। फलस्वरूप, विश्व अवस्थाएं (world states) और क्रियाएं (actions) खराब तरीके से संरेखित लेटेंट स्पेस में रहती हैं।
अनुमान विलंबता (Inference Latency): उच्च-आयामी वीडियो टोकन और पुनरावृत्ति डिनोइजिंग प्रक्रियाएं मौजूदा मॉडलों को वास्तविक रोबोटों के लिए आवश्यक उच्च-आवृत्ति क्लोज्ड-लूप नियंत्रण के लिए बहुत धीमा बना देती हैं।
प्रीट्रेनिंग सिग्नल मिसअलाइनमेंट (Pretraining Signal Misalignment): वेब-स्केल वीडियो प्रीट्रेनिंग उद्देश्य यह नहीं सिखाते कि क्रियाएं दुनिया को कैसे नया आकार देती हैं। बायडायरेक्शनल वीडियो मॉडलों को फाइन-ट्यूनिंग के माध्यम से कॉज़ल कंट्रोल (causal control) के लिए अनुकूलित करने से अक्सर व्यापक प्रायर्स (priors) का विनाशकारी विस्मरण (catastrophic forgetting) होता है या यह दुर्लभ रोबोट डेटा पर निर्भर हो जाता है, जिससे प्राप्त नियंत्रण ज्ञान का पैमाना सीमित हो जाता है।

इसके अलावा, प्रीट्रेन किए गए वीडियो बैकबोन के बायडायरेक्शनल अटेंशन मैकेनिज्म और क्लोज्ड-लूप रोबोट नियंत्रण की सख्त कॉज़ल, फॉरवर्ड-इन-टाइम प्रकृति के बीच एक संरचनात्मक बेमेल है।

कार्यप्रणाली (Methodology)

यह शोध पत्र LingBot-VA 2.0 प्रस्तुत करता है, जो एम्बॉडीडमेंट (embodiment) के लिए "जमीन से तैयार" किया गया एक वीडियो-एक्शन फाउंडेशन मॉडल है। यह आर्किटेक्चर एक नेटिव प्रीट्रेनिंग मार्ग का अनुसरण करता है, जो जेनेरिक वीडियो जनरेटरों को रेट्रोफिट करने से बचता है। सिस्टम चार मुख्य डिजाइन सिद्धांतों से बना है:

1. सिमेंटिक विजुअल-एक्शन टोकेनाइज़र (Semantic Visual-Action Tokenizer)

पुनर्निर्माण-केंद्रित VAEs से अलग, लेखक एक टोकेनाइज़र पेश करते हैं जो विजुअल रिप्रेजेंटेशन को सिमेंटिक्स और एक्शन्स के साथ संरेखित करता है।

विजुअल अलाइनमेंट: विजुअल टोकेनाइज़र पुनर्निर्माण-उन्मुख लेटेंट्स को एक फ्रोजन विजुअल फाउंडेशन मॉडल (परसेप्शन एनकोडर) के साथ एक सिमेंटिक अलाइनमेंट ऑब्जेक्टिव का उपयोग करके संरेखित करता है। यह केवल पिक्सेल सन्निकटन के बजाय कॉम्पैक्ट, सिमेंटिक-रिच रिप्रेजेंटेशन उत्पन्न करता है।
लेटेंट एक्शन एक्सट्रैक्शन: स्पष्ट एक्शन लेबल का उपयोग किए बिना, टोकेनाइज़र स्व-पर्यवेक्षित (self-supervised) इनवर्स और फॉरवर्ड डायनेमिक्स के माध्यम से लेटेंट एक्शन्स ( $\ell_t$ ) सीखता है। एक इनवर्स डायनेमिक्स मॉडल (IDM) क्रमिक विजुअल लेटेंट्स के बीच एक कॉम्पैक्ट ट्रांसफॉर्मेशन की भविष्यवाणी करता है, और एक फॉरवर्ड डायनेमिक्स मॉडल (FDM) अगले लेटेंट को पुनर्निर्मित करता है। यह वर्ल्ड स्टेट्स और एक्शन्स को एक साझा सिमेंटिक लेटेंट स्पेस में रखता है, जिससे अनलेबल वेब वीडियो एक्शन-संबंधित पर्यवेक्षण प्रदान कर सकते हैं।

2. कॉज़ल प्रीट्रेनिंग प्रतिमान (Causal Pretraining Paradigm)

मॉडल बायडायरेक्शनल आर्किटेक्चर के साथ जुड़े कैटास्ट्रोफिक फॉरगेटिंग से बचने के लिए एक कॉज़ल प्रीट्रेनिंग रणनीति अपनाता है।

आर्किटेक्चर: बैकबोन एक कॉज़ल डिफ्यूजन ट्रांसफॉर्मर (DiT) है। यह वीडियो स्ट्रीम के लिए एक मिक्सचर-ऑफ-एक्सपर्ट्स (MoE) संरचना का उपयोग करता है (स्पार्स रूटिंग) जबकि एक्शन स्ट्रीम को डेंस रखता है। यह इन्फरेंस दक्षता से समझौता किए बिना मॉडल क्षमता को बढ़ाता है।
ट्रेनिंग ऑब्जेक्टिव: मॉडल को एक कॉज़ल नेक्स्ट-लेटेंट ऑब्जेक्टिव का उपयोग करके वेब-स्केल इमेज और वीडियो डेटा पर प्रीट्रेन किया गया है। यह सुनिश्चित करता है कि मॉडल स्वाभाविक रूप से एक कॉज़ल रूप में व्यापक प्रायर्स प्राप्त करे।
मल्टी-चंक प्रेडिक्शन (MCP): मॉडल केवल अल्पकालिक विजुअल अपीयरेंस की नकल न करे, इसके लिए MCP को एक सहायक ऑब्जेक्टिव के रूप में पेश किया गया है। यह एक साथ कई भविष्य के चंक्स की भविष्यवाणी करने की निगरानी करता है, जो लेटेंट स्पेस को केवल स्थानीय निरंतरता के बजाय प्रक्षेपवक्र-स्तर (trajectory-level) की गतिशीलता को एनकोड करने के लिए मजबूर करता है।

3. पदानुक्रमित योजना और इन-कॉन्टेक्स्ट लर्निंग (Hierarchical Planning and In-Context Learning)

हायरार्किकल प्लानर: एक उच्च-स्तरीय विजन-लैंग्वेज मॉडल (VLM) प्लानर दीर्घ-क्षितिज लक्ष्यों (long-horizon goals) को संरचित उप-कार्यों (निर्देश, जनरेशन क्यूज़, सीन विवरण) में विभाजित करता है। यह प्लानर एसिंक्रोनस रूप से चलता है, जो कंट्रोल लूप को ब्लॉक किए बिना पॉलिसी को संदर्भ प्रदान करता है।
इन-कॉन्टेक्स्ट लर्निंग (ICL): मॉडल वीडियो-आधारित टास्क स्पेसिफिकेशन का समर्थन करता है। मानव प्रदर्शन वीडियो को साझा लेटेंट स्पेस में एनकोड किया जाता है और विजुअल प्रॉम्प्ट के रूप में उपयोग किया जाता है, जिससे रोबोट को पैरामीटर अपडेट के बिना दुर्लभ या जटिल कार्यों के लिए प्रक्रियात्मक संकेतों (procedural cues) को समझने की अनुमति मिलती है।
ह्यूमन-रोबोट को-ट्रेनिंग: मॉडल को रोबोट डेटा और एगोजेंटिक ह्यूमन मैनिपुलेशन वीडियो पर संयुक्त रूप से प्रशिक्षित किया जाता है। मानव हैंड पोसेस को एक फंक्शनल रोबोट ग्रिपर स्पेस (6-DoF रूट पोज + स्केलर अपर्चर) में मैप किया जाता है, जिससे साझा वर्ल्ड मॉडल क्रॉस-एम्बॉडीडमेंट डायनेमिक्स को सीख सकता है और लो-लेवल एक्शन डिकोडिंग के लिए डोमेन-विशिष्ट हेड्स का उपयोग कर सकता है।

4. रियल-टाइम कंट्रोल के लिए फोरसाइट रीजनिंग (Foresight Reasoning)

उस सीरियल बॉटलनेक को संबोधित करने के लिए जहाँ मॉडल लेटेंसी कंट्रोल लेटेंसी बन जाती है, लेखक एक एसिंक्रोनस इन्फरेंस स्कीम, फोरसाइट रीजनिंग का प्रस्ताव करते हैं।

पैरेलल एक्जीक्यूशन: जबकि रोबोट वर्तमान एक्शन चंक को निष्पादित कर रहा होता है, प्रेडिक्शन स्ट्रीम साथ ही अगले विजुअल लेटेंट और एक्शन चंक की भविष्यवाणी करती है।
री-ग्राउंडिंग: हैलुसिनेटेड स्टेट्स से विचलन (drift) को रोकने के लिए, सिस्टम प्रत्येक प्रेडिक्शन को नवीनतम वास्तविक ऑब्जर्वेशन पर री-ग्राउंड करता है। पॉलिसी के भीतर ही एक सीखा हुआ फॉरवर्ड-डायनेमिक्स स्टेप वर्तमान एक्शन के परिणाम की कल्पना करता है, जिसे अगले स्टेप से पहले वास्तविक सेंसर फीडबैक द्वारा सुधारा जाता है।
एक्सेलेरेशन: सिस्टम कुछ-चरण निरंतरता आसवन (few-step consistency distillation), लो-प्रिसिजन (FP8) कम्पाइल्ड एक्जीक्यूशन (TensorRT), पेज्ड/रैग्ड KV-कैश मैनेजमेंट और रनटाइम ओवरहेड रिडक्शन का उपयोग करता है ताकि रियल-टाइम प्रदर्शन प्राप्त किया जा सके।

प्रमुख योगदान (Key Contributions)

नेटिव वीडियो-एक्शन प्रीट्रेनिंग: जेनेरिक वीडियो जनरेशन घटकों को अपनाने के बजाय, स्केलेबल सेल्फ-सुपरविजन का उपयोग करके रोबोट नियंत्रण के लिए विशेष रूप से निर्मित (एक सिमेंटिक टोकेनाइज़र और कॉज़ल DiT सहित) एक पूर्ण-स्टैक प्रीट्रेनिंग वाला पहला वीडियो-एक्शन मॉडल।
साझा सिमेंटिक रिप्रेजेंटेशन: वर्ल्ड स्टेट्स और एक्शन्स के लिए एक एकीकृत लेटेंट स्पेस, जो एक लैंग्वेज-अलाइन्ड विजुअल फाउंडेशन मॉडल से जुड़ा है, जो बेहतर इंस्ट्रक्शन फॉलोइंग और प्रिसिजन के लिए विजन-लैंग्वेज-एक्शन अलाइनमेंट को मजबूत करता है।
सामान्य, तेज़ और सटीक नियंत्रण: स्पार्स MoE इन्फरेंस, फ्यू-स्टेप डिस्टिलेशन, फोरसाइट रीजनिंग और क्वांटाइज्ड डिप्लॉयमेंट का संयोजन रियल-टाइम क्लोज्ड-लूप निष्पादन (225 Hz तक की एसिंक्रोनस फ्रीक्वेंसी) को सक्षम बनाता है। मॉडल मजबूत फ्यू-शॉट और जीरो-शॉट जनरलाइजेशन क्षमताएं प्रदर्शित करता है।

प्रयोगात्मक परिणाम (Experimental Results)

शोध पत्र सिमुलेशन और वास्तविक दुनिया के बेंचमार्क में LingBot-VA 2.0 को मान्य करता है:

रियल-वर्ल्ड डिप्लॉयमेंट: इन-हाउस रोबोट बेंचमार्क (फ्रूट सॉर्टिंग, पेन कलेक्शन, ड्रॉअर टाइडिंग, प्लेट हैंडओवर) पर मूल्यांकन किया गया। LingBot-VA 2.0 ने VLA मॉडल $\pi0.5$ और पिछले VA मॉडल LingBot-VA सहित मजबूत बेसलाइन्स को पछाड़ दिया, निरंतर, लॉन्ग-होरिजन कार्यों में उच्च सफलता दर और टास्क प्रोग्रेस स्कोर प्राप्त किया।
सिमुलेशन (RoboTwin): द्विपक्षीय (bimanual) RoboTwin बेंचमार्क पर, मॉडल ने 93.6% औसत सफलता दर हासिल की, जो $\pi0.5$ (79.8%) और पूर्ववर्ती LingBot-VA (92.2%) से अधिक है। इसने क्लीन और डोमेन-रैंडमाइज्ड सेटिंग्स के बीच न्यूनतम प्रदर्शन अंतर के साथ मजबूती प्रदर्शित की।
इन-कॉन्टेक्स्ट लर्निंग: मॉडल ने बिना फाइन-ट्यूनिंग के अनदेखे टास्क कंपोजिशन और ऑब्जेक्ट अरेंजमेंट्स में मानव वीडियो प्रदर्शनों से प्रक्रियात्मक संकेतों को सफलतापूर्वक स्थानांतरित किया।
एब्लेशन स्टडीज:
- टोकेनाइज़र: स्टैंडर्ड VAE को सिमेंटिक विजुअल-एक्शन टोकेनाइज़र से बदलने से प्रदर्शन में काफी सुधार हुआ, विशेष रूप से लंबे प्रेडिक्शन होराइजन्स के लिए।
- MCP: मल्टी-चंक प्रेडिक्शन ने ट्रेनिंग स्टेप्स में अभिसरण (convergence) को तेज किया (2.3x स्पीडअप) और अंतिम सटीकता में सुधार किया।
- एक्सेलेरेशन: इन्फरेंस पाइपलाइन ने लेटेंसी को प्रति चंक 927ms से घटाकर 142ms कर दिया, जिससे एसिंक्रोनस कंट्रोल फ्रीक्वेंसी 35 Hz से बढ़कर 225 Hz हो गई।

महत्व और दावे (Significance and Claims)

लेखक दावा करते हैं कि LingBot-VA 2.0 "पुनः उपयोग" करने से लेकर भौतिक एम्बॉडीडमेंट के लिए मूल रूप से "निर्माण" करने की ओर एक बदलाव का प्रतिनिधित्व करता है। प्रीट्रेनिंग ऑब्जेक्टिव, रिप्रेजेंटेशन स्पेस और इन्फरेंस आर्किटेक्चर को रोबोट कंट्रोल की सख्त कॉज़ल और डायनेमिक आवश्यकताओं के साथ संरेखित करके, मॉडल प्राप्त करता है:

स्केलेबिलिटी: दुर्लभ रोबोट प्रदर्शनों तक सीमित होने के बजाय वेब वीडियो के पैमाने पर कंट्रोल नॉलेज प्राप्त करना।
जनरलाइजेशन: कम प्रदर्शनों (10–15) के साथ नए कार्यों के अनुकूल होने और बड़े पैमाने पर पुनः संग्रह के बिना विभिन्न एम्बॉडीडमेंट के बीच स्थानांतरित होने की क्षमता।
रियल-टाइम व्यवहार्यता: यह सिद्ध करना कि जटिल वीडियो-एक्शन फाउंडेशन मॉडल्स वास्तविक दुनिया के क्लोज्ड-लूप कंट्रोल के भीतर सख्त लेटेंसी बाधाओं के भीतर काम कर सकते हैं।

शोध पत्र निष्कर्ष निकालता है कि जबकि वर्तमान प्रणाली एक मजबूत आधार है, भविष्य के कार्य प्लानर्स और पॉलिसीज के बीच कड़े संयुक्त प्रशिक्षण, इंटरैक्टिव सुदृढीकरण संकेतों (reinforcement signals) को शामिल करने और व्यापक एम्बॉडीडमेंट प्रकारों तक विस्तार करने की खोज कर सकते हैं।