💻 computer science

InternVLA-A1: Unifying Understanding, Generation and Action for Robotic Manipulation

InternVLA-A1 एक एकीकृत मिक्स्चर-ऑफ-ट्रांसफॉर्मर्स मॉडल है जो एक साझा अटेंशन मैकेनिज्म के माध्यम से सिमेंटिक समझ, विजुअल फोरसाइट और एक्शन निष्पादन का तालमेल बिठाता है, और वास्तविक दुनिया, सिंथेटिक और मानव वीडियो डेटा के 692 मिलियन से अधिक फ्रेमों पर हाइब्रिड ट्रेनिंग स्ट्रैटेजी का लाभ उठाकर रोबोटिक मैनिपुलेशन कार्यों पर अत्याधुनिक प्रदर्शन प्राप्त करता है।

मूल लेखक: Junhao Cai, Zetao Cai, Jiafei Cao, Yilun Chen, Zeyu He, Lei Jiang, Hang Li, Hengjie Li, Yang Li, Yufei Liu, Yanan Lu, Qi Lv, Haoxiang Ma, Jiangmiao Pang, Yu Qiao, Zherui Qiu, Yanqing Shen, Xu Shi, Yan

प्रकाशित 2026-02-17

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Junhao Cai, Zetao Cai, Jiafei Cao, Yilun Chen, Zeyu He, Lei Jiang, Hang Li, Hengjie Li, Yang Li, Yufei Liu, Yanan Lu, Qi Lv, Haoxiang Ma, Jiangmiao Pang, Yu Qiao, Zherui Qiu, Yanqing Shen, Xu Shi, Yang Tian, Bolun Wang, Hanqing Wang, Jiaheng Wang, Tai Wang, Xueyuan Wei, Chao Wu, Yiman Xie, Boyang Xing, Yuqiang Yang, Yuyin Yang, Qiaojun Yu, Feng Yuan, Jia Zeng, Jingjing Zhang, Shenghan Zhang, Shi Zhang, Zhuoma Zhaxi, Bowen Zhou, Yuanzhen Zhou, Yunsong Zhou, Hongrui Zhu, Yangkun Zhu, Yuchen Zhu

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को सैंडविच बनाना सिखा रहे हैं।

पुराना तरीका (द "स्मार्ट बट क्लुललेस" रोबोट):
अधिकांश वर्तमान रोबोट एक बुद्धिमान लाइब्रेरियन की तरह हैं। वे रेसिपी पढ़ सकते हैं, "ब्रेड का टुकड़ा उठाओ" जैसे शब्दों को समझ सकते हैं, और जानते हैं कि सैंडविच क्या होता है। लेकिन अगर आप उनसे कन्वेयर बेल्ट पर चलती हुई ब्रेड उठाने के लिए कहें, तो वे ठिठक जाते हैं। वे शब्दों को जानते हैं, लेकिन वे भौतिकी (फिजिक्स) को नहीं समझते। वे यह अनुमान नहीं लगा सकते कि यदि वे जल्दी से ब्रेड नहीं पकड़ते हैं, तो वह आगे बढ़ती रहेगी। वे स्थिर कार्यों (जैसे मेज पर शर्ट तह करना) के लिए बेहतरीन हैं लेकिन गतिशील कार्यों (जैसे गेंद को पकड़ना या चलती हुई असेंबली लाइन पर काम करना) में बहुत खराब हैं।

"वर्ल्ड मॉडल" वाला तरीका (द "डे ड्रीमिंग" रोबोट):
कुछ नए रोबोट इस समस्या को ठीक करने के लिए "दिन में सपने देखने" (डे ड्रीमिंग) की कोशिश करते हैं। वे भविष्यवाणी करने की कोशिश करते हैं कि भविष्य का वीडियो कैसा दिखेगा। "अगर मैं अभी अपना हाथ हिलाता हूँ, तो ब्रेड एक सेकंड में यहाँ होगी।" यह मददगार है, लेकिन ये रोबोट भाषा समझने में अक्सर खराब होते हैं। वे वीडियो को तो पूरी तरह से प्रेडिक्ट कर सकते हैं लेकिन उन्हें यह पता नहीं होता कि वे ऐसा क्यों कर रहे हैं या इंसान ने वास्तव में क्या मांगा था। वे एक फिल्म निर्देशक की तरह हैं जो जानते हैं कि एक दृश्य कैसा दिखेगा, लेकिन उन्हें स्क्रिप्ट का पता नहीं है।

इंटरनवीएलए-ए1 (InternVLA-A1) से मिलिए: द "ऑल-इन-वन" रोबोट शेफ
यह पेपर InternVLA-A1 को पेश करता है, जो एक ही मस्तिष्क में दोनों दुनियाओं के सर्वश्रेष्ठ गुणों को मिला देता है। इसे एक ऐसे रोबोट शेफ के रूप में सोचें जिसके पास तीन विशेष सहायक हैं जो पूर्ण तालमेल में काम करते हैं:

द लाइब्रेरियन (समझने का विशेषज्ञ): यह हिस्सा निर्देशों को पढ़ता है ("सैंडविच बनाओ") और संदर्भ को समझने के लिए रसोई को देखता है। यह जानता है कि वस्तुएं कहाँ हैं और इंसान क्या चाहता है।
द डे ड्रीमर (जेनरेशन विशेषज्ञ): यह हिस्सा रोबोट की "कल्पना" है। अपनी कोई भी हरकत करने से पहले, यह भविष्य का अनुकरण (सिमुलेशन) करता है। यह पूछता है, "अगर मैं अभी उस ब्रेड की ओर हाथ बढ़ाता हूँ, तो 0.5 सेकंड में वह कहाँ होगी? क्या वह गिर जाएगी? क्या मैं चूक जाऊंगा?" यह अपने कार्यों के परिणामों को देखने के लिए भविष्य के वीडियो फ्रेम की भविष्यवाणी करता है।
द शेफ (एक्शन विशेषज्ञ): यह हाथों से काम करने वाला हिस्सा है। यह लाइब्रेरियन और डे ड्रीमर की बात सुनता है। यह कहता है, "ठीक है, लाइब्रेरियन कहता है ब्रेड पकड़ो, और डे ड्रीमर कहता है कि ब्रेड दाईं ओर बढ़ रही है, इसलिए मुझे थोड़ा आगे लक्ष्य साधना चाहिए।" फिर, यह उस क्रिया को निष्पादित करता है।

इसने खाना बनाना कैसे सीखा (इसका प्रशिक्षण आहार)

इस रोबोट को इतना अच्छा बनाने के लिए, शोधकर्ताओं ने इसे केवल एक प्रकार का डेटा नहीं दिया। उन्होंने इसे तीन चीजों का "हाइब्रिड आहार" दिया:

सिमुलेशन (वीडियो गेम): उन्होंने रोबोट को एक आदर्श, कंप्यूटर-जनरेटेड दुनिया में लाखों बार अभ्यास करने दिया। यह एक वीडियो गेम खेलने जैसा है जहाँ आप बिना कुछ तोड़े लाखों बार प्रयास कर सकते हैं। यह रोबोट को भौतिकी के नियमों और विभिन्न वस्तुओं को संभालने के बारे में सिखाता है।
असली रोबोट (इंटर्नशिप): उन्होंने इसे असली रोबोट द्वारा वास्तविक कार्य करने के वीडियो भी दिखाए। यह वीडियो गेम और वास्तविकता के बीच के अंतर को पाटता है, जिससे रोबोट वास्तविक दुनिया के घर्षण (फ्रिक्शन) और लाइटिंग के बारे में सीखता है।
मानवीय वीडियो (अवलोकन): अंत में, उन्होंने इसे इंसानों द्वारा सैंडविच बनाने और घर के काम करने के घंटों के वीडियो दिए। यह रोबोट को मानवीय गति के "वाइब" और यह कि हम स्वाभाविक रूप से वस्तुओं के साथ कैसे इंटरैक्ट करते हैं, के बारे में सिखाता है, भले ही रोबोट के पास इंसानी हाथ न हों।

इन तीनों को मिलाकर, रोबोट गेम से नियम, असली रोबोट से वास्तविकता और इंसानों से शैली सीखता है।

परिणाम: यह क्यों मायने रखता है

शोधकर्ताओं ने इस रोबोट का 12 अलग-अलग कार्यों पर परीक्षण किया।

स्थिर कार्य (Static Tasks): यह कचरा छांटने या दाग पोंछने जैसे सामान्य कार्यों में बहुत अच्छा था।
गतिशील कार्य (Dynamic Tasks - असली परीक्षा): यहीं यह चमक उठा। जब इसे चलते हुए कन्वेयर बेल्ट पर पैकेज छांटने या हवा में उड़ते हुए सामग्रियों को पकड़ने के लिए कहा गया, तो इसने प्रतियोगिता को पछाड़ दिया।

जहाँ अन्य रोबोट चलते हुए ऑब्जेक्ट्स को पकड़ने में संघर्ष कर रहे थे (लगभग 20-30% सफलता दर), वहीं InternVLA-A1 ने 80-90% से अधिक स्कोर किया। इसने केवल वही प्रतिक्रिया नहीं दी जो इसने अभी देखा, बल्कि उस पर प्रतिक्रिया दी जो यह जानता था कि आगे क्या होने वाला है।

निचोड़ (The Bottom Line)

InternVLA-A1 एक बड़ी उपलब्धि है क्योंकि यह "सोचने" (भाषा समझना) और "करने" (हाथों को चलाना) को अलग-अलग चरणों के रूप में मानना बंद कर देता है। इसके बजाय, यह रोबोट को सोचते समय भविष्य की कल्पना करने के लिए मजबूर करता है, जिससे यह एक अराजक और चलती-फिरती दुनिया में सुचारू रूप से कार्य कर पाता है। यह एक ऐसे रोबोट के बीच का अंतर है जो चलते हुए बॉक्स से टकराकर गिर जाता है, और एक ऐसे रोबोट के बीच का अंतर है जो उसके वहां पहुँचने से पहले ही उसके ऊपर से कदम रख देता है।

यहाँ InternVLA-A1: Unifying Understanding, Generation and Action for Robotic Manipulation शोध पत्र का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

वर्तमान विज़न-लैंग्वेज-एक्शन (VLA) मॉडल, जो आमतौर पर मल्टीमॉडल लार्ज लैंग्वेज मॉडल्स (MLLMs) पर आधारित होते हैं, सिमेंटिक समझ में तो उत्कृष्ट हैं लेकिन भौतिक दुनिया की गतिशीलता (physical world dynamics) के मामले में संघर्ष करते हैं। उनमें यह समझने की क्षमता की कमी होती है कि गति और संपर्क के तहत अवस्थाएँ (states) कैसे विकसित होती हैं, जिससे गतिशील वातावरण (जैसे कि औद्योगिक कन्वेयर बेल्ट) में वे अस्थिर हो जाते हैं।

इसके विपरीत, वीडियो प्रेडिक्शन पर आधारित वर्ल्ड मॉडल्स (World Models) भविष्य की अवस्थाओं का पूर्वानुमान लगा सकते हैं, लेकिन वे अक्सर निम्नलिखित समस्याओं से ग्रस्त होते हैं:

सिमेंटिक ग्राउंडिंग का अभाव: वे जटिल निर्देशों को समझने में संघर्ष करते हैं।
त्रुटि संवेदनशीलता (Error sensitivity): वीडियो जनरेशन में छोटी सी भविष्यवाणी त्रुटि भी विनाशकारी एक्शन विफलताओं में बदल सकती है।
रियल-टाइम सीमाएँ: उच्च-फिडेलिटी वीडियो जनरेशन अक्सर उच्च-आवृत्ति वाले रोबोटिक नियंत्रण के लिए बहुत अधिक कम्प्यूटेशनल रूप से भारी होता है।

मौजूदा दृष्टिकोण डेटा बाधाओं का भी सामना करते हैं, जो या तो महंगे वास्तविक रोबोट डेटा पर अत्यधिक निर्भर करते हैं या केवल सिंथेटिक डेटा का उपयोग करते समय सिम-टू-रियल गैप (sim-to-real gap) से जूझते हैं।

2. कार्यप्रणाली: InternVLA-A1 (Methodology)

लेखक InternVLA-A1 का प्रस्ताव करते हैं, जो एक एकीकृत ढांचा (unified framework) है जो दृश्य समझ (scene understanding), विज़ुअल फोरसाइट जनरेशन (visual foresight generation) और एक्शन निष्पादन (action execution) को एक ही आर्किटेक्चर में एकीकृत करता है।

A. आर्किटेक्चर: मिक्सचर-ऑफ-ट्रांसफॉर्मर्स (Mixture-of-Transformers - MoT)

यह मॉडल एक एकीकृत MoT आर्किटेक्चर का उपयोग करता है जिसमें तीन विशिष्ट "विशेषज्ञ" (experts) हैं जो एक एकीकृत मास्कड सेल्फ-अटेंशन मैकेनिज्म के माध्यम से परस्पर क्रिया करते हैं:

अंडरस्टैंडिंग एक्सपर्ट (Understanding Expert): यह MLLMs (InternVL3 या Qwen3-VL) पर आधारित है। यह मल्टीमॉडल इनपुट (इमेज और टेक्स्ट निर्देश) को कॉन्टेक्स्टुअल एम्बेडिंग्स ( $h_{und}$ ) में एनकोड करता है। यह सिमेंटिक ग्राउंडिंग प्रदान करता है।
जेनरेशन एक्सपर्ट (Generation Expert): यह रियल-टाइम इन्फरेंस के लिए डिज़ाइन किया गया एक हल्का मॉड्यूल है। ऑटोरिग्रेसिव टोकन प्रेडिक्शन के बजाय, यह एक नॉन-ऑटोरिग्रेसिव, पैरेलल डिकोडिंग रणनीति का उपयोग करता है।
- इनपुट: 6 इमेज (3 व्यू $\times$ 2 टाइमस्टैम्प: $t$ और $t-15$ )।
- टोकनाइजेशन (Tokenization): इमेजेस को लेटेंट ग्रिड्स में कंप्रेस करने के लिए COSMOS VAE एनकोडर का उपयोग करता है।
- कंप्रेशन: कनवल्शनल डाउनसैंपलिंग (1024 टोकन/इमेज से 16 टोकन/इमेज तक) के माध्यम से सीक्वेंस लेंथ को कम करता है।
- आउटपुट: एक सिंगल फॉरवर्ड पास में भविष्य की विज़ुअल स्टेट्स ( $t+15$ ) की भविष्यवाणी करता है, जिससे मानक वीडियो जनरेटर्स की लेटेंसी के बिना "विज़ुअल फोरसाइट" प्राप्त होती है।
एक्शन एक्सपर्ट (Action Expert): यह सिमेंटिक कॉन्टेक्स्ट ( $h_{und}$ ), प्रेडिक्टिव डायनेमिक्स ( $h_{gen}$ ), और प्रोप्रियोसेप्टिव स्टेट ( $q_t$ ) को लेकर एक्शन चंक्स (action chunks) की भविष्यवाणी करता है। यह निरंतर कंट्रोल कमांड उत्पन्न करने के लिए फ्लो मैचिंग (Flow Matching) का उपयोग करता है, जो डायरेक्ट रिग्रेशन की तुलना में मल्टी-मोडल एक्शन डिस्ट्रीब्यूशन को बेहतर ढंग से संभालता है।

सूचना प्रवाह (Information Flow): आर्किटेक्चर एक सख्त कॉज़ल फ्लो लागू करता है: अंडरस्टैंडिंग $\to$ जेनरेशन $\to$ एक्शन। बाद के ब्लॉक्स पहले के ब्लॉक्स पर अटेंड कर सकते हैं, लेकिन इसके विपरीत नहीं।

B. ट्रेनिंग स्ट्रैटेजी और डेटा कॉर्पस (Training Strategy & Data Corpus)

InternVLA-A1 को दो चरणों वाली प्रक्रिया (प्री-ट्रेनिंग और पोस्ट-ट्रेनिंग) का उपयोग करके 692M फ्रेम्स के विशाल, हेट्रोजेनियस डेटासेट पर प्रशिक्षित किया गया है:

सिंथेटिक डेटा (InternData-A1 और RoboTwin): यह स्केलेबिलिटी और विविधता (कठोर, लचीली, और तरल वस्तुएं) प्रदान करता है।
रियल-वर्ल्ड रोबोट डेटा (AgiBot-World, RoboMind): यह सिम-टू-रियल गैप को कम करने के लिए मॉडल को भौतिक वास्तविकता में ग्राउंड करता है।
एगोसेंट्रिक ह्यूमन वीडियो (EgoDex): रोबोट टेलीऑपरेशन की आवश्यकता के बिना हेरफेर कौशल (manipulation skills) के विज़ुअल रिप्रेजेंटेशन को समृद्ध करता है।

ऑप्टिमाइज़ेशन ऑब्जेक्टिव्स (Optimization Objectives):

विज़ुअल फोरसाइट लॉस (Visual Foresight Loss): प्रेडिक्टेड और ग्राउंड-ट्रुथ लेटेंट फ्यूचर फ्रेम्स के बीच की दूरी को कम करता है।
फ्लो मैचिंग लॉस (Flow Matching Loss): शोर (noise) को एक्सपर्ट एक्शन ट्रेजेक्टरीज में बदलने के लिए एक वेलोसिटी फील्ड सीखता है।
जॉइंट लॉस (Joint Loss): $L_{total} = \lambda L_{gen} + L_{act}$ , जो विभिन्न मोडैलिटीज के बीच रिप्रेजेंटेशनल कंसिस्टेंसी सुनिश्चित करता है।

3. मुख्य योगदान (Key Contributions)

एकीकृत आर्किटेक्चर: पहला VLA जो एक एकल MoT फ्रेमवर्क में सिमेंटिक रीजनिंग (MLLM) को डायनेमिक प्रेडिक्शन (World Model) के साथ मजबूती से जोड़ता है, जो "क्या" और "यह कैसे चलता है" के बीच के अंतर को पाटता है।
कुशल विज़ुअल फोरसाइट: एक नॉन-ऑटोरिग्रेसिव, पैरेलल डिकोडिंग जेनरेशन एक्सपर्ट पेश करता है जो (~13 Hz) रियल-टाइम इन्फरेंस प्राप्त करता है, जिससे पिछले वीडियो-प्रेडिक्शन-आधारित VLAs की लेटेंसी संबंधी समस्याओं को दूर किया जा सका।
हाइब्रिड डेटा रेसिपी: यह प्रदर्शित करता है कि सिंथेटिक डेटा, रियल रोबोट डेटा और ह्यूमन वीडियो पर जॉइंट ट्रेनिंग किसी भी एकल स्रोत पर प्रशिक्षित मॉडल्स की तुलना में काफी बेहतर प्रदर्शन करती है, जो प्रभावी रूप से सिम-टू-रियल गैप को भर देती है।
स्केलेबल इम्प्लीमेंटेशन: इसे 2B और 3B पैरामीटर स्केल पर सफलतापूर्वक स्थापित किया गया, जो यह सिद्ध करता है कि जब आर्किटेक्चर और डेटा अनुकूलित हो, तो छोटे, विशेषीकृत मॉडल बड़े, जेनेरिक बेसलाइन्स से बेहतर प्रदर्शन कर सकते हैं।

4. प्रयोगात्मक परिणाम (Experimental Results)

मॉडल का मूल्यांकन 12 वास्तविक दुनिया के कार्यों (स्थिर और गतिशील) और RoboTwin 2.0 सिमुलेशन बेंचमार्क पर किया गया।

स्टैटिक मैनिपुलेशन (Static Manipulation): InternVLA-A1 (3B) ने 75.1% औसत सफलता दर प्राप्त की, जो मजबूत बेसलाइन $\pi0.5$ (70.7%) से +4.4% अधिक थी। इसने "Make Sandwich" जैसे लॉन्ग-होरिजन कार्यों में उल्लेखनीय प्रदर्शन किया (93.3% बनाम 73.3%)।
डायनेमिक मैनिपुलेशन (Dynamic Manipulation): मॉडल ने उन गतिशील परिदृश्यों में भारी बढ़त दिखाई जहाँ लक्ष्य चलते रहते हैं।
- इन-मोशन इंग्रीडिएंट पिकिंग (In-motion Ingredient Picking): $\pi0.5$ के 66.7% की तुलना में 93.3% सफलता प्राप्त की (+26.7% सुधार)।
- एक्सप्रेस सॉर्टिंग (Express Sorting): $\pi0.5$ के 53.3% की तुलना में 80.0% सफलता प्राप्त की।
- महत्व: यह मॉडल की मोमेंटम और भविष्य की अवस्थाओं के बारे में तर्क करने की क्षमता को सिद्ध करता है, जहाँ पिछले रिएक्टिव मॉडल्स विफल रहे थे।
सिमुलेशन बेंचमार्क (RoboTwin 2.0): इसने इजी (Easy) और हार्ड (Hard - डोमेन रैंडमाइज्ड) दोनों सेटिंग्स में $\pi0.5$ से +2.6% बेहतर प्रदर्शन किया।
एब्लेशन स्टडीज (Ablation Studies):
- प्री-ट्रेनिंग हटाने से प्रदर्शन में 51.6% की गिरावट आई।
- जेनरेशन एक्सपर्ट को हटाने से औसत सफलता दर में 19.4% की गिरावट आई, जिसका सबसे गंभीर प्रभाव डायनेमिक कार्यों पर पड़ा, जो विज़ुअल फोरसाइट की आवश्यकता को प्रमाणित करता है।

5. महत्व (Significance)

InternVLA-A1 रिएक्टिव "परसेप्शन-टू-एक्शन" मैपिंग से आगे बढ़कर फोरसाइट-अवेयर मैनिपुलेशन (foresight-aware manipulation) की ओर बढ़ते हुए रोबोटिक लर्निंग में एक प्रतिमान परिवर्तन (paradigm shift) का प्रतिनिधित्व करता है। सिमेंटिक अंडरस्टैंडिंग को डायनेमिक प्रेडिक्शन के साथ एकीकृत करके, यह रोबोटों को जटिल और बदलते वातावरण (जैसे कन्वेयर बेल्ट, चलती हुई वस्तुएं) में मजबूती से काम करने में सक्षम बनाता है, जहाँ पारंपरिक VLA मॉडल विफल हो जाते हैं। यह कार्य कुशल प्रशिक्षण के लिए एक ब्लूप्रिंट भी प्रदान करता है, जो दिखाता है कि एक हाइब्रिड डेटा स्ट्रैटेजी (Sim + Real + Human) को एक विशेष आर्किटेक्चर के साथ जोड़ने से अपेक्षाकृत छोटे मॉडल आकार (2B-3B पैरामीटर्स) के साथ भी स्टेट-ऑफ-द-आर्ट प्रदर्शन प्राप्त किया जा सकता है।