🤖 AI

VLA-Trace: Diagnosing Vision-Language-Action Models through Representation and Behavior Tracing

यह शोध पत्र VLA-Trace प्रस्तुत करता है, जो एक नैदानिक ढांचा (diagnostic framework) है जो $\pi_{0.5}$ और OpenVLA जैसे विज़न-लैंग्वेज-एक्शन मॉडलों में विशिष्ट अनुकूलन पैटर्न (adaptation patterns), रूटिंग रणनीतियों और अर्थ संबंधी सीमाओं को प्रकट करने के लिए रिप्रजेंटेशन डायनेमिक्स, कॉज़ल कंट्रोल एट्रिब्यूशन और व्यवहार संबंधी विश्लेषण को एकीकृत करता है।

मूल लेखक: Haoyuan Shi, Xiancong Ren, Yingji Zhang, Qinfan Zhang, Jiayu Hu, Haozhe Shan, Han Dong, Jinpeng Lu, Yinda Chen, Yi Zhang, Yong Dai, Xiaozhu Ju

प्रकाशित 2026-05-29

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Haoyuan Shi, Xiancong Ren, Yingji Zhang, Qinfan Zhang, Jiayu Hu, Haozhe Shan, Han Dong, Jinpeng Lu, Yinda Chen, Yi Zhang, Yong Dai, Xiaozhu Ju

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपने एक सुपर-स्मार्ट रोबोट शेफ बनाया है। आपने उसे रेसिपी पढ़ना (भाषा) और किचन को देखना (दृष्टि) सिखाया है। अब, आप चाहते हैं कि वह वास्तव में खाना पकाए (क्रिया)। यह पेपर इन रोबोट शेफ के लिए एक "मैकेनिक के डायग्नोस्टिक टूल" की तरह है। केवल यह देखने के बजाय कि रोबोट सफल हुआ या विफल, लेखक, VLA-Trace, यह समझना चाहते हैं कि जब रोबोट खाना पकाने की कोशिश कर रहा होता है, तो उसका "दिमाग" कैसे काम कर रहा है।

यहाँ उनके निष्कर्षों का सरल उपमाओं (analogies) का उपयोग करके विवरण दिया गया है:

1. समस्या: "ब्लैक बॉक्स" किचन

वर्तमान में, हम जानते हैं कि ये रोबोट अद्भुत चीजें कर सकते हैं, लेकिन हमें वास्तव में यह नहीं पता कि वे अपने हाथों को चलाने का निर्णय कैसे लेते हैं। यह एक जादूगर को टोपी से खरगोश निकालते हुए देखने जैसा है; आप परिणाम देखते हैं, लेकिन आपको नहीं पता कि पीछे का करतब क्या है। लेखक टोपी के अंदर झांकना चाहते थे यह देखने के लिए कि रोबक अपनी दृष्टि और पढ़ी गई बातों को वास्तविक क्रिया से कैसे जोड़ता है।

2. उपकरण: VLA-Trace

लेखकों ने एक तीन-चरणीय डायग्नोस्टिक प्रक्रिया बनाई है:

चरण 1: मेमोरी चेक (रिप्रेजेंटेशन ट्रेसिंग): उन्होंने जांचा कि क्या रोबोट के "दिमाग" ने अपने आंतरिक मानचित्रों (internal maps) को बदला जब वह केवल रेसिपी पढ़ने से वास्तविक खाना पकाने की ओर बढ़ा। क्या वह पढ़ना भूल गया? क्या उसने वस्तुओं को देखने का तरीका बदल दिया?
चरण 2: "अंग काटने" का परीक्षण (कॉज़ल पाथवेज़): उन्होंने अस्थायी रूप से रोबोट के दिमाग के कुछ हिस्सों को "बंद" कर दिया (जैसे उसकी आँखों को ब्लॉक करना या उसके पढ़ने की क्षमता को रोकना) यह देखने के लिए कि क्रिया के लिए वास्तव में कौन सा हिस्सा आवश्यक था। यह कार की हेडलाइट्स को अनप्लग करने जैसा है ताकि यह देखा जा सके कि क्या ड्राइवर वास्तव में स्टीयरिंग के लिए उनका उपयोग कर रहा था।
चरण 3: रियलिटी चेक (बिहेवियरल प्रोब्स): उन्होंने रोबोट को चलते हुए देखा और पूछा: "क्या वह वास्तव में सही चीज़ को देख रहा है, या वह सिर्फ एक शॉर्टकट के आधार पर अनुमान लगा रहा है?"

3. दो रोबोट जिनका उन्होंने परीक्षण किया

उन्होंने दो प्रसिद्ध रोबोट शेफ की तुलना की: $\pi_0.5$ और OpenVLA। इन्हें दो अलग-अलग छात्रों के रूप में सोचें जो एक ही कुकिंग क्लास ले रहे हैं।

निष्कर्ष A: वे अलग तरह से सीखते हैं

$\pi_0.5$ (द टेक्स्ट-ट्रांसफॉर्मर): जब इस रोबोट ने खाना बनाना सीखा, तो इसने अपने "पढ़ने" वाले दिमाग को पूरी तरह से पुनर्गठित (rewire) कर दिया। इसने अपने भाषा कौशल को विशिष्ट "हाथ हिलाने" के निर्देशों में बदल दिया। यह उस छात्र की तरह था जिसने रेसिपी के अर्थ को पढ़ना छोड़ दिया और बस हाथ की गतिविधियों को रट लिया।
OpenVLA (द इमेज-ट्रांसफॉर्मर): इस रोबोट ने अपने पढ़ने के कौशल को काफी हद तक बरकरार रखा लेकिन अपने "देखने" के तरीके को बदल दिया। यह उस छात्र की तरह था जिसने रेसिपी को ध्यान से पढ़ना जारी रखा लेकिन चूल्हे के विजुअल लेआउट पर बहुत अधिक ध्यान देना शुरू कर दिया।

निष्कर्ष B: वे हिलने-डुलने के लिए अलग "वायरिंग" का उपयोग करते हैं

$\pi_0.5$ विजन-डिपेंडेंट (दृष्टि पर निर्भर) है: जब शोधकर्ताओं ने खाना पकाने के चरण के दौरान रोबोट की दृष्टि को ब्लॉक कर दिया, तो रोबोट पूरी तरह से विफल हो गया। यह एक ऐसे ड्राइवर की तरह था जो विंडशील्ड से बाहर देखे बिना स्टीयरिंग नहीं चला सकता। हालांकि, यदि उन्होंने टेक्स्ट (रेसिपी) को ब्लॉक किया, तो रोबົດ काफी हद तक खाना बना सका। वह जो उसने देखा उस पर बहुत अधिक निर्भर था, न कि जो उसने पढ़ा उस पर।
OpenVLA संतुलित है: इस रोबोट को अपनी आँखों और अपने पढ़ने के कौशल दोनों की आवश्यकता थी। यदि आपने विजन या टेक्स्ट में से किसी को भी ब्लॉक किया, तो यह विफल हो गया। यह एक अधिक संतुलित दृष्टिकोण अपनाता है, जो रेसिपी और चूल्हे दोनों को एक साथ चेक करता है।

निष्कर्ष C: "शॉर्टकट" का जाल

यह सबसे महत्वपूर्ण निष्कर्ष है। दोनों रोबोट विजुअल पथ (visual path) के मामले में अच्छे हैं।

अच्छी खबर: यदि आप कहते हैं, "बर्तन को चूल्हे पर रखें," तो रोबोट चूल्हे और बर्तन को देखता है। उसे पता है कि कहाँ जाना है।
बुरी खबर: यदि आप निर्देश को थोड़ा बदलते हैं जैसे "फ्राइंग पैन को चूल्हे पर रखें," तो रोबोट अक्सर उस नए शब्द को अनदेखा कर देता है और अभी भी बर्तन को वहीं रख देता है।
उपमा: कल्पना कीजिए कि एक छात्र ने उत्तर रट लिया है कि "बर्तन चूल्हे पर जाता है।" यदि आप उससे पूछते हैं, "पैन कहाँ जाता है?", तो वह अभी भी "चूल्हा" कह सकता है क्योंकि वह उस विजुअल पैटर्न का पालन कर रहा है जिसे उसने पहले देखा है, बजाय इसके कि वह नए शब्द "पैन" को वास्तव में समझे। वे क्रिया की नकल (imitation) करने में अच्छे हैं लेकिन विशिष्ट विवरणों को समझने (comprehension) में खराब हैं।

सारांश

पेपर यह निष्कर्ष निकालता है कि हालांकि ये रोबोट प्रभावशाली हैं, लेकिन वे वर्तमान में "विजुअल इमिटेटर्स" (दृश्य नकल करने वाले) हैं न कि "सेमेंटिक थinkers" (अर्थ समझने वाले विचारक)। वे किसी कार्य को देखने और गति की नकल करने में उत्कृष्ट हैं, लेकिन वे तब संघर्ष करते हैं जब निर्देश थोड़े बदल जाते हैं, जिससे गहरे ज्ञान के बजाय केवल विजुअल मैचिंग की आवश्यकता होती है।

लेखक सुझाव देते हैं कि भविष्य के रोबोटों को भाषा और क्रिया के बीच के संबंध को बेहतर ढंग से संरक्षित करने के लिए बनाया जाना चाहिए, ताकि वे केवल कार्य को "देखें" ही नहीं बल्कि रेसिपी के विशिष्ट शब्दों को वास्तव में "समझें" भी।

तकनीकी सारांश: VLA-Trace

समस्या विवरण

विज़न-लैंग्वेज-एक्शन (VLA) मॉडल एम्बोडेड इंटेलिजेंस (embodied intelligence) के लिए एक अग्रणी प्रतिमान के रूप में उभरे हैं, जो एक एकल पॉलिसी फ्रेमवर्क के भीतर विज़ुअल-लैंग्वेज धारणा और एक्शन जनरेशन को एकीकृत करते हैं। रोबोटिक कंट्रोल में अपनी सफलता के बावजूद, इन मॉडलों के आंतरिक तंत्र—यह कि वे मल्टीमॉडल ज्ञान को एम्बोडेड एक्शन्स में कैसे बदलते हैं—अभी भी कम समझ में आए हैं। विशेष रूप से, यह स्पष्ट नहीं है कि रोबोटिक पॉलिसी लर्निंग आंतरिक रिप्रजेंटेशन को कैसे नया आकार देती है, क्या प्रीट्रेन विज़न-लैंग्वेज प्रायर्स (priors) सुरक्षित रहते हैं या खराब हो जाते हैं, लर्निंग के दौरान विज़ुअल और लिंग्विस्टिक सिग्नल्स कैसे संरेखित होते हैं, और कौन से मोडैलिटीज एक्शन डिकोडिंग को नियंत्रित करते हैं। यह व्याख्यात्मकता (interpretability) की कमी मॉडल की विफलताओं के निदान और अधिक प्रभावी VLA आर्किटेक्चर के डिजाइन में बाधा डालती है।

कार्यप्रणाली (Methodology)

लेखक VLA-Trace का प्रस्ताव करते हैं, जो एक व्यवस्थित, तीन-चरणीय नैदानिक ढांचा (diagnostic framework) है जो रिप्रजेंटेशन डायनेमिक्स से लेकर कॉज़ल कंट्रोल एट्रीब्यूशन और व्यवहारिक प्रकटीकरण तक एक एकीकृत साक्ष्य श्रृंखला (evidence chain) का निर्माण करता है। यह ढांचा तीन प्रशिक्षण चरणों के माध्यम से मॉडलों का विश्लेषण करता है: $C_0$ (प्रीट्रेन VLM), $C_1$ (प्रीट्रेन VLA), और $C_2$ (टास्क-फाइनट्यून किया गया VLA)।

कार्यप्रणाली तीन पूरक विश्लेषण तकनीकों को एकीकृत करती है:

रिप्रजेंटेशन विश्लेषण (CKA):
- क्रॉस-मोडल CKA: विज़न-लैंग्वेज फ्यूजन डायनेमिक्स का आकलन करने के लिए परतों के माध्यम से मॉडल के भीतर विज़ुअल और टेक्स्टुअल रिप्रजेंटेशन के बीच संरेखण को मापता है।
- चेकपॉइंट-ड्रिफ्ट CKA: विभिन्न प्रशिक्षण चरणों (जैसे, $C_0$ बनाम $C_2$ ) में रिप्रजेंटेशन की ज्यामितीय समानता को मापता है ताकि यह पहचाना जा सके कि अनुकूलन (adaptation) के दौरान कौन से सबस्पेस (विज़न-पूलड, टेक्स्ट-पूलड, या जॉइंट) सुरक्षित रहते हैं या पुनर्गठित होते हैं।
कॉज़ल पाथवे विश्लेषण (अटेंशन नॉकआउट):
- लेखक एक्शन डिकोडिंग के लिए विशिष्ट मोडैलिटीज की कार्यात्मक आवश्यकता निर्धारित करने के लिए लक्षित अटेंशन इंटरवेंशन करते हैं।
- प्रीफिल-स्टेज नॉकआउट: कॉन्टेक्स्ट फॉर्मेशन के दौरान क्रॉस-मोडल इंटरेक्शन (जैसे, विज़न-लैंग्वेज अटेंशन) को ब्लॉक करता है ताकि यह परीक्षण किया जा सके कि क्या डिकोडिंग से पहले ग्राउंडिंग स्थापित करना आवश्यक है।
- जेनरेशन-स्टेज नॉकआउट: ऑटोरिग्रेसिव जनरेशन के दौरान एक्शन टोकन्स से विशिष्ट सोर्स टोकन्स (विज़न या लैंग्वेज) के अटेंशन को ब्लॉक करता है ताकि मोडैलिटी डिपेंडेंसी को अलग किया जा सके।
- इंटरवेंशन को ऑल-लेयर लेवल और लेयर-वाइज विंडो वाले नॉकआउट के माध्यम से स्थानीयकृत (localize) करने के लिए लागू किया जाता है।
व्यवहार संबंधी प्रोब्स (Behavioral Probes):
- अटेंशन लोकलाइजेशन: स्थानिक ग्राउंडिंग (spatial grounding) का मूल्यांकन करने के लिए एक्शन-कंडीशन्ड अटेंशन मैप्स और सिम्युलेटर-व्युत्पन्न मास्क (ऑब्जेक्ट्स, ग्रिपर्स, रोबोट्स) के बीच इंटरसेक्शन ओवर यूनियन (IoU), अटेंशन मास, और पीक-हिट रेट की गणना करता है।
- विज़ुअल पैच मास्किंग: विभिन्न रिप्लेसमेंट स्टाइल (बैकग्राउंड कलर, ब्लैक, मोज़ेक) का उपयोग करके टारगेट ऑब्जेक्ट्स, ग्रिपर्स, रोबोट बॉडीज, या बैकग्राउंड को मास्क करता है ताकि विशिष्ट विज़ुअल क्यूज़ पर कॉज़ल निर्भरता का परीक्षण किया जा सके।
- इनपुट एडिटिंग: सूक्ष्म सेमैनटिक परिवर्तनों का पालन करने की मॉडल की क्षमता बनाम विज़ुअल शॉर्टकट्स पर निर्भरता का आकलन करने के लिए विज़ुअल लेआउट या लैंग्वेज इंस्ट्रक्शन्स को संशोधित करता है।

इस ढांचे का मूल्यांकन मुख्य रूप से $\pi0.5$ (एक द्विदिश, फ्लो-मैचिंग आधारित मॉडल) और OpenVLA (एक ऑटोरिग्रेसिव, Llama-आधारित मॉडल) पर LIBERO, COCO, और RoboTwin जैसे बेंचमार्क का उपयोग करके किया गया है।

प्रमुख योगदान और निष्कर्ष

$\pi0.5$ और OpenVLA पर VLA-Trace के अनुप्रयोग से उनके विशिष्ट अनुकूलन डायनेमिक्स और कंट्रोल मैकेनिज्म के संबंध में सात प्रमुख निष्कर्ष प्राप्त हुए हैं:

विशिष्ट मोडैलिटी-विशिष्ट अनुकूलन: $\pi0ne.5$ फाइन-ट्यूनिंग के दौरान अत्यधिक अस्थिर, उतार-चढ़ाव वाले क्रॉस-मोडल फ्यूजन डायनेमिक्स प्रदर्शित करता है, जो मुख्य रूप से टेक्स्टुअल रिप्रजेंटेशन को टास्क-कंडीशन्ड कंट्रोल फीचर्स में पुनर्गठित करता है। इसके विपरीत, OpenVLA मध्यम-परत (intermediate-layer) इमेज-टेक्स्ट संरेखण में सुचारू लेकिन कमजोर प्रदर्शन दिखाता है, जो टेक्स्ट-पूलड रिप्रजेंटेशन को संरक्षित करते हुए विज़न-पूलड और जॉइंट-पूलड सबस्पेस को पुनर्गठित करता है।
विविध रूटिंग रणनीतियाँ: मॉडल अलग-अलग मल्टीमॉडल रूटिंग रणनीतियों पर निर्भर करते हैं। $\pi0.5$ डिकोडिंग के दौरान एक केंद्रित विज़ुअल-टू-एक्शन रूटिंग पाथवे द्वारा संचालित होता है, जिससे भाषा एक्शन जनरेशन के लिए कार्यात्मक रूप से कम महत्वपूर्ण हो जाती है। इसके विपरीत, OpenVLA विज़ुअल और टेक्स्टुअल एक्सेस दोनों के माध्यम से कंट्रोल-रेलेवेंट जानकारी को वितरित करता है, जो प्रॉम्प्ट-रीजन एक्सेस पर मजबूत निर्भरता दिखाता है।
लेयर-वाइज डिपेंडेंसी: OpenVLA में महत्वपूर्ण जानकारी परतों में व्यापक रूप से वितरित होती है, जबकि $\pi0.5$ एक्शन-क्रिटिकल विज़ुअल जानकारी को एक संकीर्ण बॉटलनेक (bottleneck) के माध्यम से रूट करता है, विशेष रूप से विशिष्ट इंटरमीडिएट लेयर्स में।
विज़ुअल ग्राउंडिंग बनाम सेमान्टिक फॉलोइंग: दोनों मॉडल विज़ुअल ग्राउंडेड ट्रजेक्टरी जनरेशन में उत्कृष्ट हैं, जो टास्क-रेलेवेंट ऑब्जेक्ट्स को सफलतापूर्वक ट्रैक करते हैं और विभिन्न टेम्पोरल फेजेस में अटेंशन को शिफ्ट करते हैं। हालांकि, वे सूक्ष्म सेमान्टिक फॉलोइंग में सीमित हैं। इनपुट एडिटिंग प्रयोग बताते हैं कि पॉलिसियाँ अक्सर सूक्ष्म सेमान्टिक संशोधनों (जैसे, निर्देशों में ऑब्जेक्ट प्रकार बदलना) को अनदेखा करती हैं और मूल विज़ुअल-टास्क कॉन्फ़िगरेशन की ओर पक्षपाती रहती हैं।
शॉर्टकट निर्भरता: VLA पॉलिसियाँ कॉज़ल विज़ुअल एंकर्स के रूप में टारगेट ऑब्जेक्ट्स और रोबोट-ऑब्जेक्ट इंटरेक्शन रीजन्स पर बहुत अधिक निर्भर करती हैं। हालांकि, वे मॉडल-विशिष्ट विज़ुअल शॉर्टकट डिपेंडेंसी भी प्रदर्शित करती हैं; उदाहरण के लिए, $\pi0.5$ ग्रिपर-सेंटर्ड ज्योमेट्री पर बहुत अधिक निर्भर है, जबकि OpenVLA फुल-रोबोट विज़िबिलिटी पर नाजुक निर्भरता दिखाता है।
रिप्रजेंटेशन प्रिजर्वेशन: अध्ययन इस बात पर प्रकाश डालता है कि जबकि VLA मॉडल मजबूत बेंचमार्क प्रदर्शन प्राप्त करते हैं, वे अपने प्रीट्रेन VLM पेरेंट्स के सेमान्टिक पाथवे को समान रूप से संरक्षित नहीं करते हैं, बल्कि अक्सर कंपोजिशनल सेमान्टिक कंट्रोल की कीमत पर रोबोटिक कंट्रोल बाधाओं को फिट करने के लिए रिप्रजेंटेशन को नया आकार देते हैं।

महत्व और दावे

पेपर का दावा है कि VLA-Trace "ब्लैक बॉक्स" वाले VLA मॉडलों की जांच करने के लिए एक आवश्यक व्यवस्थित ढांचा प्रदान करता है, जो केवल प्रदर्शन मेट्रिक्स से आगे बढ़कर एम्बोडेड कंट्रोल के कॉज़ल मैकेनिज्म को समझने की दिशा में बढ़ता है।

नैदानिक मूल्य (Diagnostic Value): रिप्रजेंटेशन ज्योमेट्री, कॉज़ल पाथवे और व्यवहारिक परिणामों को जोड़कर, ढांचा मल्टीमॉडल अनुकूलन, कॉज़ल रूटिंग और सेमान्टिक ग्राउंडिंग में विशिष्ट बॉटलनेक्स की पहचान करता है।
आर्किटेक्चरल निहितार्थ: निष्कर्ष बताते हैं कि भविष्य के VLA आर्किटेक्चर में स्पष्ट रूटिंग मॉड्यूल शामिल किए जाने चाहिए ताकि यह विनियमित किया जा सके कि विज़ुअल और टेक्स्टुअल फीचर्स को एक्शन टोकन्स को कब और कैसे पास किया जाए, जिससे संभावित रूप से एक्शन जनरेशन स्टेज तक उच्च-स्तरीय सेमान्टिक बाधाओं को संरक्षित किया जा सके।
प्रशिक्षण दिशाएँ: लेखक ऐसे ट्रेनिंग ऑब्जेक्टिव्स के पक्ष में तर्क देते हैं जो कंपोजिशनल सेमान्टिक कंट्रोल को लागू करते हैं, जैसे कि सेमान्टिक-एडिट ऑब्जेक्टिव्स और काउंटरफैक्चुअल इंस्ट्रक्शन-इमेज पेयर्स, ताकि यह सुनिश्चित किया जा सके कि छोटे भाषा परिवर्तन विज़ुअल प्रायर्स द्वारा ओवरराइड होने के बजाय सुसंगत व्यवहारिक बदलावों का परिणाम हों।
सीमाएँ: लेखक विनम्रतापूर्वक नोट करते हैं कि उनके अटेंशन नॉकआउट प्रोब्स विशिष्ट इंटरवेंशन डिज़ाइन्स के तहत आवश्यकता को मापते हैं, न कि सभी प्रकार की मजबूती (robustness) को परिभाषित करते हैं। इसके अलावा, CKA मेट्रिक्स डेटासेट और पूलिंग रणनीतियों पर निर्भर सापेक्ष ज्यामितीय तुलनाएं हैं, न कि ग्राउंडिंग के पूर्ण स्कोर। अध्ययन अपना पूर्ण साक्ष्य श्रृंखला मुख्य रूप से $\pi0.5$ और OpenVLA पर केंद्रित करता है, जिसके व्यापक दावों के लिए पूरे VLA डिज़ाइन स्पेस में और अधिक सत्यापन की आवश्यकता है।

निष्कर्षतः, यह कार्य तर्क देता है कि जबकि वर्तमान VLA मॉडल इमिटेशन और विज़ुअल ग्राउंडिंग में प्रभावी हैं, मजबूत, कंपोजिशनल कंट्रोल प्राप्त करने के लिए विज़न-लैंग्वेज सेमान्टिक पाथवे के बेहतर संरक्षण और एक्शन डिकोडिंग में इन पाथवे के अधिक विश्वसनीय एकीकरण की आवश्यकता है।