🤖 AI

VLA Models Are More Generalizable Than You Think: Revisiting Physical and Spatial Modeling

यह शोध पत्र यह प्रकट करता है कि विजन-लैंग्वेज-एक्शन (VLA) मॉडल की व्यूपॉइंट ब्रिटलनेस (viewpoint brittleness) मुख्य रूप से भौतिक मॉडलिंग के बजाय स्थानिक मॉडलिंग मिसअलाइनमेंट (spatial modeling misalignment) से उत्पन्न होती है, और यह प्रदर्शित करता है कि फीचर टोकन मॉड्यूलेशन (Feature Token Modulation) और फीचर लीनियर अडैप्टेशन (Feature Linear Adaptation) जैसे हल्के, वन-शॉट अनुकूलन तरीके न्यूनतम पैरामीटर अपडेट के साथ सामान्यीकरण (generalization) को प्रभावी ढंग से बहाल कर सकते हैं।

मूल लेखक: Weiqi Li, Quande Zhang, Ruifeng Zhai, Liang Lin, Guangrun Wang

प्रकाशित 2026-04-01

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Weiqi Li, Quande Zhang, Ruifeng Zhai, Liang Lin, Guangrun Wang

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ इस शोध पत्र "VLA Models Are More Generalizable Than You Think" का सरल अवधारणाओं और रचनात्मक उपमाओं के साथ हिंदी अनुवाद दिया गया है।

बड़ी समस्या: रोबोट की "मायोपिक" (निकट-दृष्टि) दृष्टि

कल्पना कीजिए कि आपके पास एक शानदार रोबोट शेफ है। आपने उसे छत से नीचे की ओर देखते हुए एक विशिष्ट कैमरा एंगल से एक बेहतरीन ऑमलेट बनाना सिखाया है। वह इसमें जीनियस है। उसे पता है कि अंडे कहाँ हैं, पैन कहाँ है, और उन्हें कैसे पलटना है।

लेकिन फिर, आप कैमरे को बगल में ले जाते हैं, या रोशनी बदल जाती है, या मेज पर एक नया पैटर्न आ जाता है। अचानक, रोबोट शेफ जम जाता है। वह अंडे गिरा देता है। वह पैन को नहीं ढूंढ पाता। वह ऐसा व्यवहार करता है जैसे उसने पहले कभी रसोई देखी ही न हो।

क्यों? इस शोध पत्र के शोधकर्ताओं ने पाया कि रोबोट का "दिमाग" (वह हिस्सा जो भाषा को समझता है और कार्यों की योजना बनाता है) अभी भी पूरी तरह से काम कर रहा है। समस्या यह नहीं है कि रोबोट खाना बनाना भूल गया है; समस्या यह है कि उसकी "आंखें" (विजुअल सिस्टम) नए एंगल से भ्रमित हो गई हैं। दुनिया का उसका आंतरिक मानचित्र (internal map) गड़बड़ा गया, इसलिए भले ही वह जानता था कि क्या करना है, लेकिन वह यह नहीं देख पा रहा था कि उसे कहाँ करना है।

पुराना तरीका: "ब्रूट फोर्स" (शक्तिशाली प्रयास) दृष्टिकोण

पहले, जब रोबोट नए एंगल्स पर विफल हो जाते थे, तो इंजीनियर इसे ठीक करने के लिए निम्नलिखित प्रयास करते थे:

भारी मात्रा में नया डेटा एकत्र करना: हर संभव एंगल से हजारों फोटो लेना और रोबोट को फिर से प्रशिक्षित करना। (जैसे एक नए शेफ को काम पर रखना और उसे 10 साल तक अभ्यास करने के लिए कहना)।
पूरे रोबोट को बदलना: पूरे विजुअल सिस्टम को एक अधिक जटिल सिस्टम से बदल देना। (जैसे शेफ के पूरे दिमाग को बदल देना)।

दोनों तरीके महंगे, धीमे और भारी कंप्यूटिंग शक्ति की मांग करने वाले हैं।

नई खोज: "चश्मे" का समायोजन

लेखकों ने पाया कि कुछ आश्चर्यजनक है: रोबोट पहले से ही नए एंगल्स को संभालने का तरीका जानता है; उसे बस अपने "चश्मे" को एडजस्ट करने की जरूरत है।

उन्होंने महसूस किया कि रोबोट की विफलता इसलिए नहीं थी क्योंकि उसमें बुद्धि की कमी थी, बल्कि इसलिए थी क्योंकि उसे जो विजुअल डेटा मिल रहा था, वह उसके दिमाग के साथ थोड़ा "आउट ऑफ ट्यून" (बेसुरा) था। यह रेडियो स्टेशन सुनने जैसा था जो थोड़ा गलत फ्रीक्वेंसी पर है। आपको नया रेडियो नहीं चाहिए; आपको बस ट्यूनिंग नॉब घुमाने की जरूरत है।

समाधान: दो सरल "ट्यूनिंग नॉब्स"

टीम ने इस "ट्यूनिंग" को पूरे रोबलेट को फिर से प्रशिक्षित किए बिना ठीक करने के लिए दो हल्के (lightweight) तरीके प्रस्तावित किए। इन्हें रोबोट की दृष्टि को समायोजित करने के दो अलग-अलग तरीकों के रूप में सोचें:

1. फीचर टोकन मॉड्यूलेशन (FTM) – "ग्लोबल फिल्टर"

उपमा: कल्पना कीजिए कि रोबोट की दृष्टि एक फोटो है। FTM पूरी फोटो पर एक साधारण, समायोज्य (adjustable) फिल्टर लगाने जैसा है। यह पूरी छवि को थोड़ा उज्ज्वल, गहरा या रंगों को बदल देता है ताकि वह रोबोट के दिमाग की अपेक्षा के अनुरूप हो सके।
यह कैसे काम करता है: यह विजुअल डेटा को पुन: केंद्रित और पुन: स्केल करने के लिए बहुत कम गणित (केवल 4,000 पैरामीटर, जो सामान्य AI के अरबों पैरामीटरों की तुलना में कुछ भी नहीं है) का उपयोग करता है।
परिणाम: यह अविश्वसनीय रूप से तेज़ और सस्ता है। इसने इन दो नंबरों को ट्यून करके रोबोट की सफलता दर को 48% से बढ़ाकर 87% कर दिया।

2. फीचर लीनियर अडैप्टेशन (FLA) – "फाइन-ट्यून्ड लेंस"

उपमा: यदि FTM एक फिल्टर है, तो FLA रोबोट के कैमरा लेंस को नए एंगल पर बेहतर फोकस करने के लिए बदलने जैसा है। यह फिल्टर की तुलना में थोड़ा अधिक सटीक है लेकिन फिर भी बहुत छोटा है।
यह कैसे काम करता है: यह रोबोट के विजन सिस्टम की आंतरिक परतों में छोटे, लक्षित समायोजन करता है। यह कैमरे में एक छोटा, विशेष एडेप्टर जोड़ने जैसा है।
परिणाम: यह और भी बेहतर है। इसने सफलता दर को 90.8% तक पहुँचा दिया।

"अहा!" क्षण: दक्षता (Efficiency)

इस पेपर का सबसे रोमांचक हिस्सा इसकी दक्षता है।

पुराना तरीका (LoRA): रोबोट को ठीक करने के लिए, पिछले तरीकों ने रोबोट के मस्तिष्क के एक विशाल हिस्से (लगभग 467 मिलियन पैरामीटर) को बदलने की कोशिश की। यह घड़ी को ठीक करने के लिए उसके पूरे केसिंग को बदलने जैसा है।
नया तरीका (FLA): लेखकों ने केवल 4.7 मिलियन पैरामीटर को ट्यून करके रोबोट को ठीक किया। यह प्रयास और लागत में 99% की कमी है, फिर भी रोबोट ने समान रूप से (या बेहतर) प्रदर्शन किया!

रूपक (Metaphor):
कल्पना कीजिए कि आपके पास एक कार है जो हाईवे पर तो बेहतरीन चलती है लेकिन कच्ची सड़क पर मुड़ते ही बंद हो जाती है।

पुराना दृष्टिकोण: एक नई कार खरीदें जिसमें पूरी तरह से अलग सस्पेंशन सिस्टम और इंजन हो।
इस पेपर का दृष्टिकोण: यह महसूस करना कि कार ठीक है; आपको बस टायर का दबाव थोड़ा कम करने की आवश्यकता है। आप इसे एक छोटे पंप (कुछ डॉलर्स) के साथ करते हैं, और अचानक, आपकी कार कच्ची सड़क पर भी बेहतरीन चलती है।

वास्तविक दुनिया का प्रमाण

टीम ने केवल कंप्यूटर सिमुलेशन में इसका परीक्षण नहीं किया। उन्होंने एक वास्तविक रोबोटिक हाथ बनाया और एक भौतिक कमरे में इसका परीक्षण किया।

उन्होंने एक निश्चित स्थान पर कैमरे के साथ रोबोट को प्रशिक्षित किया।
उन्होंने कैमरे को पूरी तरह से अलग स्थान पर स्थानांतरित कर दिया (एक "नया स्थानिक डोमेन")।
उन्होंने अपने "ट्यूनिंग नॉब" तरीके (FLA) का उपयोग किया, जिसमें मानव द्वारा दिया गया केवल एक एकल प्रदर्शन (demonstration) शामिल था।
परिणाम: रोबोट तुरंत अनुकूलित हो गया और ब्लॉक को स्टैक करने, दराज खोलने और बटन दबाने जैसे जटिल कार्यों को सफलतापूर्वक पूरा किया, भले ही दृश्य (view) पूरी तरह से अलग था।

सारांश: भविष्य के लिए इसका क्या अर्थ है?

यह पेपर हमें बताता है कि रोबोट हमारी सोच से कहीं अधिक मजबूत (robust) हैं। हमें उन्हें नए वातावरण में काम करने के लिए बड़े, अधिक जटिल रोबोट बनाने या लाखों घंटों के वीडियो एकत्र करने की आवश्यकता नहीं है।

हमें बस उन्हें उनके दिमाग के साथ उनकी दृष्टि को संरेखित करने के लिए एक त्वरित, हल्का "ट्यून-अप" देने की आवश्यकता है। यह "अधिक डेटा एकत्र करने" से बदलकर "हमारे पास पहले से मौजूद डेटा को बेहतर ढंग से समझने" की ओर एक बदलाव है। यह रोबोट को घरों, कारखानों और अस्पतालों में तैनात करना बहुत सस्ता और तेज़ बनाता है जहाँ रोशनी और एंगल हमेशा बदलते रहते हैं।

यहाँ शोध पत्र "VLA Models Are More Generalizable Than You Think: Revisiting Physical and Spatial Modeling" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

विज़न-लैंग्वेज-एक्शन (VLA) मॉडल्स ने इन-डिस्ट्रीब्यूशन (in-distribution) रोबोटिक मैनिपुलेशन कार्यों में मजबूत प्रदर्शन प्रदर्शित किया है। हालाँकि, आउट-ऑफ-डिस्ट्रीब्यूशन (OOD) परिदृश्यों में, विशेष रूप से नवीन कैमरा व्यूपॉइंट्स (novel camera viewpoints), प्रकाश परिवर्तन और विज़ुअल व्यवधानों के तहत, वे महत्वपूर्ण भंगुरता (brittleness) प्रदर्शित करते हैं।

लेखक इस प्रचलित धारणा को चुनौती देते हैं कि यह विफलता "फिजिकल मॉडलिंग" (Physical Modeling) क्षमताओं की कमी (अर्थात, कार्य की गतिशीलता या भौतिकी को समझने में असमर्थता) के कारण होती है। इसके बजाय, वे परिकल्पना करते हैं कि गिरावट मुख्य रूप से "स्पेशियल मॉडलिंग" (Spatial Modeling) में मिसअलाइनमेंट के कारण होती है। विशेष रूप से, जब कैमरा व्यूपॉइंट बदलता है, तो विज़ुअल एनकोडर ऐसे फीचर एम्बेडिंग्स (feature embeddings) उत्पन्न करता है जो उस डिस्ट्रीब्यूशन से भटक जाते हैं जिस पर प्री-ट्रेन्ड VLM और एक्शन एक्सपर्ट को प्रशिक्षित किया गया था। यह एक डोमेन गैप बनाता है जहाँ उच्च-स्तरीय पॉलिसी (जो सक्षम बनी रहती है) विकृत स्थानिक इनपुट प्राप्त करती है, जिससे समन्वय संबंधी विफलताएं होती हैं।

2. कार्यप्रणाली (Methodology)

यह शोध पत्र एक वन-शॉट रोबस्टनेस अडैप्टेशन फ्रेमवर्क (one-shot robustness adaptation framework) प्रस्तावित करता है जो पूरे मॉडल को पुन: प्रशिक्षित किए बिना या विशाल नए डेटासेट एकत्र किए बिना, हल्के (lightweight), सीखने योग्य अपडेट का उपयोग करके विज़ुअल रिप्रेजेंटेशन को पुन: कैलिब्रेट करता है। यह फ्रेमवर्क VLA को दो घटकों में विभाजित करता है:

स्पेशियल मॉडलिंग (Spatial Modeling): विज़ुअल एनकोडर (ViT) जो स्थानिक संबंधों को निकालने के लिए जिम्मेदार है।
फिजिकल मॉडलिंग (Physical Modeling): VLM और एक्शन एक्सपर्ट जो तर्क देने और क्रियाएं (actions) उत्पन्न करने के लिए जिम्मेदार हैं।

लेखक स्पेशियल मॉडलिंग घटक को लक्षित करने वाले दो विशिष्ट अनुकूलन (adaptation) विधियों का परिचय देते हैं:

A. फीचर टोकन मॉड्यूलेशन (Feature Token Modulation - FTM)

तंत्र (Mechanism): कैमरा इमेज से निकाले गए विज़ुअल टोकन एम्बेडिंग्स ( $F$ ) पर एक ग्लोबल एफाइन ट्रांसफॉर्मेशन (global affine transformation) लागू करता है।
सूत्र (Formula): $\hat{F} = (1 + \gamma) \odot F + \beta$
पैरामीटर्स (Parameters): केवल दो सीखने योग्य वेक्टर्स, $\gamma$ (स्केल) और $\beta$ (शिफ्ट) पेश किए जाते हैं।
पैरामीटर काउंट: अत्यंत कम (~4K पैरामीटर्स)।
लक्ष्य: प्री-ट्रेन्ड पॉलिसी की अपेक्षाओं के साथ संरेखित करने के लिए फीचर डिस्ट्रीब्यूशन को पुन: केंद्रित और पुन: स्केल करना।

B. फीचर लीनियर अडैप्टेशन (Feature Linear Adaptation - FLA)

तंत्र (Mechanism): विज़न ट्रांसफॉर्मर (ViT) एनकोडर के भीतर लीनियर लेयर्स (linear layers) पर सीधे लागू किया गया एक लो-रैंक अडैप्टेशन (LoRA-शैली)।
सूत्र (Formula): $W' = W + \Delta W$ , जहाँ $\Delta W = BA$ ( $r \ll \min(d_{in}, d_{out})$ )।
पैरामीटर्स (Parameters): लो-रैंक मैट्रिसेस $A$ और $B$ सीखने योग्य हैं, जबकि मूल वेट्स (weights) $W$ फ्रीज़्ड (frozen) हैं।
पैरामीटर काउंट: ~4.7M पैरामीटर्स (रैंक 16 के लिए)।
लक्ष्य: आंतरिक फीचर एक्सट्रैक्शन प्रक्रिया के गहरे, संरचनात्मक संरेखण (structural realignment) को करना।

मुख्य नवाचार (Key Innovation): दोनों विधियाँ विशाल VLM बैकबोन और एक्शन एक्सपर्ट को फ्रीज़ रखती हैं, केवल विज़ुअल पाथवे को अपडेट करती हैं। यह पूरे VLA स्टैक पर मानक दृष्टिकोण जैसे फुल फाइन-ट्यूनिंग या LoRA के विपरीत है।

3. मुख्य योगदान (Key Contributions)

सैद्धांतिक अंतर्दृष्टि (Theoretical Insight): यह शोध पत्र अनुभवजन्य और सैद्धांतिक साक्ष्य प्रदान करता है कि व्यूपॉइंट शिफ्ट के तहत VLA की भंगुरता मुख्य रूप से एक स्पेशियल मॉडलिंग समस्या (एम्बेडिंग मिसअलाइनमेंट) है, न कि फिजिकल मॉडलिंग की कमी। पॉलिसी की तर्क क्षमता बरकरार रहती है लेकिन उसे संरेखित स्थानिक इनपुट की कमी होती है।
एकीकृत अनुकूलन फ्रेमवर्क (Unified Adaptation Framework): न्यूनतम अपडेट के साथ स्टेट-ऑफ-द-आर्ट जनरलाइज़ेशन प्राप्त करने के लिए FTM और FLA का परिचय।
Libero-V बेंचमार्क: चार नियंत्रित व्यवधान प्रकारों (कैमरा व्यूपॉइंट, लाइटिंग, बैकग्राउंड टेक्सचर और सेंसर नॉइज़) को शामिल करने के लिए मानक LIBERO सूट का विस्तार करते हुए एक नया बेंचमार्क बनाना।
वास्तविक दुनिया का सत्यापन (Real-World Validation): फ्रैंका एमिका पांडा (Franka Emika Panda) रोबोट पर सफल तैनाती, जो यह प्रदर्शित करती है कि वन-शॉट अडैप्टेशन क्लोज्ड-लूप कंट्रोल में सिम-टू-रियल और व्यूपॉइंट गैप को पाट सकता है।

4. प्रयोगात्मक परिणाम (Experimental Results)

LIBERO बेंचमार्क पर प्रदर्शन

नवीन व्यूपॉइंट्स (Novel Viewpoints):
- FTM: केवल 4K पैरामीटर्स का उपयोग करके 87.1% औसत सफलता दर प्राप्त की (48.5% ज़ीरो-शॉट के मुकाबले)।
- FLA: 90.8% औसत सफलता दर प्राप्त की, जिसने 467M पैरामीटर्स वाले मजबूत LoRA बेसलाइन (90.3%) को भी पीछे छोड़ दिया।
- दक्षता (Efficiency): FLA, 99 गुणा कम सीखने योग्य पैरामीटर्स के साथ, फुल-मॉडल LoRA फाइन-ट्यूनिंग के समान या बेहतर प्रदर्शन करता है।
विज़ुअल परटर्बेशन्स (Visual Perturbations - Libero-V):
- FLA ने कैमरा, लाइटिंग, टेक्सचर और नॉइज़ व्यवधानों के बीच 94.8% औसत सफलता दर हासिल की, जो LoRA (94.6%) और OpenVLA-OFT-m (86.0%) से बेहतर है।

वास्तविक दुनिया के प्रयोग

फ्रैंका पांडा रोबोट का उपयोग करके 5 विशिष्ट मैनिपुलेशन कार्यों (जैसे ब्लॉक स्टैकिंग, ड्रॉअर खींचना, बटन दबाना) पर परीक्षण किया गया।
मॉडल ने केवल एक मानव प्रदर्शन (one-shot demonstration) का उपयोग करके एक काफी अलग कैमरा व्यूपॉइंट के अनुकूल खुद को ढाल लिया।
अनुकूलित पॉलिसी ने डायनेमिक ऑब्जेक्ट डिस्टर्बेंस और अपूर्ण प्रदर्शनों को सफलतापूर्वक संभाला, उच्च सफलता दर बनाए रखी।

सैद्धांतिक विश्लेषण (Theoretical Analysis)

लेखक थ्योरम्स (Theorems 1-3) के माध्यम से सैद्धांतिक प्रमाण प्रदान करते हैं कि यदि विज़ुअल रिप्रेजेंटेशन में ड्रिफ्ट को एक एफाइन या लो-रैंक ट्रांसफॉर्मेशन द्वारा अनुमानित किया जा सकता है (जैसा कि वे मानते हैं कि व्यूपॉइंट शिफ्ट के लिए सत्य है), तो FTM और FLA बाउंडेड एरर (bounded error) के साथ मूल पॉलिसी प्रदर्शन को पुनः प्राप्त करने के लिए पर्याप्त हैं।

5. महत्व और प्रभाव (Significance and Impact)

मजबूती को पुनर्परिभाषित करना (Redefining Robustness): यह शोध पत्र प्रतिमान (paradigm) को "अधिक डेटा" या "बड़े मॉडल्स" से बदलकर "बेहतर संरेखण" (better alignment) की ओर ले जाता है। यह सुझाव देता है कि प्री-ट्रेन्ड VLA मॉडल्स में लेटेंट रोबस्टनेस (latent robustness) होती है जो केवल स्पेशियल मिसअलाइनमेंट के कारण सुप्त (dormant) है।
लागत-प्रभावशीलता (Cost-Effectiveness): यह प्रदर्शित करके कि 4.7M पैरामीटर्स 467M पैरामीटर्स से बेहतर प्रदर्शन कर सकते हैं, यह कार्य संसाधन-बाधित वातावरणों के लिए मजबूत VLA परिनियोजन (deployment) को संभव बनाता है।
व्यावहारिक परिनियोजन (Practical Deployment): अनुकूलन की वन-शॉट प्रकृति का अर्थ है कि रोबोट महंगे रिट्रेनिंग पाइपलाइन के बिना क्षेत्र (field) में नए कैमरों या वातावरणों के अनुकूल तेजी से हो सकते हैं।
सामान्यीकरण (Generalizability): निष्कर्ष बताते हैं कि इसी तरह की हल्की अनुकूलन रणनीतियों को केवल रोबोटिक्स में ही नहीं, बल्कि अन्य मल्टीमॉडल डोमेन में भी अन्य फाउंडेशन मॉडल्स पर लागू किया जा सकता है जो डिस्ट्रीब्यूशन शिफ्ट का सामना कर रहे हैं।

निष्कर्षतः, यह शोध पत्र तर्क देता है कि लक्षित, न्यूनतम विज़ुअल अडैप्टेशन मौजूदा VLA मॉडल्स की जनरलाइजेशन क्षमता को अनलॉक करने की कुंजी है, जो यह सिद्ध करता है कि सही स्थानिक प्रतिनिधित्व (spatial representation) के साथ वे पहले की तुलना में कहीं अधिक सामान्यीकरण योग्य हैं।