💻 computer science

Cross-Hand Latent Representation for Vision-Language-Action Models

यह शोध पत्र XL-VLA को प्रस्तुत करता है, जो एक विजन-लैंग्वेज-एक्शन फ्रेमवर्क है जो स्केलेबल क्रॉस-एम्बॉडमेंट ट्रेनिंग को सक्षम करने और विविध रोबोटिक हाथों में डेक्सट्रस मैनिपुलेशन प्रदर्शन को बेहतर बनाने के लिए एक एकीकृत, एम्बॉडमेंट-इनवेरिएंट लेटेंट एक्शन स्पेस का उपयोग करता है।

मूल लेखक: Guangqi Jiang, Yutong Liang, Jianglong Ye, Jia-Yang Huang, Changwei Jing, Rocky Duan, Pieter Abbeel, Xiaolong Wang, Xueyan Zou

प्रकाशित 2026-03-12

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Guangqi Jiang, Yutong Liang, Jianglong Ye, Jia-Yang Huang, Changwei Jing, Rocky Duan, Pieter Abbeel, Xiaolong Wang, Xueyan Zou

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ शोध पत्र "XL-VLA: Cross-Hand Latent Representation for Vision-Language-Action Models" का सरल भाषा और रचनात्मक उपमाओं के साथ विवरण दिया गया है।

बड़ी समस्या: "यूनिवर्सल रिमोट" की दुविधा

कल्पना कीजिए कि आपके घर में कई अलग-अलग रोबोट हैं।

रोबोट A के पास इंसान जैसा हाथ है जिसमें 5 उंगलियां और 12 जोड़ (joints) हैं।
रोबोट B के पास 4 उंगलियों और 16 जोड़ों वाला हाथ है।
रोबोट C के पास एक अजीब, एलियन जैसा दिखने वाला हाथ है जिसमें 3 उंगलियां हैं।

यदि आप उन सभी को "केला उठाने" के लिए सिखाना चाहते हैं, तो आपको आमतौर पर प्रत्येक के लिए निर्देशों का एक पूरी तरह से अलग सेट लिखना होगा। यह तीन अलग-अलग लोगों को पियानो बजाना सिखाने जैसा है, लेकिन एक के पास 88 कुंजियाँ (keys) हैं, एक के पास 60, और एक के पास 40। आप केवल यह नहीं कह सकते, "मिडल C दबाओ," क्योंकि हर कीबोर्ड पर "मिडल C" का अर्थ पूरी तरह से अलग होता है।

रोबोटिक्स की दुनिया में, इसे एम्बॉडमेंट समस्या (Embodiment Problem) कहा जाता है। हर रोबोट का हाथ अलग तरह से बनाया गया है, इसलिए उसके जोड़ों को हिलाने की "भाषा" (action space) अद्वितीय है। किसी रोबोट को कोई कार्य करने के लिए प्रशिक्षित करने के लिए आमतौर पर उस विशिष्ट रोबोट के लिए भारी मात्रा में डेटा एकत्र करने की आवश्यकता होती है। यदि कल एक नया रोबोट आता है, तो आपको फिर से शुरुआत करनी होगी।

समाधान: "यूनिवर्सल ट्रांसलेटर" (XL-VLA)

शोधकर्ताओं ने कैलिफोर्निया विश्वविद्यालय, सैन डिएगो और अमेज़न द्वारा विकसित एक प्रणाली बनाई जिसे XL-VLA कहा जाता है। इसे रोबोटिक हाथों के लिए एक यूनिवर्सल ट्रांसलेटर (सार्वभौमिक अनुवादक) के रूप में समझें।

रोबोट को यह सिखाने के बजाय कि "जोड़ नंबर 3 को 5 डिग्री ऊपर ले जाओ," XL-VLA रोबोट को एक गुप्त कोड ("लेटेंट एक्शन") सिखाता है।

यह कैसे काम करता है, चरण-दर-चरण यहाँ दिया गया है:

1. गुप्त कोड (द लेटेंट स्पेस)

एक "यूनिवर्सल रिमोट कंट्रोल" की कल्पना करें जिसे इस बात से फर्क नहीं पड़ता कि आपके पास किस ब्रांड का टीवी है। यह संकेत नहीं भेजता जैसे "सैमसंग का वॉल्यूम बढ़ाएं।" इसके बजाय, यह एक शुद्ध अवधारणा भेजता है: "इसे तेज़ करें।"

XL-VLA एक साझा "गुप्त कोड" स्थान बनाता है।

जब रोबोट केला देखता है और सुनता है "इसे उठाओ," तो वह तुरंत विशिष्ट जोड़ों के कोण (joint angles) की गणना नहीं करता है।
इसके बजाय, वह उस विचार को एक एकल, संक्षिप्त वेक्टर (एक गुप्त भाषा में एक संख्या) में बदल देता है।
यह संख्या हाथ की विशिष्ट यांत्रिकी के बजाय, गति के इरादे (intent) का प्रतिनिधित्व करती है।

2. अनुवादक (द एनकोडर/डिकोडर)

यहीं पर जादू होता है।

एनकोडर (Encoder): रोबोट के कार्य करने से पहले, एक विशेष अनुवादक उस विशिष्ट हाथ के लिए विशिष्ट निर्देशों (जैसे, "एबिलिटी हैंड जोड़ 1 को हिलाएं") को लेता है और उसे गुप्त कोड में बदल देता है।
दिमाग (VLA): मुख्य AI मस्तिष्क (विज़न-लैंग्वेज-एक्शन मॉडल) केवल और केवल उस गुप्त कोड को देखता है और सीखता है। उसे इस बात से कोई फर्क नहीं पड़ता कि हाथ में 4 उंगलियां हैं या 5। वह बस सीखता है: "जब मैं केला देखता हूँ, तो गुप्त कोड 'X' होता है।"
डिकोडर (Decoder): जब दिमाग कहता "कोड X करो," तो उस विशिष्ट हाथ के लिए एक विशेष अनुवादक "कोड X" को उस हाथ के विशिष्ट जोड़ों की गतिविधियों में बदल देता है।

उपमा:
गुप्त कोड को एक सार्वभौमिक भाषा में लिखी गई रेसिपी के रूप में सोचें।

दिमाग (Brain) वह शेफ है जो रेसिपी जानता है।
एबिलिटी हैंड (Ability Hand) एक फ्रांसीसी शेफ है जिसे खाना पकाने के लिए रेसिपी को फ्रेंच में अनुवादित करने की आवश्यकता है।
पैक्सिनी हैंड (Paxini Hand) एक जापानी शेफ है जिसे रेसिपी को जापानी में अनुवादित करने की आवश्यकता है।
XL-VLA सिस्टम वह अनुवादक है। शेफ (दिमाग) केवल सार्वभौमिक भाषा बोलता है। अनुवादक (एनकोडर/डिकोडर) प्रत्येक रोबोटिक हाथ के विशिष्ट बोलियों को संभालते हैं।

यह एक बड़ी बात क्यों है?

1. एक दिमाग, कई हाथ

अतीत में, यदि आप चाहते थे कि एक रोबोट डिब्बे को एक के ऊपर एक रखना सीखे, तो आपको "एबिलिटी हैंड" के लिए 2,000 घंटे का डेटा, फिर "इंस्पायर हैंड" के लिए 2,000 घंटे का डेटा, इत्यादि एकत्र करना पड़ता था।
XL-VLA के साथ, आप एक ही मस्तिष्क को सभी चार अलग-अलग हाथों के डेटा पर एक साथ प्रशिक्षित कर सकते हैं। क्योंकि वे सभी एक ही "गुप्त कोड" बोलते हैं, मस्तिष्क एक बार "स्टैकिंग" (एक के ऊपर एक रखना) की अवधारणा सीख जाता है, और यह सभी के लिए काम करता है।

2. ज़ीरो-शॉट लर्निंग (द मैजिक ट्रिक)

यह सबसे शानदार हिस्सा है। कल्पना कीजिए कि आपने एक रोबोट को 9 कार्यों (जैसे डिब्बे रखना, चीनी डालना) के लिए "एबिलिटी हैंड" का उपयोग करके प्रशिक्षित किया है। आपने उसे कभी भी "इंस्पायर हैंड" को वे कार्य करते हुए नहीं दिखाया है।
फिर, आप उसे "इंस्पायर हैंड" को एक नया कार्य (जैसे "बॉक्स को धक्का देना") देते हैं जो उसने पहले कभी नहीं देखा है।
क्योंकि "गुप्त कोड" सार्वभौमिक है, "इंस्पायर हैंड" अक्सर बिना किसी नए प्रशिक्षण डेटा के, केवल निर्देशों को देखकर यह समझने में सक्षम होता है कि नया कार्य कैसे करना है। यह एक ऐसे इंसान को साइकिल चलाने के ज्ञान को ट्राइसाइकिल पर लागू करने जैसा है; उन्हें संतुलन बनाना फिर से सीखने की आवश्यकता नहीं है, वे बस अनुकूलित हो जाते हैं।

3. "रिटारगेटिंग" बनाम "ट्रांसलेशन" की बहस

पुराने तरीके "रिटारगेटिंग" (re-targeting) का प्रयास करते थे। यह एक मानव हाथ के वीडियो को लेने और गणितीय रूप से उसे एक रोबोटिक हाथ में फिट होने के लिए खींचने जैसा है। यह अक्सर झटकेदार दिखता है या टूट जाता है क्योंकि हाथ बहुत अलग होते हैं।
XL-VLA बेहतर है क्योंकि यह हाथ को खींचने की कोशिश नहीं करता; यह इरादे (intent) का अनुवाद करता है। यह चौकोर खांचे में गोल खूंटा जबरदस्ती डालने के प्रयास (रिटारगेटिंग) और एक 3D प्रिंटर होने के बीच का अंतर है जो तुरंत खांचे के आकार के अनुसार खूंटे को नया रूप दे सकता है (XL-VLA)।

परिणाम

शोधकर्ताओं ने इसका परीक्षण चार बहुत अलग रोबोटिक हाथों और 10 अलग-अलग कार्यों (जैसे डिब्बे छाँटना, सॉस डालना और बोतलें पकड़ाना) पर किया।

पुराना तरीका (मानक AI): सफलता दर लगभग 32% थी। इसे हाथों के बीच स्विच करने में संघर्ष करना पड़ा।
XL-VLA: सफलता दर बढ़कर 72% हो गई।
"ज़ीरो-शॉट" टेस्ट: जब उन्होंने उन कार्यों को आज़माया जो रोबोट ने पहले कभी नहीं देखे थे, तो XL-VLA पुराने तरीकों की तुलना में बहुत बेहतर काम करता रहा।

सारांश

XL-VLA एक बड़ी उपलब्धि है क्योंकि यह हर रोबोटिक हाथ को एक अद्वितीय, अलग समस्या के रूप में देखना बंद कर देता है। इसके बजाय, यह गति की एक सार्वभौमिक "भाषा" बनाता है जो एक ही AI मस्तिष्क को कई अलग-अलग प्रकार के हाथों को एक साथ नियंत्रित करने की अनुमति देता है।

यह हर बार एक नए व्यक्ति से मिलने पर एक नई भाषा सीखने के बजाय, एक सार्वभौमिक अनुवादक होने के समान है जो आपको कहीं भी, किसी से भी तुरंत बात करने की अनुमति देता है। यह रोबोटों को प्रशिक्षित करना बहुत तेज़, सस्ता और रोबोटिक हार्डवेयर की तेज़ी से बदलती दुनिया के अनुकूल बनाता है।

यहाँ पेपर "Cross-Hand Latent Representation for Vision-Language-Action Models" (XL-VLA) का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

यह पेपर कुशल रोबोटिक हेरफेर (dexterous robotic manipulation) के लिए स्केलेबल क्रॉस-एम्बॉडमेंट लर्निंग (scalable cross-embodiment learning) की महत्वपूर्ण चुनौती को संबोधित करता है।

बाधा (The Bottleneck): हालांकि विजन-लैंग्वेज-एक्शन (VLA) मॉडल्स ने काफी संभावनाएं दिखाई हैं, लेकिन उन्हें कुशल हाथों (dexterous hands) के लिए प्रशिक्षित करना कठिन है क्योंकि एक्शन स्पेस (जोड़ों के कॉन्फ़िगरेशन) विशिष्ट रोबोटिक संरचनाओं (morphologies) से गहराई से जुड़े होते हैं। जैसे-जैसे नए कुशल हाथ तेजी से उभर रहे हैं, प्रत्येक विशिष्ट एम्बॉडमेंट के लिए डेटा एकत्र करना और प्रशिक्षण देना महंगा और अव्यवहारिक है।
अंतराल (The Gap): मौजूदा विधियां अक्सर किनेमैटिक रिटारगेटिंग (मानव या रोबोट A के जोड़ों को रोबोट B के जोड़ों में मैप करना) पर निर्भर करती हैं या प्रत्येक नए हाथ के लिए पुन: प्रशिक्षण की आवश्यकता होती है। ये दृष्टिकोण महत्वपूर्ण रूपात्मक अंतरों (morphological differences) के साथ संघर्ष करते हैं और अनदेखे हैंड-टास्क संयनों पर ज़ीरो-शॉट सामान्यीकरण (zero-shot generalization) करने में विफल रहते हैं।
लक्ष्य (The Goal): एक एकीकृत ढांचा बनाना जो एक एकल VLA पॉलिसी को विविध कुशल हाथों (जैसे, Ability, Inspire, Paxini, X-Hand) को नियंत्रित करने की अनुमति दे, बिना किसी प्रति-रोबोट पुन: प्रशिक्षण के, जिससे हेरफेर कौशल का निर्बाध हस्तांतरण संभव हो सके।

2. कार्यप्रणाली: XL-VLA (Methodology: XL-VLA)

लेखक XL-VLA प्रस्तावित करते हैं, जो एक मानक VLA आर्किटेक्चर (जो $\pi_0$ पर आधारित है) में एक साझा, एम्बॉडमेंट-इनवेरिएंट लेटेंट एक्शन स्पेस (shared, embodiment-invariant latent action space) को एकीकृत करता है।

A. एकीकृत लेटेंट एक्शन स्पेस (Unified Latent Action Space)

कच्चे जोड़ों की स्थिति (raw joint positions) की भविष्यवाणी करने के बजाय (जो हाथों के अनुसार भिन्न होती हैं), मॉडल एक संक्षिप्त लेटेंट वेक्टर $z$ की भविष्यवाणी करता है।

आर्किटेक्चर: एक मल्टी-हेडेड वेरिएशनल ऑटोएन्कोडर (VAE) शैली के ऑटोएन्कोडर का उपयोग किया जाता है।
- एनकोडर्स ( $E_h$ ): हैंड-विशिष्ट एनकोडर्स हाथ $h$ के कच्चे जोड़ कॉन्फ़िगरेशन ( $q^{(h)}$ ) को एक साझा लेटेंट स्पेस में मैप करते हैं।
- डिकोडर्स ( $D_h$ ): हैंड-विशिष्ट डिकोडर्स साझा लेटेंट वेक्टर $z$ को वापस हाथ $h$ के जोड़ कॉन्फ़िगरेशन में मैप करते हैं।
लेटेंट स्पेस को प्रशिक्षित करना (स्व-पर्यवेक्षित/Self-Supervised): ऑटोएन्कोडर को प्रदर्शन डेटा (demonstration data) के बिना, हार्डवेयर सीमाओं के भीतर सिंथेटिक रैंडम जॉइंट कॉन्फ़िगरेशन का उपयोग करके प्रशिक्षित किया जाता है। यह तीन लॉस (losses) को अनुकूलित करता है:
1. रिकंस्ट्रक्शन लॉस ( $L_1$ ): यह सुनिश्चित करता है कि डिकोडर मूल स्रोत हाथ के जॉइंट कॉन्फ़िगरेशन को पुनर्गठित कर सके।
2. रिटारगेटिंग लॉस ( $L_2$ ): विभिन्न हाथों के बीच फिंगरटिप ज्योमेट्री को संरेखित करने के लिए डिफरेंशिएबल फॉरवर्ड किनेमैटिक्स (FK) का उपयोग करता है। यह एक ही लेटेंट कोड से डिकोड किए गए स्रोत और लक्ष्य हाथों के बीच पिंच डिस्टेंस और दिशाओं के अंतर को दंडित करता है। यह लेटेंट स्पेस को कार्य-प्रासंगिक ज्यामिति (जैसे, "वस्तु को पिंच करना") का प्रतिनिधित्व करने के लिए मजबूर करता है, न कि विशिष्ट जॉइंट एंगल्स का।
3. लेटेंट रेगुलराइजेशन ( $L_3$ ): एक मानक गौसियन प्रायर ( $N(0, I)$ ) लागू करता है ताकि यह सुनिश्चित हो सके कि लेटेंट स्पेस स्मूथ और निरंतर है, जिससे इंटरपोलेशन और सैंपलिंग आसान हो सके।

B. VLA पाइपलाइन (The VLA Pipeline)

बैकबोन (Backbone): $\pi_0$ आर्किटेक्चर पर निर्मित, जो विजन और लैंग्वेज एनकोडर्स को एक एक्शन एक्सपर्ट के साथ जोड़ता है।
इनपुट (Input): मॉडल विजुअल ऑब्जर्वेशन ( $V$ ), लैंग्वेज इंस्ट्रक्शन ( $T$ ), और लेटेंट एक्शन टोकन के इतिहास (कच्चे प्रोप्रियोसेप्टिव स्टेट टोकन के बजाय) को लेता है।
प्रक्रिया (Process):
1. पिछले एक्शन चंक को हैंड-विशिष्ट एनकोडर $E_h$ का उपयोग करके एक लेटेंट टोकन $z_t$ में एनकोड किया जाता है।
2. VLA बैकबोन अगले लेटेंट टोकन $\hat{z}_{t+1}$ की भविष्यवाणी करता है।
3. हैंड-विशिष्ट डिकोडर $D_h$ $\hat{z}_{t+1}$ को वास्तविक जॉइंट कमांड चंक $q^{(h)}_{t+1}$ में बदल देता है।
मुख्य विशेषता (Key Feature): VLA फाइन-ट्यूनिंग के दौरान, एनकोडर्स और डिकोडर्स फ्रीज़ (frozen) रहते हैं। VLA पूरी तरह से साझा लेटेंट स्पेस के भीतर काम करना सीखता है, जिससे पॉलिसी "हैंड-एग्नोस्टिक" (हाथ-निरपेक्ष) बन जाती है।

3. मुख्य योगदान (Key Contributions)

बड़े पैमाने पर डेटासेट: 10 हेरफेर कार्यों और 4 विशिष्ट कुशल हाथों (Ability, Paxini DexH13, X-Hand1, Inspire) में 2 मिलियन स्टेट-एक्शन पेयर्स वाला टेलीऑपरेशन डेटासेट एकत्र किया गया।
अनसुपरवाइज्ड लेटेंट फ्रेमवर्क: एक अभिनव अनसुपरवाइज्ड ऑटोएन्कोडर फ्रेमवर्क प्रस्तावित किया गया जो बिना किसी पेयर्ड क्रॉस-एम्बॉडमेंट प्रदर्शन डेटा के एक एकीकृत एक्शन स्पेस सीखता है।
XL-VLA सिस्टम: एक पूर्ण VLA पाइपलाइन विकसित की गई जो मजबूत क्रॉस-एम्बॉडमेंट कंट्रोल प्राप्त करती है, यह प्रदर्शित करते हुए कि एक एकल पॉलिसी विविध मॉर्फोलॉजी के बीच सामान्यीकरण कर सकती है।
ज़ीरो-शॉट जनरलाइजेशन: बिना किसी अतिरिक्त प्रशिक्षण या रिटारगेटिंग के अनदेखे हैंड-टास्क संयनों में कौशल हस्तांतरित करने की क्षमता का प्रदर्शन किया।

4. प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने मानक VLA मॉडल्स (जैसे $\pi_0$ ) और रिटारगेटिंग-आधारित विधियों (जैसे LAD) सहित मजबूत बेसलाइन्स के विरुद्ध XL-VLA का मूल्यांकन किया।

क्रॉस-हैंड प्रदर्शन (Cross-Hand Performance):
- XL-VLA ने सभी हाथों और कार्यों में $\pi_0$ बेसलाइन की तुलना में काफी बेहतर प्रदर्शन किया।
- औसत सफलता दर (Mean Success Rate): 0.55 (बेसलाइन) से बढ़कर 0.90 (+35% एब्सोल्यूट सुधार) हो गई।
- विशिष्ट लाभ: Ability Hand 0.37 से बढ़कर 0.73 हुआ; Paxini Hand 0.78 तक पहुँचा; और यांत्रिक रूप से भिन्न X-Hand 0.29 से सुधरकर 0.70 हो गया।
ज़ीरो-शॉट जनरलाइजेशन (Zero-Shot Generalization):
- जब इसे कार्यों के एक उपसमुच्चय (subset) पर प्रशिक्षित किया गया और होल्ड-आउट कार्यों पर टेस्ट किया गया, तो XL-VLA ने उच्च सफलता दर बनाए रखी, जबकि रिटारगेटिंग-आधारित बेसलाइन्स सूक्ष्म (fine-grained) कुशल कार्यों (जैसे, डिब्बे छाँटना, बोतलें पकड़ाना) पर काफी विफल रहे।
लेटेंट रिप्ले तुलना (Latent Replay Comparison):
- एक "लेटेंट रिप्ले" टेस्ट में (Hand A से डेटा को एनकोड करना और Hand B में डिकोड करना), XL-VLA ने 81-82% सफलता प्राप्त की, जो सुपरवाइज्ड LAD विधि (60-61%) से कहीं बेहतर है। यह सिद्ध करता है कि लेटेंट स्पेस सुपरवाइज्ड विकल्पों की तुलना में एम्बॉडमेंट-इनवेरिएंट स्ट्रक्चर को बेहतर ढंग से कैप्चर करता है।
क्रॉस-रोबोट स्केलिंग (Cross-Robot Scaling):
- पद्धति ने टेबलटॉप xArm सिस्टम और Unitree G1 ह्यूमनॉइड के बीच कौशल को सफलतापूर्वक स्थानांतरित किया, जो केवल अलग-अलग हाथों से परे स्केलेबिलिटी प्रदर्शित करता है।

5. महत्व (Significance)

स्केलेबिलिटी (Scalability): XL-VLA कुशल रोबोटिक्स के लिए "डेटा बॉटलनैक" को हल करता है। नए हाथों को बस एक लाइटवेट एनकोडर/डिकोडर पेयर को प्रशिक्षित करके एकीकृत किया जा सकता है, बिना विशाल VLA बैकबोन को पुन: प्रशिक्षित किए।
सामान्यीकरण (Generalization): पॉलिसी को विशिष्ट जॉइंट स्पेस से अलग करके, सिस्टम हेरफेर के इरादे (जैसे, "पकड़ना," "डालना") को सीखता है, न कि विशिष्ट मोटर कमांड को, जिससे वास्तविक ज़ीरो-शॉट ट्रांसफर संभव होता है।
व्यावहारिकता (Practicality): यह दृष्टिकोण नए हार्डवेयर के लिए 'प्लग-एंड-प्ले' है और स्व-पर्यवेक्षित प्री-ट्रेनिंग पर निर्भर करता है, जिससे यह वास्तविक दुनिया में तैनाती के लिए अत्यधिक व्यवहार्य हो जाता है जहाँ विशाल पेयर्ड डेटासेट एकत्र करना असंभव है।
भविष्य की दिशा (Future Direction): यह कार्य स्थापित करता है कि लेटेंट एक्शन स्पेस, तेजी से बढ़ते हार्डवेयर नवाचार के साथ तालमेल बिठाने में सक्षम, सामान्यीकरण योग्य और डेटा-कुशल रोबोटिक सिस्टम बनाने के लिए एक मौलिक घटक है।