💻 computer science

MuseVLA: An Adaptive Multimodal Sensing Vision-Language-Action Model for Robotic Manipulation

MuseVLA एक अनुकूलन योग्य मल्टीमॉडल विजन-लैंग्वेज-एक्शन मॉडल है जो विभिन्न सेंसरों को ऑन-डिमांड टूल्स के रूप में गतिशील रूप से आमंत्रित करता है, उनके रीडिंग को एक एकीकृत "ग्राउंडेड सेंसर इमेज" प्रतिनिधित्व में परिवर्तित करता है, और तापमान, ऑडियो या रडार सेंसिंग की आवश्यकता वाले जटिल रोबोटिक मैनिपुलेशन कार्यों में बेहतर प्रदर्शन प्राप्त करने के लिए एक डेटा सिंथेसिस पाइपलाइन का लाभ उठाता है।

मूल लेखक: Xingyuming Liu, Ruichun Ma, Heyu Guo, Qixiu Li, Qingwen Yang, Lin Luo, Shiqi Jiang, Chenren Xu, Jiaolong Yang, Baining Guo

प्रकाशित 2026-06-17

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Xingyuming Liu, Ruichun Ma, Heyu Guo, Qixiu Li, Qingwen Yang, Lin Luo, Shiqi Jiang, Chenren Xu, Jiaolong Yang, Baining Guo

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक बिखरे हुए कमरे में किसी विशिष्ट वस्तु को खोजने की कोशिश कर रहे हैं। यदि आपके पास केवल आपकी आँखें (RGB विज़न) हैं, तो आप एक ठंडे पेय को मिस कर सकते हैं क्योंकि वह गर्म पेय जैसा ही दिखता है, या आप कंबल के नीचे छिपे बजते हुए फोन को नहीं सुन पाएंगे। इंसान इस बारे में समझदार होते हैं: हम केवल देखते नहीं रहते; हम काम के आधार पर अलग-अलग "औजारों" का उपयोग करते हैं। यदि कोई चीज़ गर्म है, तो हम हवा को महसूस कर सकते हैं; यदि कोई चीज़ शोर कर रही है, तो हम सुनते हैं; यदि कोई चीज़ छिपी हुई है, तो हम उसके पार देखने के लिए किसी औज़ार का उपयोग कर सकते हैं।

MuseVLA एक रोबोटिक मस्तिष्क है जिसे ठीक यही करने के लिए डिज़ाइन किया गया है। यह एक नए प्रकार का रोबोट कंट्रोलर है जो केवल कैमरे पर निर्भर नहीं रहता; यह जानता है कि काम के लिए सही "इंद्रिय" (sense) कैसे चुनी जाए, बिल्कुल एक इंसान की तरह।

यह कैसे काम करता है, इसे सरल अवधारणाओं में यहाँ दिया गया है:

1. "टूलबॉक्स" दृष्टिकोण (The "Toolbox" Approach)

आज के अधिकांश रोबोटिक मस्तिष्क एक ऐसे व्यक्ति की तरह हैं जिसके पास केवल एक टॉर्च है। वे देख सकते हैं, लेकिन वे गर्मी महसूस नहीं कर सकते या आवाज़ें नहीं सुन सकते। MuseVLA अलग है। यह सेंसरों (जैसे थर्मल कैमरा, माइक्रोफ़ोन और रडार) को टूलबॉक्स में मौजूद औजारों की तरह मानता है।

समस्या: यदि आप एक रोबोट से "गर्म पेय लाओ" कहते हैं, तो केवल कैमरे वाला मानक रोबोट एक ठंडा पेय उठा सकता है क्योंकि वे दिखने में एक जैसे होते हैं।
MuseVLA का समाधान: जब रोबोट "गर्म पेय" सुनता है, तो वह केवल देखता नहीं है। वह सोचता है, "मुझे तापमान की जांच करने की आवश्यकता है," और वह अपने थर्मल कैमरा टूल को "कॉल" करता है। यदि कमांड "बजता हुआ फोन ढूंढो" है, तो वह अपने माइक्रोफ़ोन टूल पर स्विच हो जाता है। वह केवल उसी टूल का उपयोग करता है जिसकी उसे आवश्यकता होती है, जिससे ऊर्जा और ध्यान बचता है।

2. "मैजिक ओवरले" (The "Magic Overlay" - Grounded Sensor Images)

यह इस पेपर की सबसे चतुर तकनीक है। विभिन्न सेंसर अलग-अलग भाषाएँ बोलते हैं। एक थर्मल कैमरा "हीट मैप्स" (तापमान दिखाने वाले रंग) में बात करता है, और एक रडार "रिफ्लेक्शन मैप्स" में बात करता है। एक रोबोट को एक साथ इन सभी अलग-अलग भाषाओं को समझना सिखाना कठिन है।

MuseVLA एक मैजिक ओवरले बनाकर इस समस्या को हल करता है:

कल्पना कीजिए कि आपके पास मेज की एक सामान्य फोटो है।
रोबोट सही सेंसर चुनता है (जैसे थर्मल)।
वह उस सेंसर से "हीट मैप" लेता है और उसे केवल उस विशिष्ट वस्तु पर पेंट करता है जिसकी उसे परवाह है (जैसे बोतल), बाकी फोटो को सामान्य छोड़ देता है।
अब, रोबोट एक एकल, एकीकृत चित्र देखता है जहाँ सामान्य फोटो के ऊपर "गर्म" बोतल लाल रंग में चमक रही है।

यह रोबोट को उसके मौजूदा "विज़न ब्रेन" (जो पहले से ही फोटो देखने में बहुत अच्छा है) का उपयोग करके गर्मी, ध्वनि या रडार को समझने की अनुमति देता है, बिना प्रत्येक सेंसर के लिए एक पूरी नई भाषा सीखने की आवश्यकता के।

3. लाखों रोबोटों के बिना सीखना (Data Synthesis)

रोबोट को प्रशिक्षित करने के लिए आमतौर पर वास्तविक दुनिया के हजारों घंटों के वीडियो एकत्र करने की आवश्यकता होती है जहाँ रोबोट वास्तव में गर्म कप को छू रहे हों या बजते हुए फोन को सुन रहे हों। यह महंगा और धीमा है।

MuseVLA एक डेटा सिंथेसिस पाइपलाइन ("नकली डेटा" जनरेटर) का उपयोग करता है:

शोधकर्ताओं ने सामान्य वस्तुओं को हिलाते हुए रोबोट के मौजूदा वीडियो लिए।
उन्होंने एक कंप्यूटर प्रोग्राम का उपयोग करके उनमें "नकली सेंसर डेटा" इंजेक्ट किया। उदाहरण के लिए, उन्होंने एक मग का वीडियो लिया और डिजिटल रूप से उस पर "गर्म" रंग पेंट किया, फिर रोबोट को बताया, "यह एक गर्म मग है।"
इसने उन्हें सामान्य वीडियो से एक विशाल "मल्टीसेंसरी" प्रशिक्षण डेटा लाइब्रेरी बनाने की अनुमति दी, जिससे रोबोट को भौतिक रोबोट की 10,000 बार आवश्यकता के बिना गर्मी, ध्वनि या रडार के प्रति प्रतिक्रिया करना सिखाया जा सका।

4. परिणाम: कई इंद्रियों का मास्टर (The Results: A Master of Many Senses)

टीम ने एक वास्तविक रोबोट पर परीक्षण किया जिसके पास एक डेक्सट्रस (बहुत लचीला) हाथ था। उन्होंने इसे तीन प्रकार के कठिन कार्य दिए:

थर्मल (Thermal): विशेष रूप से "गर्म" या "ठंडा" पेय उठाना।
ऑडियो (Audio): तौलिए के नीचे छिपे हुए फोन को ढूंढना जो बज रहा हो।
रडार (Radar): एक बंद कार्डबोर्ड बॉक्स के अंदर छिपी हुई वस्तु को ढूंढना (जिसे कैमरा नहीं देख सकता)।

स्कोर:

केवल कैमरों का उपयोग करने वाले रोबोट ज्यादातर समय विफल रहे (लगभग 20% सफलता)।
रोबोट जिन्होंने एक साथ सभी सेंसरों का उपयोग करने की कोशिश की (बिना स्मार्ट हुए) वे भी संघर्ष करते रहे।
MuseVLA 80.6% बार सफल रहा।

इससे भी अधिक प्रभावशाली यह है कि जब उन्होंने रोबोट को एक नया कार्य दिया जो उसने पहले कभी नहीं देखा था (जैसे फोन के बजाय "बजता हुआ खिलौना" ढूंढना), तो वह अभी भी लगभग 66.7% बार सफल रहा, जो दर्शाता है कि उसने वास्तव में "काम के लिए सही इंद्रिय का उपयोग करने" की अवधारणा को सीख लिया है।

सारांश

MuseVLA एक ऐसा रोबोटिक मस्तिष्क है जो एक कुशल इंसान की तरह कार्य करता है: वह निर्देश सुनता है, निर्णय लेता है कि किस इंद्रिय (दृष्टि, गर्मी, ध्वनि या रडार) की आवश्यकता है, सही वस्तु पर ध्यान केंद्रित करता है, और उस जानकारी को कार्य करने के लिए एक एकल चित्र में संयोजित करता है। वह यह कुशलतापूर्वक करता है, बिना प्रत्येक नए सेंसर के लिए पुन: प्रशिक्षित हुए, और वह उन नई स्थितियों में भी सक्षम है जिनका उसने पहले कभी सामना नहीं किया है।

तकनीकी सारांश: MuseVLA

समस्या विवरण

रोबोटिक हेरफेर (manipulation) के लिए वर्तमान विजन-लैंग्वेज-एक्शन (VLA) मॉडल मुख्य रूप से RGB अवलोकनों पर निर्भर करते हैं। दृश्य कार्यों के लिए प्रभावी होने के बावजूद, यह सीमा रोबोट की उन भौतिक गुणों को समझने की क्षमता को प्रतिबंधित करती है जिन्हें मानक कैमरों से समझना या अनुमान लगाना कठिन या असंभव है, जैसे कि तापमान, ध्वनि, या रडार प्रतिक्रियाएं। विभिन्न संवेदी मोडैलिटीज (जैसे गहराई, स्पर्श, ऑडियो) को शामिल करने के मौजूदा प्रयास तीन प्राथमिक सीमाओं से ग्रस्त हैं:

अनुकूलन क्षमता का अभाव: वे आमतौर पर प्रत्येक विशिष्ट सेंसर के लिए विशेष मॉडल आर्किटेक्चर या एनकोडर की मांग करते हैं, जिससे विविध या विकसित होते सेंसर सेटों तक स्केल करना कठिन हो जाता है।
डेटा की कमी: वे बड़े पैमाने पर, महंगे मल्टीसेंसरी डेटासेट पर निर्भर करते हैं, जिन्हें एकत्र करने में बहुत समय लगता है।
स्थिर सेंसर उपयोग: मौजूदा मॉडल अक्सर एक निश्चित सेंसर कॉन्फ़िगरेशन मानते हैं, जिनमें विशिष्ट कार्य के आधार पर सबसे प्रासंगिक संवेदी इनपुट को अनुकूल रूप से चुनने की क्षमता नहीं होती है, जिससे अक्षमता और उप-इष्टतम प्रदर्शन होता है।

इसके विपरीत, मनुष्य संवेदी मोडैलिटीज को कार्य-उन्मुख उपकरणों के रूप में देखते हैं, जो आवश्यकतानुसार सही सेंसर (जैसे गर्मी के लिए थर्मल, ध्वनि के लिए ऑडियो) को अनुकूल रूप रूप से चुनते और सक्रिय करते हैं। MuseVLA एक एकीकृत VLA फ्रेमवर्क के भीतर इस अनुकूल क्षमता को दोहराने का लक्ष्य रखता है।

कार्यप्रणाली (Methodology)

MuseVLA एक अनुकूलित मल्टीमॉडल सेंसिंग VLA मॉडल है जिसे विभिन्न सेंसरों को "ऑन-डिमांड टूल्स" के रूप में एकीकृत करने के लिए डिज़ाइन किया गया है। इसका आर्किटेक्चर और पाइपलाइन इस प्रकार है:

1. अनुकूलित सेंसर चयन तंत्र (Adaptive Sensor Selection Mechanism)

सभी सेंसर इनपुट को एक साथ प्रोसेस करने के बजाय, MuseVLA कार्य को तीन चरणों में विभाजित करता है:

सेंसर और लक्ष्य पीढ़ी (Sensor and Target Generation): एक भाषा निर्देश ( $l$ ) और एक RGB अवलोकन ( $o_t$ ) दिए जाने पर, VLA मॉडल ( $\pi$ ) पहले एक सेंसर टोकन (जैसे, <thermal>, <acoustic>, <mmWave>, या <none>) और एक लक्ष्य विवरण ( $l_d$ ) उत्पन्न करता है। यह तर्क (arguments) के साथ एक टूल कॉल के समान है, जो विशिष्ट मोडैलिटी और रुचि के ऑब्जेक्ट का चयन करता है।
ग्राउंडेड सेंसर इमेज निर्माण (Grounded Sensor Image Construction): चयनित सेंसर माप ( $s_{i,t}$ ) को एक ग्राउंडिंग फंक्शन ( $G$ ) द्वारा प्रोसेस किया जाता है। लक्ष्य विवरण का उपयोग करके, एक सेगमेंटेशन मॉड्यूल (SAM3) RGB इमेज पर लक्ष्य ऑब्जेक्ट का एक बाइनरी मास्क बनाता है। सेंसर डेटा को फिर इस मास्क किए गए क्षेत्र पर हीटमैप के रूप में ओवरले किया जाता है, जिससे एक ग्राउंडेड सेंसर इमेज ( $m_{i,t}$ ) तैयार होती है।
एक्शन जनरेशन (Action Generation): ग्राउंडेड सेंसर इमेज को मॉडल इनपुट के साथ जोड़ा जाता है। VLA मॉडल फिर निर्देश, RGB इमेज और एकीकृत ग्राउंडेड सेंसर इमेज के आधार पर एक्शन चंक ( $A$ ) उत्पन्न करता है।

2. एकीकृत प्रतिनिधित्व (Unified Representation)

मोडैलिटी-विशिष्ट एनकोडर से बचने के लिए, MuseVLA ग्राउंडेड सेंसर इमेजेस का उपयोग एक एकीकृत मध्यवर्ती प्रतिनिधित्व के रूप में करता है। विषम सेंसर रीडिंग (थर्मल, रडार, ऑडियो) को RGB कैमरा प्लेन पर लक्ष्य ऑब्जेक्ट के ऊपर प्रोजेक्ट करके, मॉडल सभी मोडैलिटीज के लिए एक ही प्रीट्रेन्ड विजन एनकोडर (SigLIP) का उपयोग कर सकता है। यह सेंसर-विशिष्ट प्रोसेसिंग को VLA बैकबोन से अलग करता है, जिससे नए सेंसरों को पूर्ण रिट्रेनिंग के बिना एकीकृत करना संभव हो जाता है।

3. डेटा सिंथेसिस पाइपलाइन (Data Synthesis Pipeline)

वास्तविक दुनिया के मल्टीसेंसरी डेटासेट की कमी को दूर करने के लिए, लेखक एक डेटा सिंथेसिस पाइपलाइन प्रस्तावित करते हैं:

कीवर्ड इंजेक्शन (Keyword Injection): मौजूदा RGB-ओनली डेटासेट्स से भौतिक गुण वाले कीवर्ड्स (जैसे, "hot," "ringing," "occupied") को कार्य निर्देशों में इंजेक्ट किया जाता है।
सिंथेटिक ग्राउंडिंग (Synthetic Grounding): एक VLM लक्ष्य विवरण उत्पन्न करता है, SAM3 ऑब्जेक्ट को सेगमेंट करता है, और सेगमेंटेड क्षेत्र पर भौतिक गुण के अनुरूप एक कलर-कोडेड मास्क ओवरले किया जाता है।
डेटा विस्तार (Dataset Expansion): यह प्रक्रिया मौजूदा RGB डेटासेट्स (MolmoAct, AgiBotWorld-Alpha, VITRA) से मल्टीसensary ट्रेनिंग डेटा (9.6K एपिसोड) उत्पन्न करती है, जिससे डेटा-कुशल प्रशिक्षण और ज़ीरो-शॉट सामान्यीकरण (zero-shot generalization) सक्षम होता है।

4. मॉडल आर्किटेक्चर और प्रशिक्षण (Model Architecture and Training)

बैकबोन: मॉडल VLM बैकबोन के रूप में PaliGemma-2 (Gemma-2 + SigLIP) और एक्शन एक्सपर्ट के रूप में एक डिफ्यूजन ट्रांसफॉर्मर (DiT) का उपयोग करता है।
प्रशिक्षण रणनीति: मॉडल को को-ट्रेनिंग (co-training) के माध्यम से प्रशिक्षित किया जाता है। VLM को सेंसर टोकन और लक्ष्य विवरण जनरेशन के लिए क्रॉस-एन्ट्रॉपी लॉस को कम करने के लिए प्रशिक्षित किया जाता है। VLA को एक संयुक्त लॉस फंक्शन का उपयोग करके एंड-टू-एंड प्रशिक्षित किया जाता है: VLM लॉस प्लस एक्शन प्रेडिक्शन के लिए डिफ्यूजन MSE लॉस। यह सुनिश्चित करता है कि मॉडल सटीक सेंसर चयन बनाए रखते हुए प्रभावी हेरफेर क्रियाएं उत्पन्न करे।

प्रमुख योगदान (Key Contributions)

MuseVLA मॉडल: एक अनुकूलित मल्टीमॉडल सेंसिंग VLA जो सेंसरों को ऑन-डिमांड टूल्स के रूप में मानता है, जिससे डेक्सट्रस हैंड मैनिपुलेशन के लिए स्केलेबल और कुशल सेंसर एकीकरण संभव होता है।
नवीन प्रतिनिधित्व और तंत्र: अनुकूलित चयन के लिए सीखने योग्य सेंसर टोकन और एक एकीकृत प्रतिनिधित्व के रूप में ग्राउंडेड सेंसर इमेजेस का परिचय, जो मोडैलिटी-विशिष्ट एनकोडर की आवश्यकता को समाप्त करता है।
डेटा सिंथेसिस पाइपलाइन: मौजूदा RGB डेटा से मल्टीसेंसरी डेटासेट उत्पन्न करने की एक विधि, जो महंगे हार्डवेयर डेटा संग्रह के बिना अनदेखे कार्यों पर प्रशिक्षण की सुविधा प्रदान करती है।
अनुभवजन्य मूल्यांकन (Empirical Evaluation): थर्मल, एकोस्टिक और रडार-गाइडेड कार्यों के माध्यम से एक 12-DoF डेक्सट्रस हैंड वाले वास्तविक रोबोट सेटअप पर व्यापक मूल्यांकन।

प्रयोगात्मक परिणाम (Experimental Results)

मॉडल का मूल्यांकन थर्मल कैमरों, mmWave रडार और माइक्रोफोन एरे वाले वास्तविक रोबोट सेटअप पर किया गया।

कार्य सफलता दर (Task Success Rates): MuseVLA ने थर्मल-गाइडेड पिक-एंड-प्लेस, ऑडियो-ड्रिवन ऑब्जेक्ट सर्च और रडार-असिस्टेड हिडन ऑब्जेक्ट रिट्रीवल के बीच औसतन 80.6% की सफलता दर हासिल की।
- इसने RGB-ओनली बेसलाइन्स (जैसे, $\pi_0$ -RGB 20.8% पर) और बिना अनुकूलित चयन के रॉ सेंसर हीटमैप्स का उपयोग करने वाले बेसलाइन्स (जैसे, $\pi_0$ -Raw 27.8% पर) को काफी पीछे छोड़ दिया।
- विशेष रूप से, MuseVLA ने औसत सफलता दर में सर्वश्रेष्ठ RGB-ओनली बेसलाइन से 58% और सर्वश्रेष्ठ रॉ-सेंसर बेसलाइन से 47% बेहतर प्रदर्शन किया।
अनुकूलित चयन सटीकता (Adaptive Selection Accuracy): मॉडल ने सही सेंसर टोकन और लक्ष्य विवरण चुनने में उच्च सटीकता प्रदर्शित की, प्रीट्रेनिंग के बाद अनसीन टास्क पर 82.0% लक्ष्य विवरण सटीकता के साथ ट्रेनिंग टास्क पर 100% सेंसर चयन सटीकता प्राप्त की।
दक्षता (Efficiency): केवल प्रासंगिक सेंसर को चुनकर, MuseVLA ने इन्फरेंस GPU मेमोरी उपयोग को 13.23 GB (सभी सेंसरों को प्रोसेस करने) से घटाकर 6.61 GB कर दिया।
ज़ीरो-शॉट सामान्यीकरण (Zero-Shot Generalization): सिंथेथाइज्ड डेटासेट पर प्रशिक्षित होने पर, MuseVLA ने अनदेखे कार्यों (नए ऑब्जेक्ट कॉम्बिनेशन या निर्देश संरचनाओं वाले कार्य) पर 66.7% की सफलता दर प्राप्त की, जो मजबूत सामान्यीकरण क्षमताओं को दर्शाता है।
बहु-चरणीय कार्य (Multi-Stage Tasks): मॉडल ने कैस्केड कार्यों (जैसे, रडार $\to$ थर्मल) को सफलतापूर्वक संभाला, जो एक एकल एंड-टू-एंड निष्पादन के भीतर मोडैलिटी स्विच करने में 75.0% की सफलता प्राप्त करता है।

महत्व और दावे (Significance and Claims)

पेपर का दावा है कि MuseVLA सामान्य-उद्देश्य मल्टीसेंसरी मैनिपुलेशन की ओर एक स्केलेबल पथ का प्रतिनिधित्व करता है। सेंसर प्रोसेसिंग को VLA बैकबोन से अलग करके और सेंसरों को कंडीशनल टूल्स के रूप में मानकर, यह दृष्टिकोण रोबोटों को सभी सेंसरों को प्रोसेस करने के कम्प्यूटेशनल ओवरहेड के बिना कार्य-उन्मुख भौतिक अवलोकन प्राप्त करने में सक्षम बनाता है। लेखक दावा करते हैं कि उनकी डेटा सिंथेसिस पाइपलाइन डेटा की कमी की बाधा को प्रभावी ढंग से कम करती है, जिससे मल्टीमॉडल सेंसिंग की आवश्यकता वाले कार्यों के लिए मजबूत ज़ीरो-शॉट सामान्यीकरण संभव होता है।

लेखक वर्तमान सीमाओं को स्वीकार करते हैं, विशेष रूप से उनके वास्तविक दुनिया के डेटासेट का सीमित पैमाना और एक प्रदर्शन करने वाले सेगमेंटेशन मॉड्यूल (SAM3) पर निर्भरता, यह नोट करते हुए कि बड़े डेटासेट और मजबूत सेगमेंटेशन मॉडल उपलब्ध होने पर इन बाधाओं को कम किया जा सकता है। यह कार्य रोबोटों को मनुष्यों की तरह अनुकूलित, कार्य-कंडीशन्ड संवेदी लचीलेपन के साथ भौतिक दुनिया के साथ बातचीत करने में सक्षम बनाने की दिशा में एक कदम है।