Beyond English: Uncovering the Multilingual Gap in Vision-Language-Action Models
यह शोध पत्र बहुभाषी भाषा बैकबोन के बावजूद गैर-अंग्रेजी निर्देशों को संसाधित करते समय विजन-लैंग्वेज-एक्शन मॉडलों में एक महत्वपूर्ण प्रदर्शन अंतराल को प्रकट करने वाला पहला व्यवस्थित अध्ययन प्रस्तुत करता है, और इस समस्या को प्रभावी ढंग से कम करने के लिए एक मल्टीलिंगुअल प्रिंसिपल कंपोनेंट एलाइनमेंट फाइन-ट्यूनिंग रणनीति का प्रस्ताव करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
मुख्य विचार: "केवल अंग्रेजी" वाला रोबोट
कल्पना कीजिए कि आप एक रोबोट को खाना बनाना सिखा रहे हैं। आपके पास एक बहुत ही स्मार्ट रोबोट मस्तिष्क (एक विजन-लैंग्वेज-एक्शन मॉडल, या VLA) है जो रसोई को देख सकता है, आपकी बातों को समझ सकता है, और चम्मच उठाने या चूल्हा जलाने के लिए अपने हाथों को हिला सकता है।
शोधकर्ताओं ने एक बड़ी समस्या पाई: अधिकांश रोबोट उन छात्रों की तरह हैं जिन्होंने केवल अंग्रेजी में पढ़ाई की है। भले ही रोबोट का "मस्तिष्क" (अंतर्निहित भाषा मॉडल) फ्रेंच, चीनी या अरबी बोलना जानता हो, लेकिन रोबोट खुद उन भाषाओं पर कार्य करना नहीं जानता।
जब आप रोबोट को अंग्रेजी में निर्देश देते हैं ("Pick up the cup"), तो यह पूरी तरह से काम करता है। लेकिन यदि आप वही बात फ्रेंच में कहते हैं ("Prends la tasse"), तो रोबोट अक्सर रुक जाता है, भ्रमित हो जाता है, या गलत वस्तु पकड़ लेता है। ऐसा लगता है जैसे रोबोट अचानक अपने हाथ चलाना भूल गया क्योंकि आपने केवल भाषा बदल दी।
प्रयोग: रोबोट के "कान" का परीक्षण
शोधकर्ता यह देखना चाहते थे कि क्या यह सच है। उन्होंने मौजूदा रोबोट प्रशिक्षण डेटा (जो लगभग पूरी तरह से अंग्रेजी में था) लिया और एक "बहुभाषी परीक्षण" बनाया।
- अनुवाद: उन्होंने अंग्रेजी निर्देशों को लिया और उन्हें चार अन्य भाषाओं में अनुवादित किया: चीनी, फ्रेंच, रूसी और अरबी।
- मिश्रण (The Mix-Up): उन्होंने "कोड-स्विचिंग" निर्देश भी बनाए, जहाँ एक वाक्य मुख्य रूप से एक भाषा में है लेकिन उसमें कुछ प्रमुख शब्द (जैसे "cup" या "pick") अंग्रेजी में हैं।
- परीक्षण: उन्होंने इन विभिन्न भाषाओं में सिम्युलेटेड किचन (कृत्रिम रसोई) में कार्यों को करने के लिए रोबानों से कहा।
उन्होंने क्या पाया: "बहुभाषी अंतराल" (The Multilingual Gap)
परिणाम स्पष्ट थे: एक बहुत बड़ा अंतर है।
- "केवल अंग्रेजी" वाला मस्तिष्क: अंग्रेजी डेटा पर प्रशिक्षित रोबोट अन्य भाषाओं में निर्देश मिलने पर बहुत खराब प्रदर्शन करते हैं। उनकी सफलता दर काफी कम हो गई, कभी-कभी लगभग शून्य तक।
- "बहुभाषी" मस्तिष्क: कुछ रोबोट ऐसे भाषा मॉडलों पर बनाए गए थे जो पहले से ही कई भाषाएं जानते थे (जैसे Qwen-VL)। ये रोबोट बेहतर प्रदर्शन करते थे, विशेष रूप से चीनी भाषा के साथ, लेकिन वे अंग्रेजी की तुलना में अभी भी संघर्ष करते थे।
- विजुअल ट्रैप (दृश्य जाल): समस्या तब और बढ़ गई जब दृश्य दृश्य (visual scene) भ्रमित करने वाला था। यदि दो अलग-अलग कार्य बिल्कुल एक जैसे दिखते थे (जैसे प्लेट पर कटोरा रखना बनाम चूल्हा जलाना), तो रोबोट अत्यधिक रूप से भाषा पर निर्भर था। यदि भाषा किसी विदेशी भाषा में थी, तो रोबोट पूरी तरह से खो जाता था।
- कीवर्ड की शक्ति: दिलचस्प बात यह है कि यदि रोबोट ने फ्रेंच में वाक्य सुना लेकिन शब्द "cup" अभी भी अंग्रेजी में था, तो उसने बेहतर प्रदर्शन किया। यह ऐसा है जैसे रोबोट के पास एक "कीवर्ड ट्रिगर" है जो उसे यह समझने में मदद करता है कि क्या करना है, भले ही वह पूरे वाक्य को न समझ सके।
ऐसा क्यों होता है? ("अनुवाद" की समस्या)
शोधकर्ताओं ने रोबोट के "मस्तिष्क" के अंदर देखा कि क्या गलत हो रहा था। उन्होंने दो मुख्य समस्याएं पाईं:
- भ्रमित समझ: कभी-कभी, रोबोट बस विदेशी निर्देश को समझ नहीं पाता था। उसने फ्रेंच में "turn on the stove" सुना लेकिन उसने सोचा कि आपने "put the bowl on the plate" कहा है क्योंकि दृश्य दृश्य समान दिखता था।
- "एक्शन हेड" का बेमेल होना: यह एक तकनीकी हिस्सा है, लेकिन इसे एक लाइन के अंत में एक अनुवादक की तरह समझें। रोबोट का मस्तिष्क शब्दों को समझता है, लेकिन वह हिस्सा जो वास्तव में हाथों को हिलाता है (जिसे "एक्शन हेड" कहा जाता है), वह अंग्रेजी के लिए ट्यून किया गया है। जब भाषा बदलती है, तो हाथों को भेजा जाने वाला "सिग्नल" बिगड़ जाता है।
- उपमा: कल्पना कीजिए कि एक कंडक्टर (मस्तिष्क) ऑर्केस्ट्रा को फ्रेंच में निर्देश दे रहा है, लेकिन संगीतकार (रोबोट के हाथ) केवल अंग्रेजी बोलने वालों के लिए लिखे गए संगीत को पढ़ना जानते हैं। संगीत गलत बजाया जाता है।
- उन्होंने पाया कि कुछ प्रकार के "कंडक्टर्स" (विशिष्ट डिज़ाइन जिन्हें GR00T और π कहा जाता है) इस मिश्रण को संभालने में दूसरों की तुलना में बेहतर थे।
समाधान: "प्रिंसिपल कंपोनेंट अलाइनमेंट" (MPCA)
शोधकर्ताओं ने केवल समस्या की ओर इशारा नहीं किया; उन्होंने एक समाधान भी प्रस्तावित किया। उन्होंने मल्टीलिंगुअल प्रिंसिपल कंपोनेंट अलाइनमेंट (MPCA) नामक एक विधि प्रस्तावित की।
- उपमा: कल्पना कीजिए कि रोबोट के मस्तिष्क में एक "मानचित्र" है कि शब्द कार्यों से कैसे संबंधित हैं। अंग्रेजी में, मानचित्र स्पष्ट है। फ्रेंच में, मानचित्र बाईं ओर खिसक गया है, इसलिए रोबोट गलत दिशा में चलता है।
- समाधान: MP सै (MPCA) एक दिशा-सूचक यंत्र (compass) की तरह है जो फ्रेंच मानचित्र को फिर से संरेखित करता है ताकि वह अंग्रेजी मानचित्र के समान दिशा में संकेत दे सके। इसके लिए पूरे रोबोट को शुरू से फिर से प्रशिक्षित करने की आवश्यकता नहीं है। यह केवल मौजूदा ज्ञान को लेता है और विदेशी भाषा के डेटा को "रोटेट" करता है ताकि वह रोबोट के मौजूदा एक्शन सिस्टम में फिट हो सके।
निष्कर्ष
पेपर यह निष्कर्ष निकालता है कि हम यह मानकर नहीं चल सकते कि रोबोट वैश्विक स्तर पर काम करेंगे क्योंकि उनके भाषा मॉडल बहुभाषी हैं। यदि हम चाहते हैं कि रोबोट वास्तविक दुनिया के बहुभाषी वातावरण में काम करें, तो हमें उन्हें विशेष रूप से प्रशिक्षित और संरेखित करने की आवश्यकता है ताकि वे समझ सकें कि अलग-अलग भाषाएं एक ही भौतिक क्रियाओं की ओर ले जानी चाहिए।
उन्होंने दिखाया कि एक साधारण समायोजन (MPCA) के साथ, हम अन्य भाषाओं में निर्देशों का पालन करने की रोबोट की क्षमता में काफी सुधार कर सकते हैं, जिससे वे वास्तविक दुनिया के लिए अधिक तैयार हो जाते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।