Position: Vision-Language-Action Models Cannot Be Verified to Perform Physical Reasoning

यहाँ सरल भाषा और रोज़मर्रा के उदाहरणों का उपयोग करके पेपर की व्याख्या दी गई है।

मुख्य विचार: वह "स्मार्ट शेफ" जो खाना बनाना नहीं जानता

एक बहुत ही स्मार्ट शेफ की कल्पना करें जिसने हर कुकबुक पढ़ ली है, हर कुकिंग शो देख लिया है और इंटरनेट पर मौजूद लाखों खाद्य विवरणों को याद कर लिया है। यह शेफ जानता है कि एक "स्पाइसी टोमेटो सूप" कैसा दिखता है, उसकी खुशबू कैसी होती है और उसकी रेसिपी क्या कहती है।

अब, कल्पना करें कि आप इस शेफ से एक असली रसोई में वास्तव में वह सूप बनाने के लिए कहते हैं।

यह पेपर तर्क देता है कि हम वर्तमान में इस शेफ को केवल इसलिए पास कर रहे हैं क्योंकि वे सूप का सटीक वर्णन कर सकते हैं या सही सामग्री की ओर इशारा कर सकते हैं। हम यह मान लेते हैं कि क्योंकि वे शब्दों और चित्रों को इतनी अच्छी तरह जानते हैं, इसलिए वे भारी बर्तन को संभालने, गर्मी को नियंत्रित करने और हाथ जले बिना चम्मच चलाने का तरीका भी जानते होंगे।

लेखक कहते हैं: "हमने वास्तव में यह टेस्ट नहीं किया है कि क्या वे खाना बनाना जानते हैं। हमने केवल यह टेस्ट किया है कि क्या वे खाना पकाने के बारे में बात करना जानते हैं।"

समस्या: "जानने" और "करने" के बीच भ्रम

यह पेपर एक प्रकार के रोबोटिक दिमाग पर केंद्रित है जिसे विज़न-लैंग्वेज-एक्शन (VLA) मॉडल कहा जाता है। ये रोबट एक विशाल "विज़न-लैंग्वेज मॉडल" (VLM) का उपयोग करते हैं—वह हिस्सा जिसे इंटरनेट की तस्वीरों और टेक्स्ट पर प्रशिक्षित किया गया है—ताकि वे तय कर सकें कि उन्हें क्या करना है।

लेखक रोबोट के दिमाग को दो भागों में विभाजित करते हैं:

1. सिमेंटिक मैप (क्या): यह वह हिस्सा है जो वस्तुओं को पहचानता है। यह एक लाल गेंद देखता है और जानता है, "यह एक गेंद है। निर्देश कहता है 'गेंद उठाओ'।" यह भाग भाषा और चित्रों को समझने में बहुत अच्छा है।
2. फिजिकल डिसीजन (कैसे): यह वह हिस्सा है जो यह तय करता है कि गेंद को कैसे पकड़ना है। क्या यह फिसलन भरी है? क्या यह भारी है? यदि मैं इसे बहुत ज़ोर से पकड़ता हूँ, तो क्या यह टूट जाएगी? इसके लिए भौतिकी (physics), वजन और घर्षण (friction) को समझने की आवश्यकता होती है।

खामी: पेपर का दावा है कि वर्तमान रोबोट एक छिपे हुए अनुमान पर बने हैं: "यदि रोबोट चित्र और शब्दों को पूरी तरह से समझ लेता है, तो वह अपने हाथ को सही ढंग से चलाने का तरीका स्वतः ही जान जाएगा।"

लेखक कहते हैं कि यह धारणा असिद्ध है। केवल इसलिए कि एक रोबोट फोटो में एक "भारी, फिसलन भरे कप" की पहचान कर सकता है, इसका मतलब यह नहीं है कि उसे पता है कि उसे बिना गिराए उठाने के लिए कितना बल लगाना है।

हम अंतर क्यों नहीं बता पाते? ("स्कोरकार्ड" की समस्या)

अभी, हम इन रोबोट्स का परीक्षण एक कार्य देकर (जैसे "कप को मेज पर रखें") और देखते हैं कि क्या वे सफल होते हैं। यदि कप मेज पर पहुँच जाता है, तो हम उन्हें "सफलता" (Success) का स्कोर देते हैं।

पेपर का तर्क है कि यह स्कोरकार्ड टूटा हुआ है क्योंकि यह हमें यह नहीं बताता कि रोबोट क्यों सफल हुआ।

• परिदृश्य A: रोबोट ने शब्दों को समझा, भौतिकी को समझा, और बेहतरीन काम किया। (वास्तविक सफलता)।
• परिदृश्य B: रोबोट ने अपने ट्रेनिंग डेटा में देखे गए सेटअप के आधार पर सही एक्शन का अनुमान लगा लिया, भले ही वह भौतिकी को न समझता हो। (किस्मत से सही अनुमान)।
• परिदृश्य C: रोबोट ने शब्दों को पूरी तरह समझा लेकिन कप उठाने में विफल रहा क्योंकि वह बहुत भारी था। (भौतिक विफलता)।

उपमा: कल्पना कीजिए कि एक छात्र गणित की परीक्षा दे रहा है। यदि उसे सही उत्तर मिल जाता है, तो हम मान लेते हैं कि वह गणित जानता है। लेकिन क्या होगा यदि उसने केवल उत्तर कुंजी (answer key) रट ली हो? या क्या होगा यदि उसने केवल अंदाज़ा लगाया हो?
वर्तमान रोबोट टेस्ट ऐसे टेस्ट की तरह हैं जहाँ हम केवल अंतिम उत्तर देखते हैं। हम यह चेक नहीं करते कि उन्होंने वास्तव में गणित (भौतिकी) किया (यानी प्रक्रिया समझी) या केवल पैटर्न मैच किया (यानी अंदाज़ा लगाया)।

"नैरेटिव ड्रिफ्ट" (वह कहानी जो छूट गई)

पेपर एक घटना का वर्णन करता है जिसे "नैरेटिव ड्रिफ्ट" (Narrative Drift) कहा जाता है।

1. पहला रोबोट: "हमने एक ऐसा रोबोट बनाया है जो हाथों को नियंत्रित करने के लिए इंटरनेट के ज्ञान का उपयोग करता है। यह थोड़ा काम करता है!"
2. दूसरा रोबोट: "हमने एक बड़ा रोबोट बनाया! यह बेहतर काम करता है! यह निश्चित रूप से इसलिए है क्योंकि इंटरनेट का ज्ञान भौतिकी (physics) में बेहतर हो रहा है।"
3. तीसरा रोबोट: "हमने एक और भी बड़ा रोबोट बनाया! यह अद्भुत है! यह निश्चित रूप से भौतिकी का जीनियस है!"

लेखक कहते हैं कि यह एक कहानी है जो हम खुद को सुनाते रहते हैं। हर बार जब एक रोबोट थोड़ा अधिक स्कोर प्राप्त करता है, तो हम मान लेते हैं कि यह इसलिए है क्योंकि रोबोट भौतिकी में बेहतर हो रहा है। लेकिन लेखक का तर्क है कि हमने कभी भी भौतिकी वाले हिस्से को अलग करके यह साबित नहीं किया कि वह बेहतर हुआ है। हमने बस यह मान लिया कि "इंटरनेट ज्ञान" (VLM) सारा भारी काम कर रहा है, भले ही इंटरनेट की तस्वीरें आपको यह नहीं सिखातीं कि एक ईंट कितनी भारी महसूस होती है।

भ्रम के तीन स्तर

पेपर समझाता है कि हम यह क्यों नहीं समझ पाते कि क्या हो रहा है, इसके लिए तीन स्तर दिए गए हैं:

1. स्तर 1 (परिणाम): हम एक सफलता देखते हैं, लेकिन हमें नहीं पता कि यह इसलिए थी क्योंकि रोबोट ने कार्य को समझा या उसने बस सही चाल का अनुमान लगाया।
2. स्तर 2 (स्रोत): हमें नहीं पता कि रोबोट ने अपने "इंटरनेट रीडिंग" (VLM) से सीखा या अपने "रोबोट ट्रेनिंग" (शारीरिक अभ्यास) से। वे आपस में मिले हुए हैं।
3. स्तर 3 (दिमाग): हमें नहीं पता कि क्या रोबोट ने अपने स्मार्ट "इंटरनेट रीजनिंग" कौशल को खो दिया है जब हमने उसे अपना हाथ चलाने के लिए प्रशिक्षित किया। शायद वह असंभव कार्यों को "ना" कहना भूल गया क्योंकि हमने उसे बस "करने" के लिए मजबूर कर दिया।

समाधान: एक बेहतर टेस्ट

लेखक यह नहीं कह रहे हैं कि ये रोबोट बेकार हैं। वे बस कहते हैं कि हमें अनुमान लगाना बंद करना चाहिए। वे एक नया परीक्षण प्रस्तावित करते हैं:

"नियंत्रित भिन्नता" (Controlled Variation) टेस्ट:
रोबोट को केवल एक कार्य देने और यह देखने के बजाय कि वह जीतता है या नहीं, हमें एक समय में एक चीज़ बदलनी होगी:

• "क्या" का परीक्षण करें: भौतिक दुनिया को बिल्कुल वैसा ही रहने दें, लेकिन शब्दों या चित्रों को बदल दें। क्या रोबोट अभी भी जानता है कि क्या करना है? (यह भाषा वाले भाग का परीक्षण करता है)।
• "कैसे" का परीक्षण करें: शब्दों और चित्रों को बिल्कुल वैसा ही रहने दें, लेकिन भौतिकी (physics) को बदल दें (जैसे, वस्तु को भारी बना दें, या मेज को फिसलन भरा बना दें)। क्या रोबोट अभी भी सफल होता है? (यह भौतिक भाग का परीक्षण करता है)।

यदि हम ऐसा करते हैं, तो हम अंततः कह सकते हैं: "ठीक है, रोबोट शब्दों को समझने में महान है, लेकिन जब भौतिकी बदलती है तो वह विफल हो जाता है।" या, "रोबोट भौतिकी में महान है, लेकिन नए शब्दों से भ्रमित हो जाता है।"

निष्कर्ष

यह पेपर इस धारणा को छोड़ने का आह्वान है कि दुनिया के बारे में जानना (इंटरनेट से) दुनिया में कैसे चलना है (भौतिकी) के समान है।

वर्तमान में, हम रोबोटों को कार्यों के बारे में "बात करने" में अच्छा होने के लिए प्रशंसा कर रहे हैं, जबकि यह मान रहे हैं कि वे "करने" के कार्यों में भी अच्छे हैं। लेखक चाहते हैं कि हम इन दो कौशलों को अलग करने के लिए बेहतर परीक्षण बनाएं, ताकि हम वास्तव में यह पता लगा सकें कि रोबोट भौतिक एजेंट बनना सीख रहे हैं या केवल पैटर्न मैचिंग में बहुत अच्छे हो रहे हैं।

संक्षेप में: केवल इसलिए कि एक रोबोट जानता है कि "भारी" शब्द का क्या अर्थ है, यह न मानें कि वह एक भारी बॉक्स उठा सकता है। हमें यह टेस्ट करने की आवश्यकता है कि क्या वह वास्तव में उसे उठा सकता है।