MM-ToolSandBox: A Unified Framework for Evaluating Visual Tool-Calling Agents
यह शोधपत्र MM-ToolSandBox प्रस्तुत करता है, जो एक एकीकृत ढांचा और बेंचमार्क है जिसमें विजुअल टूल-कॉलिंग एजेंटों का मूल्यांकन करने के लिए 500+ टूल्स और 258 मानव-सत्यापित परिदृश्यों वाला एक स्टेटफुल वातावरण शामिल है, जो यह प्रकट करता है कि वर्तमान मॉडल विजुअल सटीकता के साथ काफी संघर्ष करते हैं और विफलता के मोड छोटे मॉडलों में योजना संबंधी कमियों से बड़े मॉडलों में धारणा संबंधी त्रुटियों की ओर स्थानांतरित हो जाते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक सुपर-स्मार्ट रोबोट असिस्टेंट है जो आपके द्वारा भेजी गई छवियों को पढ़ सकता है, सिम्युलेटेड ऐप्स के साथ इंटरैक्ट कर सकता है और कार्यों को व्यवस्थित कर सकता है। यह जादू जैसा लगता है, है ना? खैर, Apple की एक टीम ने एक विशाल, हाई-टेक प्लेग्राउंड बनाया है जिसका नाम MM-ToolSandBox है, ताकि यह देखा जा सके कि क्या ये रोबट वास्तव में वास्तविक जीवन की अव्यवस्थित, दृश्य वास्तविकता को संभाल सकते हैं।
यहाँ पूरी बात दी है: उन्होंने केवल रोबोट्स से टेक्स्ट पढ़ने के लिए नहीं कहा; उन्होंने उन्हें एक विशाल विजुअल पहेली के सामने खड़ा कर दिया।
प्लेग्राउंड: एक स्टेटफुल वीडियो गेम
MM-ToolSandBox को एक वीडियो गेम की तरह समझें जिसमें 511 अलग-अलग टूल्स (जैसे शॉपिंग कार्ट, म्यूजिक प्लेयर, कैलेंडर और फाइल मैनेजर) 16 अलग-अलग सिम्युलेटेड दुनियाओं में फैले हुए हैं। लेकिन इसमें एक ट्विस्ट है: यह गेम "स्टेटफुल" है। इसका मतलब है कि अगर आप राउंड एक में एक केला खरीदते हैं, तो राउंड दो में वह केला वास्तव में आपकी कार्ट में होता है। रोबोट को याद रखना होगा कि उसने क्या किया, बदलते हुए संसार का हिसाब रखना होगा, और मल्टी-टर्न बातचीत को संभालना होगा जहाँ आप वाक्य के बीच में ही अपना विचार बदल सकते हैं।
इससे भी कूल बात यह है कि रोबोट को उन इमेज को देखना होगा जो आप उसे भेजते हैं। आप एक कॉन्सर्ट पोस्टर की फोटो खींच सकते हैं और कह सकते हैं, "इसके लिए टिकट खरीदें!" या एक अस्त-व्यस्त स्प्रेडशीट का स्क्रीनशॉट भेज सकते हैं और कह सकते हैं, "कुल योग ढूंढें।" रोबोट को तस्वीर पढ़नी होगी, यह समझना होगा कि कौन सा टूल इस्तेमाल करना है, और वास्तव में इस सिम्युलेटेड वातावरण के भीतर वह काम करना होगा।
टेस्ट: 258 पेचीदा परिदृश्य
शोधकर्ताओं ने केवल रैंडम टास्क नहीं बनाए। उन्होंने एक ऐसी मशीन बनाई जिसने 258 मानव-सत्यापित परिदृश्य (साथ ही इंटरैक्टिव स्क्रीन्स के लिए 50 विशेष परिदृश्य) तैयार किए। ये आसान नहीं थे। इनमें शामिल थे:
- प्रोग्रेसिव अराइवल: आप बातचीत के बीच में एक तस्वीर भेजते हैं, और रोबून को इसे बाद में याद रखना होता है।
- लक्ष्य में बदलाव: आप कहते हैं, "एक फ्लाइट बुक करें," फिर पांच मिनट बाद कहते हैं, "दरअसल, रहने दो, चलो बीच (समुद्र तट) पर चलते हैं।"
- त्रुटि सुधार: आपने गलती से फोटो में गलत तारीख कह दी, और रोबोट को उस गलती को पकड़ना होगा।
उन्होंने दुनिया के 12 सबसे स्मार्ट AI मॉडल्स का परीक्षण किया, जिनमें छोटे ओपन-सोर्स मॉडल्स से लेकर सबसे बड़े, सबसे महंगे "फ्रंटियर" सिस्टम तक शामिल थे।
बड़ा खुलासा: रोबोट अभी भी अनाड़ी हैं
यहाँ मुख्य बात है: दुनिया का सबसे अच्छा रोबोट भी आधे से अधिक बार विफल रहा।
टॉप-परफॉर्मिंग मॉडल, Claude 4.5 Opus, केवल 48.8% कार्य सही कर पाया। इसका मतलब है कि वह आधे से अधिक परिदृश्यों में विफल रहा। पेपर स्पष्ट रूप से इस विचार को खारिज करता है कि इन मॉडल्स ने विजुअल टूल कॉलिंग को "हल" कर लिया है। वे अभी भी संघर्ष कर रहे हैं।
"क्यों": दो विफलताओं की कहानी
शोधकर्ताओं ने गहराई से जांच की कि रोबोट क्यों विफल हुए, और उन्हें एक दिलचस्प पैटर्न मिला जो मॉडल के आकार के आधार पर बदल जाता है।
छोटे रोबोट ( "मैं क्या करूँ?" वाली समस्या):
छोटे मॉडल्स (जैसे 4-बिलियन पैरामीटर वाले) मुख्य रूप से इसलिए विफल हुए क्योंकि वे प्लानिंग (योजना) नहीं कर सके। उन्होंने तस्वीर देखी, जान लिया कि यूजर क्या चाहता है, लेकिन यह समझने में खो गए कि कौन से बटन दबाने हैं या कौन से टूल्स का उपयोग करने हैं। वे एक ऐसे बच्चे की तरह थे जो जानता है कि उसे केक बनाना है लेकिन उसे यह नहीं पता कि ओवन कैसे चालू करते हैं।बड़े रोबोट ("मैं क्या देख रहा हूँ?" वाली समस्या):
विशाल मॉडल्स (जैसे 397-बिलियन पैरामीटर वाले) प्लानिंग करने में बेहतरीन थे। वे जानते थे कि किन टूल्स का उपयोग कैसे करना है और किस क्रम में करना है। लेकिन वे इसलिए विफल हुए क्योंकि वे तस्वीर को सही ढंग से नहीं पढ़ सके।
- सांख्यिकी: सबसे अच्छे मॉडल्स की विफलताओं में से 53% "फैक्टुअल एरर्स" (तथ्यात्मक त्रुटियां) थीं।
- रूपक: एक शानदार शेफ की कल्पना करें जो केक बनाने की सटीक रेसिपी जानता है। वह सामग्री लेता है, उन्हें पूरी तरह से मिलाता है, और बेक करता है। लेकिन जब उसने आपके द्वारा भेजी गई चॉकलेट बार की फोटो देखी, तो उसने लेबल गलत पढ़ लिया और चॉकलेट की जगह मक्खन का एक टुकड़ा उठा लिया। उन्होंने सब कुछ सही किया सिवाय विजुअल क्ल्यू (दृश्य सुराग) को पढ़ने के।
यह एक "क्रॉसओवर" प्रभाव का सुझाव देता है: जैसे-जैसे मॉडल्स बड़े होते जाते हैं, वे प्लानिंग में विफल होना बंद कर देते हैं और धारणा (perception) में विफल होने लगते हैं।
"UI" का दुःस्वप्न
शोधकर्ताओं ने एक ऐसा मोड भी आजमाया जहाँ रोबोट को आपके इंटरैक्शन के लिए एक क्लिक करने योग्य स्क्रीन बनानी थी (जैसे एक मिनी-ऐप)। यह और भी कठिन था। सबसे अच्छा मॉडल इस मोड में अपनी सफलता दर को मात्र 26% पर ले आया। यह स्पष्ट है कि एक ऐसा रोबोट बनाना जो न केवल एक स्क्रीन को पढ़ सके बल्कि तुरंत एक नया, काम करने वाला स्क्रीन बना भी सके, एक बड़ी चुनौती है जिसे उन्होंने अभी तक हल नहीं किया है।
निचोड़
पेपर सुझाव देता है कि जबकि हम रोबोट को सोचने और योजना बनाने में बेहतर हो रहे हैं, हम विजुअल प्रिसिजन (दृश्य सटीकता) के साथ एक दीवार से टकरा रहे हैं। रोबोट यह जानने के लिए पर्याप्त स्मार्ट हैं कि क्या करना है, लेकिन वे अभी भी बहुत अनाड़ी हैं कि आपके द्वारा भेजी गई तस्वीरों में बारीक अक्षरों को पढ़ सकें।
लेखकों का निष्कर्ष है कि विजुअल टूल कॉलिंग अभी भी समाधान से बहुत दूर है। आज के सबसे शक्तिशाली मॉडल्स भी लक्ष्य से चूक रहे हैं, और इसे ठीक करने के लिए एक नए प्रकार के शोध की आवश्यकता है जो केवल अधिक गहराई से सोचने के बजाय, रोबोट को अधिक स्पष्ट रूप से देखने में मदद करने पर केंद्रित हो। फ्रेमवर्क और टेस्ट परिणाम अब सार्वजनिक हैं, ताकि अन्य वैज्ञानिक रोबोटों को दुनिया को थोड़ा बेहतर तरीके से पढ़ना सीखने में मदद कर सकें।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।