ROSE: Benchmarking the Perception-to-Action Gap in Multimodal Models
यह शोध पत्र ROSE प्रस्तुत करता है, जो एक नियंत्रित बेंचमार्क है यह प्रदर्शित करता है कि मल्टीमॉडल लार्ज लैंग्वेज मॉडल्स (multimodal large language models) विजुअल काउंटिंग और कॉन्टेक्स्ट-कंडीशन्ड एक्शन्स के बीच एक महत्वपूर्ण प्रदर्शन अंतराल से जूझते हैं, जो उच्च मानव प्रदर्शन के बावजूद साझा विजुअल साक्ष्यों को कार्य-विशिष्ट व्यवहारों में अनुवादित करने में एक स्पष्ट बाधा को उजागर करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप दीवार पर 100 एक जैसे दिखने वाले स्टिकर के एक विशाल ग्रिड को देख रहे हैं। अचानक, आप देखते हैं कि उनमें से तीन थोड़े अलग हैं—शायद एक उल्टा है, या उस पर एक छोटा सा खरोंच है।
अब, कल्पना कीजिए कि एक रोबोट आपके बगल में खड़ा है। आप रोबोट से इसी एक ही दीवार के बारे में तीन अलग-अलग सवाल पूछते हैं:
- गिनती (The Count): "कुल मिलाकर कितने अजीब स्टिकर हैं?"
- क्षेत्र (The Zone): "ऊपरी-बाएँ कोने में कितने अजीब स्टिकर हैं?"
- क्रिया (The Action): "ऊपरी-बाएँ कोने के हर अजीब स्टिकर की ओर अपनी उंगली दिखाओ।"
ROSE पेपर के अनुसार, आज के कई सबसे स्मार्ट AI मॉडल पहले दो सवालों में तो माहिर हैं, लेकिन तीसरे में बहुत खराब हैं। वे अजीब स्टिकरों की गिनती तो बिल्कुल सही कर सकते हैं, लेकिन जब आप उन्हें एक विशिष्ट नियम के आधार पर विशिष्ट स्थानों की ओर इशारा करने के लिए कहते हैं, तो वे भ्रमित हो जाते हैं और गलत स्टिकरों की ओर इशारा करते हैं, या उस क्षेत्र के बाहर के स्टिकरों की ओर इशारा करते हैं।
यहाँ इस पेपर द्वारा की गई खोजों का विवरण दिया गया है, जिसे सरल उपमाओं (analogies) के माध्यम से समझाया गया है:
1. समस्या: "मैं इसे देख सकता हूँ, लेकिन मैं इस पर कार्य नहीं कर सकता"
शोधकर्ता इसे "परसेप्शन-टू-एक्शन गैप" (Perception-to-Action Gap) कहते हैं।
एक AI को एक बहुत ही बुद्धिमान लाइब्रेरियन की तरह समझें जो तुरंत आपको बता सकता है कि शेल्फ पर कितनी लाल किताबें हैं। लेकिन अगर आप उनसे कहें कि "तीसरी शेल्फ पर जाओ, लाल किताबें ढूँढो और उन्हें बाहर निकालो," तो वे शायद ठिठक जाएँ। वे जानते हैं कि क्या ढूँढना है, लेकिन वे उस ज्ञान को नए नियमों के तहत एक विशिष्ट, सटीक क्रिया में बदलने में संघर्ष करते हैं।
पेपर में पाया गया कि यहाँ तक कि बेहतरीन AI मॉडल (जैसे GPT-5.5 या Gemini) भी अपने प्रदर्शन में काफी गिरावट दिखाते हैं जब वे केवल "गिनने" से "विशिष्ट स्थानों पर क्लिक करने" की ओर स्विच करते हैं। कुछ मॉडलों की सटीकता लगभग 45% तक गिर गई क्योंकि कार्य केवल "संख्या बताने" से बदलकर "स्थान दिखाने" में बदल गया था।
2. परीक्षण: "अजीब-से-अलग" (Odd-One-Out) ग्रिड गेम
इसे साबित करने के लिए, टीम ने ROSE नामक एक बेंचमार्क बनाया।
- सेटअप: उन्होंने हजारों ग्रिड इमेज बनाईं जिनमें लगभग एक जैसी वस्तुएं भरी थीं (जैसे कि बहुत मिलते-जुलते चीनी अक्षर, या थोड़े अलग स्टाइल में रेंडर किए गए इमोजी)।
- ट्विस्ट: हर इमेज में, एक "बहुसंख्यक" वस्तु (सामान्य वाली) और कुछ "अपवाद" (अजीब वाली) होते हैं।
- चुनौती: AI को एक ऐसा खेल खेलना है जहाँ नियम हर बार बदलते हैं, लेकिन तस्वीर वही रहती है।
- राउंड 1: सभी अजीब वस्तुओं को गिनें।
- राउंड 2: केवल एक विशिष्ट बॉक्स के अंदर मौजूद अजीब वस्तुओं को गिनें।
- राउंड 3: उस बॉक्स के अंदर मौजूद अजीब वस्तुओं पर क्लिक करें।
- राउंड 4: उस बॉक्स के बाहर मौजूद अजीब वस्तुओं पर क्लिक करें।
यह "वॉलडो कहाँ है" (Where's Waldo) के खेल जैसा है जहाँ नियम बदलते रहते हैं—जैसे "वॉलडो को ढूँढो" से बदलकर "केवल किचन में वॉलडो को ढूँढो" और फिर "किचन में वॉलडो को छुओ" करना। तस्वीर नहीं बदलती, लेकिन AI के निर्देश बदल जाते हैं।
3. परिणाम: "गिनती बनाम क्लिक करना" (Counting vs. Clicking) का अंतर
परिणाम आश्चर्यजनक थे:
- इंसान: लगभग पूर्ण। यदि आप किसी इंसान को ग्रिड दिखाएं और उनसे गिनने को कहें, फिर उनसे क्लिक करने को कहें, तो वे लगभग 100% सटीकता के साथ दोनों काम कर सकते हैं।
- AI मॉडल: वे आमतौर पर सही ढंग से गिन सकते हैं (Perception)। लेकिन जब उन्हें विशिष्ट स्थानों पर क्लिक करने के लिए कहा जाता है (Action), तो वे अक्सर विफल हो जाते हैं।
- उदाहरण: एक मॉडल सही ढंग से कह सकता है, "3 अजीब स्टिकर हैं।" लेकिन जब उसे ऊपरी-बाएँ कोने के स्टिकरों पर क्लिक करने के लिए कहा जाता है, तो वह 3 स्टिकरों पर क्लिक कर सकता है, जिसमें एक वास्तव में कोने के बाहर का भी शामिल हो सकता है, या वह गलत 3 स्टिकरों पर क्लिक कर सकता है।
पेपर दिखाता है कि उत्तर जानना, उत्तर को निष्पादित (execute) करने में सक्षम होने के समान नहीं है। AI "ग्लोबल पिक्चर" (समग्र चित्र) पर अटक जाता है और स्थानीय नियम (जैसे विशिष्ट बॉक्स या बहिष्करण क्षेत्र) लागू करना भूल जाता है।
4. यह क्यों होता है?
शोधकर्ताओं ने इसकी गहराई से जांच की कि AI क्यों विफल होता है। यह केवल इसलिए नहीं है कि AI गणित में बुरा है या वह पिक्सेल नहीं देख सकता।
- यह कोई फॉर्मेटिंग त्रुटि नहीं है: AI केवल गलत शब्द नहीं टाइप कर रहा है। वह वास्तव में गलत निर्देशांक (coordinates) चुन रहा है।
- यह एक "संदर्भ" (Context) की समस्या है: AI एक वैश्विक समझ ("मैं 3 अजीब चीजें देख रहा हूँ") को लेकर उसे एक विशिष्ट संदर्भ ("लेकिन मैं केवल उन्हें चाहता हूँ जो इस नीले बॉक्स में हैं") के लिए पुन: कैलिब्रेट करने में संघर्ष करता है।
- "एंकरिंग" (Anchoring) की विफलता: कभी-कभी, AI कुल संख्या पर "एंकर" हो जाता है। यदि वह देखता है कि कुल 3 अजीब चीजें हैं, और आप उससे बॉक्स के अंदर वाली चीजों के बारे में पूछते हैं, तो वह अभी भी 3 चीजों पर क्लिक करने की कोशिश कर सकता है, भले ही बॉक्स में केवल 2 ही हों। वह मूल संख्या को छोड़ नहीं पाता।
5. निष्कर्ष (Takeaway)
पेपर यह निष्कर्ष निकालता है कि जबकि AI दुनिया को देखने और वर्णन करने में बहुत अच्छा हो रहा है, वह नियमों के बदलने पर उस दुनिया पर सटीक रूप से कार्य करने के लिए अभी भी संघर्ष कर रहा है।
इसे एक ऐसे ड्राइवर की तरह समझें जो एक मील दूर से लाल बत्ती को पहचानने में उत्कृष्ट है (Perception), लेकिन जब लाइट लाल होती है, तो ब्रेक लगाने के लिए बिल्कुल सही समय पर सटीक रूप से दबाव डालने में संघर्ष करता है, खासकर यदि अन्य कारें या संकेत दृश्य को भ्रमित कर रहे हों (Action)।
ROSE बेंचमार्क इसी अंतर को मापने के लिए डिज़ाइन किया गया एक नया टूल है। यह शोधकर्ताओं को यह समझने में मदद करता है कि AI के लिए वास्तविक दुनिया के कार्यों (जैसे स्क्रीन पर बटन क्लिक करना या कमरे में नेविगेट करना) में वास्तव में उपयोगी होने के लिए, उसे जो कुछ भी दिखता है उसे वर्तमान स्थिति के लिए सटीक सही कदम में बदलने में बेहतर होना होगा।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।