Can Argus Judge Them All? Comparing VLMs Across Domains

कल्पना कीजिए कि आप एक विशाल, हाई-टेक सर्कस के लिए टैलेंट स्काउट हैं। आपको बेहतरीन "विज़न-लैंग्वेज मॉडल्स" (VLMs) को काम पर रखना है—ऐसे सुपर-स्मार्ट रोबोट जो किसी तस्वीर को देख सकते हैं और बता सकते हैं कि उसमें क्या हो रहा है, मिलती-जुलती तस्वीरें ढूंढ सकते हैं, या उनके बारे में पहेलियाँ सुलझा सकते हैं।

आमतौर पर, जब आप एक रोबोट चुनते हैं, तो आप बस उसकी रिपोर्ट कार्ड देखते हैं। आप एक स्कोर देखते हैं जैसे "गणित के टेस्ट में 95%" और सोचते हैं, "परफेक्ट! यही वह है!" लेकिन यह पेपर, जिसका शीर्षक "Can Argus Judge Them All?" है, तर्क देता है कि यह रिपोर्ट कार्ड थोड़ा धोखेबाज है। यह सुझाव देता है कि एक रोबोट टेस्ट में टॉप कर सकता है, लेकिन जैसे ही आप उसे क्लासरूम से बाहर निकालकर वास्तविक, अनिश्चित दुनिया में ले जाते हैं, वह बिखर सकता है।

लेखक इस समस्या को "कैपेबिलिटी-रिलायबिलिटी गैप" (क्षमता-विश्वसनीयता अंतराल) कहते हैं। यह एक ऐसे जिम्नास्ट को काम पर रखने जैसा है जो जिम के नरम, गद्देदार मैट पर एक परफेक्ट बैकफ्लिप करता है (बेंचमार्क), लेकिन जब वह एक बाउन्सी कैसल या हवादार स्टेज पर इसे करने की कोशिश करता है, तो लड़खड़ा जाता है (वास्तविक दुनिया)।

नया स्कोरिंग सिस्टम: ARGUS-EVAL

इसे ठीक करने के लिए, शोधकर्ताओं ने ARGUS-EVAL नामक एक नया जजिंग सिस्टम बनाया। केवल एक अंतिम स्कोर देखने के बजाय, वे रोबोटों को चार अलग-अलग चीजों पर परखते हैं:

1. टेस्ट स्कोर (क्षमता/Capability): मानक परीक्षाओं पर यह कैसा प्रदर्शन करता है?
2. कंसिस्टेंसी स्कोर (निरंतरता/Consistency): यदि आप इसे उसी प्रकार का टेस्ट दें लेकिन थोड़े अलग सवाल या तस्वीरें, तो क्या यह अभी भी अच्छा प्रदर्शन करता है?
3. "टफनेस" स्कोर (मजबूती/Toughness): यदि आप तस्वीर को खराब कर देते हैं (धुंधला बना देते हैं) या टेक्स्ट (टाइपिंग की गलतियां) में गड़बड़ी कर देते हैं, तो क्या यह अभी भी चीजें समझ पाता है, या यह क्रैश हो जाता है?
4. एफिशिएंसी स्कोर (दक्षता/Efficiency): यह कितना तेज़ है, और यह कितनी बैटरी (या कंप्यूटर मेमोरी) खर्च करता है?

दौड़: कौन जीता?

टीम ने पांच प्रसिद्ध रोबोट मॉडल को इस नए परीक्षण से गुजारा: CLIP, BLIP, LXMERT, Gemma-3-4B, और Qwen-2.5VL-3B-Instruct। उन्होंने उन्हें तीन मुख्य कार्यों पर परखा: मिलान वाली छवियों और टेक्स्ट को खोजना (रिट्रीवल), छवियों का वर्णन करना (कैप्शनिंग), और तर्क संबंधी पहेलियाँ सुलझाना (रीजनिंग)।

यहाँ उन्हें क्या पता चला, और यह एक प्लॉट ट्विस्ट है:

"स्टार स्टूडेंट" (Qwen):
यदि आप केवल पारंपरिक रिपोर्ट कार्ड देखते, तो Qwen-2.5VL-3B-Instruct स्पष्ट विजेता होता। यह हर जगह उच्चतम स्कोर रखता था।

• इमेज-फाइंडिंग गेम में, इसने 82.7% टॉप मैच सही पाए (R@1)।
• तस्वीरों का वर्णन करते समय, इसने 47.2 का BLEU-4 स्कोर और 141.6 का CIDEr स्कोर वाले वाक्य लिखे।
• लॉजिक पहेलियों में, इसने CLEVR टेस्ट पर 97.4% सही उत्तर दिए।

पेपर सुझाव देता है कि यदि आपको एक ऐसे काम के लिए सबसे स्मार्ट रोबोट चाहिए जहाँ सटीकता सब कुछ है, तो Qwen ही वह विकल्प है।

"रिलायबल वेटरन" (Gemma):
लेकिन यहाँ एक पेच है। जब जजों ने "कंसिस्टेंसी" और "टफनेस" स्कोर को शामिल किया, तो रैंकिंग बदल गई। Gemma-3-4B वास्तव में समग्र रूप से सबसे अधिक विश्वसनीय बन गया।

• जबकि Qwen कच्चे टेस्ट में थोड़ा बेहतर था, Gemma अधिक स्थिर था। जब टेस्ट अजीब हुए या तस्वीरें धुंधली हुईं, तो वह उतना नहीं घबराया।
• वास्तव में, जब लेखकों ने सभी नए रिलायबिलिटी स्कोर जोड़े, तो Gemma का कुल स्कोर बढ़कर 0.891 हो गया, जबकि Qwen का घटकर 0.868 रह गया।
• पेपर का सुझाव है कि यदि आपको एक ऐसा रोबोट चाहिए जो चीजें गड़बड़ होने पर टूटे नहीं, तो Gemma बेहतर विकल्प है।

"स्पीडस्टर" (CLIP):
फिर आता है CLIP। यह पहेलियाँ सुलझाने या शानदार विवरण लिखने में बहुत स्मार्ट नहीं था। लेकिन यह सबसे तेज़ और हल्का था।

• यह केवल 31 ms (मिलीसेकंड) में एक इमेज को प्रोसेस कर सकता था।
• इसे केवल 0.9 GB मेमोरी की आवश्यकता थी।
• पेपर नोट करता है कि छोटे बैटरी वाले या कमजोर कंप्यूटर वाले उपकरणों (जैसे Raspberry Pi) के लिए, CLIP स्पष्ट विजेता है क्योंकि यह संसाधनों का अत्यधिक उपयोग नहीं करता है।

बड़ी सीख

इस पेपर का मुख्य निष्कर्ष यह है कि आप केवल उच्चतम टेस्ट स्कोर वाले रोबोट को चुनकर निर्णय नहीं ले सकते।

टीम ने विभिन्न डेटासेट्स पर इसे सावधानीपूर्वक मापा और पाया कि समान टेस्ट स्कोर वाले मॉडल वास्तविक दुनिया में बहुत अलग व्यवहार कर सकते हैं। वे स्पष्ट रूप से इस विचार के विरुद्ध तर्क देते हैं कि "उच्च क्षमता हमेशा उच्च विश्वसनीयता का अर्थ है।" उन्होंने दिखाया कि कई मामलों में, वह रोबोट जो कागज पर सबसे अच्छा दिखता है (Qwen), वास्तव में उस रोबोट की तुलना में कम स्थिर हो सकता है जो कागज पर थोड़ा कम प्रभावशाली दिखता है (Gemma)।

उन्होंने यह भी मापा कि ये रोबोट विभिन्न हार्डवेयर पर कैसे चलते हैं। एक शक्तिशाली सर्वर (NVIDIA A100) पर, CLIP 31 ms तेज़ था, जबकि Gemma 138 ms और Qwen 142 ms था। लेकिन छोटे उपकरणों पर, गति और मेमोरी उपयोग का अंतर और भी नाटकीय हो गया, जहाँ CLIP हल्का और तेज़ बना रहा जबकि अन्य भारी होते गए।

यह हमें क्या नहीं बताता

पेपर सावधानीपूर्वक यह कहता है कि इसने क्या नहीं किया। उन्होंने हर संभावित वास्तविक दुनिया के परिदृश्य का परीक्षण नहीं किया, और उन्होंने उन रोबोटों का परीक्षण नहीं किया जिन्हें विशिष्ट कार्यों के लिए विशेष रूप से प्रशिक्षित (फाइन-ट्यून) किया गया था। उन्होंने केवल रोबोटों को "जैसे वे हैं" (जीरो-शॉट) के रूप में टेस्ट किया।

उन्होंने हर तरह की "गड़बड़" तस्वीर का भी परीक्षण नहीं किया, केवल धुंधली या शोर वाली तस्वीरों के एक विशिष्ट सेट का परीक्षण किया। इसलिए, हालांकि वे सुझाव देते हैं कि Gemma अधिक विश्वसनीय है और Qwen अधिक स्मार्ट है, वे यह दावा नहीं कर रहे हैं कि यह अस्तित्व में मौजूद हर रोबोट के लिए अंतिम शब्द है।

निष्कर्ष (Takeaway)

यदि आप एक ऐसा सिस्टम बना रहे हैं जहाँ आपको सबसे अच्छे उत्तरों की आवश्यकता है और आपके पास शक्तिशाली कंप्यूटर हैं, तो Qwen आपका सबसे अच्छा विकल्प हो सकता है। लेकिन यदि आपको एक ऐसा रोबोट चाहिए जो चीजें गलत होने पर शांत रहे, या यदि आप एक छोटे डिवाइस पर काम कर रहे हैं जहाँ गति मायने रखती है, तो Gemma या CLIP वास्तव में स्मार्ट विकल्प हो सकते हैं।

पेपर निष्कर्ष निकालता है कि हमें केवल रिपोर्ट कार्ड के एक नंबर को देखना बंद करना होगा। हमें पूरी तस्वीर देखनी होगी: रोबोट कितना स्मार्ट है, वह कितना स्थिर है, और वह कितनी ऊर्जा का उपयोग करता है। केवल तभी हम वास्तव में तय कर पाएंगे कि क्या कोई रोबोट वास्तविक दुनिया के लिए तैयार है।