Blind-Spots-Bench: Evaluating Blind Spots in Multimodal Models
यह शोध पत्र "Blind-Spots-Bench" को प्रस्तुत करता है, जो 235 मानव-सरल किंतु एआई-चुनौतीपूर्ण कार्यों वाला एक नवीन बेंचमार्क है, जो क्लोज्ड-सोर्स और ओपन-वेट मॉडल्स के बीच महत्वपूर्ण प्रदर्शन अंतराल को प्रकट करता है और उन निरंतर कमजोरियों को उजागर करता है जो वर्तमान मल्टीमॉडल सिस्टम में मौजूद हैं और जिन्हें मौजूदा बेंचमार्क पकड़ने में विफल रहते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक वीडियो गेम खेल रहे हैं जहाँ AI बॉस ने उन सभी स्तरों को हरा दिया है जिन्हें आपने कभी जीता था। वह उच्च स्कोर को कुचल रहा है, कैलकुलेटर से भी तेज़ी से गणितीय पहेलियों को हल कर रहा है, और ऐसी कविताएँ लिख रहा है जो आपको रुला दें। आप सोचेंगे, "ठीक है, यह AI मूल रूप से एक सुपर-जीनियस है।" लेकिन फिर, आप उससे एक साधारण सवाल पूछते हैं: "क्या तुम पाँच पैरों वाला एक कुत्ता बना सकते हो?" या "एक ऐसा वाक्य लिखो जो ठीक 31 अक्षरों का हो।"
अचानक, वह सुपर-जीनियस AI अपने ही पैरों में उलझकर गिर जाता है। वह छह पैरों वाला कुत्ता बना देता है, या 32 अक्षरों का एक वाक्य लिख देता है। यह बिल्कुल वैसा ही है जैसे कोई विश्व स्तरीय शतरंज चैंपियन अचानक अपने जूतों के फीते बांधना भूल जाए।
यह बिल्कुल वही है जो EPFL के शोधकर्ताओं ने अपने नए परीक्षण के साथ खोजा, जिसे blind-spots-bench कहा जाता है। उन्होंने केवल यह नहीं देखा कि ये AI मॉडल उन बड़े, शानदार परीक्षाओं पर कितने स्मार्ट हैं जिनके बारे में हर कोई बात करता है। इसके बजाय, उन्होंने एक "तनाव परीक्षण" (stress test) बनाया जो 235 छोटी, पेचीदा задачों से बना है जो मनुष्यों के लिए बहुत आसान हैं लेकिन सबसे उन्नत AI को भी उलझा देते हैं।
"ब्लाइंड स्पॉट" की खोज
टीम ने इन पेचीदा सवालों को एक ग्रेजुएट AI कोर्स के छात्रों से एकत्र किया। छात्रों से उन विशिष्ट चीजों को खोजने के लिए कहा गया था जिन्हें देर से 2025 के सबसे स्मार्ट AI चैटबॉट्स सही ढंग से नहीं कर सके। उन्होंने सवालों को साफ किया और उत्तरों को स्वचालित रूप से ग्रेड करने के लिए एक प्रणाली बनाई।
जब उन्होंने अपने परीक्षण चलाए, तो उन्हें कुछ आश्चर्यजनक बातें पता चलीं:
1. "अमीर बच्चे" का लाभ
पेपर सुझाव देता है कि अत्यधिक महंगी, "क्लोज्ड-सोर्स" मॉडल (वे जिन्हें आप डाउनलोड करके स्वयं नहीं चला सकते) इन ब्लाइंड स्पॉट्स पर "ओपन-वेट" मॉडल (जिन्हें कोई भी उपयोग कर सकता है) की तुलना में काफी बेहतर हैं। भले ही दोनों प्रकार के मॉडल नियमित बेंचमार्क पर लगभग समान स्कोर करते दिखें, क्लोज्ड-सोर्स मॉडल इस विशिष्ट तनाव परीक्षण पर ओपन मॉडल्स को लगभग 10% से पीछे छोड़ देते हैं। यह दो धावकों की तरह है जो ट्रैक पर समान रूप से तेज़ दिखते हैं, लेकिन जब आप उन्हें जुग्लिंग करते हुए एक भूलभुलैया के माध्यम से दौड़ने के लिए कहते हैं, तो वह जीत जाता है जिसके पास महंगा प्रशिक्षण गियर है।
2. बड़ा होना हमेशा बेहतर नहीं होता
आप सोच सकते हैं कि AI मॉडल को बड़ा बनाकर (अधिक "ब्रेन पावर" जोड़कर) इन मूर्खतापूर्ण गलतियों को ठीक किया जा सकता है। लेकिन पेपर ने इसे मापा और पाया कि स्केलिंग अप (बड़ा करना) हमेशा मदद नहीं करता। कुछ मामलों में, एक मॉडल का छोटा संस्करण अपने विशाल भाई से बेहतर प्रदर्शन करता है। उदाहरण के लिए, Qwen3.5 परिवार में, 35-बिलियन-पैरामीटर वाला मॉडल कभी-कभी 397-बिलियन-पैरामीटर वाले संस्करण से कुछ तर्क संबंधी पहेलियों पर बेहतर प्रदर्शन करता है। यह वैसा ही है जैसे एक विशाल हाथी एक छोटे दरवाजे से गुजरने में संघर्ष कर सकता है जिससे एक बिल्ली आसानी से निकल जाती है।
3. टूल्स सब कुछ ठीक नहीं करते
कुछ लोगों ने सोचा, "यदि AI गिन नहीं सकता, तो चलिए इसे एक कैलकुलेटर दे देते हैं!" शोधकर्ताओं ने मॉडल को कोड निष्पादन (code execution) टूल का उपयोग करने देकर इस परीक्षण को किया। परिणाम मिले-जुले रहे। कुछ मॉडलों के लिए, टूल का उपयोग करने से उन्हें सही उत्तर मिला और उनका समय बचा। लेकिन अन्य मॉडलों के लिए, जैसे GPT-5.4, टूल का उपयोग करने से वे वास्तव में बदतर हो गए। यह एक शेफ को एक फैंसी नए चाकू को देने जैसा है; कभी-कभी वे तेज़ी से काटते हैं, लेकिन कभी-कभी वे बस अपना अंगूठा काट लेते हैं और भोजन खराब कर देते हैं।
4. "गिनती" का संकट
पेपर द्वारा मापा गया सबसे बड़े ब्लाइंड स्पॉट्स में से एक गिनती (counting) है। चाहे वह किसी तस्वीर में वस्तुओं को गिनना हो या किसी विशिष्ट संख्या की वस्तुओं के साथ एक छवि बनाना हो, मॉडल संघर्ष करते हैं। यहाँ तक कि सर्वश्रेष्ठ मॉडल भी इन काउंटिंग कार्यों को केवल 60% बार ही सही कर पाते हैं। यह एक निरंतर कमजोरी है, जैसे एक संगीतकार जो एक जटिल सिम्फनी तो बजा सकता है लेकिन एक सरल 4/4 बीट बनाए रखने में असमर्थ है।
यह टेस्ट क्या नहीं कहता
लेखक अपने परिणामों को बहुत अधिक बढ़ा-चढ़ाकर बताने से बचते हैं। वे स्पष्ट रूप से कहते हैं कि यह कोई "फाइनल बॉस" टेस्ट नहीं है जो यह साबित करता है कि AI हमेशा के लिए टूट गया है। वे स्वीकार करते हैं कि डेटासेट अपेक्षाकृत छोटा (केवल 235 प्रश्न) है और छात्रों द्वारा बनाया गया है, जिसका अर्थ है कि यह उन मॉडलों के प्रति पक्षपाती हो सकता है जिनका वे उस समय परीक्षण कर रहे थे। वे यह भी नोट करते हैं कि उन्होंने सीधे स्कोर की तुलना करने के लिए कोई मानव आधार (human baseline) शामिल नहीं किया है, इसलिए हमें यह नहीं पता कि मनुष्य कितने "बेहतर" हैं, बस इतना कि मनुष्य इन कार्यों को बहुत सरल पाते हैं।
निचोड़
पेपर सुझाव देता है कि जबकि AI सामान्य कार्यों के लिए अविश्वसनीय रूप से अच्छा हो रहा है, फिर भी गिनती, स्थानिक तर्क (spatial reasoning) और सख्त वर्ण सीमा (character limits) जैसे बहुत विशिष्ट, ठोस कौशल पर इसके "ब्लाइंड स्पॉट्स" हैं। क्लोज्ड-सोर्स मॉडल इन स्पॉट्स को ठीक करने में वर्तमान में थोड़ी बढ़त बनाए हुए हैं, लेकिन अभी तक किसी भी मॉडल ने उन सभी में महारत हासिल नहीं की है।
blind-spots-bench को एक रिपोर्ट कार्ड के रूप में न देखें जो कहता है "AI विफल हो रहा है," बल्कि एक डायग्नोस्टिक टूल के रूप में देखें। यह एक मैकेनिक द्वारा कार पर किए जाने वाले एक विशिष्ट परीक्षण की तरह है जो हाईवे पर तो पूरी तरह से चलती है लेकिन स्टॉप साइन पर रुक जाती है। यह हमें यह देखने में मदद करता है कि इंजन कहाँ लड़खड़ा रहा है ताकि हम इसे ठीक कर सकें, बजाय इसके कि केवल यह मान लें कि कार एकदम सही है क्योंकि यह तेज़ है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।