Seeing without Looking: Do Vision-Language Benchmarks Really Test Vision?
यह शोध पत्र प्रकट करता है कि वर्तमान विजन-लैंग्वेज बेंचमार्क सूक्ष्म-स्तरीय विजुअल ग्राउंडिंग का विश्वसनीय रूप से मूल्यांकन करने में विफल रहते हैं क्योंकि ओपन-सोर्स मॉडल विजुअल डिग्रेडेशन के प्रति आश्चर्यजनक रूप से कम संवेदनशीलता प्रदर्शित करते हैं और मानक सटीकता मेट्रिक्स द्वारा सुझाए गए स्तर की तुलना में दृश्य साक्ष्यों पर कम निर्भर करते हैं, एक ऐसी घटना जिसका कारण नेटवर्क की गहरी परतों में विजुअल टोकन के बीच बढ़ती समानता को माना गया है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
यहाँ शोध पत्र "Seeing without Looking: Do Vision-Language Benchmarks Really Test Vision?" का सरल भाषा और रोज़मर्रा के उदाहरणों के साथ हिंदी अनुवाद दिया गया है।
मुख्य विचार: "अंधा अनुमान" की समस्या
कल्पना कीजिए कि आप एक परीक्षा दे रहे हैं जहाँ शिक्षक आपको एक कुत्ते की तस्वीर दिखाता है और पूछता है, "क्या इस तस्वीर में एक कुत्ता है?" आप उत्तर देते हैं "हाँ," और आप सही होते हैं। शिक्षक मान लेता है कि आपने कुत्ते को देख लिया है।
लेकिन क्या होगा अगर शिक्षक ने तस्वीर के 75% हिस्से को काले टेप से ढक दिया हो, जिससे केवल एक छोटा सा कोना ही दिखाई दे रहा हो? या क्या होगा अगर उन्होंने पूरी तस्वीर को इतना धुंधला कर दिया हो कि आप कोई भी विवरण न देख सकें? यदि आप फिर भी आत्मविश्वास के साथ "हाँ" कहते हैं, तो क्या आपने वास्तव में कुत्ते को देखा, या आपने केवल इस तथ्य के आधार पर अनुमान लगाया कि शिक्षक आमतौर पर कुत्तों के बारे में ही सवाल पूछते हैं?
यह शोध पत्र तर्क देता है कि वर्तमान AI मॉडल उन छात्रों की तरह हैं जो तस्वीर को वास्तव में देखे बिना ही उत्तरों का अनुमान लगा रहे हैं। यहाँ तक कि जब हम चित्र के महत्वपूर्ण हिस्सों को छिपा देते हैं, तब भी ये AI मॉडल मानक परीक्षणों में सही उत्तर देते हैं। यह सुझाव देता है कि वे परीक्षण जिनका उपयोग हम AI के "देखने" की क्षमता को मापने के लिए करते हैं, वास्तव में त्रुटिपूर्ण हैं।
प्रयोग: सुरागों को छिपाना
शोधकर्ताओं ने कई लोकप्रिय AI मॉडलों के साथ "सुराग छिपाने" का खेल खेलने का निर्णय लिया। उन्होंने POPE नामक एक लोकप्रिय परीक्षण का उपयोग किया (जो सरल हाँ/ना वाले प्रश्न पूछता है जैसे "क्या यहाँ एक बेसबॉल ग्लव है?")।
उन्होंने निम्नलिखित कार्य किए:
- "ब्लैकआउट" टेस्ट (The "Blackout" Test): उन्होंने छवि ली और उसके बड़े हिस्सों को काले बक्सों से ढक दिया या उसे धुंधला कर दिया।
- परिणाम: भले ही उन्होंने 75% तक की छवि को ढक दिया, AI का स्कोर बहुत कम नहीं हुआ। यह ऐसा था जैसे किसी छात्र की आँखों पर पट्टी बाँध दी जाए और फिर भी वह परीक्षा में अव्वल आ जाए।
- "स्वैप" टेस्ट (The "Swap" Test): उन्होंने चित्र में मौजूद वस्तु को डिजिटल रूप से बदलने के लिए एक टूल का उपयोग किया। यदि तस्वीर में एक बेसबॉल ग्लव था, तो उन्होंने उसे टोस्टर से बदल दिया। उन्होंने प्रश्न वही रखा: "क्या यहाँ एक बेसबॉल ग्लव है?"
- परिणाम: AI को "नहीं" कहना चाहिए था। इसके बजाय, इसने अक्सर अभी भी "हाँ" कहा। यह इस तथ्य को अनदेखा कर रहा था कि ग्लव गायब हो चुका है और अपने मूल अनुमान पर टिका रहा।
- "टोकन ड्रॉप" टेस्ट (The "Token Drop" Test): AI मॉडल छवियों को "टोकन" नामक छोटे डिजिटल टुकड़ों में तोड़ते हैं। शोधकर्ताओं ने AI के देखने से पहले ही इन टुकड़ों में से 75% को बेतरतीब ढंग से हटा दिया।
- परिणाम: AI को इससे कोई फर्क नहीं पड़ा। इसने पूरी छवि देखने के समान ही प्रदर्शन किया।
ऐसा क्यों हो रहा है? ("चीट शीट" का सिद्धांत)
शोध पत्र का सुझाव है कि AI वास्तव में बारीक विवरणों को "देख" नहीं रहा है। इसके बजाय, यह तीन चीजों पर निर्भर है जो एक "चीट शीट" (नकल की पर्ची) की तरह काम करती हैं:
- भाषाई संकेत (Language Hints): AI जानता है कि इन परीक्षणों में, प्रश्न आमतौर पर उन चीजों के बारे में होते हैं जो वहाँ मौजूद होती हैं। वह "हाँ" का अनुमान लगाता है क्योंकि डेटासेट में यही सबसे संभावित उत्तर है, न कि इसलिए कि वह वस्तु को देख रहा है।
- दृश्य संदर्भ (Scene Context): यदि चित्र में एक बेसबल का मैदान दिख रहा है, तो AI मान लेता है कि वहाँ एक ग्लव मौजूद है, भले ही ग्लव काले रंग से ढका हुआ हो। वह अग्रभूमि (foreground) का अनुमान लगाने के लिए पृष्ठभूमि (background) का उपयोग कर रहा है।
- अतिरेक (Redundancy): AI एक छोटा, धुंधला भूरा पैच देख सकता है और सोच सकता है, "यह चमड़े जैसा दिखता है, इसलिए यह एक ग्लव ही होगा," बिना पूरे ऑब्जेक्ट को देखे।
आंतरिक "धुंधली दृष्टि" (The Internal "Blurry Vision")
शोधकर्ताओं ने AI के "दिमाग" (इसके आंतरिक परतों) के भीतर भी देखा कि यह छवि को कैसे प्रोसेस करता है। उन्हें कुछ आश्चर्यजनक मिला:
कल्पना कीजिए कि AI की दृष्टि प्रणाली एक रिले रेस की तरह है।
- शुरुआती धावक (Early Runners): शुरुआत में, AI छवि को स्पष्ट रूप से देखता है, जैसे कि एक हाई-रिज़ॉल्यूशन फोटो। वह जानता है कि ग्लव ठीक कहाँ है।
- बाद के धावक (Later Runners): जैसे-जैसे जानकारी AI की गहरी परतों से गुजरती है, विवरण "कीचड़ जैसा" (muddy) होता जाता है। ग्लव का विशिष्ट स्थान पृष्ठभूमि के साथ मिल जाता है। जब तक AI अपना अंतिम निर्णय लेता है, तब तक विशिष्ट "आकार" धुंधला हो चुका होता है। AI अपने निर्णय के लिए एक सामान्य दृश्य के अहसास पर आधारित होता है, न कि एक स्पष्ट, विस्तृत दृश्य पर।
निष्कर्ष: परीक्षण टूटा हुआ है (The Test is Broken)
मुख्य निष्कर्ष यह है कि मानक बेंचमार्क (परीक्षण) हमसे झूठ बोल रहे हैं।
जब कोई AI इन परीक्षणों पर उच्च स्कोर प्राप्त करता है, तो हम मान लेते हैं कि उसने दृश्य समझ (visual understanding) में महारत हासिल कर ली है। लेकिन यह शोध पत्र दिखाता है कि एक AI उच्च स्कोर प्राप्त कर सकता है भले ही वह छवि के विशिष्ट विवरणों के प्रति "अंधा" हो। यह एक छात्र को उसके द्वारा सही उत्तर देने के आधार पर ग्रेड देने जैसा है, बिना यह जाँच किए कि क्या उसने वास्तव में प्रश्न पढ़ा या आरेख (diagram) को देखा।
यह शोध पत्र क्या नहीं कहता:
- यह नहीं कहता कि AI बेकार है।
- यह नहीं कहता कि हमें इन मॉडलों का उपयोग करना बंद कर देना चाहिए।
- यह किसी विशिष्ट चिकित्सा या सुरक्षा अनुप्रयोग का प्रस्ताव नहीं देता है।
यह शोध पत्र क्या कहता है:
- हमें बेहतर परीक्षणों की आवश्यकता है जो AI को यह साबित करने के लिए मजबूर करें कि वह वास्तव में विशिष्ट वस्तु को देख रहा है, न कि केवल संदर्भ या भाषाई पैटर्न के आधार पर अनुमान लगा रहा है।
- जब तक हम परीक्षणों को ठीक नहीं करते, हमें वास्तव में यह पता नहीं चलेगा कि ये AI मॉडल "देखने" में कितने अच्छे हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।