MissingBench-Verified: Probing Vision-Language Models' Inability to Detect Missing Object Parts
यह शोधपत्र MissingBench-Verified को प्रस्तुत करता है, जो एक ऐसा बेंचमार्क है जो यह दर्शाता है कि अग्रणी विजन-लैंग्वेज मॉडल्स (VLMs) अंतर्निहित पूर्वाग्रहों और प्रशिक्षण डेटा की कमी के कारण वस्तुओं के गायब हिस्सों का पता लगाने में लगातार विफल रहते हैं, जो एक ऐसी सीमा है जो बाहरी उपकरणों, विस्तारित तर्क या फाइन-ट्यूनिंग के उपयोग के बावजूद बनी रहती है, जिससे वर्तमान VLMs में एक मौलिक संरचनात्मक दोष का पता चलता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रोबोट को दुनिया देखना सिखा रहे हैं। आप उसे बिल्लियों, कुत्तों और हवाई जहाजों की दस लाख तस्वीरें दिखाते हैं, और वह नियम सीख जाता है: "बिल्लियों की पूंछ होती है," "हवाई जहाजों के पंख होते हैं," और "आईफोन में होम बटन होता है।" यह विज़न-लैंग्वेज मॉडल्स (VLMs) की दुनिया है। ये सुपर-स्मार्ट कंप्यूटर प्रोग्राम हैं जो किसी तस्वीर को देख सकते हैं और उसका शब्दों में वर्णन कर सकते हैं, या जो वे देखते हैं उसके बारे में सवाल का जवाब दे सकते हैं। वे एक ऐसे लाइब्रेरियन की तरह हैं जिसने ब्रह्मांड की हर किताब पढ़ी है और केवल कवर देखकर आपको कहानी का सारांश तुरंत बता सकता है।
लेकिन यहाँ एक पेचीदा बात है: कभी-कभी, यह लाइब्रेरियन अपने ज्ञान को लेकर बहुत ज्यादा आश्वस्त हो जाता है। यदि आप उन्हें एक ऐसी बिल्ली की तस्वीर दिखाते हैं जिसकी पूंछ गायब है, तो उनका दिमाग चिल्ला उठेगा, "यह असंभव है! सभी बिल्लियों की पूंछ होती है!" और वे इस बात पर अड़े रह सकते हैं कि पूंछ वहीं है, भले ही उनकी आँखें स्पष्ट रूप से देख रही हों कि वह गायब है। इसे हैलुसिनेशन (Hallucination) कहा जाता है। ऐसा नहीं है कि रोबोट झूठ बोल रहा है; बल्कि यह है कि उसका आंतरिक ज्ञान इतना मजबूत है कि वह वास्तव में देखे जा रहे दृश्य पर हावी हो जाता है। वैज्ञानिकों को इसकी परवाह है क्योंकि यदि हम चाहते हैं कि ये रोबोट पुलों का निरीक्षण करने, मेडिकल स्कैन की जांच करने या कारखानों की निगरानी करने में हमारी मदद करें, तो उन्हें यह कहने में सक्षम होना चाहिए कि, "हे, कुछ गायब है," बजाय इसके कि वे मनगढ़ंत बातें बनाएं।
महान "गायब हिस्से" का रहस्य
यहाँ MissingBench-Verified आता है, एक नया प्रयोग जिसे ठीक इसी हठ को परखने के लिए डिज़ाइन किया गया है। इस अध्ययन के पीछे के शोधकर्ताओं ने जानना चाहा: यदि हम एक हवाई जहाज की तस्वीर लें और उसके इंजन को सर्जरी करके निकाल दें, तो क्या रोबोट यह स्वीकार करेगा कि इंजन गायब है, या वह भ्रम (hallucinate) पैदा करेगा कि वे अभी भी वहीं हैं?
यह पता लगाने के लिए, टीम ने छवियों का एक विशेष सेट बनाया जिसमें 118 चित्र थे। उन्होंने रोजमर्रा की वस्तुओं की वास्तविक तस्वीरें लीं—जैसे कि एक फोन जिसका होम बटन मिटा दिया गया हो, या एक विमान जिसकी पूंछ गायब हो—और उन्हें बाजार के दस सबसे स्मार्ट AI मॉडल्स को दिखाया। उन्होंने एक सरल प्रश्न पूछा: "क्या यह हिस्सा दिखाई दे रहा है?" मॉडल्स को "स्पष्ट रूप से दिखाई दे रहा है," "देखना कठिन है," या "दिखाई नहीं दे रहा है" में से चुनने के लिए कहा गया।
परिणाम काफी चौंकाने वाले थे। यहाँ तक कि सबसे उन्नत AI मॉडल भी, जो आमतौर पर हर परीक्षा में सफल होते हैं, बुरी तरह विफल रहे। जब इंजन गायब थे, तो मॉडल्स ने दावा किया कि वे अभी भी वहीं हैं। वास्तव में, लगभग आधे मॉडल्स 50% से अधिक समय में गलत साबित हुए। सबसे खराब प्रदर्शन करने वाला मॉडल, Claude Sonnet 4.6, केवल 44.1% बार सही ढंग से पहचान पाया कि हिस्सा गायब था। ऐसा लग रहा था जैसे रोबोट अपनी ही यादों से बनी आँखों पर पट्टी बांधे हुए थे, और जो वे देख रहे थे उस पर विश्वास करने से इनकार कर रहे थे।
"जादुई उपकरण" जो काम नहीं आए
शोधकर्ताओं ने केवल रोबोट्स को और ध्यान से देखने के लिए कहने तक ही सीमित नहीं रहना चाहा। उन्होंने उन्हें उनके दिवास्वप्नों से बाहर निकालने के लिए ट्रिक्स का एक पूरा टूलबॉक्स इस्तेमाल किया। उन्होंने तीन मुख्य रणनीतियाँ आजमाईं:
- "जासूस की रिपोर्ट" (बाहरी उपकरण): उन्होंने मॉडल्स को एक बहुत ही सटीक ऑब्जेक्ट डिटेक्टर की फर्जी रिपोर्ट दी जिसमें कहा गया था, "मैंने देखा, और मुझे निश्चित रूप से इंजन नहीं मिला।" उन्हें उम्मीद थी कि मॉडल इस रिपोर्ट पर भरोसा करेगा। इसके बजाय, अधिकांश मॉडल्स ने रिपोर्ट को अनदेखा कर दिया और अपनी बात पर अड़े रहे। भले ही "परफेक्ट डिटेक्टर" ने कहा कि वस्तु गायब है, मॉडल्स ने फिर भी भ्रम पैदा किया कि वह वहीं है।
- "ज़ूम लेंस" (इमेज प्रोसेसिंग): उन्होंने मॉडल्स को इमेज को क्रॉप करने, ब्राइटनेस बढ़ाने या शार्पन करने के लिए टूल्स का उपयोग करने दिया, इस उम्मीद में कि करीब से देखने पर सच्चाई सामने आएगी। एक मॉडल ने तो गायब हवाई जहाज की पूंछ पर ज़ूम करने के लिए क्रॉपिंग टूल का उपयोग किया, खाली जगह देखी, और फिर भी दावा किया कि पूंछ वहीं है, और गायब हिस्से के लिए "क्रॉपिंग एरर" को जिम्मेदार ठहराया।
- "गहन सोच" (अधिक समय): उन्होंने मॉडल्स को जवाब देने से पहले सोचने और तर्क करने के लिए अधिक समय देने के लिए मजबूर किया, इस उम्मीद में कि अधिक दिमागी शक्ति इस गलती को ठीक कर देगी। आश्चर्यजनक रूप से, उन्हें अधिक सोचने के लिए मजबूर करने से कोई मदद नहीं मिली; कुछ मामलों में, इसने उन्हें उनके गलत उत्तरों के प्रति और अधिक आश्वस्त बना दिया।
फैसला: यह कोई बग नहीं है, बल्कि एक फीचर है (जो टूटा हुआ है)
पेपर सुझाव देता है कि यह केवल एक साधारण गलती नहीं है जिसे मॉडल्स को एक त्वरित प्रॉम्प्ट या थोड़ी अतिरिक्त सोच के माध्यम से "सिखाया" जा सके। समस्या गहरी है। मॉडल्स ने एक "प्रायर" (Prior) सीखा है—एक गहरा विश्वास कि उड़ने के लिए हवाई जहाजों में इंजन होने ही चाहिए। जब दृश्य प्रमाण (खाली स्थान) इस गहरे विश्वास से टकराते हैं, तो विश्वास जीत जाता है। मॉडल्स अनिवार्य रूप से कह रहे हैं, "मैं जानता हूँ कि एक हवाई जहाज कैसा दिखता है, और यह तस्वीर गलत है, इसलिए मैं हवाई जहाज का वैसा ही वर्णन करूँगा जैसा मैं उम्मीद करता हूँ, न कि जैसा वह वास्तव है।"
शोधकर्ताओं ने मॉडल्स को बेहतर टूल्स और अधिक समय देकर इसे ठीक करने की कोशिश की, लेकिन पेपर निष्कर्ष निकालता है कि वर्तमान तरीके नगण्य सुधार (negligible improvement) प्रदान करते हैं। विफलता दर लगातार उच्च बनी रही, जिसमें अधिकांश मॉडल्स मदद मिलने के बावजूद गायब हिस्सों को पहचानने में असमर्थ थे।
यह अध्ययन यह दावा नहीं करता है कि इसने समस्या को हल कर लिया है। इसके बजाय, यह एक चेतावनी देता है। यह दिखाता है कि मशीन के पुर्जे गायब होने या सुरक्षा फीचर बरकरार रहने की जांच करने जैसे कार्यों के लिए, हमारे वर्तमान सर्वश्रेष्ठ AI मॉडल खतरनाक रूप से अविश्वसनीय हैं। वे अपने आंतरिक ज्ञान के प्रति इतने आश्वस्त हैं कि वे उसे ओवरराइड नहीं कर सकते, भले ही सबूत उनकी "आंखों" के सामने हों। पेपर सुझाव देता है कि इसे ठीक करने के लिए बेहतर प्रॉम्प्ट या अधिक सोचने के समय की आवश्यकता नहीं होगी; इसके लिए संभवतः इन मॉडल्स को बनाने या प्रशिक्षित करने के तरीके में पूर्ण बदलाव की आवश्यकता होगी, ताकि वे यह सीखने में सक्षम हो सकें कि जो वे सोचते हैं उसके बजाय जो वे देखते हैं, उस पर भरोसा करें।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।