VB: Visibility Benchmark for Visibility and Perspective Reasoning in Images
यह शोध पत्र VB प्रस्तुत करता है, जो एक नया बेंचमार्क है जिसे विज़न-लैंग्वेज मॉडल्स की छवि दृश्यता (image visibility) निर्धारित करने और साक्ष्य अपर्याप्त होने पर उचित रूप से उत्तर देने से बचने की क्षमता का मूल्यांकन करने के लिए डिज़ाइन किया गया है, जो नियंत्रित न्यूनतम संपादन (minimal edits) और विशिष्ट मेट्रिक्स का उपयोग करके यह प्रकट करता है कि GPT-4o और Gemini 3.1 Pro जैसे शीर्ष-स्तरीय मॉडल आत्मविश्वास-जागरूक सटीकता (confidence-aware accuracy) और परिप्रेक्ष्य तर्क (perspective reasoning) में ओपन-सोर्स विकल्पों की तुलना में काफी बेहतर प्रदर्शन करते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रोबोट दोस्त के साथ "आप वास्तव में क्या देख सकते हैं?" नामक खेल खेल रहे हैं।
इस खेल में, आप रोबोट को एक अकेली फोटो दिखाते हैं और एक सरल प्रश्न पूछते हैं जैसे, "क्या इस तस्वीर में लाल गेंद दिखाई दे रही है?" या "क्या आप उस कार की लाइसेंस प्लेट पढ़ सकते हैं?"
रोबोट के पास तीन विकल्प हैं:
- हाँ, मैं इसे स्पष्ट रूप से देख पा रहा हूँ। (यह पिक्सेल में साफ़ तौर पर मौजूद है।)
- नहीं, मैं इसे बिल्कुल नहीं देख पा रहा हूँ। (यह छिपा हुआ है, धुंधला है, या फ्रेम में नहीं है।)
- मुझे यकीन नहीं है। (तस्वीर बहुत अंधेरी है, या वस्तु इतनी छोटी है कि निश्चित रूप से कहना मुश्किल है।)
आपके द्वारा साझा किया गया पेपर एक नया टेस्ट पेश करता है जिसे VB (विजिबिलिटी बेंचमार्क) कहा जाता है। यह AI रोबोट के लिए एक "ड्राइवर लाइसेंस परीक्षा" की तरह है, लेकिन कार चलाने के बजाय, उन्हें यह साबित करना होता है कि वे इस बात के बीच का अंतर जानते हैं कि वास्तव में क्या दिखाई दे रहा है और वे किस बारे में केवल अनुमान लगा रहे हैं।
यहाँ कुछ रोज़मर्रा के उपमाओं (analogies) का उपयोग करके पेपर का विवरण दिया गया है:
1. मुख्य समस्या: "अनुमान लगाने" का जाल
कई AI रोबोट उन अति-उत्साही छात्रों की तरह होते हैं जो किसी भी सवाल का जवाब देने की कोशिश करते हैं, भले ही उन्हें उत्तर पता न हो। यदि आप उन्हें एक अंधेरे कमरे की फोटो दिखाते हैं और पूछते हैं, "क्या कोने में एक बिल्ली है?", तो एक बुरा AI मदद करने के चक्कर में "हाँ" या "नो" का अनुमान लगा सकता है।
यह खतरनाक क्यों है?
कल्पना कीजिए कि एक AI एक दृष्टिबाधित व्यक्ति को सड़क पार करने में मदद कर रहा है। यदि AI अनुमान लगाता है कि "जेब्रा क्रॉसिंग साफ़ है" जबकि वास्तव में वहां बहुत अंधेरा है जिससे कुछ दिख नहीं रहा, तो किसी को चोट लग सकती है। यह पेपर तर्क देता है कि यह जानना कि कब "मुझे नहीं पता" कहना है, उत्तर जानने जितना ही महत्वपूर्ण है।
2. टेस्ट डिज़ाइन: "जादुई दर्पण" का खेल
यह टेस्ट करने के लिए कि रोबोट स्मार्ट हैं या सिर्फ भाग्यशाली, शोधकर्ताओं ने 100 फोटो परिवारों का उपयोग करके एक विशेष खेल बनाया।
प्रत्येक "परिवार" को चार कार्डों के सेट के रूप में सोचें:
- कार्ड A (आधार/Base): एक फोटो जहाँ उत्तर स्पष्ट रूप से "नहीं" है। (जैसे, एक साइन बोर्ड पेड़ से ढका हुआ है)।
- कार्ड B (टेक्स्ट फ्लिप/Text Flip): वही फोटो, लेकिन प्रश्न बदल जाता है - "क्या साइन बोर्ड छिपा हुआ है?" (अब उत्तर "हाँ" है)।
- कार्ड C (इमेज फ्लिप/Image Flip): एक थोड़ा बदला हुआ फोटो जहाँ पेड़ को हटा दिया गया है, जिससे साइन बोर्ड दिखने लगा है। प्रश्न वही रहता है। (अब उत्तर "हाँ" है)।
- कार्ड D (डबल फ्लिप/Double Flip): बदला हुआ फोटो और बदला हुआ प्रश्न। (अब उत्तर फिर से "नहीं" है)।
लक्ष्य: रोबोट को यह समझना चाहिए कि यदि आप पेड़ को हटाते हैं (इमेज फ्लिप), तो उत्तर बदल जाता है। यदि आप केवल शब्दों को बदलते हैं (टेक्स्ट फ्लिप), तो उत्तर बदल जाता है। यदि रोबोट इन सूक्ष्म बदलावों से भ्रमित हो जाता है, तो वह वास्तव में दुनिया को "देख" नहीं रहा है; वह केवल पैटर्न को याद कर रहा है।
3. "सेकंड-ऑर्डर" पहेली: जासूसी का काम
इस टेस्ट के कुछ प्रश्न अधिक पेचीदा हैं। वे पूछते हैं कि फोटो में अन्य लोग क्या देख सकते हैं।
- उदाहरण: "क्या बॉब जानता है कि एलिस कार्ड नहीं देख सकती?"
यह "थ्योरी ऑफ माइंड" के खेल जैसा है। रोबोट को फोटो को देखना होगा, यह पता लगाना होगा कि बॉब कहाँ देख रहा है, एलिस कहाँ देख रही है, और उनके दृश्य से क्या बाधित है। यह केवल रोबोट की आँखों के बारे में नहीं है; यह अन्य लोगों की आँखों का अनुकरण (simulate) करने के बारे में है।
4. परिणाम: परीक्षा में कौन पास हुआ?
शोधकर्ताओं ने 9 अलग-अलग AI मॉडल का परीक्षण किया (कुछ गूगल और ओपनएआई जैसी बड़ी कंपनियों के, और कुछ ओपन-सोर्स)।
- शीर्ष छात्र: GPT-4o और Gemini 3.1 Pro बराबरी के साथ पहले स्थान पर रहे। वे सही समय पर "मैं देख पा रहा हूँ," "मैं नहीं देख पा रहा हूँ," या "मुझे यकीन नहीं है" कहने में सबसे अच्छे थे।
- "ईमानदार" छात्र: एक मॉडल (GPT-5) बहुत सतर्क था। इसने बहुत बार "मुझे नहीं पता" कहा। हालांकि यह सुरक्षित है, लेकिन इसने पर्याप्त उत्तर न देने के कारण अंक खो दिए।
- ओपन-सोर्स सरप्राइज: सबसे अच्छा "मुफ्त" मॉडल (Gemma 3 12B) आश्चर्यजनक रूप से अच्छा प्रदर्शन कर रहा था। इसने वास्तव में एक बड़ी कंपनी के पुराने, सशुल्क (paid) मॉडल को भी पीछे छोड़ दिया। यह ऐसा है जैसे घर का बना खाना किसी फास्ट-फूड चेन के पुराने रेसिपी से बेहतर स्वाद दे रहा हो।
- कमजोरी: अधिकांश रोबोट शब्दों में होने वाले बदलावों (Text Flip) को समझने में, चित्र में होने वाले बदलावों (Image Flip) की तुलना में बेहतर थे। यह ऐसा है जैसे वे मेनू पढ़ने में तो माहिर हैं लेकिन यह नोटिस करने में कमजोर हैं कि वेटर ने वास्तव में सही डिश परोसी है या नहीं।
5. यह क्यों मायने रखता है
यह पेपर केवल उच्च स्कोर प्राप्त करने के बारे में नहीं है। यह सुरक्षा के बारे में है।
- कॉन्फिडेंस कैलिब्रेशन (Confidence Calibration): यह पेपर जांचता है कि क्या रोबोट का "कॉन्फिडेंस स्कोर" वास्तविकता से मेल खाता है। यदि कोई रोबोट कहता है "मैं 99% सुनिश्चित हूँ" लेकिन वास्तव में वह गलत है, तो यह खतरनाक है। सर्वश्रेष्ठ रोबोट (जैसे Gemini 3.1 Pro) केवल तभी "निश्चित" कहते हैं जब वे वास्तव में सही होते हैं।
- "अब्स्टेन" (छोड़ने) का विकल्प: यह टेस्ट उन रोबोटों को पुरस्कृत करता है जो सबूतों के अभाव में "मैं नहीं बता सकता" कहने का निर्णय लेते हैं। वास्तविक दुनिया में, एक रोबोट जो अंधेरे में अनुमान लगाने के बजाय अनुमान लगाने से इनकार करता है, वह अधिक सुरक्षित है।
निष्कर्ष
VB बेंचमार्क AI को विनम्र बनाना सिखाने का एक नया तरीका है। यह उन्हें मजबूर करता है कि वे स्वीकार करें कि वे कुछ देख नहीं पा रहे हैं, बजाय इसके कि वे तथ्य गढ़ें। परिणाम बताते हैं कि हालांकि सबसे स्मार्ट AI मॉडल इस मामले में बहुत अच्छे हो रहे हैं, फिर भी वे सूक्ष्म दृश्य परिवर्तनों और यह समझने में संघर्ष करते हैं कि फोटो में अन्य लोग क्या देख सकते हैं।
यह एक ऐसे AI बनाने की दिशा में एक कदम है जो केवल "भ्रमित" (hallucinate) उत्तर नहीं देता, बल्कि एक सतर्क, चौकस इंसान की तरह व्यवहार करता है जो अपनी दृष्टि की सीमाओं को जानता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।