💬 NLP

Believing without Seeing: Quality Scores for Contextualizing Vision-Language Model Explanations

यह शोध पत्र विजन-लैंग्वेज मॉडल (Vision-Language Model) के स्पष्टीकरणों का मूल्यांकन करने के लिए दो नए गुणवत्ता स्कोरिंग फंक्शन, विजुअल फिडेलिटी (Visual Fidelity) और कॉन्ट्रास्टिवनेस (Contrastiveness) प्रस्तावित करता है, जो यह प्रदर्शित करता है कि इन स्कोर्स को स्पष्टीकरणों के साथ प्रदर्शित करने से विजुअल संदर्भ के बिना भी भविष्यवाणी की सटीकता का सही ढंग से आकलन करने की उपयोगकर्ताओं की क्षमता में काफी सुधार होता है और गलत आउटपुट पर अत्यधिक निर्भरता को कम करता है।

मूल लेखक: Keyu He, Tejas Srinivasan, Brihi Joshi, Xiang Ren, Jesse Thomason, Swabha Swayamdipta

प्रकाशित 2026-04-23

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Keyu He, Tejas Srinivasan, Brihi Joshi, Xiang Ren, Jesse Thomason, Swabha Swayamdipta

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप आंखों पर पट्टी बांधे हुए हैं, और आपका एक मित्र (एक AI) आपको एक फोटो का वर्णन कर रहा है। वे कहते हैं, "यह फोटो दोपहर के धूप वाले दिन की है।" वे बहुत आत्मविश्वास से भरे लग रहे हैं और एक कारण भी देते हैं: "देखो, परछाइयां छोटी हैं, और इमारत पर एक घड़ी है जो 12:00 दिखा रही है।"

क्योंकि आप खुद फोटो नहीं देख सकते, इसलिए आपको निर्णय लेना होगा: क्या मैं अपने मित्र पर भरोसा करूँ?

अतीत में, यदि आपका मित्र बहुत प्रभावशाली लगता था, तो आप उस पर विश्वास कर लेते थे। लेकिन क्या होगा अगर आपका मित्र भ्रमित (hallucinating) हो रहा है? क्या होगा अगर वहां कोई घड़ी ही नहीं है, और परछाइयां वास्तव में सुबह का संकेत दे रही हैं? आप अनजाने में उन पर विश्वास कर सकते हैं और गलती कर सकते हैं।

यह शोध पत्र AI सहायकों के लिए एक "ट्रस्ट मीटर" (विश्वास मीटर) बनाने के बारे में है, विशेष रूप से उन लोगों के लिए जो उन छवियों को नहीं देख सकते जिन्हें AI देख रहा है (जैसे दृष्टिबाधित या कम दृष्टि वाले उपयोगकर्ता)।

यहाँ उनके समाधान का सरल विवरण दिया गया है:

1. समस्या: "चिकनी बात करने वाला झूठा"

वर्तमान AI मॉडल ऐसी कहानियाँ बनाने में माहिर हैं जो सच लगती हैं। यहाँ तक कि जब वे गलत उत्तर देते हैं, तब भी वे एक बहुत ही तार्किक लगने वाला स्पष्टीकरण उत्पन्न कर सकते हैं।

जाल: यदि AI कहता है, "यह दोपहर है क्योंकि सूरज ऊपर है," और आप सूरज को नहीं देख सकते, तो आप सोच सकते हैं, "वाह, यह तो तर्कसंगत लगता है!" और आप गलत उत्तर पर विश्वास कर सकते हैं।
पुराना तरीका: वैज्ञानिकों ने यह मापने की कोशिश की कि स्पष्टीकरण कितना "स्मार्ट" या "सूचनात्मक" सुनाई देता है। लेकिन उन्होंने पाया कि एक चिकनी बात करने वाला झूठा भी इन परीक्षणों में उच्च स्कोर प्राप्त कर सकता है।

2. समाधान: दो नए "सत्य डिटेक्टर" (Truth Detectors)

लेखक ग्रेडिंग के लिए दो नए तरीके प्रस्तावित करते हैं, जो एक गुणवत्ता नियंत्रण निरीक्षक (quality control inspector) की तरह कार्य करते हैं।

A. विजुअल फिडेलिटी (Visual Fidelity - दृश्य निष्ठा) (द "फैक्ट-चेकर")

उपमा: कल्पना कीजिए कि AI एक संग्रहालय का वर्णन करने वाला एक टूर गाइड है। विजुअल फिडेलिटी पूछता है: "क्या गाइड ने वास्तव में पेंटिंग्स को देखा, या उसने बस मनगढ़ंत बातें बनाईं?"
यह कैसे काम करता है: सिस्टम AI के स्पष्टीकरण को छोटे दावों में तोड़ देता है (जैसे, "वहां एक घड़ी है," "परछाइयां छोटी हैं")। फिर यह एक दूसरे AI का उपयोग करता है जो फोटो को देखता है और सत्यापित करता है: क्या वास्तव में वहां एक घड़ी है? क्या परछाइयां छोटी हैं?
स्कोर: यदि AI ऐसी घड़ी का उल्लेख करता है जो वहां नहीं है, तो स्कोर गिर जाता है। यदि वह केवल उन्हीं चीजों का उल्लेख करता है जो वास्तव में फोटो में हैं, तो स्कोर ऊंचा रहता है।

B. कॉन्ट्रास्टिवनेस (Contrastiveness - विषमता) (द "डिटेक्टिव")

उपमा: कल्पना कीजिए कि आप भीड़ में किसी विशिष्ट व्यक्ति को खोजने की कोशिश कर रहे हैं। कॉन्ट्रास्टिवनेस पूछता है: "क्या जासूस ने यह समझाया कि वह व्यक्ति वही क्यों है, और बाकी सब लोग वह क्यों नहीं हैं?"
यह कैसे काम करता: एक अच्छा स्पष्टीकरण केवल यह नहीं कहता कि "यह दोपहर है।" इसे यह भी समझाना चाहिए कि यह सुबह या दोपहर क्यों नहीं है। यदि AI कहता है "यह दोपहर है" लेकिन घड़ी (मुख्य सुराग जो यह साबित करता है कि यह सुबह नहीं बल्कि दोपहर है) का उल्लेख करना भूल जाता है, तो स्कोर कम होता है। इसे यह दिखाना होगा कि इसने अन्य संभावनाओं को खारिज कर दिया है।
स्कोर: यदि स्पष्टीकरण सही उत्तर को गलत विकल्पों से स्पष्ट रूप से अलग करता है, तो स्कोर अधिक होता है।

3. प्रयोग: परीक्षण के लिए उतारना

शोधकर्ताओं ने एक अध्ययन चलाया जहाँ मानव प्रतिभागियों ने "अंधे उपयोगकर्ता" की भूमिका निभाई। उन्हें दिखाया गया:

एक फोटो के बारे में प्रश्न जिसे वे देख नहीं सकते थे।
AI का उत्तर।
AI का स्पष्टीकरण।
कभी-कभी: एक "ट्रस्ट स्कोर" (0 से 100) जो ऊपर दिए गए दो डिटेक्टरों पर आधारित था।

परिणाम अद्भुत थे:

जब लोगों ने ट्रस्ट स्कोर देखा, तो वे AI के झूठ पकड़ने में 11% बेहतर हो गए।
सबसे महत्वपूर्ण बात यह है कि लोगों द्वारा गलत उत्तर को आंख मूंदकर मानने की दर में 15% की गिरावट आई।
यह ऐसा था जैसे आपने अंधे व्यक्ति को उनके मित्र की कहानी के लिए एक "झूठ पकड़ने वाले यंत्र" (lie detector) दे दिया हो।

4. मुख्य निष्कर्ष

AI के भ्रम (hallucination) को पहचानने के लिए आपको तकनीकी विशेषज्ञ होने की आवश्यकता नहीं है। यह जांचकर कि दो सरल चीजें क्या हैं—"जो आपने कहा वह वास्तव में चित्र में है?" और "क्या आपने यह समझाया कि अन्य विकल्प क्यों गलत हैं?"—हम उपयोगकर्ताओं को एक स्पष्ट संकेत दे सकते हैं कि कब AI पर भरोसा करना है और कब संदेह करना है।

संक्षेप में: यह शोध पत्र हमें सिखाता है कि कैसे AI की चिकनी बातों पर आँख मूंदकर विश्वास करना बंद करें और इसके बजाय "रसीदों" (तथ्यों) पर भरोसा करना शुरू करें।

यहाँ शोध पत्र "Believing without Seeing: Quality Scores for Contextualizing Vision-Language Model Explanations" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

विज़न-लैंग्वेज मॉडल्स (VLMs) का उपयोग उन परिदृश्यों में तेजी से किया जा रहा है जहाँ उपयोगकर्ता दृश्य संदर्भ (visual context) को सीधे नहीं देख सकते, जैसे कि दृष्टिबाधित और अल्प-दृष्टि वाले व्यक्तियों की सहायता करने या स्वायत्त एजेंटों (autonomous agents) के लिए। इन सेटिंग्स में, उपयोगकर्ता मॉडल के भविष्यवाणियों की विश्वसनीयता को आंकने के लिए उसके प्राकृतिक भाषा स्पष्टीकरणों (natural language explanations) पर निर्भर करते हैं।

हालाँकि, वर्तमान VLMs अक्सर भ्रम (hallucinations) (गैर-मौजूद दृश्य विवरण उत्पन्न करना) और अति-आत्मविश्वास (overconfidence) से ग्रस्त होते हैं। पिछला शोध इंगित करता है कि विश्वसनीय लगने वाले प्राकृतिक भाषा स्पष्टीकरण उपयोगकर्ताओं को गलत भविष्यवाणियों पर विश्वास करने के लिए गुमराह कर सकते हैं, जो सूचना विषमता (information asymmetry) के कारण और भी बढ़ जाता है (उपयोगकर्ता दावे को सत्यापित करने के लिए छवि नहीं देख सकता)। मौजूदा स्पष्टीकरण गुणवत्ता मेट्रिक्स (जैसे Simulatability, Informativeness, Plausibility) केवल टेक्स्ट-आधारित लार्ज लैंग्वेज मॉडल्स (LLMs) के लिए डिज़ाइन किए गए हैं और वे स्पष्टीकरण तथा विज़ुअल इनपुट के बीच के संबंध को ध्यान में रखने में विफल रहते हैं, जिसके परिणामस्वरूप वास्तविक मॉडल शुद्धता के साथ खराब अंशांकन (calibration) होता है।

मुख्य चुनौती: हम उपयोगकर्ताओं को सटीक और गलत VLM भविष्यवाणियों के बीच अंतर करने के लिए विश्वसनीय संकेत कैसे प्रदान कर सकते हैं जब उनके पास विज़ुअल संदर्भ तक पहुँच नहीं होती?

2. कार्यप्रणाली (Methodology)

लेखक विशेष रूप से VLMs के लिए डिज़ाइन किए गए दो नवीन, पूरक स्पष्टीकरण गुणवत्ता मेट्रिक्स प्रस्तावित करते हैं: विज़ुअल फिडेलिटी (Visual Fidelity) और कॉन्ट्रास्टिवनेस (Contrastiveness)। इन मेट्रिक्स का मूल्यांकन ट्रेनिंग-फ्री, LLM-as-a-judge पाइपलाइनों का उपयोग करके किया जाता है।

A. विज़ुअल फिडेलिटी (Visual Fidelity - VF)

परिभाषा: यह मापता है कि एक स्पष्टीकरण वास्तव में छवि की सामग्री को कितनी निष्ठापूर्वक दर्शाता है। यह पता लगाता है कि क्या स्पष्टीकरण काल्पनिक (hallucinated) विवरणों पर निर्भर है।
एल्गोरिदम:
1. प्रश्न निर्माण (Question Generation): एक LLM ( $m_{QGen}$ ) स्पष्टीकरण का विश्लेषण करता है और टेक्स्ट में वर्णित विज़ुअल विवरणों के अनुरूप "हाँ/नहीं" सत्यापन प्रश्न ( $Q_V$ ) उत्पन्न करता है।
2. सत्यापन (Verification): एक सत्यापनकर्ता VLM ( $m_{Verif}$ ) केवल छवि के आधार पर इन प्रश्नों के उत्तर देता है।
3. स्कोरिंग: VF स्कोर उन प्रश्नों का अंश है जिनका उत्तर "हाँ" में दिया गया है।
  $S_{VF}(E) = \frac{\sum \mathbb{1}\{a^V_i = \text{"yes"}\}}{|Q_V|}$

B. कॉन्ट्रास्टिवनेस (Contrastiveness - Contr.)

परिभाषा: यह मापता है कि एक स्पष्टीकरण मॉडल की भविष्यवाणी को अन्य संभावित वैकल्पिक उत्तरों से कितनी अच्छी तरह अलग करता है। यह आकलन करता है कि क्या स्पष्टीकरण अन्य विकल्पों को खारिज करने के लिए पर्याप्त साक्ष्य प्रदान करता है।
एल्गोरिदम:
1. मास्किंग (Masking): लेबल लीकेज को रोकने के लिए स्पष्टीकरण में विशिष्ट उत्तर विकल्पों के उल्लेख को मास्क किया जाता है।
2. परिकल्पना निर्माण (Hypothesis Generation): प्रत्येक संभावित उत्तर $a_j$ के लिए, एक पैराफ़्रेज़र LLM (Question, Answer) जोड़े को एक घोषणात्मक परिकल्पना $h_j$ में बदल देता है।
3. एंटेलमेंट (Entailment): एक एंटेलमेंट मॉडल ( $m_{NLI}$ ) इस बात की संभावना की गणना करता है कि मास्क किया गया स्पष्टीकरण प्रत्येक परिकल्पना का अनुसरण (entails) करता है।
4. स्कोरिंग: कॉन्ट्रास्टिवनेस स्कोर सभी विकल्पों की तुलना में अनुमानित उत्तर की सापेक्ष एंटेलमेंट संभावना है।
  $S_{Contr.}(E) = \frac{P_{NLI}(P \text{ entails } h_0)}{\sum_{a_j \in A} P_{NLI}(P \text{ entails } h_j)}$

C. संयोजन (Combination)

लेखक औसत (average), उत्पाद (product), और न्यूनतम (minimum) कार्यों के माध्यम से इन स्कोर्स को संयोजित करने का मूल्यांकन करते हैं। उत्पाद (Product) ( $S_{Prod} = S_{VF} \times S_{Contr.}$ ) को सबसे प्रभावी एकल मीट्रिक पाया गया है।

3. मुख्य योगदान (Key Contributions)

नवीन मेट्रिक्स: विज़ुअल फिडेलिटी और कॉन्ट्रास्टिवनेस का परिचय, जो स्पष्ट रूप से टेक्स्टुअल स्पष्टीकरण और विज़ुअल संदर्भ के बीच के अंतर को पाटते हैं।
ट्रेनिंग-फ्री मूल्यांकन: प्रस्तावित स्कोरिंग फंक्शनों के लिए ग्राउंड-ट्रुथ क्वालिटी एनोटेशन की आवश्यकता नहीं है; वे सत्यापन और एंटेलमेंट के लिए ऑफ-द-शेल्फ LLMs और VLMs पर निर्भर करते हैं।
उपयोगकर्ता-केंद्रित सत्यापन: एक व्यापक उपयोगकर्ता अध्ययन जो यह प्रदर्शित करता है कि ये मेट्रिक्स "ब्लाइंड" VLM परिदृश्यों में मानव निर्णय लेने की क्षमता में सीधे सुधार करते हैं।
कैलिब्रेशन विश्लेषण: प्रमाण कि मौजूदा टेक्स्ट-ओनली मेट्रिक्स VLMs के लिए खराब तरीके से कैलिब्रेटेड हैं, जबकि प्रस्तावित मेट्रिक्स भविष्यवाणी की शुद्धता के साथ मजबूत सहसंबंध दिखाते हैं।

4. प्रयोगात्मक परिणाम (Experimental Results)

A. मीट्रिक कैलिब्रेशन (स्वचालित मूल्यांकन)

A-OKVQA, VizWiz, और MMMU-Pro पर LLaVA-v1.5, Qwen2.5-VL, और GPT-4o मॉडल्स का उपयोग करके मूल्यांकन किया गया:

डिस्क्रिमिनेबिलिटी (Discriminability): प्रस्तावित मेट्रिक्स (विशेष रूप से VF और Contr. का उत्पाद) ने टेक्स्ट-ओनली बेसलाइन (Simulatability, Informativeness, Plausibility) की तुलना में काफी उच्च डिस्क्रिमिनेबिलिटी स्कोर प्राप्त किया। इसका अर्थ है कि वे सही भविष्यवाणियों को गलत भविष्यवाणियों से बेहतर तरीके से अलग करते हैं।
एक्सपेक्टेड कैलिब्रेशन एरर (Expected Calibration Error - ECE): प्रस्तावित मेट्रिक्स ने कम ECE दिखाया, जो इंगित करता है कि गुणवत्ता स्कोर, भविष्यवाणी के सही होने की संभावना का एक अधिक सटीक प्रॉक्सी है।
मजबूती (Robustness): सत्यापनकर्ता के रूप में GPT-4o के बजाय छोटे ओपन-सोर्स मॉडल्स का उपयोग करने पर भी मेट्रिक्स स्थिर रहे।

B. उपयोगकर्ता अध्ययन (मानव मूल्यांकन)

सेटअप: 30 प्रतिभागियों ने 10 डेटासेट (A-OKVQA, VizWiz) के लिए 100 VLM भविष्यवाणियों का मूल्यांकन किया बिना छवियों को देखे। उन्हें प्रश्न, VLM का उत्तर, स्पष्टीकरण, और वैकल्पिक रूप से, गुणवत्ता स्कोर दिखाए गए।
मुख्य निष्कर्ष:
- सटीकता में सुधार: केवल स्पष्टीकरण दिखाने की तुलना में Product of VF and Contrastiveness दिखाने से VLM की शुद्धता को आंकने में उपयोगकर्ता की सटीकता में 11.1% का सुधार हुआ।
- ओवर-रिलायंस में कमी: गलत भविष्यवाणियों पर गलत तरीके से विश्वास करने की दर (Over-Reliance) 15.4% कम हो गई।
- प्रस्तुति प्रारूप (Presentation Format):
  - संख्यात्मक बनाम वर्णनात्मक: स्कोर के वर्णनात्मक टेक्स्ट सारांशों ने ओवर-रिलायंस को कम करने में कच्चे संख्यात्मक स्कोर के बराबर या थोड़ा बेहतर प्रदर्शन किया।
  - लेबलिंग: विशिष्ट लेबल (जैसे, "Visual Fidelity" बनाम "AI Confidence") का नगण्य प्रभाव पड़ा; उपयोगिता स्कोर के वितरण से आई।
- सहसंबंध: स्कोर के कैलिब्रेशन एरर (ECE) और उपयोगकर्ता निर्णय सटीकता के बीच एक मजबूत नकारात्मक सहसंबंध था (उच्च ECE $\rightarrow$ कम उपयोगकर्ता सटीकता)।

5. महत्व और भविष्य की दिशाएं (Significance and Future Directions)

ट्रस्ट कैलिब्रेशन (Trust Calibration): यह पेपर प्रदर्शित करता है कि "देखने के बिना विश्वास" करने के लिए स्पष्टीकरण गुणवत्ता स्कोर प्रदान करना, मानव विश्वास को "कैलिब्रेट" करने की एक व्यवहार्य रणनीति है, विशेष रूप से कमजोर आबादी (दृष्टिबाधित/अल्प-दृष्टि वाले उपयोगकर्ता) के लिए जो विज़ुअल इनपुट को सत्यापित नहीं कर सकते।
टेक्स्ट-ओनली मेट्रिक्स से परे: यह स्थापित करता है कि VLMs के लिए मूल्यांकन मेट्रिक्स को अनिवार्य रूप से विज़ुअल मोडैलिटी पर विचार करना चाहिए; केवल टेक्स्ट की प्लाउज़िबिलिटी (plausibility) अपर्याप्त और संभावित रूप से खतरनाक है।
भावी कार्य: लेखक ऐसे अनुकूलन योग्य सिस्टम विकसित करने का सुझाव देते हैं जो गतिशील रूप से यह तय करें कि कब स्पष्टीकरण और स्कोर दिखाने हैं (बैंडिट एल्गोरिदम का उपयोग करके) और बहुभाषी सामान्यीकरण (multilingual generalization) की खोज करते हैं।

निष्कर्ष: यह पेपर सफलतापूर्वक तर्क देता है कि "देखने के बिना विश्वास करने" के लिए केवल एक विश्वसनीय दिखने वाले स्पष्टीकरण से अधिक की आवश्यकता होती है। विज़ुअल फिडेलिटी (क्या विवरण वास्तविक है?) और कॉन्ट्रास्टिवनेस (क्या यह अन्य उत्तरों को खारिज करता है?) को मात्रात्मक बनाकर, हम उपयोगकर्ताओं को भ्रमित करने वाले VLMs से बचने के लिए विश्वसनीय संकेत प्रदान कर सकते हैं।