💬 NLP

VAUQ: Vision-Aware Uncertainty Quantification for LVLM Self-Evaluation

यह शोध पत्र VAUQ का प्रस्ताव करता है, जो एक प्रशिक्षण-मुक्त (training-free), विज़न-अवेयर अनसर्टेन्टी क्वांटिफिकेशन फ्रेमवर्क है, जो इमेज-इंफॉर्मेशन स्कोर और अनसुपरवाइज्ड कोर-रीजन मास्किंगिंग का लाभ उठाकर लार्ज विज़न-लैंग्वेज मॉडल्स में मतिभ्रम (hallucinations) का विश्वसनीय रूप से पता लगाने के लिए उनके दृश्य साक्ष्यों पर निर्भरता को स्पष्ट रूप से मापता है।

मूल लेखक: Seongheon Park, Changdae Oh, Hyeong Kyu Choi, Sean Du, Sharon Li

प्रकाशित 2026-05-05

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Seongheon Park, Changdae Oh, Hyeong Kyu Choi, Sean Du, Sharon Li

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास एक बहुत ही बुद्धिमान, सुशिक्षित रोबोट सहायक है जो चित्रों को देख सकता है और उनके बारे में उत्तर दे सकता है। यह रोबोट बात करने में बहुत अच्छा है, लेकिन कभी-कभी यह अपने ज्ञान पर इतना विश्वास करने लगता है कि फोटो देखते समय अपनी ओर से चीजें बनाने लगता है। यह एक बिल्ली की तस्वीर देखकर आत्मविश्वास से कह सकता है, "यह पनीर खा रहा एक कुत्ता है," क्योंकि इसने कुत्तों और पनीर के बारे में लाखों कहानियाँ पढ़ी हैं, भले ही तस्वीर स्पष्ट रूप से एक बिल्ली दिखा रही हो। इसे हैलुसिनेशन (hallucination) कहा जाता है।

समस्या यह है: हमें कैसे पता चलेगा कि रोबोट सच बोल रहा है या वह केवल अपनी "यादों" (भाषा) के आधार पर अनुमान लगा रहा है (चित्र के बजाय)?

यह पेपर VAUQ (विज़न-अवेयर अनसर्टेन्टी क्वांटिफिकेशन) नामक एक नया टूल पेश करता है ताकि रोबोट को किसी इंसान द्वारा निगरानी किए बिना अपना काम खुद जांचने में मदद मिल सके।

समस्या: रोबोट का "भाषा पूर्वाग्रह" (Language Bias)

रोबोट को एक ऐसे छात्र की तरह समझें जिसने इतिहास की परीक्षा के लिए कड़ी मेहनत की है लेकिन उसने सामने रखे मानचित्र (मैप) को नहीं देखा है। यदि आपसे पूछा जाए, "इस शहर से कौन सी नदी बहती है?" और मानचित्र में एक रेगिस्तान दिख रहा है, तो छात्र अभी भी "नील नदी" कह सकता है क्योंकि उसने यह तथ्य याद किया है। वह आश्वस्त है, लेकिन वह दृश्य साक्ष्य को अनदेखा कर रहा है।

रोबोट के आत्मविश्वास की जांच करने के मौजूदा तरीके ज्यादातर पूछते हैं, "आप कितने निश्चित हैं?" या "क्या आपका उत्तर सुनने में सहज लग रहा है?" लेकिन जैसा कि पेपर दिखाता है, ये तरीके विफल हो जाते हैं जब रोबोट चित्र को अनदेखा करता है। रोबोट एक गलत उत्तर के प्रति 100% आश्वस्त हो सकता है क्योंकि वह उत्तर एक सामान्य वाक्य की तरह सुनाई देता है।

समाधान: "द ब्लाइंडफोल्ड टेस्ट" (The Blindfold Test)

VAUQ के लेखकों ने यह जांचने का एक चतुर तरीका निकाला है कि क्या रोबोट वास्तव में चित्र देख रहा है या केवल अनुमान लगा रहा है। वे दो मुख्य विचारों का उपयोग करते हैं:

1. "इमेज-इंफॉर्मेशन स्कोर" (अंतर पैदा करने वाला कारक)
कल्पना कीजिए कि आप एक क्विज़ दे रहे हैं।

परिदृश्य A: आपसे बिना चित्र के एक प्रश्न पूछा जाता है। आप अपने ज्ञान के आधार पर अनुमान लगाते हैं। आप थोड़ा अनिश्चित महसूस करते हैं (उच्च अनिश्चितता)।
परिदृश्य B: आपको वही प्रश्न पूछा जाता है, लेकिन अब वहां एक स्पष्ट चित्र है। आप उसे देखते हैं, और अचानक आप बहुत आश्वस्त हो जाते हैं (कम अनिश्चितता)।

VAUQ इन दोनों भावनाओं के बीच के अंतर को मापता है। यदि चित्र रोबोट को बहुत अधिक आश्वस्त बनाता है, तो इसका मतलब है कि वह वास्तव में दृश्य साक्ष्य का उपयोग कर रहा है। यदि चित्र के बिना भी रोबोट उतना ही आश्वस्त (या अनिश्चित) रहता है, तो इसका मतलब है कि चित्र ने मदद नहीं की—वह केवल शब्दों के आधार पर अनुमान लगा रहा था।

2. "कोर-रीजन मास्किंग" (स्पॉटलाइट)
कभी-कभी, एक रोबोट चित्र को देख सकता है और मुख्य विषय (जैसे बांस खाता हुआ पांडा) के बजाय पृष्ठभूमि (जैसे दूर एक पेड़) से विचलित हो सकता है। यदि हम पूरे चित्र को ढक देते हैं, तो रोबट अभी भी सही अनुमान लगा सकता है क्योंकि वह जानता है कि पांडा बांस खाते हैं।

इसे ठीक करने के लिए, VAUQ एक "स्पॉटलाइट" तकनीक का उपयोग करता है। यह देखता है कि रोबोट का ध्यान कहाँ केंद्रित है (जैसे उसकी आँखों का हीट मैप) और फिर चित्र के सबसे महत्वपूर्ण हिस्सों को ढक देता है।

यदि रोबोट पांडा पर निर्भर था, और आपने पांडा को ढक दिया, तो रोबोट अचानक बहुत भ्रमित और अनिश्चित हो जाना चाहिए।
यदि रोबोट पांडा को ढक देता है और फिर भी उच्च आत्मविश्वास के साथ "बांस खाता पांडा" कहता है, तो इसका मतलब है कि वह पांडा को देख ही नहीं रहा था; वह केवल "पांडा" शब्द के आधार पर अनुमान लगा रहा था।

यह मिलकर कैसे काम करता है

VAUQ इन दोनों जांचों को एक एकल स्कोर में जोड़ता है:

कम स्कोर (अच्छा): रोबोट चित्र के बिना अनिश्चित था, लेकिन चित्र देखने पर आश्वस्त हो गया, और महत्वपूर्ण हिस्सों को ढकने पर फिर से भ्रमित हो गया। इसका मतलब है कि वह चित्र देख रहा है और सच बोल रहा है।
उच्च स्कोर (खराब): रोबोट चित्र के बिना भी आश्वस्त था, या महत्वपूर्ण हिस्सों को ढकने के बाद भी आश्वस्त रहा। यह एक रेड फ्लैग है कि रोबोट 'हैलुसिनेट' कर रहा है।

यह क्यों महत्वपूर्ण है

पेपर ने इस पद्धति का परीक्षण कई अलग-अलग रोबोट मॉडल और डेटासेट पर किया। उन्होंने पाया कि VAUQ झूठ पकड़ने में पिछले तरीकों की तुलना में बहुत बेहतर है।

यह बिना रोबोट को पुन: प्रशिक्षित किए काम करता है (यह "ट्रेनिंग-फ्री" है)।
इसे उत्तरों को सही या गलत के रूप में लेबल करने के लिए किसी इंसान की आवश्यकता नहीं होती (यह "अनसुपरवाइज्ड" है)।
यह तेज़ है, रोबोट की सोचने की प्रक्रिया में बहुत कम समय जोड़ता है।

संक्षेप में, VAUQ रोबोट को यह कहने का एक तरीका देता है, "रुको, मैं वास्तव में चित्र को नहीं देख रहा हूँ; मैं बस अनुमान लगा रहा हूँ," इससे पहले कि वह कोई गलत उत्तर दे। यह रोबोट को एक दर्पण देने जैसा है जिससे वह जांच सके कि क्या वह वास्तव में अपने सामने जो है उसे देख रहा है।

तकनीकी सारांश: VAUQ – LVLM स्व-मूल्यांकन के लिए विजन-अवेयर अनसर्टेन्टी क्वांटिफिकेशन (दृष्टि-जागरूक अनिश्चितता परिमाणीकरण)

1. समस्या विवरण (Problem Statement)

लार्ज विजन-लैंग्वेज मॉडल्स (LVLMs) ने मल्टीमॉडल कार्यों में महत्वपूर्ण क्षमताएं प्रदर्शित की हैं, लेकिन वे मतिभ्रम (hallucinations) के प्रति संवेदनशील बने हुए हैं, विशेष रूप से तब जब वे दृश्य साक्ष्य (visual evidence) के बजाय भाषाई पूर्वग्रहों (linguistic priors) पर अत्यधिक निर्भर होते हैं। मौजूदा स्व-मूल्यांकन विधियाँ, जो मुख्य रूप से लार्ज लैंग्वेज मॉडल्स (LLMs) से अनुकूलित हैं, विजन-लैंग्वेज संदर्भों में विफल रहती हैं। ये विधियाँ आमतौर पर टोकन संभाव्यता (token probabilities), मौखिक आत्मविश्वास (verbalized confidence), या सिमेंटिक निरंतरता (semantic consistency) जैसे आंतरिक संकेतों पर निर्भर करती हैं। हालाँकि, पेपर के पायलट अध्ययन में प्रदर्शित किया गया है कि ये मेट्रिक्स भाषाई पूर्वग्रहों द्वारा अत्यधिक संचालित होते हैं। फलस्वरूप, एक LVLM किसी मतिभ्रम वाले उत्तर के लिए कम अनिश्चितता (उच्च आत्मविश्वास) प्रदर्शित कर सकता है यदि वह उत्तर सामान्य भाषाई अपेक्षाओं के अनुरूप हो, भले ही वह दृश्य इनपुट के विपरीत हो। यह "भाषा पूर्वग्रह प्रभुत्व" (language prior dominance) मानक स्व-मूल्यांकन उपकरणों को उन रिस्पॉन्स-लेवल मतिभ्रमों का पता लगाने के लिए अविश्वसनीय बना देता है जहाँ विजुअल ग्राउंडिंग आवश्यक है।

मुख्य चुनौती एक प्रशिक्षण-मुक्त (training-free) स्व-मूल्यांकन ढांचे को विकसित करना है जो स्पष्ट रूप से एक LVLM के दृश्य साक्ष्य पर निर्भरता को मापता है, जिससे विजुअल ग्राउंडिंग से प्राप्त आत्मविश्वास और सांख्यिकीय भाषाई नियमितताओं से प्राप्त आत्मविश्वास के बीच अंतर किया जा सके।

2. कार्यप्रणाली: VAUQ ढांचा (Methodology: VAUQ Framework)

लेखक VAUQ (Vision-Aware Uncertainty Quantification) का प्रस्ताव करते हैं, जो एक प्रशिक्षण-मुक्त ढांचा है जिसे यह मापने के लिए डिज़ाइन किया गया है कि क्या मॉडल का आत्मविश्वास विजुअल ग्राउंडिंग द्वारा न्यायसंगत है। यह विधि विशिष्ट विजुअल इनपुट्स के साथ और उनके बिना मॉडल की प्रेडिक्टिव अनसर्टेन्टी (अनुमानित अनिश्चितता) की तुलना करके कार्य करती है।

2.1 इमेज-इन्फॉर्मेशन स्कोर (IS)

केंद्रीय अंतर्दृष्टि यह है कि सूचनात्मक और सही ढंग से उपयोग किए गए दृश्य साक्ष्य को प्रेडिक्टिव अनसर्टेन्टी को कम करना चाहिए। VAUQ इस कमी को मापने के लिए इमेज-इन्फॉर्मेशन स्कोर (IS) को परिभाषित करता है।

मान लीजिए कि $H(y | v, t)$ विजुअल फीचर्स $v$ और टेक्स्ट $t$ दिए जाने पर मॉडल के आउटपुट डिस्ट्रीब्यूशन की लेंथ-नॉर्मलाइज्ड कंडिशनल एंट्रॉपी है।
मान लीजिए कि $H(y | \emptyset, t)$ तब की एंट्रॉपी है जब विजुअल टोकन्स को हटा दिया जाता है (ब्लैंक इमेज)।
बेसलाइन IS को इस प्रकार परिभाषित किया गया है: $IS_{blank} = H(y | \emptyset, t) - H(y | v, t)$ ।
एक उच्च स्कोर इंगित करता है कि इमेज ने अनसर्टेन्टी को महत्वपूर्ण रूप से कम किया है, जो मजबूत विजुअल ग्राउंडिंग का सुझाव देता है।

2.2 अनसुपरवाइज्ड कोर-रीजन मास्किंग (Unsupervised Core-Region Masking)

पूरी इमेज को मास्क करने की एक सीमा यह है कि इसमें स्प्यूरियस बैकग्राउंड कोरिलेशन या शोर शामिल हो सकता है। इसे संबोधित करने के लिए, VAUQ एक अनसुपरवाइज्ड कोर-रीजन मास्किंग रणनीति पेश करता है:

अटेंशन-आधारित चयन: विधि इंटरमीडिएट ट्रांसफार्मर लेयर्स से विजुअल अटेंशन वेट्स को एकत्रित करती है (जो अनुभवजन्य रूप से विजुअल-सिमेंटिक एलाइनमेंट के लिए सबसे अधिक सूचनात्मक पाए गए हैं)।
मास्किंग: यह उच्चतम अटेंशन स्कोर वाले इमेज पैचेस के शीर्ष $K\%$ ( $v_{top}$ ) की पहचान करती है और उन्हें मास्क कर देती है, जिससे एक "कोर-मास्क्ड" इनपुट $v_{masked}$ बनता है।
कोर IS ( $IS_{core}$ ): स्कोर को मास्क किए गए इनपुट का उपयोग करके पुनर्गणना किया जाता है: $IS_{core} = H(y | v_{masked}, t) - H(y | v, t)$ ।
जिन क्षेत्रों पर मॉडल सबसे अधिक ध्यान देता है उन्हें हटाकर, यह विधि उन भविष्यवाणियों को दंडित करती है जो कोर विजुअल साक्ष्य अनुपस्थित होने पर भी आत्मविश्वासी बनी रहती हैं।

2.3 फाइनल स्कोरिंग फंक्शन (Final Scoring Function)

अंतिम VAUQ स्कोर ( $s_{VAUQ}$ ) प्रेडिक्टिव एंट्रॉपी और कोर-मास्क्ड IS का एक लीनियर कॉम्बिनेशन है:
$s_{VAUQ}(x, y) = H(y | v, t) - \alpha \cdot IS_{core}$
$s_{VAUQ}(x, y) = (1 + \alpha)H(y | v, t) - \alpha H(y | v_{masked}, t)$
जहाँ $\alpha$ एक हाइपरपैरामीटर है।

व्याख्या: यदि कोई मॉडल विजुअल साक्ष्य पर निर्भर करता है, तो कोर क्षेत्रों को मास्क करने से एंट्रॉपी में बड़ी वृद्धि होती है, जिसके परिणामस्वरूप एक कम $s_{VAUQ}$ मिलता है (जो एक विश्वसनीय, ग्राउंडेड प्रेडिक्शन का संकेत देता है)। इसके विपरीत, यदि मॉडल भाषाई पूर्वग्रहों पर निर्भर करता है, तो इमेज को मास्क करने का एंट्रॉपी पर बहुत कम प्रभाव पड़ता है, जिसके परिणामस्वरूप उच्च $s_{VAUQ}$ मिलता है (जो एक संभावित मतिभ्रम का संकेत देता है)।

3. प्रमुख योगदान (Key Contributions)

VAUQ फ्रेमवर्क: एक अभिनव, प्रशिक्षण-मुक्त स्व-मूल्यांकन ढांचा जो बिना किसी बाहरी मॉडल या सहायक पर्यवेक्षण के स्पष्ट रूप से एक LVLM की विजुअल साक्ष्य पर निर्भरता को मापता है।
इन्फॉर्मेशन-थ्योरेटिक स्कोर और मास्किंग: इमेज-इन्फॉर्मेशन स्कोर के साथ अनसुपरवाइज्ड कोर-रीजन मास्किंग रणनीति का परिचय। यह लेबल-फ्री तरीके से विजुअल यूटिलाइजेशन को कैप्चर करने की अनुमति देता है, जो प्रभावी रूप से भाषा-पूर्वग्रह-संचालित आत्मविश्वास और विजन-ग्राउंडेड आत्मविश्वास के बीच अंतर करता है।
व्यापक मूल्यांकन: कई स्टेट-ऑफ-द-आर्ट LVLMs (LLaVA, Qwen2.5-VL, InternVL3.5) और विविध बेंचमार्क्स (ViLP, MMVet, VisualCoT, CVBench) पर व्यापक प्रयोग, जो मौजूदा विधियों पर निरंतर श्रेष्ठता प्रदर्शित करते हैं।

4. प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने आठ बेसलाइन्स के विरुद्ध VAUQ का मूल्यांकन किया, जिसमें LLM-आधारित विधियाँ (जैसे Perplexity, Semantic Entropy, EigenScore) और LVLM-विशिष्ट विधियाँ (जैसे SVAR, VL-Uncertainty) शामिल हैं।

प्रदर्शन: VAUQ ने सभी परीक्षण किए गए मॉडल्स और डेटासेट्स में एरिया अंडर द रिसीवर ऑपरेटिंग कैरेक्टरिस्टिक कर्व (AUROC) के मामले में लगातार स्टेट-ऑफ-द-आर्ट परिणाम प्राप्त किए।
- ViLP डेटासेट पर (जो काउंटरफैक्चुअल इमेजेस का उपयोग करके भाषाई पूर्वग्रहों का परीक्षण करने के लिए विशेष रूप से डिज़ाइन किया गया है), VAUQ ने LLaVA-1.5-7B पर सर्वश्रेष्ठ मौजूदा LLM-आधारित विधि (Semantic Entropy) की तुलना में +13.4% का सुधार किया।
- पिछले स्टेट-ऑफ-द-आर्ट LVLM विधि (VL-Uncertainty) की तुलना में, VAUQ ने ViLP पर +21.4% और VisualCoT पर +12.6% का सुधार दिखाया।
काउंटरफैक्चुअल परिदृश्य: चुनौतीपूर्ण काउंटरफैक्चुअल परिदृश्यों में जहाँ विजुअल ग्राउंडिंग महत्वपूर्ण है, VAUQ ने स्टेट-ऑफ-द-आर्ट विधियों पर +13.3% का महत्वपूर्ण सुधार हासिल किया, जो उन मतिभ्रमों का पता लगाने की इसकी क्षमता को उजागर करता है जिन्हें भाषा-पूर्वग्रह-आधारित विधियाँ मिस कर देती हैं।
दक्षता: मल्टी-सैंपलिंग विधियों (जैसे Semantic Entropy, VL-Uncertainty) के विपरीत जिन्हें कई रिस्पॉन्स जेनरेट करने की आवश्यकता होती है ( $O(A \cdot M)$ ), VAUQ को अनसर्टेन्टी एस्टीमेशन के लिए केवल अतिरिक्त फॉरवर्ड पासेस की एक स्थिर संख्या की आवश्यकता होती है, जो लीनियर कॉम्प्लेक्सिटी $O(M)$ बनाए रखता है। इसने VL-Uncertainty की तुलना में प्रति-सैंपल इन्फरेंस समय में 94.6% की कमी हासिल की जबकि उच्च सटीकता प्रदान की।
एब्लेशन स्टडीज (Ablation Studies):
- मास्किंग रणनीति: कोर क्षेत्रों को मास्क करना ( $IS_{core}$ ) एक ऑरेकल ग्राउंड-ट्रुथ मास्किंग रणनीति के तुल्य प्रदर्शन करता है और रैंडम मास्किंग या ब्लैंक-इमेज मास्किंग की तुलना में काफी बेहतर प्रदर्शन करता है।
- अटेंशन लेयर्स: प्रयोगों ने पुष्टि की कि इंटरमीडिएट लेयर्स (जैसे LLaVA-1.5-7B में लेयर्स 10-25) कोर एविडेंस रीजन की पहचान करने के लिए सबसे विश्वसनीय अटेंशन सिग्नल प्रदान करती हैं।
- कंपोनेंट एनालिसिस: प्रेडिक्टिव एंट्रॉपी और $IS_{core}$ को मिलाने से तथ्यात्मक और काउंटरफैक्चुअल दोनों स्प्लिट्स के लिए संतुलित प्रदर्शन प्राप्त हुआ, जबकि एंट्रॉपी अकेले काउंटरफैक्चुअल डेटा पर विफल रही।

5. महत्व और दावे (Significance and Claims)

पेपर का दावा है कि VAUQ वर्तमान स्व-मूल्यांकन में एक मौलिक बेमेल (mismatch) को संबोधित करता है: विजुअल ग्राउंडिंग को ध्यान में रखने में भाषा-केंद्रित मेट्रिक्स की विफलता। यह स्पष्ट रूप से मात्रा निर्धारित करके कि कितना विजुअल इन्फॉर्मेशन एक प्रेडिक्शन में योगदान देता है, VAUQ मतिभ्रम का पता लगाने के लिए अधिक विश्वसनीय सिग्नल प्रदान करता है।

लेखक VAUQ को एक लाइटवेट, ट्रेनिंग-फ्री टूल के रूप में प्रस्तुत करते हैं जो रिस्पॉन्स-लेवल असेसमेंट के लिए स्केलेबल और जनरलाइजेबल क्षमता प्रदान करता है। वे इस बात पर जोर देते हैं कि हालांकि VAUQ एक व्यापक सुरक्षा तंत्र नहीं है, यह चयनात्मक भविष्यवाणी (selective prediction) और मानव समीक्षा के लिए एक पूरक उपकरण के रूप में कार्य करता है, विशेष रूप से उच्च-दांव वाले डोमेन में जहाँ फ्लुएंट लैंग्वेज और ग्राउंडेड विजुअल रीजनिंग के बीच अंतर करना महत्वपूर्ण है। यह कार्य मल्टीमॉडल मॉडल्स के लिए विश्वसनीय, विजन-अवेयर स्व-मूल्यांकन तंत्रों की दिशा में भविष्य के शोध को प्रोत्साहित करने का लक्ष्य रखता है।