💬 NLP

VL-Calibration: Decoupled Confidence Calibration for Large Vision-Language Models Reasoning

यह शोध पत्र VL-Calibration का प्रस्ताव करता है, जो एक सुदृढीकरण शिक्षण (reinforcement learning) ढांचा है जो अंतर्निहित दृश्य निश्चितता अनुमान (intrinsic visual certainty estimation) और टोकन-स्तरीय लाभ पुन: भारण (token-level advantage reweighting) का उपयोग करके आत्मविश्वास को दृश्य और तर्क घटकों में अलग करता है ताकि लार्ज विजन-लैंग्वेज मॉडल्स में मतिभ्रम (hallucinations) को प्रभावी ढंग से कम किया जा सके और अंशांकन (calibration) में सुधार किया जा सके।

मूल लेखक: Wenyi Xiao, Xinchi Xu, Leilei Gan

प्रकाशित 2026-04-13

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Wenyi Xiao, Xinchi Xu, Leilei Gan

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास एक प्रतिभाशाली लेकिन थोड़ी अति-आत्मविश्वासी सहायक है जो पहेलियाँ सुलझाने में माहिर है, लेकिन जब उसे तस्वीर स्पष्ट दिखाई नहीं देती, तो वह तथ्य गढ़ने लगता है। वह कह सकता है, "मैं 100% आश्वस्त हूँ कि उत्तर X है!" भले ही वह केवल इस आधार पर अनुमान लगा रहा हो कि उसे क्या लगता है कि तस्वीर आमतौर पर कैसी होती है, न कि वह जो वास्तव में वहां दिख रहा है।

यही वर्तमान Large Vision-Language Models (LVLMs) की समस्या है। वे बुद्धिमान तो हैं, लेकिन अक्सर हैलुसिनेशन (मनगढ़ंत बातें बनाना) का शिकार होते हैं और इससे भी बदतर, वे अपनी गलतियों के बारे में अति-आत्मविश्वासी (overconfident) होते हैं।

यह शोध पत्र इस समस्या को ठीक करने के लिए VL-Calibration नामक एक नई विधि पेश करता है। यह कैसे काम करता है, इसे सरल अवधारणाओं और उपमाओं के माध्यम से यहाँ समझाया गया है।

1. समस्या: "आंखों पर पट्टी बंधी विशेषज्ञ" (The Blindfolded Expert)

एक मानक AI मॉडल को एक जासूस के रूप में सोचें जो अपराध स्थल की फोटो को सुलझाने की कोशिश कर रहा है।

खामी: कभी-कभी, जासूस पूरी तस्वीर को अनदेखा कर देता है और केवल अपने पिछले अनुभवों के आधार पर अनुमान लगाता है (जैसे, "यह शायद एक कुत्ता है क्योंकि अधिकांश तस्वीरों में कुत्ते होते हैं")।
परिणाम: वे गलत उत्तर देते हैं लेकिन कहते हैं, "मैं 99% आश्वस्त हूँ!"
समस्या: मौजूदा तरीके इस समस्या को ठीक करने की कोशिश करते हैं कि AI से पूछा जाए, "आप कितने आश्वस्त हैं?" और उसे एक एकल संख्या (जैसे 0 से 100 तक) दी जाती है। लेकिन यह एकल संख्या अव्यवस्थित है। यह "मुझे यकीन है कि मैंने कुत्ता देखा" और "मुझे यकीन है कि मेरा तर्क सही है" के बीच के अंतर को मिला देती है। यदि AI कुत्ते को लेकर गलत है, तो भी आत्मविश्वास का स्कोर उच्च रहता है क्योंकि तर्क वाला हिस्सा सही है।

2. समाधान: आत्मविश्वास को विभाजित करना (Splitting the Confidence)

लेखक VL-Calibration का प्रस्ताव देते हैं, जो AI को आत्मविश्वास को दो अलग-अलग श्रेणियों में विभाजित करने के लिए मजबूर करता है:

विजुअल कॉन्फिडेंस (Visual Confidence): "मैं वास्तव में तस्वीर में जो देख रहा हूँ, उसके बारे में मैं कितना आश्वस्त हूँ?"
रीज़निंग कॉन्फिडेंस (Reasoning Confidence): "मैं अपने तर्क और सोचने के तरीके के बारे में कितना आश्वस्त हूँ?"

उपमा: एक शेफ (रसोइया) के बारे में सोचें जो सूप चख रहा है।

पुराना तरीका: शेफ कहता है, "मुझे 100% यकीन है कि यह सूप बेहतरीन है।" (लेकिन शायद वह आंखों पर पट्टी बांधकर केवल रसोई की गंध के आधार पर अनुमान लगा रहा है)।
नया तरीका (VL-Calibration): शेफ कहता है, "मुझे उन सामग्रियों के बारे में कम विश्वास (low confidence) है जिन्हें मैं देख नहीं सकता (Visual), लेकिन मुझे अपनी रेसिपी के तर्क (Reasoning) पर उच्च विश्वास (high confidence) है।"
जादू: क्योंकि शेफ यह स्वीकार करता है कि वह सामग्री के बारे में अनिश्चित है, इसलिए अंतिम निर्णय ("यह सूप बेहतरीन है") बहुत अधिक ईमानदार हो जाता है। यदि विजुअल वाला हिस्सा संदिग्ध है, तो भले ही तर्क सही हो, कुल आत्मविश्वास कम हो जाता है।

3. हम AI को यह सिखाते हैं कि वह क्या देखता है?

कठिन हिस्सा यह है: हम AI को यह कैसे सिखाएं कि वह कब "हैलुसिनेट" कर रहा है, जब हमारे पास हर एक तस्वीर की जांच करने के लिए कोई शिक्षक नहीं है?

लेखकों ने एक चतुर तकनीक बनाई है जिसे Intrinsic Visual Certainty कहा जाता है। वे दो परीक्षणों का उपयोग करते हैं:

"धुंधली फोटो" परीक्षण (Visual Grounding): वे AI को मूल छवि दिखाते हैं, फिर उसे एक थोड़ी खराब की हुई संस्करण दिखाते हैं (जैसे, छवि के कुछ हिस्सों को काले पैच से ढक देना)।
- यदि छवि बदलने पर AI का उत्तर बहुत अधिक बदल जाता है, तो इसका मतलब है कि वह वास्तव में छवि को देख रहा था। (अच्छा!)
- यदि AI टेक्स्ट की आदतों के आधार पर बिना बदले वही उत्तर देता रहता है, तो इसका मतलब है कि वह केवल अनुमान लगा रहा था। (बुरा/हैलुसिनेशन)।
"घबराया हुआ शेफ" परीक्षण (Internal Certainty): वे यह देखते हैं कि AI अपना विवरण लिखते समय कितना "भ्रमित" है। यदि AI हिचकिचा रहा है और कई संभावित शब्दों के बीच झूल रहा है (high entropy), तो वह अनिश्चित है। यदि वह शब्दों को तेजी से और निर्णायक रूप से चुन रहा है (low entropy), तो वह आश्वस्त है।

इन दोनों परीक्षणों को मिलाकर, AI को एक "स्कोर" मिलता है जो उसे बताता है: "हे, तुम वास्तव में तस्वीर को नहीं देख रहे हो, ऐसा दिखावा करना बंद करो!"

4. प्रशिक्षण: "सख्त कोच" (The Strict Coach)

टीम एक सुदृढीकरण शिक्षण (reinforcement learning) पद्धति का उपयोग करती है (जैसे कुत्ते को इनाम और सुधार के साथ प्रशिक्षित करना) ताकि AI को यह नया व्यवहार सिखाया जा सके।

इनाम (Reward): यदि AI उस समय अनिश्चित होने का दावा करता है जब उसे अनिश्चित होना चाहिए, तो उसे इनाम मिलता है।
दंड (Punishment): यदि AI आत्मविश्वास के साथ हैलुसिनेट करता है (उन विवरणों को मनगढ़ंत बनाता है जिन्हें वह देख नहीं सकता), तो कोच भारी दंड देता है।
टोकन-लेवल रीवेटिंग (Token-Level Reweighting): यह एक फैंसी तरीका है यह कहने का कि, "यदि AI किसी विशिष्ट शब्द पर गलती करता है जो छवि देखने पर निर्भर करता है, तो उस विशिष्ट गलती को सामान्य व्याकरण की गलती की तुलना में अधिक कठोरता से दंडित करें।" यह AI को दृष्टि संबंधी विवरणों का अंधाधुंध अनुमान लगाने से रोकता है।

5. परिणाम: एक अधिक ईमानदार AI

VL-Calibration के साथ प्रशिक्षण के बाद:

कम अति-आत्मविश्वास: AI तब "100% आश्वस्त" कहना बंद कर देता है जब वह वास्तव में केवल अनुमान लगा रहा होता है।
बेहतर सटीकता: आश्चर्यजनक रूप से, यह स्वीकार करके कि वह क्या नहीं जानता, AI वास्तव में समस्याओं को सही ढंग से हल करने में बेहतर हो जाता है। यह जंगली अनुमान लगाने में अपनी ऊर्जा बर्बाद करना बंद कर देता है।
सामान्यीकरण (Generalization): यह विभिन्न प्रकार के AI मॉडल और विभिन्न प्रकार की पहेलियों (गणित, तर्क, विज्ञान) पर काम करता है।

सारांश

VL-Calibration एक AI को उसकी आँखों के लिए "विवेक" (conscience) देने जैसा है। केवल एक आत्मविश्वासी वक्ता होने के बजाय, यह सीखने में सक्षम होता है कि, "मैं अपने तर्क में आश्वस्त हूँ, लेकिन मैं निश्चित नहीं हूँ कि मैं क्या देख रहा हूँ।" यह ईमानदारी AI को जटिल दृश्य पहेलियों को सुलझाने में अधिक सुरक्षित, अधिक विश्वसनीय और वास्तव में अधिक स्मार्ट बनाती है।

यहाँ शोध पत्र "VL-Calibration: Decoupled Confidence Calibration for Large Vision-Language Models Reasoning" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

लार्ज विजन-लैंग्वेज मॉडल्स (LVLMs) मल्टीमॉडल रीजनिंग में उत्कृष्ट हैं लेकिन अक्सर हैलुसिनेशन (तथ्यात्मक रूप से गलत सामग्री उत्पन्न करना) और अति-आत्मविश्वास (overconfidence) से ग्रस्त होते हैं। मौजूदा वर्बलाइज्ड कॉन्फिडेंस कैलिब्रेशन विधियाँ, जो मुख्य रूप से केवल टेक्स्ट-आधारित LLMs से अनुकूलित हैं, एक एकल समग्र कॉन्फिडेंस स्कोर पर निर्भर करती हैं जिसे बाइनरी उत्तर की शुद्धता के विरुद्ध अनुकूलित किया जाता है। LVLMs पर लागू होने पर इस दृष्टिकोण में दो मौलिक दोष हैं:

संलयित त्रुटि स्रोत (Conflated Error Sources): एक LVLM में गलत उत्तर या तो अनुभूति की विफलता (छवि को गलत समझना) या तर्क संबंधी त्रुटियों (सही धारणा लेकिन त्रुटिपूर्ण तर्क) के कारण हो सकता है। एक एकल कॉन्फिडेंस स्कोर इन दोनों के बीच अंतर नहीं कर सकता, जिससे सटीक त्रुटि स्थानीयकरण (error localization) बाधित होता है।
भाषा पूर्वाग्रह का प्रभुत्व (Language Prior Dominance): LVLM रीजनिंग अक्सर भाषाई पूर्वाग्रहों (language priors) द्वारा नियंत्रित होती है, जिससे अंतर्निहित दृश्य अनिश्चितता दब जाती है। फलस्वरूप, मॉडल उच्च आत्मविश्वास व्यक्त कर सकता है भले ही उसका विजुअल ग्राउंडिंग कमजोर हो।

2. कार्यप्रणाली: VL-Calibration

लेखक VL-Calibration प्रस्तावित करते हैं, जो एक सुदृढीकरण शिक्षण (Reinforcement Learning - RL) ढांचा है जो स्पष्ट रूप से कॉन्फिडेंस को दो अलग-अलग घटकों में विभाजित करता है: विजुअल कॉन्फिडेंस (Visual Confidence) और रीजनिंग कॉन्फिडेंस (Reasoning Confidence)।

A. डिकपल्ड कॉन्फिडेंस इन्फरेंस (Decoupled Confidence Inference)

एक एकल स्कोर आउटपुट करने के बजाय, मॉडल को संरचित कारणों (rationales) के बाद अलग-अलग कॉन्फिडेंस टोकन उत्पन्न करने के लिए प्रशिक्षित किया जाता है:

विजुअल चरण (Visual Phase): एक विजुअल रेशनल ( $z_{vis}$ ) और एक विजुअल कॉन्फिडेंस स्कोर ( $c_{vis}$ ) उत्पन्न करता है।
रीजनिंग चरण (Reasoning Phase): एक रीजनिंग चेन ( $z_{reas}$ ) और एक रीजनिंग कॉन्फिडेंस स्कोर ( $c_{reas}$ ) उत्पन्न करता है।
समग्र कॉन्फिडेंस (Holistic Confidence): अंतिम कॉन्फिडेंस ( $\Phi$ ) को दोनों स्कोर के हरात्मक माध्य (Harmonic Mean) का उपयोग करके प्राप्त किया जाता है। यह चुनाव रूढ़िवादी है; यदि धारणा या तर्क में से कोई भी अनिश्चित है, तो समग्र कॉन्फिडेंस काफी कम हो जाता है।

B. इंट्रिन्सिक विजुअल सर्टेन्टी एस्टीमेशन (Intrinsic Visual Certainty Estimation - VCE)

एक बड़ी चुनौती प्रशिक्षण के दौरान विजुअल परसेप्शन कॉन्फिडेंस के लिए ग्राउंड-ट्रुथ लेबल की कमी है। इसे हल करने के लिए, लेखक एक सूडो-लेबलिंग तंत्र प्रस्तावित करते हैं जो दो मेट्रिक्स को जोड़कर बाहरी एनोटेशन के बिना विजुअल सर्टेन्टी का अनुमान लगाता है:

विजुअल ग्राउंडिंग (KL-Divergence): यह विजुअल कंटेंट के प्रति मॉडल की संवेदनशीलता को मापता है। मॉडल मूल छवि और एक विचलित (perturbed) छवि (रैंडम पैच मास्किंग के माध्यम से) के लिए विवरण उत्पन्न करता है। आउटपुट डिस्ट्रीब्यूशन के बीच उच्च KL-divergence यह दर्शाता है कि मॉडल विजुअल इनपुट में मजबूती से ग्राउंडेड है।
इंटरनल सर्टेन्टी (Token Entropy): यह मॉडल के जनरेट किए गए टोकन में आंतरिक विश्वास को मापता है। विजुअल डिस्क्रिप्शन में कम एन्ट्रॉपी (Entropy) उच्च निश्चितता का संकेत देती है।

एकीकरण (Integration): इन मेट्रिक्स को एक लॉग-रेशियो फॉर्मूलेशन का उपयोग करके एक विजुअल सर्टेन्टी स्कोर ( $S_{vis}$ ) में जोड़ा जाता है: $S_{vis} = \log(D_{KL}) - \log(H)$ । यह स्कोर विजुअल परसेप्शन की "शुद्धता" के प्रॉक्सी के रूप में कार्य करता है।

C. GRPO के साथ सुदृढीकरण शिक्षण (Reinforcement Learning with GRPO)

यह ढांचा एक मिश्रित रिवॉर्ड फंक्शन के साथ ग्रुप रिलेटिव पॉलिसी ऑप्टिमाइजेशन (GRPO) का उपयोग करता है:

एक्यूरेसी रिवॉर्ड ( $R_{acc}$ ): सही उत्तरों के लिए बाइनरी रिवॉर्ड।
कैलिब्रेशन रिवॉर्ड ( $R_{cal}$ ): समग्र कॉन्फिडेंस और बाइनरी करेक्टनेस के बीच वर्ग अंतर (ब्रियर स्कोर) को दंडित करता है।
विजुअल सर्टेन्टी रिवॉर्ड ( $R_{vis}$ ): वर्बलाइज्ड विजुअल कॉन्फिडेंस ( $c_{vis}$ ) को अनुमानित अंतर्निहित विजुअल सर्टेन्टी ( $S_{vis}$ ) के साथ संरेखित करता है। यह मॉडल को उच्च आत्मविश्वास व्यक्त करने से रोकता है जब विजुअल ग्राउंडिंग कमजोर होती है।

D. टोकन-लेवल एडवांटेज रीवेटिंग (Token-Level Advantage Reweighting - TAR)

मानक RL सभी टोकन के साथ समान व्यवहार करता है। लेखक विजुअल सर्टेन्टी के आधार पर एडवांटेज सिग्नल को गतिशील रूप से पुन: भारित करने के लिए TAR पेश करते हैं:

यदि विजुअल रेशनल का कोई टोकन कम विजुअल सर्टेन्टी (उच्च अनिश्चितता) वाला है और मॉडल त्रुटि करता है, तो दंड को बढ़ा (amplify) दिया जाता है।
यदि मॉडल अच्छी तरह से ग्राउंडेड है (उच्च विजुअल सर्टेन्टी), तो दंड को कम कर दिया जाता है।
यह तंत्र विशेष रूप से "अनग्राउंडेड हैलुसिनेशन" को दबाता है जबकि वैध विजुअल परसेप्शन को सुरक्षित रखता है।

3. प्रमुख योगदान (Key Contributions)

डिकपल्ड कॉन्फिडेंस फ्रेमवर्क: LVLMs में विजुअल परसेप्शन कॉन्फिडेंस को लॉजिकल रीजनिंग कॉन्फिडेंस से स्पष्ट रूप से अलग करने वाला पहला, जो अनिश्चितता के स्रोतों की सटीक पहचान सक्षम करता है।
ग्राउंड-ट्रुथ-फ्री विजुअल सुपरविजन: एक अंतर्निहित विजुअल सर्टेन्टी एस्टीमेशन विधि (KL-divergence और entropy को मिलाकर) प्रस्तावित करता है जो बाहरी धारणा लेबल की आवश्यकता के बिना विजुअल कॉन्फिडेंस के लिए एक विश्वसनीय सूडो-लेबल के रूप में कार्य करता है।
टोकन-लेवल रीवेटिंग: उन स्थितियों में हैलुसिनेशन को अधिक दंडित करने के लिए एक रणनीति पेश करता है जब वे उच्च विजुअल अनिश्चितता के तहत होते हैं।
हरात्मक माध्य एकत्रीकरण (Harmonic Mean Aggregation): यह प्रदर्शित करता है कि डिकपल्ड कॉन्फिडेंस स्कोर को एकत्रित करने के लिए अरिथमेटिक या ज्यामितीय माध्य की तुलना में हरात्मक माध्य बेहतर है, जिससे यह सुनिश्चित होता है कि अंतिम स्कोर रीजनिंग चेन की सबसे कमजोर कड़ी को दर्शाता है।

4. प्रयोगात्मक परिणाम (Experimental Results)

इस पद्धति का मूल्यांकन विभिन्न मॉडल स्केल्स (Qwen3-VL 4B, 8B, 30B, और InternVL3.5) में 13 विविध बेंचमार्क्स (मैथ, लॉजिक और मल्टी-डिसिप्लिन रीजनिंग सहित) पर किया गया।

कैलिब्रेशन में सुधार: VL-Calibration ने एक्सपेक्टेड कैलिब्रेशन एरर (ECE) को काफी कम कर दिया। Qwen3-VL-4B मॉडल के लिए, ECE बेसलाइन के 0.421 से घटकर 0.098 हो गया।
एक्यूरेसी बूस्ट: कई कैलिब्रेशन विधियों के विपरीत जो एक्यूरेसी की कीमत पर कैलिब्रेशन प्रदान करती हैं, VL-Calibration ने सबसे मजबूत बेसलाइन्स (जैसे RLCR) पर 2.3%–3.0% की रीजनिंग एक्यूरेसी में सुधार किया।
सामान्यीकरण (Generalization): विधि ने विभिन्न मॉडल आर्किटेक्चर (Qwen बनाम InternVL) और स्केल्स (4B से 30B) में निरंतर लाभ दिखाया, और MMMU-Pro जैसे आउट-ऑफ-डिस्ट्रीब्यूशन बेंचमार्क्स पर अच्छी तरह से सामान्यीकृत हुआ।
हैलुसिनेशन डिटेक्शन: मॉडल ने "अनजवाब" विजुअल समस्याओं (जहाँ छवि गायब या अपर्याप्त है) पर कॉन्फिडेंस कम करने की बेहतर क्षमता प्रदर्शित की, बेसलाइन्स की तुलना में उत्तर देने योग्य और अनजवाब प्रश्नों के बीच बड़ा कॉन्फिडेंस गैप हासिल किया।

5. महत्व (Significance)

VL-Calibration एक महत्वपूर्ण बाधा को संबोधित करता है जो उच्च-जोखिम वाले डोमेन (जैसे स्वास्थ्य सेवा, कानून) में LVLMs को तैनात करने के लिए घातक हो सकती है जहाँ हैलुसिनेशन में अति-आत्मविश्वास खतरनाक होता है। धारणा को तर्क से अलग करके, यह ढांचा न केवल मॉडल्स को अधिक विश्वसनीय (बेहतर कैलिब्रेटेड) बनाता है, बल्कि उन्हें विजुअल अनिश्चितता को स्वीकार करने के लिए मजबूर करके उनकी रीजनिंग क्षमताओं में भी सुधार करता है। प्रस्तावित अंतर्निहित विजुअल सर्टेन्टी एस्टीमेशन, महंगे सैंपलिंग-आधारित अनिश्चितता अनुमान या बाहरी मानव/LLM एनोटेटर्स के लिए एक स्केलेबल, लागत प्रभावी विकल्प प्रदान करता है।