💻 computer science

One Token, Two Fates: A Unified Framework via Vision Token Manipulation Against MLLMs Hallucination

यह शोध पत्र एक एकीकृत, प्रशिक्षण-मुक्त ढांचे का प्रस्ताव करता है जो विज़ुअल सिमेंटिक्स को मजबूत करने के लिए सिनर्जिस्टिक विज़ुअल कैलिब्रेशन (Synergistic Visual Calibration) के माध्यम से विज़न टोकन का लाभ उठाने और भाषाई पूर्वाग्रहों को सुधारने के लिए कॉज़ल रिप्रेजेंटेशन कैलिब्रेशन (Causal Representation Calibration) का तालमेल बिठाकर MLLM मतिभ्रम (hallucinations) को कम करता है, जिससे न्यूनतम इन्फरेंस ओवरहेड के साथ महत्वपूर्ण सटीकता में सुधार प्राप्त होता है।

मूल लेखक: Zhan Fa, Yue Duan, Jian Zhang, Lei Qi, Yinghuan Shi

प्रकाशित 2026-03-12

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Zhan Fa, Yue Duan, Jian Zhang, Lei Qi, Yinghuan Shi

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास एक बहुत ही बुद्धिमान, लेकिन थोड़ा घमंडी, रोबोटिक सहायक है जिसका नाम MLLM है। यह रोबोट बात करने में माहिर है और दुनिया के बारे में बहुत कुछ जानता है, लेकिन इसकी एक बुरी आदत है: जब आप इसे कोई तस्वीर दिखाते हैं, तो यह अक्सर तस्वीर में वास्तव में क्या है उसे अनदेखा कर देता है और बस वही बातें बना देता है जो उसे लगता है कि वहां होनी चाहिए। इसे हैलुसिनेशन (Hallucination) कहा जाता है।

उदाहरण के लिए, यदि आप इसे बिल्ली की तस्वीर दिखाते हैं, तो यह आत्मविश्वास से कह सकता है, "मुझे एक कुत्ता गेंद के साथ खेलते हुए दिख रहा है," क्योंकि इसके प्रशिक्षण डेटा में, "कुत्ते" और "खेलना" अक्सर एक साथ आते हैं, भले ही तस्वीर स्पष्ट रूप से एक बिल्ली की हो।

पुराना तरीका: दो अलग उपचार जो आपस में नहीं मिल पाए

इस नए शोध पत्र से पहले, वैज्ञानिकों ने इस रोबोट को ठीक करने के दो अलग-अलग तरीके आजमाए थे, जैसे कार को ठीक करने के लिए केवल बाईं ओर के बोल्ट कसना या केवल दाईं ओर पेंट करना:

"ज़ोर से चिल्लाने" वाला दृष्टिकोण: उन्होंने रोबोट को तस्वीर पर अधिक ध्यान देने के लिए मजबूर करने की कोशिश की। लेकिन रोबट अपनी आंतरिक बातचीत (इसके "टेक्स्ट इनर्शिया") का इतना आदी था कि तस्वीर को ज़ोर से दिखाने के बाद भी वह विजुअल संकेतों को अनदेखा करने से नहीं रुका।
"रोबोट को डराने" वाला दृष्टिकोण: उन्होंने रोबोट को एक विकृत, धुंधली तस्वीर दिखाकर उसे बेवकूफ बनाने की कोशिश की ताकि वह सीख सके कि क्या नहीं कहना है। लेकिन यह एक बिल्ली की तस्वीर को आलू जैसा दिखाने जैसा था। रोबोट भ्रमित हो गया, उसने गलत सबक सीखा, और उसने अधिक गलतियाँ करना शुरू कर दिया क्योंकि "नकारात्मक उदाहरण" बहुत शोर भरा और अजीब था।

शोधकर्ताओं ने पाया कि इन दोनों को एक साथ आज़माने से भी काम नहीं बना। यह एक कार को एक हाथ से बाएँ और दूसरे हाथ से दाएँ मोड़कर चलाने की कोशिश करने जैसा था। दोनों संकेत आपस में लड़ रहे थे।

नया विचार: एक टोकन, दो काम

इस शोध पत्र के लेखकों को एहसास हुआ कि समस्या पद्धति (मेथड) नहीं थी, बल्कि यह थी कि वे रोबोट की "आंखों" (विज़न टोकन्स) को दो अलग चीजें मान रहे थे। उन्होंने एक एकीकृत ढांचा प्रस्तावित किया जहाँ रोबोट की "आंखें" एक साथ दो काम करती हैं ताकि देखने और बोलने के बीच संतुलन बनाया जा सके।

विज़न टोकन को अपने रोबोटिक टूलबॉक्स में एक एकल, अत्यंत बहुमुखी उपकरण के रूप में सोचें। यह शोध पत्र इस उपकरण को दो अलग-अलग "भक्तियाँ" या भूमिकाएँ देता है:

भूमिका 1: "सुपर-हेल्पर" (सिनर्जिस्टिक विजुअल कैलिब्रेशन)

समस्या: जैसे-जैसे रोबोट अधिक बातें करता है, वह तस्वीर को भूलने लगता है। विजुअल सिग्नल धुंधला होता जाता है, जैसे रेडियो स्टेशन का सिग्नल दूर जाने पर कम हो जाता है।
समाधान: रोबोट मूल तस्वीर लेता है और उसका एक थोड़ा अलग, "ऑगमेंटेड" संस्करण बनाता है (जैसे उसे पलटना या थोड़ा स्टैटिक जोड़ना)। फिर वह दोनों तस्वीरों की "याददाश्त" को मिला देता है।
उपमा: कल्पना करें कि आप अपने दोस्त का चेहरा याद करने की कोशिश कर रहे हैं। यदि आप केवल एक फोटो देखते हैं, तो आप विवरण भूल सकते हैं। लेकिन यदि आप एक ही दोस्त की दो तस्वीरें देखते हैं जो थोड़े अलग कोणों से ली गई हैं, तो आपकी याददाश्त बहुत तेज़ हो जाती है। रोबट ऐसा ही करता है—वह अपनी विजुअल फोकस को मजबूत रखने के लिए छवि की दो "यादों" को मर्ज करता है, जिससे वह अपनी कल्पना में वापस भटकने से बच जाता है।

भूमिका 2: "सत्य का पता लगाने वाला" (कॉज़ल रिप्रेजेंटेशन कैलिब्रेशन)

समस्या: रोबोट में कुछ खास बातें कहने का गहरा पूर्वाग्रह (बायस) होता है (जैसे "एक कुत्ता") भले ही उसे ऐसा नहीं करना चाहिए।
समाधान: रोबोट को एक अजीब, विकृत तस्वीर दिखाने के बजाय, शोधकर्ताओं ने चित्र के अधिकांश डेटा को हटा दिया, जिससे केवल एक बहुत ही बुनियादी, कंकाल जैसी तस्वीर बची।
उपमा: कल्पना करें कि आप यह पता लगाने की कोशिश कर रहे हैं कि क्या कोई छात्र परीक्षा में नकल कर रहा है।
- पुराना तरीका: आप उन्हें एक टेस्ट देते हैं जिसमें उत्तर क्रेयॉन से लिखे गए हैं। वे भ्रमित हो जाते हैं और फेल हो जाते हैं।
- नया तरीका: आप टेस्ट के 90% प्रश्न हटा देते हैं, और केवल कुछ ही छोड़ते हैं। यदि छात्र अभी भी उन कुछ प्रश्नों के उत्तर "नकल वाले" उत्तरों के साथ देता है, तो आप निश्चित रूप से जानते हैं कि वह अपनी बुरी आदतों पर भरोसा कर रहा है, न कि टेस्ट पर।
- छवि के अधिकांश डेटा को हटाकर (एक "सूचना अंतराल" बनाकर), रोबोट को अपने आंतरिक पूर्वाग्रहों पर निर्भर रहने के लिए मजबूर किया जाता है। शोधकर्ता फिर मापते हैं कि इस स्थिति में रोबोट कहाँ गलत होता है, और उस "गलती" को उसकी सामान्य सोच से घटा देते हैं। यह एक 'नॉइज़-कैंसलिंग हेडफ़ोन' की तरह है जो रोबोट के पूर्वाग्रह की विशिष्ट गूँज को पहचानता है और उसे खत्म कर देता है।

परिणाम: एक संतुलित रोबोट

इस एकल ढांचे का उपयोग करके, रोबोट यह सीखता है:

तस्वीर को अधिक ध्यान से सुनना (सुपर-हेल्पर का उपयोग करके)।
अपनी बुरी आदतों को अनदेखा करना (ट्रुथ डिटेक्टर का उपयोग करके)।

परिणामस्वरूप, रोबोट जो देखता है उसके बारे में झूठ बोलने की संभावना बहुत कम हो जाती है। परीक्षणों में, इस पद्धति ने रोबोट की सटीकता में लगभग 2% का सुधार किया (जो AI की दुनिया में बहुत बड़ा है) और यह सब बहुत तेज़ी से किया, बिना रोबोट को शुरू से फिर से प्रशिक्षित किए।

संक्षेप में: शोध पत्र ने रोबोट की 'हैलुसिनेशन' की समस्या को हल किया है, यह सिखाकर कि उसकी "आंखें" कैसे स्मार्ट तरीके से काम करें, न कि केवल कड़ी मेहनत करें, जिससे एक ही उपकरण से उसकी दृष्टि को भी तेज किया जा सके और उसके आंतरिक शोर को भी शांत किया जा सके।

यहाँ शोध पत्र "One Token, Two Fates: A Unified Framework via Vision Token Manipulation Against MLLMs Hallucination" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

मल्टीमॉडल लार्ज लैंग्वेज मॉडल्स (MLLMs) हैलुसिनेशन (hallucinations) से ग्रस्त होते हैं, जहाँ मॉडल एक ऐसा सुसंगत टेक्स्ट उत्पन्न करता है जो दृश्य साक्ष्यों (visual evidence) के विपरीत होता है। इसका मूल कारण विजुअल और लैंग्वेज सिग्नल्स के बीच एक मौलिक असंतुलन (fundamental imbalance) को माना गया है:

विजुअल फेडिंग (Visual Fading): जैसे-जैसे टेक्स्ट जनरेशन आगे बढ़ता है, विजुअल टोकन्स पर मॉडल का ध्यान (attention) तेजी से कम होता जाता है।
टेक्स्ट इनर्शिया (Text Inertia): मॉडल के मजबूत आंतरिक भाषाई पूर्वाग्रह (linguistic biases) जनरेशन प्रक्रिया पर हावी हो जाते हैं, जिससे विजुअल इनपुट दब जाता है।

मौजूदा समाधानों की सीमाएँ:
वर्तमान 'ट्रेनिंग-फ्री' विधियाँ विसंगत रणनीतियों का उपयोग करती हैं जो सहजता से संयोजित होने पर विफल हो जाती हैं:

विजुअल एन्हांसमेंट (Visual Enhancement): विजुअल अटेंशन को बढ़ाने से अक्सर मजबूत लैंग्वेज प्रायर्स (language priors) के विरुद्ध सफलता नहीं मिलती।
टेक्स्ट सप्रेशन (Text Suppression): पिक्सेल-लेवल मास्किंग के माध्यम से छवियों को विकृत करके नेगेटिव सैंपल्स बनाना "मोडैलिटी-गैप" शोर (noise) पैदा करता है, जिससे सुधार अस्थिर और अविश्वसनीय हो जाता है।
नैइव कॉम्बिनेशन (Naive Combination): केवल एक एन्हांसमेंट विधि और एक सप्रेशन विधि को जोड़ने से प्रदर्शन गिर जाता है क्योंकि वे अलग-अलग स्तरों (अटेंशन बनाम लॉजिट्स) पर कार्य करते हैं और उनमें एक एकीकृत तंत्र का अभाव होता है।

2. कार्यप्रणाली (Methodology)

लेखक एक यूनिफाइड लेटेंट कैलिब्रेशन फ्रेमवर्क (Unified Latent Calibration Framework) प्रस्तावित करते हैं जो पूरी तरह से इंटरमीडिएट रिप्रेजेंटेशन्स (लेटेंट स्पेस) पर काम करता है और विज़न टोकन (vision token) को एन्हांसमेंट और सप्रेशन दोनों के लिए एकल स्रोत के रूप में उपयोग करता है। यह फ्रेमवर्क दो मुख्य मॉड्यूल से बना है:

A. सिनर्जिस्टिक विजुअल कैलिब्रेशन (Synergistic Visual Calibration - SVC)

लक्ष्य: विजुअल रिप्रेजेंटेशन्स को मजबूत करके 'विजुअल फेडिंग' का मुकाबला करना।
तंत्र: सिमेंटिक कॉम्प्लीमेंटैरिटी (Semantic Complementarity) के विचार पर आधारित, यह मॉड्यूल रैंडम फ्लिपिंग, गॉसियन ब्लर और नॉइज़ के माध्यम से एक संवर्धित छवि ( $I_{aug}$ ) बनाता है।
प्रक्रिया:
1. मूल छवि ( $V$ ) और संवर्धित छवि ( $V_{aug}$ ) के विज़न टोकन्स को जोड़कर एक सिनर्जिस्टिक मेमोरी बैंक ( $V_{syn}$ ) बनाया जाता है।
2. एक विशिष्ट मध्य परत ( $L_c$ ) पर, यह मॉड्यूल स्केल्ड डॉट-प्रोडक्ट अटेंशन का उपयोग करके इस समृद्ध संदर्भ (context) को हिडन स्टेट्स में इंजेक्ट करता है।
3. मूल हिडन स्टेट को नए विजुअल कॉन्टेक्स्ट के साथ इंटरपोलेट किया जाता है ताकि मॉडल को समृद्ध विजुअल विवरणों के साथ पुनः जोड़ा जा सके।

B. कॉज़ल रिप्रेजेंटेशन कैलिब्रेशन (Causal Representation Calibration - CRC)

लक्ष्य: हिडन स्टेट्स और आंतरिक पूर्वाग्रहों को शुद्ध करके 'टेक्स्ट इनर्शिया' को दबाना।
तंत्र: इन्फॉर्मेशन-गैप प्रिंसिपल (Information-Gap Principle) पर आधारित, यह मॉड्यूल पिक्सेल-लेवल डिस्टॉर्शन से बचता है। इसके बजाय, यह विज़न टोकन्स को प्रून (pruning/छंटनी) करके (अधिकांश टोकन्स हटाकर, केवल $N_h=5$ रखकर) "लेटेंट-स्पेस नेगेटिव सैंपल्स" बनाता है।
प्रक्रिया:
1. प्रोब जनरेशन (Probe Generation): मॉडल मूल टोकन्स और प्रून किए गए टोकन्स के साथ समानांतर फॉरवर्ड पासेस चलाता है।
2. बायस आइसोलेशन (Bias Isolation): मूल हिडन स्टेट ( $H_{org}$ ) और प्रून किए गए हिडन स्टेट ( $H_{neg}$ ) के बीच अंतर की गणना की जाती है। यह डिफरेंस वेक्टर ( $\Delta H$ ) इन्फॉर्मेशन-गैप के कारण खोए हुए शुद्ध विजुअल सिग्नल को अलग करता है, जो प्रभावी रूप से भाषा पूर्वाग्रह के कारण होने वाले "हैलुसिनेशन डायरेक्शन" को कैप्चर करता है।
3. कैलिब्रेशन (Calibration): इस औसत डिफरेंस वेक्टर ( $v_{crc}$ ) को उथली परतों ( $1 \dots L_c$ ) में वर्तमान हिडन स्टेट्स से घटाया जाता है ताकि रिप्रेजेंटेशन को हैलुसिनेशन की दिशा से दूर और विजुअल सत्य की ओर धकेला जा सके।

3. प्रमुख योगदान (Key Contributions)

समस्या का पुनर्गठन: यह शोध पत्र हैलुसिनेशन शमन (mitigation) को एक विज़न-लैंग्वेज बैलेंस समस्या के रूप में पुनर्गठित करता है, और प्रदर्शित करता है कि अलग-अलग दृष्टिकोण अपर्याप्त हैं और उनका सहज संयोजन विफल रहता है।
एकीकृत फ्रेमवर्क: यह पहला ट्रेनिंग-फ्री फ्रेमवर्क प्रस्तावित करता है जो विज़न टोकन्स की दोहरी क्षमता का लाभ उठाकर, पूरी तरह से इंटरमीडिएट रिप्रेजेंटेशन्स पर कार्य करते हुए एन्हांसमेंट और सप्रेशन को सामंजस्यपूर्ण बनाता है।
नवीन मॉड्यूल:
- SVC: सिनर्जिस्टिक विजुअल ग्राउंडिंग के लिए संवर्धित टोकन्स का उपयोग करता है।
- CRC: सटीक बायस सुधार के लिए इन-डिस्ट्रीब्यूशन नेगेटिव सैंपल्स बनाने हेतु प्रून किए गए टोकन्स (इन्फॉर्मेशन-गैप) का उपयोग करता है, जो पारंपरिक पिक्सेल-लेवल मास्किंग की तुलना में बेहतर है।
दक्षता (Efficiency): यह फ्रेमवर्क न्यूनतम कंप्यूटेशनल ओवरहेड के साथ स्टेट-ऑफ-द-आर्ट प्रदर्शन प्राप्त करता है।

4. प्रयोगात्मक परिणाम (Experimental Results)

इस फ्रेमवर्क का मूल्यांकन चार MLLM आर्किटेक्चर (LLaVA-1.5, Shikra, MiniGPT-4, InstructBLIP) पर कई बेंचमार्क के माध्यम से किया गया:

ऑब्जेक्ट हैलुसिनेशन (POPE):
- LLaVA-1.5 के चुनौतीपूर्ण GQA स्प्लिट पर वैनिला मॉडल की तुलना में सटीकता में औसतन 2% एब्सोल्यूट सुधार प्राप्त किया।
- रैंडम, पॉपुलर और एडवर्सरियल स्प्लिट्स में मजबूत बेसलाइन्स (VCD, PAI, VISTA, ONLY) को लगातार पछाड़ दिया।
ओपन-एंडेड जनरेशन (CHAIR):
- सर्वश्रेष्ठ CHAIRI (इंस्टेंस-लेवल) और CHAIRS (सेंटेंस-लेवल) स्कोर प्राप्त किए, जिससे कैप्शनिंग में अनग्राउंड ऑब्जेक्ट जनरेशन में काफी कमी आई।
सामान्य क्षमताएं (MME और MMHal-Bench):
- MME बेंचमार्क पर परसेप्शन (Perception) और कॉग्निशन (Cognition) दोनों स्कोर में सुधार किया, जो यह सिद्ध करता है कि हैलुसिनेशन कम करने से सामान्य रीजनिंग की कीमत पर समझौता नहीं होता है।
- सभी 8 श्रेणियों में MMHal-Bench के बेसलाइन्स को पीछे छोड़ा।
दक्षता (Efficiency):
- लेटेंसी (Latency): ग्रीडी डिकोडिंग की तुलना में केवल 1.06x ओवरहेड (VCD के 2.4x और VISTA के 1.1x की तुलना में काफी तेज़)।
- मेमोरी: प्रतिस्पर्धी विधियों की तुलना में कम पीक GPU मेमोरी उपयोग।

5. महत्व (Significance)

यह कार्य महत्वपूर्ण है क्योंकि यह अलग-अलग सुधारों को जोड़ने वाले "पैचवर्क" दृष्टिकोण से आगे बढ़ता है। विज़न टोकन को केंद्रीय धुरी (pivot) के रूप में पहचानकर, यह एक सिद्धांत-आधारित, एकीकृत प्रणाली बनाता है जो विजुअल ग्राउंडिंग को मजबूत करने और भाषाई पूर्वाग्रह को शुद्ध करने का कार्य एक साथ करता है। बायस सुधार के लिए लेटेंट-स्पेस टोकन प्रूनिंग का उपयोग एक प्रमुख सैद्धांतिक और व्यावहारिक प्रगति है, जो पारंपरिक इमेज डिस्टॉर्शन विधियों की तुलना में अधिक स्पष्ट सिग्नल प्रदान करता है। परिणाम एक अत्यधिक कुशल, ट्रेनिंग-फ्री समाधान है जो विश्वसनीय MLLM परिनियोजन (deployment) के लिए एक नया स्टेट-ऑफ-द-आर्ट स्थापित करता है।