💬 NLP

Revisit What You See: Revealing Visual Semantics in Vision Tokens to Guide LVLM Decoding

यह शोध पत्र ReVisiT को प्रस्तुत करता है, जो एक प्रशिक्षण-मुक्त (training-free) डिकोडिंग विधि है जो विज़न टोकन से प्रासंगिक दृश्य अर्थों (visual semantics) को टेक्स्ट जनरेशन प्रक्रिया में गतिशील रूप से प्रोजेक्ट करके लार्ज विजन लैंग्वेज मॉडल्स में मतिभ्रम (hallucinations) को कम करती है, और कम कम्प्यूटेशनल लागत के साथ बेहतर प्रदर्शन प्राप्त करती है।

मूल लेखक: Beomsik Cho, Jaehyung Kim

प्रकाशित 2026-05-14

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Beomsik Cho, Jaehyung Kim

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ "ReVisiT: Revealing Visual Semantics in Vision Tokens to Guide LVLM Decoding" पेपर का सरल भाषा और रचनात्मक उपमाओं (analogies) का उपयोग करते हुए विवरण दिया गया है।

बड़ी समस्या: "दिन में सपने देखने वाला" कलाकार

कल्प Imagine कीजिए कि आपने एक शानदार कलाकार (एक Large Vision-Language Model, या LVLM) को काम पर रखा है ताकि वह आपके द्वारा दिखाई गई फोटो का वर्णन कर सके। आप उसे एक मेज पर रखे लाल सेब (red apple) की तस्वीर दिखाते हैं।

आदर्श रूप से, कलाकार फोटो को देखता है और कहता है, "यह एक लाल सेब है।"
लेकिन कभी-कभी, कलाकार अपने ही आंतरिक विचारों में भटक जाता है। वह कह सकता है, "यह एक लाल सेब है... और साथ ही एक केला (banana) और एक पिज्जा (pizza) भी है," भले ही वे चीजें फोटो में न हों। इसे हैलुसिनेशन (hallucination) कहा जाता है।

पेपर यह सवाल पूछता है: ऐसा क्यों होता है?
शोधकर्ताओं ने पाया कि कलाकार वास्तव में अपनी "मानसिक आँखों" (विजुअल डेटा) में सेब को सही ढंग से देख रहा है, लेकिन जब वह बोलना शुरू करता है, तो वह अपनी शब्दावली के शोर से भ्रमित हो जाता है। वह सच जानता है, लेकिन वह उसे बोलने में विफल रहता है क्योंकि उसका ध्यान इस बात पर बहुत अधिक होता है कि कौन से शब्द आमतौर पर एक साथ आते हैं (जैसे कि "सेब" और "पाई"), बजाय इसके कि वास्तव में फोटो में क्या है।

खोज: "छिपे हुए नोट्स"

टीम ने बारीकी से देखा कि ये AI मॉडल कैसे काम करते हैं। उन्होंने पाया कि मॉडल इमेज को छोटे-छोटे टुकड़ों में तोड़ देता है जिन्हें विजन टोकन (vision tokens) कहा जाता है। इन टोकन्स को इमेज के अलग-अलग हिस्सों से जुड़े छोटे स्टिकी नोट्स (sticky notes) के रूप में समझें।

स्टिकी नोट्स स्मार्ट हैं: भले ही AI गलती करता है (केले का हैल्यूसिनेशन करता है), इमेज पर लगे स्टिकी नोट्स में सेब के बारे में सही जानकारी अभी भी मौजूद होती है। विजुअल सत्य वहीं है, बस दबा हुआ है।
अनुवाद की समस्या: जब AI इन स्टिकी नोट्स को शब्दों में बदलने की कोशिश करता है, तो यह गड़बड़ हो जाता है। यदि आप AI से पूछें, "यह स्टिकी नोट किस शब्द का प्रतिनिधित्व करता है?" बिना किसी नियम के, वह "आकाश," "नीला," या "टेक्सचर" जैसा कुछ भी अनुमान लगा सकता है। यह बहुत अस्पष्ट है।
मैजिक फिल्टर: शोधकर्ताओं ने पाया कि यदि आप प्रश्न पर एक फिल्टर लगा दें—AI से केवल एक विशिष्ट प्रासंगिक शब्दों की सूची में से चुनने के लिए कहें (जैसे कि "सेब," "फल," "लाल")—तो स्टिकी नोट्स अचानक बहुत स्पष्ट हो जाते हैं। AI अंततः कह सकता है, "आह! यह नोट निश्चित रूप से 'सेब' का अर्थ है!"

समाधान: ReVisiT (Referencing Vision Tokens)

इस आधार पर, लेखकों ने ReVisiT नामक एक नई विधि बनाई है। यह कलाकार को बोलते समय एक "चीट शीट" (cheat sheet) देने जैसा है, लेकिन बिना कलाकार को फिर से प्रशिक्षित किए या नया कलाकार नियुक्त किए।

ReVisiT इस प्रकार काम करता है, स्टेप-दर-स्टेप:

कॉन्टेक्स्ट चेक (Context Check): जैसे ही AI एक वाक्य लिखना शुरू करता है, ReVisiT देखता है कि AI वर्तमान में क्या सोच रहा है।
फिल्टर: यह उस कॉन्टेक्स्ट के आधार पर शब्दों की एक छोटी, प्रासंगिक सूची बनाता है (उदाहरण के लिए, यदि वाक्य रसोई के बारे में है, तो सूची में "कप," "चम्मच," "सेब" शामिल होगा, लेकिन "हवाई जहाज" नहीं)।
मैच-अप: ReVisiT इमेज के सभी "स्टिकी नोट्स" (विजन टोकन्स) को देखता है और पूछता है: "इनमें से कौन सा नोट हमारी वर्तमान शब्दों की सूची से सबसे अच्छा मेल खाता है?" यह सबसे अच्छा मैच चुनता है।
नज (The Nudge): यह उस विजेता स्टिकी नोट को लेता है और AI के अगले शब्द के चुनाव को उसकी ओर धीरे से धकेलता है। यह फुसफुसाने जैसा है, "हे, उस नोट को याद करो? वह 'सेब' कहता है, 'केला' नहीं।"

यह क्यों शानदार है

कोई ट्रेनिंग आवश्यक नहीं: आपको AI को कुछ भी नया सिखाने की आवश्यकता नहीं है। आप बस उसके बोलने के तरीके को बदलते हैं।
सुपर फास्ट: क्योंकि यह केवल एक त्वरित गणितीय जांच और एक "नज" (धक्का) है, यह AI को धीमा नहीं करता है। वास्तव में, यह बोलने के मानक तरीके जितना ही तेज़ है।
हर जगह काम करता है: उन्होंने कई अलग-अलग AI मॉडल्स (छोटे से लेकर बहुत बड़े तक) और कई अलग-अलग कार्यों (इमेज का वर्णन करना, प्रश्नों के उत्तर देना, वस्तुओं को पहचानना) पर इसका परीक्षण किया। इसने लगातार "दिन में सपने देखने" (हैलुसिनेशन) को कम किया और विवरणों को अधिक सटीक बनाया।

उपमा: लाइब्रेरियन और किताब

कल्पना कीजिए कि AI एक परीक्षा दे रहा छात्र है।

विजन टोकन्स (Vision Tokens) वे पाठ्यपुस्तकें (textbooks) हैं जो छात्र की मेज पर खुली हुई हैं। छात्र के पास किताबों में सही उत्तर मौजूद हैं।
हैलुसिनेशन (Hallucination) तब होता है जब छात्र किताबों को अनदेखा करते हुए या गलत पेज खोलकर अपनी याददाश्त से उत्तर का अनुमान लगाने की कोशिश करता है।
ReVisiT एक लाइब्रेरियन है जो पास आता है, प्रश्न को देखता है, पाठ्यपुस्तक के ठीक उसी पेज की ओर इशारा करता है जिसमें उत्तर है, और कहता है, "इस भाग को पढ़ें।" छात्र फिर अनुमान लगाने के बजाय किताब से सही उत्तर पढ़ता है।

सारांश

यह पेपर साबित करता है कि AI मॉडल पहले से ही अपने विजुअल डेटा के भीतर सत्य को "देखते" हैं, लेकिन वे अक्सर बोलने में विफल रहते हैं क्योंकि वे अपने स्वयं के शब्द जुड़ाव (word associations) में खो जाते हैं। ReVisiT एक सरल, मुफ्त टूल है जो एक सेतु (bridge) के रूप में कार्य करता है, जो मॉडल को अपने विजुअल नोट्स को देखने और उनका उपयोग करके अपने भाषण को सुधारने के लिए मजबूर करता है, जिसके परिणामस्वरूप कम झूठ और अधिक सटीक विवरण मिलते हैं।

तकनीकी सारांश: ReVisiT – विजन टोकन्स में दृश्य अर्थविज्ञान को उजागर करना ताकि LVLM डिकोडिंग को निर्देशित किया जा सके

समस्या विवरण

लार्ज विजन-लैंग्वेज मॉडल्स (LVLMs) भाषाई समझ के साथ दृश्य धारणा को एकीकृत करते हैं, लेकिन वे अक्सर 'ऑब्जेक्ट हैलुसिनेशन' (वस्तु मतिभ्रम) से ग्रस्त होते हैं, जहाँ मॉडल इनपुट छवि में मौजूद न होने वाली वस्तुओं का वर्णन करने वाले टेक्स्ट उत्पन्न करता है। हालाँकि दृश्य जानकारी मॉडल के हिडन स्टेट्स के भीतर "विजन टोकन्स" में एनकोड होती है, लेकिन यह तंत्र कि कैसे ये टोकन्स डिकोडिंग प्रक्रिया को प्रभावित करते हैं, अभी भी कम खोजा गया विषय है। मौजूदा दृष्टिकोण अक्सर विजन टोकन्स को स्थिर सहायक संदर्भों के रूप में मानते हैं या हैलुसिनेशन को कम करने के लिए जटिल प्रशिक्षण पाइपलाइनों और मल्टी-पास इन्फरेंस पर निर्भर करते हैं। संबोधित की जाने वाली केंद्रीय समस्या यह है कि बिना किसी आर्किटेक्चरल संशोधन या अतिरिक्त प्रशिक्षण के, डिकोडिंग प्रक्रिया के दौरान विजन टोकन्स के भीतर निहित अर्थपूर्ण जानकारी का प्रभावी ढंग से उपयोग कैसे किया जाए।

कार्यप्रणाली: ReVisiT

लेखक ReVisiT (रेफरेंसिंग विजन टोकन्स) का प्रस्ताव करते हैं, जो एक ट्रेनिंग-फ्री, मॉडल-एग्नोस्टिक डिकोडिंग रणनीति है जिसे सबसे प्रासंगिक विजन टोकन्स को गतिशील रूप से संदर्भित करके टेक्स्ट जनरेशन को निर्देशित करने के लिए डिज़ाइन किया गया है। यह विधि प्रत्येक डिकोडिंग टाइमस्टेप $t$ पर तीन प्राथमिक चरणों में कार्य करती है:

कॉन्टेक्स्ट-अवेयर वोकैबुलरी सबसेट कंस्ट्रक्शन (संदर्भ-जागरूक शब्दावली उपसमूह निर्माण):
पूरे वोकैबुलरी पर कार्य करने के बजाय, ReVisiT डायनामिक रूप से वोकैबुलरी स्पेस को एक सबसेट $V_t^{cons}$ तक सीमित कर देता है। यह उपसमूह LVLM के वैनिला आउटपुट डिस्ट्रीब्यूशन $p_\theta$ के आधार पर अनुकूल रूप से परिभाषित किया जाता है, जिसमें उन टोकन्स को रखा जाता है जिनकी प्रोबेबिलिटी थ्रेशोल्ड $\alpha \cdot \max(p_\theta)$ से ऊपर है। यह बाधा अर्थ संबंधी भटकाव को कम करती है और डिकोडिंग को संभावित उम्मीदवारों पर केंद्रित करती है।
कन्स्ट्रेंड डाइवर्जेंस के माध्यम से विजन टोकन चयन:
यह विधि उम्मीदवार डिकोडर लेयर्स $j$ से विजन टोकन्स के हिडन स्टेट्स ( $h_i^j$ ) को कंस्ट्रेंड वोकैबुलरी सबसेट $V_t^{cons}$ पर प्रोजेक्ट करती है। इसके बाद, यह वैनिला आउटपुट डिस्ट्रीब्यूशन और प्रत्येक प्रोजेक्टेड विजन टोकन डिस्ट्रीब्यूशन के बीच जेन्सन-शैनन डाइवर्जेंस (JSD) की गणना करती है। न्यूनतम JSD वाले विजन टोकन $(i^*, j^*)$ को सबसे संदर्भ-प्रासंगिक संदर्भ सिग्नल के रूप में चुना जाता है।

अनुकूलन (Optimization): दक्षता सुनिश्चित करने के लिए, डिकोडिंग से पहले पूरे वोकैबुलरी पर विजन टोकन प्रोजेक्शन को एक बार प्री-कंप्यूट किया जाता है। डिकोडिंग के दौरान, इन कैश किए गए प्रोजेक्शन को डायनामिक सबसेट $V_t^{cons}$ में फिट होने के लिए स्लाइस और मास्क किया जाता है, जिससे अतिरिक्त फॉरवर्ड पास से बचा जा सके।

लॉगिट रिफाइनमेंट (लॉगिट शोधन):
वैनिला आउटपुट डिस्ट्रीब्यूशन को चुने गए विजन टोकन के साथ फ्यूज करके रिफाइन किया जाता है। यह लॉग-स्पेस एडिशन के माध्यम से किया जाता है (जो प्रोबेबिलिटी स्पेस में प्रोडक्ट-ऑफ-एक्सपर्ट्स संयोजन के समान है):
$l_{ReVisiT}(y_t) = \log p_\theta(y_t | h_{T+t-1}^L, V_t^{cons}) + \log p_\theta(y_t | h_{i^*}^{j^*}, V_t^{cons})$
अंतिम डिस्ट्रीब्यूशन को कंस्ट्रेंड सबसेट पर नॉर्मलाइज किया जाता है, और अगले टोकन को इस रिफाइंड डिस्ट्रीब्यूशन से सैंपल किया जाता है।

मुख्य योगदान

विजन टोकन्स के बारे में अनुभवजन्य अंतर्दृष्टि:
पेपर प्रमाण देता है कि विजन टोकन्स स्वाभाविक रूप से व्याख्या योग्य ऑब्जेक्ट-लेवल सिमेंटिक्स (वस्तु-स्तरीय अर्थ) को एनकोड करते हैं। लेखक प्रदर्शित करते हैं कि जबकि ये सिग्नल अनकन्स्ट्रेंड डिकोडिंग (जहाँ ग्राउंड-ट्रुथ ऑब्जेक्ट्स की उच्च संभावना होने के बावजूद हैलुसिनेटेड ऑब्जेक्ट्स चुने जा सकते हैं) के तहत अक्सर लेटेंट रहते हैं, वे अर्थपूर्ण रूप से सुसंगत वोकैबुलरी सबसेट्स पर प्रोजेक्ट होने पर स्पष्ट और बेहतर संरेखित हो जाते हैं।
ReVisiT एल्गोरिदम:
एक सरल, ट्रेनिंग-फ्री डिकोडिंग पद्धति का परिचय जो कॉन्टेक्स्ट-अवेयर कन्स्ट्रेंड डाइवर्जेंस का उपयोग करके विजन टोकन्स को चुनने और संदर्भित करने का काम करती है। यह दृष्टिकोण बिना किसी बाहरी मॉड्यूल, आर्किटेक्चरल बदलाव या मल्टी-पास इन्फरेंस के, विजुअल सिमेंटिक्स को बेहतर ढंग से शामिल करने के लिए टोकन-लेवल लॉजिट्स को रिफाइन करता है।
व्यापक सत्यापन:
इस विधि को तीन अलग-अलग आर्किटेक्चर (LLaVA-1.5, Qwen2.5-VL, और InternVL) के फैलाव वाले छह मॉडल आकारों (7B से 32B पैरामीटर्स तक) में सत्यापित किया गया है। मूल्यांकन पांच बेंचमार्क को कवर करता है, जिसमें हैलुसिनेशन-विशिष्ट डेटासेट्स (HallusionBench, CHAIR, POPE) और सामान्य-उद्देश्य वाले कार्य (VQAv2, MMMU) शामिल हैं।

प्रयोगात्मक परिणाम

हैलुसिनेशन में कमी: ReVisiT सभी परीक्षणित आर्किटेक्चर में हैलुसिनेशन को लगातार कम करता है। CHAIR बेंचमार्क पर, यह ऑब्जेक्ट कवरेज को बनाए रखते हुए या सुधारते हुए, स्टेट-ऑफ-द-आर्ट बेसलाइन्स (जैसे DoLa, VCD, M3ID) की तुलना में प्रतिस्पर्धी या बेहतर F1 स्कोर प्राप्त करता है। HallusionBench पर, यह कई मॉडलों के लिए पांच में से चार मेट्रिक्स पर सर्वश्रेष्ठ स्कोर प्राप्त करता है।
सामान्यीकरण (Generalization): विधि डिस्क्रिमिनेटिव कार्यों (POPE, VQAv2) और नॉलेज-इंटेंसिव रीजनिंग (MMMU) पर मजबूती प्रदर्शित करती है, जो यह संकेत देता है कि ReVisiT द्वारा उभारे गए विजुअल ग्राउंडिंग सिग्नल विभिन्न कार्य प्रकारों में सामान्यीकृत होते हैं।
दक्षता: अतिरिक्त फॉरवर्ड पास (जैसे VCD, CODE) या इंटरमीडिएट लेयर प्रोजेक्शन (DoLa) की आवश्यकता वाले बेसलाइन तरीकों के विपरीत, ReVisiT इन्फरेंस लेटेंसी को केवल 0.6% से 2.0% तक बढ़ाता है। यह मल्टी-पास बेसलाइन्स की तुलना में 2 $\times$ तक कंप्यूटेशनल लागत में कमी लाता है।

महत्व और दावे

पेपर दावा करता है कि ReVisiT यह प्रदर्शित करता है कि विजन टोकन्स स्वाभाविक रूप से व्याख्या योग्य अर्थों को एनकोड करते हैं जिन्हें अर्थपूर्ण बाधाओं (constraints) के माध्यम से अनलॉक किया जा सकता है। इन अर्थों को भाषा के स्थान (language space) में स्पष्ट रूप से उजागर करके, यह विधि जनरेशन के लिए एक व्याख्या योग्य मार्गदर्शन सिग्नल प्रदान करती है।

लेखक ReVisiT को एक स्केलेबल और व्यापक रूप से लागू होने योग्य समाधान के रूप में प्रस्तुत करते हैं जो मौजूदा इंट्रा-अलाइनमेंट या पोस्ट-अलाइनमेंट विधियों के कंप्यूटेशनल ओवरहेड के बिना विजुअल ग्राउंडिंग में सुधार करता है। वे इस बात पर जोर देते हैं कि विविध मॉडल आकार और आर्किटेक्चर में इसकी प्रभावशीलता यह सुझाव देती है कि प्रस्तावित कॉन्टेक्स्ट-अवेयर कन्स्ट्रेंड डाइवर्जेंस एक मौलिक डिकोडिंग सिग्नल को कैप्चर करता है, न कि केवल एक बेंचमार्क-विशिष्ट ह्यूरिस्टिक को।

स्वीकृत सीमाएँ:
लेखक नोट करते हैं कि ReVisiT मॉडल के आंतरिक विजन टोकन्स के भीतर एनकोडेड सिमेंटिक्स पर बहुत अधिक निर्भर करता है, जिससे स्पष्ट सहज ज्ञान (implicit commonsense reasoning) की कीमत पर धारणा-आधारित तत्वों पर अत्यधिक जोर दिया जा सकता है। इसके अलावा, एक डिकोडिंग-टाइम विधि के रूप में, यह उन तथ्यात्मक त्रुटियों को ठीक नहीं कर सकता जो प्रीट्रेनिंग डेटा से उत्पन्न होती हैं यदि विजुअल साक्ष्य अपर्याप्त हैं, और न ही इसमें बाहरी ज्ञान प्राप्ति (external knowledge retrieval) शामिल है, हालांकि यह रिट्रीवल-ऑगमेंटेड जनरेशन (RAG) पाइपलाइनों के साथ संगत है। मूल्यांकन वर्तमान में 7–32B पैरामीटर रेंज के ओपन-सोर्स मॉडल्स तक सीमित है।