🤖 AI

Hallucination-aware intermediate representation edit in large vision-language models

यह शोध पत्र HIRE का प्रस्ताव करता है, जो एक गणनात्मक रूप से कुशल ढांचा है जो स्टेट-ऑफ-द-आर्ट मतिभ्रम न्यूनीकरण (hallucination mitigation) प्राप्त करने के लिए लार्ज विजन-लैंग्वेज मॉडल्स में मतिभ्रम-प्रवण मध्यवर्ती निरूपणों (intermediate representations) को गतिशील रूप से पहचानता और संपादित करता है, बिना रिट्रेनिंग की उच्च संसाधन लागत या कंट्रास्टिव डिकोडिंग के दोहरे इन्फरेंस ओवरहेड के।

मूल लेखक: Wei Suo, Hanzu Zhang, Lijun Zhang, Ji Ma, Peng Wang, Yanning Zhang

प्रकाशित 2026-04-01

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Wei Suo, Hanzu Zhang, Lijun Zhang, Ji Ma, Peng Wang, Yanning Zhang

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपका एक बहुत ही बुद्धिमान, कलात्मक मित्र है जिसे चित्रों का वर्णन करना पसंद है। इस मित्र ने लाखों किताबें पढ़ी हैं और अरबों तस्वीरें देखी हैं, इसलिए वह दुनिया को बहुत अच्छी तरह जानता है। हालाँकि, उसकी एक अजीब आदत है: कभी-कभी, जब वह किसी फोटो को देखता है, तो वह इतना उत्साहित या आत्मविश्वासी हो जाता है कि वह "चीजें बनाना" शुरू कर देता है।

यदि आप उसे एक कुत्ते के सैंडविच खाते हुए चित्र दिखाते हैं, तो वह कह सकता है, "मैं एक कुत्ते को सैंडविच खाते हुए देख रहा हूँ, और उसके ऊपर एक छोटा सा ड्रैगन भी उड़ रहा है।" कुत्ता और सैंडविच असली हैं, लेकिन ड्रैगन एक मतिभ्रम (hallucination) है—एक आत्मविश्वास से बोला गया झूठ।

यही लार्ज विजन-लैंग्वेज मॉडल्स (LVLMs) की समस्या है। वे छवियों को समझने और उनके बारे में बात करने में अद्भुत हैं, लेकिन वे अक्सर "मतिभ्रम" (hallucinate) का शिकार होते हैं, यानी ऐसी वस्तुओं या विवरणों का आविष्कार करते हैं जो वास्तव में वहां नहीं हैं।

आपके द्वारा साझा किया गया पेपर एक नया समाधान पेश करता है जिसे HIRE (Hallucination-aware Intermediate Representation Edit) कहा जाता है। यह कैसे काम करता है, इसे सरल उपमाओं के साथ समझाया गया है:

पुराने समाधानों के साथ समस्या

HIRE से पहले, वैज्ञानिकों ने इस "झूठ बोलने वाले" मित्र को ठीक करने के दो मुख्य तरीके आजमाए थे:

"रिट्रेनिंग" (पुनः प्रशिक्षण) विधि: यह आपके मित्र को एक पूरे नए सेमेस्टर के लिए वापस स्कूल भेजने जैसा है। आप उन्हें "क्या वास्तविक है" बनाम "क्या नकली है" के हजारों उदाहरण दिखाते हैं।
- नुकसान: यह अविश्वसनीय रूप से महंगा है, इसमें बहुत समय लगता है, और इसके लिए भारी मात्रा में ऊर्जा (कंप्यूटिंग पावर) की आवश्यकता होती है। यह मित्र के दिमाग को केवल ड्रैगन का उल्लेख करने से रोकने के लिए उसके पूरे मस्तिष्क को फिर से बनाने जैसा है।
"डबल-चेक" (दोबारा जांचने) की विधि (कॉन्ट्रास्टिव डिकोडिंग): यह आपके मित्र को एक ही चित्र का दो बार वर्णन करने के लिए कहने जैसा है। पहले, वे चित्र का सामान्य रूप से वर्णन करते हैं। फिर, आप उनसे उसी चित्र के "अजीब, धुंधले संस्करण" का वर्णन करने के लिए कहते हैं। आप दोनों उत्तरों की तुलना करते हैं कि क्या बदला और झूठ को हटा देते हैं।
- नुकसान: यह धीमा है। आपको हर एक उत्तर के लिए सवाल दो बार पूछना पड़ता है, जिससे लगने वाला समय दोगुना हो जाता है। साथ ही, यह थोड़ा अनाड़ी है; यह गलती से अच्छे विवरणों को भी हटा सकता है।

HIRE समाधान: "आंतरिक संपादक" (The Internal Editor)

HIRE एक पूरी तरह से अलग दृष्टिकोण अपनाता है। यह मित्र को दोबारा प्रशिक्षित करने या उसे दो बार जांच करने के लिए कहने के बजाय, एक स्मार्ट संपादक (editor) की तरह काम करता है जो मित्र के सोचने के दौरान उसके मस्तिष्क के ठीक बगल में बैठा होता है।

यहाँ चरण-दर-चरण प्रक्रिया दी गई है:

1. "सत्य का पता लगाने वाला" (द राउटर - The Router)

कल्पना कीजिए कि आपके मित्र का मस्तिष्क कई असेंबली लाइनों (परतों) वाला एक कारखाना है। HIRE के पास एक छोटा, सुपर-फास्ट मैनेजर है जिसे राउटर कहा जाता है।

यह क्या करता है: जैसे ही आपका मित्र चित्र के बारे में सोचना शुरू करता है, राउटर पहले विचार पर एक नज़र डालता है। वह पूछता है, "क्या यह विशिष्ट विचार झूठ होने की संभावना रखता है?"
उपमा: यह एक क्लब के दरवाजे पर खड़े सुरक्षा गार्ड की तरह है। यदि अतिथि (विचार) संदिग्ध दिखता है, तो गार्ड उसे फ्लैग कर देता है। यदि अतिथि निर्दोष दिखता है (जैसे कि शब्द "the" या "is"), तो गार्ड बिना परेशान किए उसे जाने देता है। इससे बहुत समय बचता है क्योंकि संपादक को हर एक शब्द की जांच करने की आवश्यकता नहीं होती है।

2. "ब्रेन सर्जन" (द एडिटर - The Editor)

यदि राउटर किसी विचार को संभावित मतिभ्रम के रूप में फ्लैग करता है, तो एडिटर हस्तक्षेप करता है।

यह क्या करता है: एडिटर उस विचार को मिटाता नहीं है। इसके बजाय, वह धीरे से उस विचार को एक अलग दिशा में धकेलता है।
उपमा: कल्पना कीजिए कि आपका मित्र सोच रहा है, "मैं एक ड्रैगन देख रहा हूँ।" एडिटर यह नहीं कहता "रुको!" बल्कि वह सूक्ष्म रूप से उस विचार वेक्टर (विचार का गणितीय प्रतिनिधित्व) को "वास्तविक" पक्ष की ओर धकेलता है। यह एक GPS की तरह है जो कार को फिर से रूट करता है। खाई में गिरने (मतिभ्रम) के बजाय, GPS कार को धीरे से मुख्य सड़क पर वापस ले आता है (वास्तविकता)।
जादू: एडिटर जानता है कि "सिमेंटिक अर्थ" (वास्तविक कहानी) और "मतिभ्रम" (झूठ) के बीच क्या अंतर है। यह कुत्ते और सैंडविच की कहानी को बनाए रखता है लेकिन ड्रैगन को हटा देता है।

3. "वॉल्यूम नॉब" (द रेगुलेटर - The Regulator)

HIRE की एक सबसे शानदार विशेषता यह है कि आप नियंत्रित कर सकते हैं कि आप कितनी सच्चाई चाहते हैं।

उपमा: कल्पना कीजिए कि एक वॉल्यूम नॉब है जिस पर "मतिभ्रम" (Hallucination) लिखा है।
- इसे नीचे घुमाएं (पॉजिटिव सेटिंग): आपका मित्र एक सख्त तथ्य-जांचकर्ता बन जाता है। कोई ड्रैगन नहीं। चिकित्सा रिपोर्ट या समाचारों के लिए एकदम सही।
- इसे ऊपर घुमाएं (नेगेटिव सेटिंग): आपका मित्र एक रचनात्मक कहानीकार बन जाता है। यदि आप एक काल्पनिक कहानी मांगते हैं तो वह एक ड्रैगन जोड़ सकता है।
- अधिकांश मौजूदा तरीके एक लाइट स्विच की तरह हैं: या तो "ऑन" (झूठ) या "ऑफ" (सत्य)। HIRE एक डिमर स्विच की तरह है, जो आपको पूर्ण नियंत्रण देता है।

यह एक बड़ी बात क्यों है?

यह तेज़ है: यह मित्र को दो बार सोचने के लिए मजबूर नहीं करता। यह केवल होने के दौरान विचार को संपादित करता है।
यह सस्ता है: इसके लिए पूरे मॉडल को फिर से प्रशिक्षित करने की आवश्यकता नहीं है। यह बस मौजूदा सिस्टम में एक छोटा, हल्का उपकरण जोड़ देता है।
यह सटीक है: यह केवल उन विशिष्ट शब्दों को संपादित करता है जो झूठ बोल रहे हैं, बाकी वाक्य को एकदम सही छोड़ देता है।

सारांश

HIRE को AI के लिए एक रियल-टाइम फैक्ट-चेकिंग को-पायलट के रूप में समझें। AI को वापस स्कूल भेजने या उसे दोगुना काम करने के लिए मजबूर करने के बजाय, HIRE चुपचाप यात्री सीट में बैठता है, AI के विचारों को देखता है। जब AI कल्पना की दुनिया में भटकने लगता है, तो HIRE उसे धीरे से वास्तविकता की ओर वापस लाता है, और वह भी बिना कार की गति धीमी किए या इंजन को बदले।

यह AI को गंभीर कार्यों (जैसे एक्स-रे से बीमारियों का निदान करना) के लिए सुरक्षित बनाता है, जबकि हमें चाहने पर इसे रचनात्मक होने की अनुमति भी देता है।

यहाँ शोध पत्र "Hallucination-Aware Intermediate Representation Edit in Large Vision-Language Models" (HIRE) का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

लार्ज विजन-लैंग्वेज मॉडल्स (LVLMs) ने मल्टीमॉडल रीजनिंग और सीन अंडरस्टैंडिंग में उल्लेखनीय सफलता हासिल की है, लेकिन वे हैलुसिनेशन (hallucinations) से काफी ग्रस्त हैं, जहाँ उत्पन्न आउटपुट वास्तविक विजुअल इनपुट के विपरीत होता है (जैसे कि उन वस्तुओं का वर्णन करना जो वहां मौजूद नहीं हैं)।

मौजूदा शमन रणनीतियों (mitigation strategies) के सामने महत्वपूर्ण सीमाएँ हैं:

रिट्रेनिंग विधियाँ (Retraining Methods): इनके लिए विशेष डेटासेट बनाने और पूरे मॉडल को फाइन-ट्यून करने की आवश्यकता होती है, जिससे उच्च कम्प्यूटेशनल लागत और डेटा संग्रह का बोझ बढ़ता है।
कॉन्ट्रास्टिव डिकोडिंग (CD) विधियाँ: ये ओरिजिनल आउटपुट की तुलना विचलित (perturbed) वेरिएंट्स से करके इन्फरेंस के दौरान हैलुसिनेशन को कम करती हैं। हालाँकि, इनके लिए डुअल इन्फरेंस पास (जिससे लेटेंसी दोगुनी हो जाती है) की आवश्यकता होती है और ये सभी टोकन्स पर समान रूप से समायोजन लागू करती हैं, चाहे वह टोकन वास्तव में हैलुसिनेशन के प्रति संवेदनशील हो या नहीं, जो दक्षता और आउटपुट सुसंगतता (coherence) को नुकसान पहुँचाता है।
नियंत्रण की कमी (Lack of Controllability): अधिकांश विधियाँ हैलुसिनेशन की डिग्री को लचीले ढंग से नियंत्रित नहीं कर सकतीं, जो रचनात्मक लेखन (creative writing) जैसे परिदृश्यों के लिए अवांछनीय है जहाँ कुछ हैलुसिनेशन अभिव्यक्ति को बढ़ा सकता है।

2. कार्यप्रणाली: HIRE फ्रेमवर्क (Methodology: HIRE Framework)

लेखक HIRE (Hallucination-aware Intermediate Representation Edit) प्रस्तावित करते हैं, जो एक ऐसा फ्रेमवर्क है जो मॉडल के वेट्स (weights) को बदले बिना या रिट्रेनिंग की आवश्यकता के बिना, LVLM के भीतर इंटरमीडिएट रिप्रेजेंटेशन को गतिशील रूप से पहचानता और संपादित (edit) करता है। यह फ्रेमवर्क एक सिंगल इन्फरेंस पास में काम करता है और तीन मुख्य घटकों से बना है:

A. एडिटर (The Editor - Feature Editing)

एडिटर, सिमेंटिक अखंडता को बनाए रखते हुए हैलुसिनेशन से संबंधित फीचर्स को अलग करने और दबाने (suppress) के लिए सीखता है।

आर्किटेक्चर: यह एक ड्यूल-एनकोडर ऑटोएनकोडर ( $G_\phi$ ) का उपयोग करता है जिसमें एक सिमेंटिक एनकोडर ( $E_{sem}$ ) और एक हैलुसिनेटरी एनकोडर ( $E_{hal}$ ), एक मल्टी-हेड अटेंशन फ्यूजन मॉड्यूल और एक डिकोडर शामिल है।
तंत्र (Mechanism):
1. डिकंपोजिशन (Decomposition): अटेंशन लेयर्स से प्राप्त इनपुट रिप्रेजेंटेशन को सिमेंटिक ( $h_{sem}$ ) और हैलुसिनेटरी ( $h_{hal}$ ) घटकों में विभाजित किया जाता है।
2. डायरेक्शन लर्निंग (Direction Learning): मॉडल हैलुसिनेटरी सबस्पेस में ऑथेंटिक और हैलुसिनेटेड रिप्रेजेंटेशन्स के बीच विचलन का विश्लेषण करके एक "हैलुसिनेशन-रिडक्शन डायरेक्शन" ( $\delta$ ) की गणना करता है।
3. एडिटिंग (Editing): ऑप्टिमाइज्ड एडिटिंग डायरेक्शन ( $\Delta$ ) को सिमेंटिक और हैलुसिनेटरी फीचर्स को फ्यूज करके कंप्यूट किया जाता है। अंतिम एडिटेड रिप्रेजेंटेशन इस डायरेक्शन के साथ ओरिजिनल फीचर्स को प्रोजेक्ट करके प्राप्त किया जाता है: $h_{aug} = h + \alpha \cdot \Delta$ ।

B. राउटर (The Router - Selective Editing)

अनावश्यक कम्प्यूटेशनल ओवरहेड से बचने के लिए, एक हल्का राउटर ( $R_\theta$ ) यह निर्धारित करता है कि किन टोकन्स को एडिट करने की आवश्यकता है।

रणनीति: प्रत्येक टोकन को एडिट करने के बजाय, राउटर फर्स्ट-लेयर ट्रांसफॉर्मर रिप्रेजेंटेशन का विश्लेषण करके एक बाइनरी निर्णय ( $c=1$ या $0$) लेता है।
लॉजिक: यदि $c=1$ , तो एडिटर को सभी आगामी लेयर्स के लिए सक्रिय किया जाता है; अन्यथा, टोकन बिना किसी बदलाव के आगे बढ़ता है। यह इस अवलोकन का लाभ उठाता है कि उथली (shallow) लेयर्स में अक्सर हैलुसिनेशन डिटेक्शन के लिए सबसे अधिक सूचनात्मक सिग्नल होते हैं।

C. हैलुसिनेशन रेगुलेटर (Hallucination Regulator)

एक हाइपरपैरामीटर $\alpha$ एडिट की तीव्रता और दिशा को नियंत्रित करता है:

$\alpha > 0$ : हैलुसिनेशन को दबाता है (फीचर्स को लो-हैलुसिनेशन दिशाओं की ओर ले जाता है)।
$\alpha < 0$ : हैलुसिनेशन को बढ़ाता है (रचनात्मक कार्यों के लिए उपयोगी)।
$\alpha = 0$ : कोई एडिटिंग नहीं।

D. ट्रेनिंग स्ट्रैटेजी (Training Strategy)

चूंकि लेबल किया गया हैलुसिनेशन डेटा दुर्लभ है, इसलिए लेखक दो विशेष प्रशिक्षण तकनीकों का उपयोग करते हैं:

कॉन्ट्रास्टिव लर्निंग (एडिटर के लिए): यह "ऑथेंटिक" (ओरिजिनल इमेज) और "हैलुसिनेटेड" (विजुअली डिग्रेडेड/नॉइज़्ड इमेज) इनपुट के जोड़ों का उपयोग करता है। सिमेंटिक एनकोडर मैचिंग टोकन्स के बीच समानता को अधिकतम करता है, जबकि हैलुसिनेटरी एनकोडर ऑथेंटिक और हैलुसिनेटेड समूहों के बीच अलगाव को अधिकतम करता है।
डायरेक्ट प्रेफरेंस ऑप्टिमाइजेशन (DPO) (राउटर के लिए): राउटर को ऐसे एडिटिंग निर्णयों को प्राथमिकता देने के लिए प्रशिक्षित किया जाता है जो बिना किसी रेफरेंस मॉडल के कम हैलुसिनेशन स्कोर (CHAIR द्वारा मापा गया) की ओर ले जाते हैं।

3. प्रमुख योगदान (Key Contributions)

नया प्रतिमान (New Paradigm): एक फीचर-एडिटिंग दृष्टिकोण पेश करता है जो इंटरमीडिएट रिप्रेजेंटेशन को संशोधित करके हैलुसिनेशन को कम करता है, जिससे मॉडल रिट्रेनिंग या डुअल-इन्फरेंस ओवरहेड की आवश्यकता समाप्त हो जाती है।
डायनेमिक कंट्रोल (Dynamic Control): एक ऐसा फ्रेमवर्क प्रस्तावित करता है जो कंट्रोलेबल हैलुसिनेशन जनरेशन में सक्षम है, जिससे उपयोगकर्ता एक सरल हाइपरपैरामीटर ( $\alpha$ ) के माध्यम से हैलुसिनेशन की डिग्री को एडजस्ट कर सकते हैं।
दक्षता (Efficiency): केवल हाई-रिस्क टोकन्स को चुनिलेक्टिवली एडिट करने के लिए एक लाइटवेट राउटर का उपयोग करके न्यूनतम कम्प्यूटेशनल लागत के साथ स्टेट-ऑफ-द-आर्ट प्रदर्शन प्राप्त करता है।
व्यापक सत्यापन (Comprehensive Validation): कई बेंचमार्क्स पर जेनेरेटिव (कैप्शनिंग) और डिस्क्रिमिनेटिव (VQA) कार्यों पर प्रभावशीलता प्रदर्शित करता है।

4. प्रयोगात्मक परिणाम (Experimental Results)

इस विधि का मूल्यांकन LLaVA-1.5 और InstructBLIP पर तीन प्रमुख बेंचमार्क्स: CHAIR, POPE, और AMBER पर किया गया।

हैलुसिनेशन में कमी (Hallucination Reduction):
- CHAIR बेंचमार्क (लॉन्ग डिस्क्रिप्शन, 512 टोकन्स) पर, HIRE ने बेसलाइन्स की तुलना में सेंटेंस-लेवल हैलुसिनेशन (CHAIRS) को ~40% और ऑब्जेक्ट-लेवल हैलुसिनेशन (CHAIRI) को ~50% कम किया।
- इसने VCD, M3ID और Octopus जैसे मजबूत बेसलाइन्स को पछाड़ा।
डिस्क्रिमिनेटिव टास्क (Discriminative Tasks):
- POPE पर, HIRE ने उच्चतम सटीकता और F1 स्कोर प्राप्त किया, जिसने पिछले स्टेट-ऑफ-द-आर्ट (Octopus) को महत्वपूर्ण अंतर से पीछे छोड़ दिया (जैसे, LLaVA-1.5 पर +1.48% सटीकता)।
AMBER बेंचमार्क:
- उच्चतम समग्र AMBER स्कोर प्राप्त किया, जो जेनेरेटिव और डिस्क्रिमिनेटिव दोनों प्रकार के हैलुसिनेशन की पहचान में बेहतर प्रदर्शन को दर्शाता है।
दक्षता (Efficiency):
- यह विधि न्यूनतम इन्फरेंस ओवरहेड पेश करती है (उदाहरण के लिए, VCD के 5.61 के मुकाबले InstructBLIP के लिए ~3.45 TFLOPs), जो डुअल पास की आवश्यकता वाले CD-आधारित तरीकों की तुलना में काफी कम है।
सामान्यीकरण और स्थिरता (Generalization & Stability):
- यह विधि विभिन्न मॉडल स्केल्स (TinyLLaVA, Qwen-VL) और डेटासेट्स (Visual Genome) में अच्छी तरह से सामान्य होती है।
- एब्लेशन स्टडीज ने पुष्टि की कि प्रदर्शन और दक्षता के लिए ड्यूल-एनकोडर एडिटर और राउटर दोनों आवश्यक हैं।

5. महत्व (Significance)

HIRE हैलुसिनेशन मिटिगेशन रणनीतियों में एक महत्वपूर्ण बदलाव का प्रतिनिधित्व करता है। भारी रिट्रेनिंग और कम्प्यूटेशनल रूप से महंगे डुअल-इन्फरेंस डिकोडिंग से दूर हटकर, यह LVLMs के लिए एक व्यावहारिक, प्लग-एंड-प्ले समाधान प्रदान करता है। इसकी डायनेमिक कंट्रोल क्षमता इसे अनूठा और बहुमुखी बनाती है, जो न केवल सख्त तथ्यात्मक कार्यों के लिए बल्कि उन रचनात्मक अनुप्रयोगों के लिए भी उपयुक्त है जहाँ "कंट्रोल्ड हैलुसिनेशन" वांछित है। यह दृष्टिकोण प्रदर्शित करता है कि हैलुसिनेशन को लेटेंट स्पेस में अलग किया जा सकता है और लक्षित फीचर एडिटिंग के माध्यम से प्रभावी ढंग से निष्प्रभावी किया जा सकता है।