💻 computer science

AFTER: Mitigating the Object Hallucination of LVLM via Adaptive Factual-Guided Activation Editing

यह शोध पत्र AFTER का प्रस्ताव करता है, जो एक अनुकूली तथ्यात्मक-निर्देशित सक्रियण संपादन ढांचा (adaptive factual-guided activation editing framework) है, जिसमें तथ्यात्मक-संवर्धित सक्रियण स्टीयरिंग (Factual-Augmented Activation Steering) और क्वेरी-अनुकूली ऑफसेट अनुकूलन (Query-Adaptive Offset Optimization) शामिल हैं, ताकि पक्षपाती सक्रियणों को स्पष्ट रूप से तथ्यात्मक अर्थों की ओर निर्देशित करके लार्ज विजन-लैंग्वेज मॉडल्स में ऑब्जेक्ट हैलुसिनेशन (वस्तु मतिभ्रम) को प्रभावी ढंग से कम किया जा सके।

मूल लेखक: Tianbo Wang, Yuqing Ma, Kewei Liao, Zhange Zhang, Simin Li, Jinyang Guo, Xianglong Liu

प्रकाशित 2026-03-12

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Tianbo Wang, Yuqing Ma, Kewei Liao, Zhange Zhang, Simin Li, Jinyang Guo, Xianglong Liu

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपका एक बहुत ही बुद्धिमान, विद्वान मित्र है जिसे तस्वीरें देखना और उनके बारे में आपको बताना बहुत पसंद है। यह मित्र एक AI (विशेष रूप से एक Large Vision-Language Model) है। वे टेक्स्ट पढ़ने में माहिर हैं, लेकिन जब बात तस्वीरों को देखने की आती है, तो वे कभी-कभी इस बात से "विचलित" हो जाते हैं कि उन्हें क्या देखना चाहिए, बजाय इसके कि वास्तव में वहां क्या है।

यह शोध पत्र इस समस्या को ठीक करने के लिए एक नई विधि पेश करता है जिसे AFTER कहा जाता है। यहाँ सरल उपमाओं (analogies) का उपयोग करके इसका विवरण दिया गया है:

समस्या: "अति-आत्मविश्वासी मित्र"

आपके AI मित्र में एक बुरी आदत है जिसे Object Hallucination (वस्तु मतिभ्रम) कहते हैं।

परिदृश्य: आप उन्हें एक बेंच पर बैठे हुए एक व्यक्ति की फोटो दिखाते हैं जिसके पास एक बैकपैक है।
गलती: क्योंकि आपके मित्र ने "स्कीइंग" के बारे में लाखों कहानियाँ पढ़ी हैं, उनका दिमाग निष्कर्ष निकालने के लिए दौड़ पड़ता है। वे कहते हैं, "वह एक स्नोबोर्ड है!" (भले ही वह एक बैकपैक हो) या "उसने दो दस्ताने पहने हुए हैं!" (भले ही केवल एक हो)।
कारण: आपका मित्र Language Bias (भाषाई पूर्वाग्रह) से पीड़ित है। वे फोटो में मौजूद वास्तविक पिक्सेल के बजाय अपनी आंतरिक कहानियों के पुस्तकालय पर अधिक भरोसा करते हैं। वे उस व्यक्ति की तरह हैं जो आँखों को खोलने के बजाय किसी अफवाह के आधार पर कमरे में मौजूद चीजों का अनुमान लगाता है।

पुराने समाधान: मित्र की "आंखों पर पट्टी बांधना"

पिछले तरीकों ने चित्र को खराब (degrade) करके इसे ठीक करने की कोशिश की।

उपमा: कल्पना करें कि आप फोटो लेते हैं, उसे धुंधला (blur) कर देते हैं, या उसमें शोर (static noise) डाल देते हैं, और फिर मित्र को उसका वर्णन करने के लिए कहते हैं। विचार यह था, "यदि छवि खराब होगी, तो मित्र को तर्क पर अधिक और छवि पर कम निर्भर रहने के लिए मजबूर किया जाएगा।"
दोष: यह किसी को आँखों पर पट्टी बांधकर गाड़ी चलाना सिखाने जैसा है और फिर यह उम्मीद करने जैसा है कि वे बेहतर देखना सीख जाएंगे। यह भ्रमित करने वाला है और वास्तव में उन्हें यह नहीं सिखाता कि वास्तविकता क्या है। यह इस तथ्य को अनदेखा करता है कि यदि उनके पास सही तथ्य होते, तो वे सही हो सकते थे।

नया समाधान: AFTER (एक "तथ्य-जांचकर्ता" मार्गदर्शक)

लेखक AFTER (Adaptive Factual-Guided Visual-Textual Editing) का प्रस्ताव देते हैं। इसे अपने मित्र को एक अति-सटीक तथ्य-जांचकर्ता (fact-checker) और एक व्यक्तिगत कोच देने के रूप में समझें।

AFTER मुख्य रूप से दो चरणों में काम करता है:

चरण 1: "तथ्य-जांचकर्ता" (Factual-Augmented Activation Steering)

छवि को धुंधला करने के बजाय, AFTER छवि के बारे में सच्चे तथ्यों (जैसे, "वहाँ एक लाल बैकपैक है," "व्यक्ति ने हेलमेट पहना है") को लेता है और उन्हें एक स्पष्ट, सत्य वाक्य में बदल देता है।

उपमा: कल्पना करें कि आपका मित्र अनुमान लगाने ही वाला है। बोलने से पहले, एक तथ्य-जांचकर्ता उनके कान में सच्चाई फुसफुसाता है: "याद रखें, वस्तु एक बैकपैक है, स्नोबोर्ड नहीं।"
यह कैसे काम करता है: AI अपने "हैलुसिनेटेड" मस्तिष्क की स्थिति (जो वह कहना चाहता है) की तुलना "तथ्यात्मक" मस्तिष्क की स्थिति (जो सत्य है) से करता है। फिर यह एक करेक्शन वेक्टर (correction vector) की गणना करता है—एक मानसिक धक्का जो मित्र के मस्तिष्क को झूठ से दूर और सत्य की ओर धकेलता है।

चरण 2: "व्यक्तिगत कोच" (Query-Adaptive Offset Optimization)

पुराने तरीके हर प्रश्न के लिए एक ही सुधार का उपयोग करते थे। लेकिन कभी-कभी, मित्र को अलग सवाल पूछने पर अलग तरह के धक्के की आवश्यकता होती है।

उपमा: यदि आप पूछते हैं, "कार का रंग क्या है?", तो मित्र को रंग के बारे में धक्के की आवश्यकता है। यदि आप पूछते हैं, "कितने लोग हैं?", तो उन्हें गिनती के बारे में धक्के की आवश्यकता है।
यह कैसे काम करता है: AFTER के पास एक छोटा, स्मार्ट सहायक (एक एस्टिमेटर) है जो आपके विशिष्ट प्रश्न को देखता है। वह कहता है, "ठीक है, इस विशेष प्रश्न के लिए, मानक सुधार पर्याप्त नहीं है। आइए यहाँ थोड़ा अतिरिक्त धक्का दें।" यह सुधार को सटीक और क्षण के अनुकूल बनाता है।

यह एक बड़ी बात क्यों है?

यह तेज़ है: अन्य तरीकों के विपरीत जिनमें पूरे मस्तिष्क को फिर से प्रशिक्षित (retraining) करने की आवश्यकता होती है (जिसमें हफ्तों और सुपरकंप्यूटर लगते हैं), AFTER वास्तविक समय में मस्तिष्क के आंतरिक संकेतों को बस थोड़ा सा बदल देता है। यह मित्र को एक साल की स्कूल की शिक्षा भेजने के बजाय कंधे पर एक त्वरित थपकी देने जैसा है।
यह सटीक है: परीक्षणों में, इस पद्धति ने मतिभ्रम (hallucinations) को 16.3% तक कम कर दिया। यह एक बहुत बड़ा सुधार है।
यह अच्छी चीज़ों को बनाए रखता है: कभी-कभी, जब आप एक गलती ठीक करते हैं, तो आप अनजाने में AI को अन्य चीजों में कम बुद्धिमान बना देते हैं। AFTER झूठ को ठीक करता है बिना मित्र को मददगार या रचनात्मक होना भुलाए।

सारांश

AFTER को एक ऐसे AI के लिए सत्यनिष्ठ GPS के रूप में सोचें जो अपनी ही कल्पना में खो जाता रहता है।

पुराना तरीका: "यहाँ एक धुंधला नक्शा है; अनुमान लगाने की कोशिश करें कि आप कहाँ हैं।" (भ्रमित करने वाला और अप्रभावी)।
AFTER का तरीका: "यहाँ एक स्पष्ट नक्शा है कि आप वास्तव में कहाँ हैं, और यहाँ एक व्यक्तिगत टर्न-बाय-टर्न गाइड है ताकि आप वापस सही रास्ते पर आ सकें।"

AI के आंतरिक विचारों को निर्देशित करने के लिए छवि के वास्तविक तथ्यों का उपयोग करके, AFTER AI को कहानियाँ बनाने से रोकता है और उसे वह बताने में मदद करता है जो वह वास्तव में देख रहा है।

यहाँ शोध पत्र "AFTER: Mitigating the Object Hallucination of LVLM via Adaptive Factual-Guided Activation Editing" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

लार्ज विजन-लैंग्वेज मॉडल्स (LVLMs) ने महत्वपूर्ण प्रगति की है, लेकिन वे ऑब्जेक्ट हैलुसिनेशन (Object Hallucination) से ग्रस्त हैं, जहाँ मॉडल ऐसे उत्तर उत्पन्न करता है जो विजुअल इनपुट के विपरीत होते हैं (जैसे, एक बैकपैक को स्नोबोर्ड के रूप में पहचानना, दस्तानों की गलत गिनती करना, या "पकड़ने" जैसे संबंधों का भ्रम पैदा करना जबकि वस्तु केवल "पहनी" गई हो)।

मूल कारण (Root Cause): इसका प्राथमिक चालक लैंग्वेज बायस (Language Bias) है। LVLMs बाहरी विजुअल इनपुट के बजाय अपने प्री-ट्रेन्ड टेक्स्टुअल ज्ञान को प्राथमिकता देने की प्रवृत्ति रखते हैं। जब विजुअल और टेक्स्टुअल जानकारी में संघर्ष होता है, तो मॉडल भाषा की सांख्यिकीय संभावनाओं (जैसे, "हेलमेट अक्सर पहने जाते हैं," "दस्ताने जोड़ों में आते हैं") पर डिफ़ॉल्ट रूप से निर्भर हो जाता है, न कि विशिष्ट विजुअल तथ्यों पर।
मौजूदा समाधानों की सीमाएँ (Limitations of Existing Solutions):
- ट्रेनिंग-आधारित विधियाँ: इनके लिए महंगी रिट्रेनिंग या नए ऑब्जेक्टिव्स की आवश्यकता होती है।
- इन्फरेंस-टाइम डिकोडिंग/इटरेटिव विधियाँ: ये इन्फरेंस लागत और लेटेंसी (latency) को बढ़ा देती हैं।
- पिछले एक्टिवेशन एडिटिंग (Activation Editing): VTI और ICT जैसी विधियाँ विजुअल इनपुट को खराब करके (जैसे, शोर या ब्लर जोड़कर) एक्टिवेशन को निर्देशित करने का प्रयास करती हैं ताकि "अविश्वसनीय" सिमेंटिक्स बनाए जा सकें। हालाँकि, वे सकारात्मक तथ्यात्मक टेक्स्टुअल सिमेंटिक्स से मार्गदर्शन प्राप्त करने में विफल रहती हैं। उनमें सही विजुअल-टेक्स्टुअल जुड़ाव को स्पष्ट रूप से मॉडल करने की व्यवस्था का अभाव है, जो भाषा के पूर्वाग्रह (language bias) का प्रभावी ढंग से मुकाबला करने की उनकी क्षमता को सीमित करता है।

2. कार्यप्रणाली: AFTER

लेखकों ने AFTER (Adaptive Factual-guided Visual-Textual Editing foR hallucination mitigation) प्रस्तावित किया है, जो एक दो-चरणीय इन्फरेंस-टाइम एक्टिवेशन एडिटिंग फ्रेमवर्क है। इसमें Factual-Augmented Activation Steering (FAS) और Query-Adaptive Offset Optimization (QAO) शामिल हैं।

A. Factual-Augmented Activation Steering (FAS)

FAS का लक्ष्य "अविश्वसनीय" विजुअल इनपुट की तुलना "विश्वसनीय" तथ्यात्मक टेक्स्टुअल सिमेंटिक्स से करके एक सामान्य, सकारात्मक स्टीयरिंग दिशा स्थापित करना है।

तथ्य निष्कर्षण और टेक्स्टुअलाइजेशन (Fact Extraction & Textualization): छवियों को खराब करने के बजाय, यह विधि इमेज डेटासेट (जैसे, COCO) से ग्राउंड-ट्रूथ एनोटेशन (श्रेणी, विशेषता, संबंध) निकालती है।
- श्रेणी (Category): ऑब्जेक्ट लेबल।
- विशेषता (Attribute): रंग, आकार और गिनती (पिक्सेल सांख्यिकी और सेगमेंटेशन से प्राप्त)।
- संबंध (Relation): स्थानिक संबंध (जैसे, बाएँ, ऊपर) जो बाउंडिंग बॉक्स IoU से प्राप्त होते हैं।
तथ्यात्मक विवरण जनरेशन (Factual Description Generation): एक सहायक LVLM ( $F$ ) इन विविक्त (discrete) तथ्यों को एक सुसंगत, तथ्यात्मक टेक्स्टुअल विवरण ( $t^+$ ) में एकीकृत करता है। महत्वपूर्ण बात यह है कि $F$ का उपयोग केवल स्टीयरिंग वेक्टर के प्रशिक्षण के लिए किया जाता है; लक्षित एडिटेड मॉडल के इन्फरेंस के दौरान यह शामिल नहीं होता है।
वेक्टर निर्माण (Vector Construction): यह विधि $\langle (t^+, q), (x, q) \rangle$ $⟨(t^{+}, q), (x, q)⟩$ के सैंपल पेयर्स बनाती है, जहाँ $t^+$ $t^{+}$ विश्वसनीय तथ्यात्मक टेक्स्ट है और $x$ $x$ मूल छवि है।
- यह दोनों के लिए—तथ्यात्मक टेक्स्ट और मूल छवि—के लिए लक्षित LVLM ( $M$ ) से एक्टिवेशन निकालता है।
- एक सामान्य स्टीयरिंग वेक्टर ( $\bar{d}$ ) की गणना विश्वसनीय टेक्स्टुअल एक्टिवेशन ( $z^+$ ) और मूल विजुअल एक्टिवेशन ( $z$ ) के अंतर के औसत द्वारा की जाती है:
  $\bar{d} = \frac{1}{n \cdot |X|} \sum_{X} \sum_{i=1}^{n} (z^+_i - z_i)$
- यह वेक्टर मॉडल को भाषा के पूर्वाग्रह से हटाकर तथ्यात्मक सिमेंटिक्स की ओर निर्देशित करता है।

B. Query-Adaptive Offset Optimization (QAO)

चूंकि अलग-अलग क्वेरीज़ अलग-अलग ऑब्जेक्ट्स पर जोर देती हैं, इसलिए एक एकल सामान्य वेक्टर अपर्याप्त है। QAO विशिष्ट क्वेरीज़ के लिए एडिटिंग को रिफाइन करने के लिए एक क्वेरी-अवेयर ऑफसेट एस्टिमेटर पेश करता है।

क्वेरी-विशिष्ट तथ्य निष्कर्षण (Query-Specific Fact Extraction): दी गई क्वेरी $q_i$ के लिए, सिस्टम प्रासंगिक ऑब्जेक्ट श्रेणियों की पहचान करता है। यह सामान्य तथ्यात्मक टेक्स्ट से विशिष्ट तथ्यों को निकालकर या स्पष्ट रूप से यह बताकर कि कोई वस्तु अनुपस्थित है, एक विस्तृत, क्वेरी-केंद्रित तथ्यात्मक विवरण ( $t^*_i$ ) तैयार करता है।
ऑफसेट अनुमान (Offset Estimation): सिस्टम क्वेरी-केंद्रित टेक्स्ट की एक्टिवेशन की मूल छवि के साथ तुलना करके "इष्टतम" क्वेरी-विशिष्ट एडिटिंग वेक्टर ( $\tilde{d}_i$ ) की गणना करता है।
एस्टिमेटर का प्रशिक्षण (Training the Estimator): एक हल्का ऑफसेट एस्टिमेटर ( $G$ $G$ , एक सिंगल-लेयर MLP) इनपुट एक्टिवेशन के आधार पर आवश्यक ऑफसेट ( $o_i = \tilde{d}_i - \bar{d}$ $o_{i} = \tilde{d}_{i} - \overset{ˉ}{d}$ ) की भविष्यवाणी करने के लिए प्रशिक्षित किया जाता है।
- लॉस फंक्शन: अनुमानित ऑफसेट और अपेक्षित ऑफसेट के बीच मीन-स्क्वायर एरर (MSE) है।
अनुकूली एडिटिंग (Adaptive Editing): इन्फरेंस के दौरान, मॉडल पर लागू किया जाने वाला अंतिम एडिटिंग वेक्टर, सामान्य वेक्टर और अनुमानित क्वेरी-विशिष्ट ऑफसेट का योग है:
$h^{l+1} = h^l + \text{Concat}(z^{l,k} + \alpha \cdot [G(z^{l,k}) + \bar{d}]) \cdot W^l_o$
यह मॉडल को विशिष्ट क्वेरी से संबंधित विजुअल सिमेंटिक्स को अनुकूल रूप से प्राथमिकता देने की अनुमति देता है।

3. मुख्य योगदान (Key Contributions)

AFTER फ्रेमवर्क: एक अभिनव एक्टिवेशन एडिटिंग दृष्टिकोण जो LVLMs को तथ्यात्मक-संवर्धित टेक्स्टुअल सिमेंटिक्स की ओर अनुकूल रूप से निर्देशित करता है, जो बिना रिट्रेनिंग के भाषा के पूर्वाग्रह को प्रभावी ढंग से कम करता है।
Factual-Augmented Activation Steering (FAS): ग्राउंड-ट्रूथ तथ्यों का उपयोग करके सकारात्मक टेक्स्टुअल मार्गदर्शन उत्पन्न करने की अवधारणा को पेश करता है, जो सटीक विजुअल-टेक्स्टुअल जुड़ाव को स्पष्ट रूप से मॉडल करता है ताकि हैलुसिनेशन का मुकाबला किया जा सके।
Query-Adaptive Offset Optimization (QAO): एक क्वेरी-विशिष्ट एडिटिंग ऑफसेट उत्पन्न करने के लिए एक तंत्र प्रस्तावित करता है, जो एक एकल स्थिर वेक्टर से परे हस्तक्षेप की विविधता और सूक्ष्मता (granularity) को बढ़ाता है।
दक्षता (Efficiency): यह विधि न्यूनतम कंप्यूटेशनल ओवरहेड (ऑफसेट अनुमान के लिए हल्का MLP) के साथ इन्फरेंस के समय काम करती है और इसके लिए बड़े LVLM को फाइन-ट्यून करने की आवश्यकता नहीं होती है।

4. प्रयोगात्मक परिणाम (Experimental Results)

इस पद्धति का मूल्यांकन तीन व्यापक रूप से अपनाए गए LVLMs (LLaVA-v1.5, InstructBLIP, Shikra) पर तीन बेंचमार्क के माध्यम से किया गया: POPE (डिस्क्रिमिनेटिव), MME (परसेप्शन/कॉग्निशन), और AMBER (जेनरेटिव)।

हैलुसिनेशन न्यूनीकरण (Hallucination Mitigation):
- AMBER: Shikra मॉडल पर बेसलाइन की तुलना में हैलुसिनेशन (Hal metric) में 16.3% तक की कमी दर्ज की। इसने सबसे अच्छे मौजूदा एडिटिंग मेथड (VTI) को 5.3% से पीछे छोड़ दिया।
- POPE: बेसलाइन की तुलना में औसत सटीकता (Accuracy) में 4.1% और F1-स्कोर में 2.6% का सुधार दिखाया, जो SOTA एडिटिंग मेथड ICT से बेहतर है।
- MME: सामान्य क्षमताओं को बनाए रखते हुए हैलुसिनेशन सबसेट्स (जैसे, Shikra पर +73.4 पॉइंट्स) में महत्वपूर्ण सुधार दिखाया।
सामान्यीकरण (Generalization): COCO-आधारित प्रश्नों पर सीखे गए स्टीयरिंग वेक्टर्स सफलतापूर्वक आउट-ऑफ-डिस्ट्रीब्यूशन डेटासेट्स (GQA) और जेनरेटिव कार्यों (Dis $\to$ Gen) पर सामान्यीकृत हुए, जो यह सिद्ध करता है कि यह विधि केवल किसी विशिष्ट डेटासेट पर ओवरफिट होने के बजाय सामान्य भाषा पूर्वाग्रह को कम करती है।
क्षमताओं का संरक्षण (Preservation of Capabilities): कुछ विधियों के विपरीत जो सामान्य प्रदर्शन को कम करती हैं, AFTER ने सामान्य विजुअल परसेप्शन और कॉग्निशन कार्यों (MME आयामों) पर स्कोर में सुधार किया या उन्हें बनाए रखा।
दक्षता (Efficiency): AFTER तुलना की गई विधियों में सबसे तेज़ इन्फरेंस गति (29.7 टोकन/सेकंड) बनाए रखता है और इसमें मध्यम मेमोरी उपयोग होता है, जिससे यह व्यावहारिक तैनाती के लिए उपयुक्त है।

5. महत्व (Significance)

प्रतिमान परिवर्तन (Paradigm Shift): यह "अविश्वसनीय" सिग्नल बनाने के लिए विजुअल इनपुट को "खराब करने" के बजाय, ग्राउंड-ट्रूथ एनोटेशन से प्राप्त सकारात्मक तथ्यात्मक मार्गदर्शन का लाभ उठाने की ओर बढ़ता है। यह सीधे तौर पर भाषा के पूर्वाग्रह के मूल कारण को संबोधित करता है।
सटीकता (Precision): क्वेरी-अनुकूली ऑफसेट पेश करके, यह स्वीकार करता है कि हैलुसिनेशन न्यूनीकरण के लिए इस पर निर्भर करता है कि उपयोगकर्ता क्या पूछ रहा है, न कि एक "वन-साइज़-फिट्स-ऑल" वेक्टर लागू करने पर।
व्यावहारिकता (Practicality): यह एक उच्च-प्रदर्शन, कम-लागत वाला समाधान प्रदान करता है जिसे भारी रिट्रेनिंग के बोझ के बिना मौजूदा ओपन-सोर्स LVLMs पर लागू किया जा सकता है, जो इसे वास्तविक दुनिया के अनुप्रयोगों में अधिक विश्वसनीय AI की ओर एक व्यवहार्य मार्ग बनाता है।

सीमाएँ (Limitations): वर्तमान में यह विधि आंतरिक एक्टिवेशन तक पहुँचने पर निर्भर करती है (जो क्लोज्ड-सोर्स मॉडल्स के लिए इसकी प्रयोज्यता को सीमित करती है) और सटीक तथ्यात्मक तथ्य उत्पन्न करने के लिए विशिष्ट कार्यों (जैसे, मेडिकल इमेजिंग) के लिए डोमेन-विशिष्ट डेटा की आवश्यकता होती है।