🤖 AI

Causal Decoding for Hallucination-Resistant Multimodal Large Language Models

यह शोध पत्र एक कॉज़ल डिकोडिंग फ्रेमवर्क प्रस्तावित करता है जो पीढ़ी के दौरान हस्तक्षेप करके स्प्यूरियस डिपेंडेंसीज़ को कम करता है, जिससे उच्च वर्णनात्मक गुणवत्ता बनाए रखते हुए और अत्याधुनिक निष्ठा (स्टेट-ऑफ-द-आर्ट फेथफुलनेस) प्राप्त करते हुए मल्टीमॉडल लार्ज लैंग्वेज मॉडल्स में ऑब्जेक्ट हैलुसिनेशन को प्रभावी ढंग से कम किया जाता है।

मूल लेखक: Shiwei Tan, Hengyi Wang, Weiyi Qin, Qi Xu, Zhigang Hua, Hao Wang

प्रकाशित 2026-02-26

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Shiwei Tan, Hengyi Wang, Weiyi Qin, Qi Xu, Zhigang Hua, Hao Wang

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास एक बहुत ही बुद्धिमान, विद्वान रोबोट सहायक है जिसका नाम MLLM (मल्टीमॉडल लार्ज लैंग्वेज मॉडल) है। आप उसे एक मेज पर रखी पिज्जा की तस्वीर दिखाते हैं और उससे पूछते हैं, "इस तस्वीर में क्या है?"

आदर्श रूप से, रोबोट को कहना चाहिए, "मुझे एक प्लेट पर पिज्जा दिख रहा है।"

लेकिन कभी-कभी, यह रोबोट थोड़ा ज़्यादा रचनात्मक हो जाता है। क्योंकि इसने पिज्जा पार्टियों के बारे में लाखों कहानियाँ पढ़ी हैं, यह आत्मविश्वास से कह सकता है, "मुझे एक पिज्जा, एक प्लेट, एक चाकू, और एक कांटा दिख रहा है।"

समस्या यह है कि तस्वीर में चाकू या कांटा नहीं है। रोबोट हैलुसिनेट (Hallucinate) कर रहा है। वह उन वस्तुओं के बारे में बना रहा है जो वहां मौजूद नहीं हैं क्योंकि वह इस बात पर बहुत अधिक निर्भर कर रहा है कि उसे उन शब्दों के आधार पर क्या देखना चाहिए जो उसने अभी लिखे हैं, न कि उस पर जो वह वास्तव में देख रहा है।

यह शोध पत्र इस समस्या को ठीक करने के लिए COAD (कॉज़ल ऑब्जेक्ट-अवेयर डिकोडिंग) नामक एक नई विधि पेश करता है। यह कैसे काम करता है, इसे सरल भाषा में यहाँ समझाया गया है।

समस्या: "इको चैंबर" (गूँजने वाले कमरे) का प्रभाव

रोबोट के दिमाग को एक शोर भरे कमरे की तरह समझें।

तस्वीर: आप रोबोट को पिज्जा की एक तस्वीर दिखाते हैं।
टेक्स्ट: रोबोट अपनी कहानी लिखना शुरू करता है, "पिज़्ज़ा का एक टुकड़ा..."
ग्लिच (खराबी): जैसे ही वह "पिज्जा" लिखता है, उसका दिमाग "पिज्जा पार्टी" के बारे में सोचने लगता है। वह एक चाकू और कांटे की कल्पना करने लगता है, भले ही वे फोटो में न हों। फिर वह लिखता है, "...चाकू और कांटे के साथ।"

रोबोट एक इको चैंबर में फँस गया है। वह अपने पिछले शब्दों ("पिज्जा") को सुनता है और मान लेता है कि उनके बाद पिज्जा से जुड़े अन्य शब्द ("चाकू") अवश्य आएंगे, जिससे वह वास्तविक दृश्य साक्ष्य को अनदेखा कर देता है। यह उस व्यक्ति की तरह है जो कहानी सुनाते समय कहानी में इतना बहक जाता है कि वह उन पात्रों का आविष्कार कर देता है जो कभी आए ही नहीं थे।

समाधान: COAD (एक "फैक्ट-चेकर" रोबोट)

लेखकों ने इसे रोकने के लिए COAD नामक एक सिस्टम बनाया है। वे दो मुख्य तरीकों का उपयोग करते हैं: एक जासूस और एक समय-यात्री।

1. जासूस (ऑब्जेक्ट डिटेक्टर)

इससे पहले कि रोबोट अपनी कहानी लिखना शुरू करे, COAD एक विशेष जासूस (एक ऑब्जेक्ट डिटेक्शन टूल) को लाता है।

जासूस फोटो को देखता है और कहता है, "मुझे एक पिज्जा दिख रहा है। मुझे एक प्लेट दिख रही है। मुझे चाकू नहीं दिख रहा है। मुझे कांटा नहीं दिख रहा है।"
तथ्यों की इस सूची को एक सख्त नियम पुस्तिका के रूप में रोबोट को सौंप दिया जाता है।

2. समय-यात्री (कॉज़ल इन्फरेंस - Causal Inference)

यही सबसे चतुर हिस्सा है। रोबोट आमतौर पर अपनी कहानी शब्द-दर-शब्द लिखता है। यदि वह "पिज्जा" लिखता है, तो उसे अगला शब्द "चाकू" लिखने का प्रलोभन हो सकता है।

सामान्य रोबोट: "मुझे एक पिज्जा दिख रहा है... शायद एक चाकू?" (यह अपनी याददाश्त के आधार पर अनुमान लगाता है)।
COAD रोबोट: सिस्टम कॉज़ल इन्फरेंस नामक एक गणितीय ट्रिक का उपयोग करता है। यह अनिवार्य रूप से रोबोट से पूछता है: "यदि हम जादू से उन शब्दों के प्रभाव को हटा दें जो आपने अभी लिखे हैं, और केवल जासूस की सूची और तस्वीर को देखें, तो आप क्या कहेंगे?"

यह अदालत में एक गवाह से पूछने जैसा है: "वकील ने आपसे जो कुछ भी कहा उसे भूल जाइए। अपनी आँखों से जो देखा, उसके आधार पर ही बताइए कि क्या हुआ था।"

रोबोट के पिछले अनुमानों और उसके अगले अनुमान के बीच के "तार को काटकर", COAD रोबोट को अपने कल्पना (टेक्स्ट इको) के बजाय जासूस की सूची (दृश्य सत्य) पर निर्भर रहने के लिए मजबूर करता है।

व्यवहार में यह कैसे काम करता है

कल्पना कीजिए कि आप समुद्र तट (बीच) के बारे में एक कहानी लिख रहे हैं।

COAD के बिना: आप लिखते हैं "सूरज गर्म है।" आपका दिमाग सोचता है, "गर्म सूरज का मतलब है समुद्र तट," इसलिए आप लिखते हैं "वहाँ एक सर्फ़बोर्ड है।" लेकिन रुकिए, फोटो में कोई सर्फ़बोर्ड नहीं है! आपने इसे केवल इसलिए बना लिया क्योंकि "सूरज" और "सर्फ़बोर्ड" अक्सर अपने डेटा में एक साथ आते हैं।
COAD के साथ:
1. एक जासूस फोटो की जाँच करता है और कहता है: "सूरज: हाँ। सर्फ़बोर्ड: नहीं।"
2. कॉज़ल सिस्टम हस्तक्षेप करता है। यह लेखक को बताता है: " 'सूरज' शब्द के आधार पर अनुमान लगाना बंद करें। जासूस के नोट को देखें। नोट कहता है 'कोई सर्फ़बोर्ड नहीं'। इसलिए, 'सर्फ़बोर्ड' न लिखें।"
3. लेखक कहता है: "सूरज गर्म है। रेत सुनहरी है।" (सटीक और सत्यनिष्ठ)।

परिणाम

शोधकर्ताओं ने कई अलग-अलग तस्वीरों और सवालों पर इसका परीक्षण किया।

पुराना तरीका: रोबोट कुछ परीक्षणों में लगभग 30% बार वस्तुएं बना रहा था (जैसे चाकू और कांटा)।
COAD तरीका: रोबोट ने 6% से भी कम बार वस्तुएं बनाईं।

यह एक ऐसे कहानीकार को एक सख्त संपादक देने जैसा है जो आवर्धक लेंस (मैग्नीफाइंग ग्लास) लेकर फोटो की जाँच करता है, ताकि यह सुनिश्चित हो सके कि हर एक शब्द वास्तविकता से मेल खाता है।

यह क्यों महत्वपूर्ण है

यह वास्तविक दुनिया के उपयोगों के लिए एक बड़ी बात है।

चिकित्सा (Medical): यदि कोई रोबोट एक्स-रे देख रहा है, तो उसे ऐसी टूटी हुई हड्डी का आविष्कार नहीं करना चाहिए जो वहाँ मौजूद ही नहीं है।
कानूनी (Legal): यदि कोई रोबोट अपराध स्थल की फोटो का वर्णन कर रहा है, तो उसे ऐसे हथियार की कल्पना नहीं करनी चाहिए जो वहां मौजूद नहीं था।

COAD केवल सटीक होने के लिए "अधिक प्रयास" नहीं करता है; यह रोबोट के सोचने के तरीके को बदल देता है। यह रोबोट को अपने आंतरिक शोर को सुनना बंद करने और दृश्य साक्ष्य को सुनना शुरू करने के लिए मजबूर करता है, जिससे यह एक बहुत अधिक विश्वसनीय सहायक बन जाता है।

यहाँ शोध पत्र "Causal Decoding for Hallucination-Resistant Multimodal Large Language Models" (COAD) का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

मल्टीमॉडल लार्ज लैंग्वेज मॉडल्स (MLLMs), जैसे कि LLaVA और MiniGPT, विजन-लैंग्वेज कार्यों में उत्कृष्ट हैं लेकिन ऑब्जेक्ट हैलुसिनेशन (वस्तु मतिभ्रम) से काफी ग्रस्त रहते हैं। यह तब होता है जब मॉडल ऐसे विवरण उत्पन्न करता है जिनमें वे वस्तुएं शामिल होती हैं जो इनपुट इमेज में मौजूद नहीं होती हैं (उदाहरण के लिए, केवल "चाकू" दिखने पर भी "कांटा" (fork) का वर्णन करना)।

मूल कारण (Root Cause): शोध पत्र का तर्क है कि हैलुसिनेशन डिकोडिंग प्रक्रिया में स्पूरियस कोरिलेशन (मिथ्या सहसंबंध/confounding) के कारण होता है। विशेष रूप से, वस्तु की उपस्थिति के संबंध में मॉडल की हिडन स्टेट्स ( $z$ ), पहले से उत्पन्न किए गए टेक्स्ट ( $x$ ) के साथ उलझ जाती हैं। यदि मॉडल "knife" जैसा शब्द उत्पन्न करता है, तो हिडन स्टेट स्पूरियस रूप से "fork" की उपस्थिति का अनुमान लगा सकती है (जो प्रशिक्षण डेटा में एक सामान्य सह-उपस्थिति है), बजाय इसके कि वह केवल विजुअल साक्ष्य ( $S$ ) पर निर्भर रहे।
पूर्व कार्य की सीमाएँ: मौजूदा समाधान दो श्रेणियों में आते हैं:
1. बाहरी ज्ञान (External Knowledge): रिट्रीवल या अतिरिक्त प्रशिक्षण डेटा पर निर्भर रहना, जो संसाधन-गहन है और हमेशा संभव नहीं होता।
2. आंतरिक डिकोडिंग सुधार (Internal Decoding Tweaks): OPERA, VCD, या DoLa जैसे तरीके जो अटेंशन या लॉजिट्स को एडजस्ट करते हैं। ये अक्सर इमेज से रिस्पॉन्स तक के वास्तविक कॉज़ल प्रभाव (causal effect) को मॉडल करने में विफल रहते हैं, जिससे मॉडल अपने स्वयं के उत्पन्न टेक्स्ट के "कन्फाउंडिंग" प्रभाव के प्रति संवेदनशील बना रहता है।

2. कार्यप्रणाली: कॉज़ल ऑब्जेक्ट-अवेयर डिकोडिंग (COAD)

COAD एक ऐसा फ्रेमवर्क प्रस्तावित करता है जो उत्पन्न टेक्स्ट और हैलुसिनेटेड ऑब्जेक्ट विश्वासों के बीच के स्पूरियस लिंक को तोड़ने के लिए डिकोडिंग प्रक्रिया में सीधे कॉज़ल इन्फरेंस (कारण संबंधी अनुमान) को एकीकृत करता है।

A. कॉज़ल फ्रेमवर्क (Causal Framework)

लेखक MLLM डिकोडिंग प्रक्रिया को एक कॉज़ल ग्राफ का उपयोग करके मॉडल करते हैं जहाँ:

$S$ : इनपुट इमेज।
$x$ : पूर्व में उत्पन्न टेक्स्ट।
$z$ : वस्तु की उपस्थिति के बारे में मॉडल का आंतरिक विश्वास (एक लेटेंट वेरिएबल)।
$y$ : अगला प्रेडिक्ट किया जाने वाला टोकन।

मानक MLLMs में, $z$ दोनों $S$ और $x$ से प्रभावित होता है। यह एक "बैकडोर पाथ" बनाता है जहाँ $x \to z \to y$ होता है, जिससे मॉडल विजुअल वास्तविकता के बजाय टेक्स्ट कॉन्टेक्स्ट के आधार पर वस्तुओं का हैलुसिनेशन करने लगता है। COAD का लक्ष्य इंटरवेंशनल डिस्ट्रीब्यूशन $P(y | do(x), z) $का अनुमान लगाना है, जो प्रभावी रूप से$ z $के इन्फरेंस पर$ x$ के प्रभाव को ब्लॉक करता है।

B. मुख्य घटक (Core Components)

प्रॉक्सि के रूप में ऑब्जेक्ट डिटेक्टर:
एक बाहरी ऑब्जेक्ट डिटेक्टर (जैसे, RTMDet) का उपयोग इमेज $S$ में वस्तुओं की पहचान करने और $D(S)$ के रूप में एक प्रोबेबिलिटी डिस्ट्रीब्यूशन आउटपुट करने के लिए किया जाता है। यह ऑब्जेक्ट विश्वास वेरिएबल $z$ के लिए एक ग्राउंड-ट्रूथ प्रॉक्सी के रूप में कार्य करता है, यह सुनिश्चित करता है कि $z$ केवल $S$ पर निर्भर है और $x$ पर नहीं।
डुअल-मॉडल आर्किटेक्चर:
- प्रीट्रेन मॉडल ( $M_p$ ): मानक MLLM जो $x$ और $S$ के आधार पर टोकन उत्पन्न करता है।
- फाइनट्यून मॉडल ( $M_f$ ): $M_p$ का एक संस्करण जिसे $x$ और $S$ के साथ एक अतिरिक्त इनपुट के रूप में ऑब्जेक्ट वेक्टर $z$ (डिटेक्टर से) स्वीकार करने के लिए फाइनट्यून किया गया है। यह मॉडल को स्पष्ट ऑब्जेक्ट बाधाओं (constraints) पर अपने प्रेडिक्शन को कंडीशन करने के लिए मजबूर करता है।
हाइपोथेटिकल ओरेकल और मिश्रण मॉडल (Hypothetical Oracle & Mixture Model):
लेखक एक काल्पनिक "ओरेकल" मॉडल ( $M^*$ ) पेश करते हैं जो $x, S,$ और वास्तविक $z$ दिए जाने पर अगले टोकन की सटीक भविष्यवाणी करता है। वे परिकल्पना करते हैं कि फाइनट्यून मॉडल $M_f$ , ओरेकल ( $M^*$ ) और प्रीट्रेन मॉडल ( $M_p$ ) का एक प्रोबेबिलिस्टिक मिश्रण है:
$y_f \approx \gamma \cdot y^* + (1-\gamma) \cdot y_p$
जहाँ $\gamma$ एक मिक्सिंग कोएफिशिएंट है।
कॉज़ल इन्फरेंस और डिकोडिंग फॉर्मूला:
Do-calculus लागू करके और मिश्रण समीकरण को पुनर्व्यवस्थित करके, COAD ओरेकल के प्रेडिक्शन ( $y^*$ ) का अनुमान लगाने के लिए एक क्लोज्ड-फॉर्म सॉल्यूशन निकालता है, जो हैलुसिनेशन-मुक्त आउटपुट का प्रतिनिधित्व करता है:
$P(y^* | S, do(x)) = (1 + \alpha) \sum_z P(z|S) P(y_f | S, x, z) - \alpha P(y_p | S, x)$

$\alpha$ एक हाइपरपैरामीटर है जो $\gamma$ के बीटा डिस्ट्रीब्यूशन प्रायर से प्राप्त होता है।
टर्म $\sum_z P(z|S) P(y_f | S, x, z)$ को ऑब्जेक्ट डिटेक्टर की प्रोबेबिलिटीज का उपयोग करके (या तो मोंटे कार्लो सैंपलिंग के माध्यम से या डायरेक्ट प्रोबेबिलिटी इंजेक्शन के माध्यम से) एप्रोक्सिमेट किया जाता है।
यह फॉर्मूला प्रभावी रूप से प्रीट्रेन मॉडल ( $y_p$ ) के "स्पूरियस" प्रभाव को घटाता है और फाइनट्यून मॉडल ( $y_f$ ) से "ग्राउंडेड" सिग्नल को बढ़ाता है।

3. प्रमुख योगदान (Key Contributions)

कॉज़ल फॉर्मुलेशन: MLLM डिकोडिंग में ऑब्जेक्ट हैलुसिनेशन को एक कन्फाउंडिंग समस्या के रूप में स्पष्ट रूप से फॉर्म्युलेट करने वाला और इसे हल करने के लिए एक कॉज़ल इंटरवेंशन ($do(x)$) प्रस्तावित करने वाला पहला कार्य।
COAD फ्रेमवर्क: एक नवीन डिकोडिंग रणनीति जो ऑब्जेक्ट डिटेक्शन को डुअल-मॉडल कॉज़ल फ्यूजन मैकेनिज्म के साथ जोड़ती है, जिसमें इन्फरेंस के दौरान किसी बाहरी ज्ञान रिट्रीवल की आवश्यकता नहीं होती है।
सैद्धांतिक व्युत्पत्ति (Theoretical Derivation): ऑब्जर्वेबल क्वांटिटीज (प्रीट्रेन और फाइनट्यून मॉडल आउटपुट्स) का उपयोग करके ओरेकल प्रेडिक्शन को एप्रोक्सिमेट करने के लिए एक गणितीय व्युत्पत्ति प्रदान करता है, जो कॉज़ल थ्योरी और प्रैक्टिकल इम्प्लीमेंटेशन के बीच के अंतर को पाटता है।
स्टेट-ऑफ-द-आर्ट परफॉरमेंस: प्रदर्शित करता है कि लक्षित कॉज़ल इंटरवेंशन, ह्यूरिस्टिक डिकोडिंग ट्वीक्स और बाहरी ज्ञान विधियों से काफी बेहतर प्रदर्शन कर सकते हैं।

4. प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने तीन बेंचमार्क पर LLaVA-1.5-7B के विरुद्ध स्टेट-ऑफ-द-आर्ट बेसलाइन्स (DoLa, PAI, OPERA, VCD, CAD, HALC, आदि) पर COAD का मूल्यांकन किया:

CHAIR (कैप्शन हैलुसिनेशन असेसमेंट):
- COAD ने सबसे कम हैलुसिनेशन रेट प्राप्त किया: CHAIRI = 3.4 और CHAIRS = 5.3।
- इसने अगले सर्वश्रेष्ठ मेथड (HALC: 5.2 CHAIRI, 11.1 CHAIRS) को काफी पीछे छोड़ दिया, जिससे हैलुसिनेशन में बड़ी गिरावट आई।
- क्वालिटेटिव एनालिसिस ने दिखाया कि COAD सफलतापूर्वक गैर-मौजूद वस्तुओं (जैसे "fork") को दबाने में सफल रहा जबकि वर्णनात्मक गुणवत्ता बनाए रखी।
MMHal-Bench (मल्टीमॉडल QA):
- COAD ने 8 आयामों (एट्रिब्यूट्स, काउंटिंग, स्पैटियल रिलेशंस, आदि) में उच्चतम औसत स्कोर (2.52) और सबसे कम हैलुसिनेशन रेट (0.52) प्राप्त किया।
- इसने "एडवर्सरियल ऑब्जेक्ट" और "कंपेरिजन" कार्यों में विशेष मजबूती दिखाई, जो हैलुसिनेशन प्रेरित करने वाले प्रॉम्प्ट्स के खिलाफ मजबूती का संकेत देता है।
POPE (ऑब्जेक्ट प्रोबिंग इवैल्यूएशन):
- एडवर्सरियल सबसेट पर, COAD ने उच्चतम एक्यूरेसी (79.8) और F1 स्कोर (81.2) प्राप्त किया, जो उन प्रॉम्प्ट्स के प्रति श्रेष्ठ मजबूती प्रदर्शित करता है जो मॉडल्स को हैलुसिनेट करने के लिए ट्रिक करते हैं।
दक्षता (Efficiency):
- COAD को प्रत्येक स्टेप पर दो मॉडल (प्रीट्रेन + फाइनट्यून) चलाने की आवश्यकता होती है, जिसके परिणामस्वरूप बेस मॉडल की तुलना में लगभग आधा थ्रूपुट मिलता है (~10.5 टोकन/सेकंड बनाम 24.4 टोकन/सेकंड)।
- हालांकि, यह OPERA जैसे इटरेटिव रिफाइनमेंट मेथड्स (4.5 टोकन/सेकंड) की तुलना में काफी तेज है और अन्य डिकोडिंग संशोधनों के समान है। ऑब्जेक्ट डिटेक्शन ओवरहेड नगण्य है (0.1s प्रति इमेज)।

5. महत्व और निष्कर्ष (Significance and Conclusion)

यह शोध पत्र हैलुसिनेशन मिटिगेशन के प्रतिमान को ह्यूरिस्टिक पेनल्टी से कॉज़ल इंटरवेंशन की ओर स्थानांतरित करके एक महत्वपूर्ण योगदान देता है।

विश्वसनीयता: यह सिद्ध करता है कि विजुअल इनपुट और ऑब्जेक्ट विश्वासों के बीच के कॉज़ल रिलेशनशिप को स्पष्ट रूप से मॉडल करने से MLLMs में फॉल्स पॉजिटिव्स को काफी कम किया जा सकता है, जो मेडिकल इमेजिंग या ऑटोनॉमस ड्राइविंग जैसे उच्च-दांव वाले अनुप्रयोगों के लिए एक महत्वपूर्ण कदम है।
सामान्यीकरण (Generalizability): यह दृष्टिकोण विशाल बाहरी डेटाबेस पर निर्भर नहीं है, जिससे यह संसाधन-बाधित या गोपनीयता-संवेदनशील वातावरण में लागू करने योग्य बनता है।
भविष्य की दिशाएं: लेखक इस कॉज़ल फ्रेमवर्क को अन्य प्रकार के हैलुसिनेशन (एट्रिब्यूट्स, स्पैटियल रिलेशंस) तक विस्तारित करने और वस्तुओं की एक विस्तृत श्रृंखला को संभालने के लिए ओपन-वोकैबुलरी डिटेक्टर्स को एकीकृत करने का सुझाव देते हैं।

संक्षेप में, COAD "ऑब्जेक्ट हैलुसिनेशन" की समस्या के लिए एक सिद्धांत-आधारित, गणितीय रूप से सुदृढ़ समाधान प्रदान करता है, जो MLLMs की जेनेरेटिव क्षमताओं से समझौता किए बिना स्टेट-ऑफ-द-आर्ट फेथफुलनेस (faithfulness) प्राप्त करता है।