💻 computer science

See Fair, Speak Truth: Equitable Attention Improves Grounding and Reduces Hallucination in Vision-Language Alignment

यह शोध पत्र DOP-OBC का प्रस्ताव करता है, जो एक प्रशिक्षण-मुक्त डिकोडिंग रणनीति है जो एक डोमिनेंट ऑब्जेक्ट पेनल्टी और एक आउटलियर बूस्ट कोएफिशिएंट के माध्यम से समान अटेंशन आवंटन लागू करके मल्टीमॉडल लार्ज लैंग्वेज मॉडल्स में ऑब्जेक्ट हेलुसिनेशन को कम करती है, जिससे मॉडल को पुन: प्रशिक्षित किए बिना ग्राउंडिंग और जनरेशन की गुणवत्ता में सुधार होता है।

मूल लेखक: Mohammad Anas Azeez, Ankan Deria, Zohaib Hasan Siddiqui, Adinath Madhavrao Dukre, Rafiq Ali, Sara Atito, Yutong Xie, Imran Razzak

प्रकाशित 2026-04-15

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Mohammad Anas Azeez, Ankan Deria, Zohaib Hasan Siddiqui, Adinath Madhavrao Dukre, Rafiq Ali, Sara Atito, Yutong Xie, Imran Razzak

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ "See Fair, Speak Truth" पेपर का सरल भाषा और रचनात्मक उपमाओं (analogies) के साथ विवरण दिया गया है।

बड़ी समस्या: कमरे में एक "ज़ोरदार आवाज़"

कल्पना कीजिए कि आप एक भीड़ भरे कमरे में हैं जहाँ लोगों का एक समूह एक अंधे मित्र को एक जटिल पेंटिंग का वर्णन करने की कोशिश कर रहा है।

इस कमरे में, एक विशाल, चमकीली लाल फायर ट्रक (एक प्रमुख वस्तु) है और एक नन्ही, शर्मीली नीली चिड़िया (एक दुर्लभ वस्तु) एक टहनी पर बैठी है।

वर्तमान में, AI मॉडल (पेंटिंग का वर्णन करने वाले लोग) की एक बुरी आदत है: वे उस विशाल फायर ट्रक के बारे में बताने के लिए इतने जुनूनी हो जाते हैं कि वे भूल जाते हैं कि नीली चिड़िया का अस्तित्व है। वे यहाँ तक कि एक "नीला कुत्ता" भी बना सकते हैं क्योंकि वे जानवरों के बारे में बात करने के इतने आदी हैं, भले ही चित्र में कोई कुत्ता न हो।

इसे ऑब्जेक्ट हैलुसिनेशन (Object Hallucination) कहा जाता है। AI उन चीजों के बारे में "भ्रम" (hallucinate) पाल लेता है जो वहाँ नहीं हैं या उन चीजों को अनदेखा कर देता है जो वहाँ मौजूद हैं, केवल इसलिए क्योंकि वह बड़ी, शोर करने वाली चीजों पर बहुत अधिक ध्यान देता है और छोटी, शांत चीजों को नज़रअंदाज़ कर देता है।

समाधान: ध्यान में "निष्पक्षता" (Fairness in Attention)

इस पेपर के लेखक एक नई विधि प्रस्तावित करते हैं जिसे DOP-OBC कहा जाता है। इसे एक फेयरनेस कोच (Fairness Coach) के रूप में सोचें जो बातचीत के दौरान हस्तक्षेप करता है ताकि यह सुनिश्चित किया जा सके कि हर किसी को बोलने का समान अवसर मिले।

यह विधि दो सरल चरणों में काम करती है, जैसे एक रेफरी खेल का प्रबंधन करता है:

1. "डोमिनेंट ऑब्जेक्ट पेनल्टी" (DOP) – आवाज़ कम करना

जब विशाल फायर ट्रक इतना ज़ोर से चिल्लाने लगता है कि वह बाकी सबको दबा देता है, तो फेयरनेस कोच धीरे से कहता है, "ठीक है, फायर ट्रक, हमने तुम्हें सुन लिया। चलो, तुम्हारी आवाज़ थोड़ी कम करते हैं।"

तकनीकी शब्दों में: AI आमतौर पर अपनी 90% दिमागी शक्ति सबसे बड़ी वस्तु पर लगा देता है। यह विधि उस ध्यान (attention) को कोमलता से दबा देती है, जिससे अन्य चीजों को देखने के लिए मानसिक स्थान खाली हो जाता है।

2. "आउटलायर बूस्ट कोएफिशिएंट" (OBC) – शांत लोगों को माइक्रोफ़ोन थमाना

अब जब फायर ट्रक उतना ज़ोर से नहीं चिल्ला रहा है, तो कोच चारों ओर देखता है और नन्ही नीली चिड़िया को देख लेता है। कोच कहता है, "हे, नीली चिड़िया! तुम छोटी हो, लेकिन तुम वहाँ हो और तुम महत्वपूर्ण हो। यह लो माइक्रोफ़ोन। ज़ोर से बोलो!"

तकनीकी शब्दों में: AI अक्सर छोटी या दुर्लभ वस्तुओं को अनदेखा कर देता है क्योंकि वे उसके ट्रेनिंग डेटा में कम दिखाई देती हैं। यह विधि उन दुर्लभ वस्तुओं के संकेत (signal) को बढ़ा देती है यदि AI को विश्वास हो कि वह उन्हें देख रहा है।

यह कैसे काम करता है ( "नो-रीवायरिंग" ट्रिक)

आमतौर पर, किसी रोबोट के दिमाग को ठीक करने के लिए, आपको उसे खोलना पड़ता है, उसकी वायरिंग बदलनी पड़ती है और उसे नए सबक सिखाने पड़ते हैं (जिसमें महीनों और विशाल कंप्यूटर लगते हैं)।

DOP-OBC अलग है। यह रोबोट के दिमाग को बिल्कुल नहीं छूता है। यह रोबोट के चश्मे पर एक स्मार्ट फ़िल्टर लगाने जैसा है, जो बोलने से ठीक पहले लगाया जाता है।

यह रोबोट के बोलने के दौरान (इन्फरेंस के दौरान) तुरंत होता है।
इसके लिए किसी नई ट्रेनिंग की आवश्यकता नहीं होती।
यह बिना कोड बदले किसी भी रोबट (इमेज या वीडियो) पर काम करता है।

पेपर से एक वास्तविक उदाहरण

पेपर एक तस्वीर दिखाता है जिसमें एक व्यक्ति कच्ची सड़क पर मोटरसाइकिल चला रहा है।

पुराना AI (LLaVA-1.5): मोटरसाइकिल और सवार को देखता है। यह पृष्ठभूमि में एक साइकिल के पास खड़ी लड़की को अनदेखा कर देता है। यह कहता है: "एक व्यक्ति मोटरसाइकिल चला रहा है।" (इसने लड़की को मिस कर दिया)।
नया AI (DOP-OBC के साथ): "फेयरनेस कोच" हस्तक्षेप करता है। यह AI को मोटरसाइकिल को इतनी गहराई से घूरना बंद करने और बैकग्राउंड को देखने के लिए कहता है। यह कहता है: "एक व्यक्ति मोटरसाइकिल चला रहा है, और उसके पीछे एक लड़की अपनी साइकिल के पास खड़ी है।"

परिणाम? विवरण अधिक पूर्ण, सटीक और चीज़ों को मनगढ़ंत बनाने की संभावना कम है।

यह क्यों मायने रखता है?

यह झूठ को कम करता है: AI उन वस्तुओं को नहीं बनाता जो वहाँ नहीं हैं (जैसे हमारे पहले वाले उदाहरण में "नीला कुत्ता")।
यह अधिक देखता है: यह उन छोटी बारीकियों को नोटिस करता है जो पहले AI के लिए अदृश्य थीं।
इसे उपयोग करना आसान है: क्योंकि इसके लिए री-ट्रेनिंग की आवश्यकता नहीं है, इसलिए इन AI मॉडल्स का उपयोग करने वाली कोई भी कंपनी इसे तुरंत बेहतर परिणाम प्राप्त करने के लिए "प्लग इन" कर सकती है।

निष्कर्ष

यह पेपर तर्क देता है कि निष्पक्षता केवल एक अच्छी विचार नहीं है; यह एक तकनीकी आवश्यकता है। यदि एक AI चित्र में प्रत्येक वस्तु के साथ समान सम्मान के साथ व्यवहार करता है—यानी शोर करने वालों को धीमा करना और शांत रहने वालों को बढ़ावा देना—तो वह एक बहुत बेहतर और अधिक सच्चा कहानीकार बन जाता है।

संक्षेप में: DOP-OBC AI को कमरे में मौजूद हाथी को घूरना बंद करने और मेज पर बैठी चूहे पर भी वास्तव में ध्यान देने के लिए सिखाता है।

यहाँ शोध पत्र "See Fair, Speak Truth: Equitable Attention Improves Grounding and Reduces Hallucination in Vision-Language Alignment" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

मल्टीमॉडल लार्ज लैंग्वेज मॉडल्स (MLLMs) ऑब्जेक्ट हेलुसिनेशन (वस्तु मतिभ्रम) से ग्रस्त होते हैं, जहाँ मॉडल विजुअल इनपुट में मौजूद न होने वाली वस्तुओं का वर्णन करते हैं या स्पष्ट रूप से दिखाई देने वाली वस्तुओं को छोड़ देते हैं।

मूल कारण: लेखक पहचानते हैं कि यह मुख्य रूप से विजुअल परसेप्शन (एन्कोडर वस्तुओं को देख रहा है) की विफलता नहीं है, बल्कि एक डिकोडिंग-टाइम अटेंशन असंतुलन (decoding-time attention imbalance) है।
तंत्र (Mechanism): ऑटोरेग्रेसिव डिकोडिंग के दौरान, अटेंशन मैकेनिज्म विजुअली डोमिनेंट (दृश्य रूप से प्रभावी), बड़े या बार-बार आने वाली वस्तुओं (जैसे कि एक मोटरसाइकिल) पर अत्यधिक ध्यान केंद्रित करता है। यह "अटेंशन कोलैप्स" (attention collapse) दुर्लभ, छोटी या परिधीय वस्तुओं (जैसे कि पास खड़ी एक महिला) से जुड़े टोकन्स को दबा देता है, जिससे मॉडल उन्हें अनदेखा कर देता है या संदर्भ को भरने के लिए गैर-मौजूद वस्तुओं को 'हैलुसिनेट' करने लगता है।
वर्तमान समाधानों की सीमा: केवल अटेंशन को समान रूप से पुनर्वितरित करना पर्याप्त नहीं है क्योंकि यह वस्तु के स्केल और फ्रीक्वेंसी के अंतर को नजरअंदाज करता है। मौजूदा तरीकों के लिए अक्सर रिट्रेनिंग, सहायक मॉडल्स, या जटिल आर्किटेक्चरल बदलावों की आवश्यकता होती है।

2. कार्यप्रणाली: DOP-OBC

लेखक DOP-OBC प्रस्तावित करते हैं, जो एक ट्रेनिंग-फ्री, आर्किटेक्चर-अगनोस्टिक डिकोडिंग रणनीति है जो पूरी तरह से इन्फरेंस टाइम (inference time) पर संचालित होती है। यह मॉडल वेट्स (weights) को बदले बिना सीधे कॉज़ल अटेंशन मास्क (causal attention mask) में "इक्विटेबल अटेंशन" (समान ध्यान) सिग्नल इंजेक्ट करती है।

यह विधि तीन मुख्य घटकों से बनी है:

A. अपर-ट्राइएंगुलर अटेंशन रजिस्टर्स (Upper-Triangular Attention Registers)

अटेंशन कोलैप्स को रोकने और लॉन्ग-रेंज जनरेशन को स्थिर करने के लिए, लेखक एक रजिस्टर पेश करते हैं जो भविष्य के पदों (future positions) की ओर निर्देशित अतिरिक्त अटेंशन मास को सोख लेता है।

वे लॉजिट्स ( $\mathbf{W}$ ) को एक लीनियर डिके स्लोप ( $\sigma$ ) वाले अपर-ट्राइएंगुलर मैट्रिक्स $\mathbf{P}$ को जोड़कर संशोधित करते हैं।
यह सुनिश्चित करता है कि जैसे-जैसे डिकोडिंग आगे बढ़ती है, मॉडल ऐतिहासिक संदर्भ पर नियंत्रित फोकस बनाए रखता है और सख्त कॉज़ल मास्किंग का पालन करता है।

B. डोमिनेंट ऑब्जेक्ट पेनल्टी (DOP)

यह सिग्नल विजुअली डोमिनेंट वस्तुओं को आवंटित अटेंशन को सॉफ्टली दबाता (softly suppresses) है ताकि अन्य वस्तुओं के लिए रिप्रजेंटेशनल कैपेसिटी खाली की जा सके।

गणना: प्रत्येक वस्तु के लिए एक डोमिनेंस स्कोर $D(o)$ उनके नॉर्मलाइज्ड साइज ( $\hat{s}$ ), टेम्पोरल पर्सिस्टेंस ( $\hat{L}$ ), और वर्तमान अटेंशन शेयर ( $\hat{A}$ ) के आधार पर निकाला जाता है।
पेनल्टी: रो-वाइज लॉजिट एम्प्लीट्यूड (row-wise logit amplitude) पर एक सॉफ्ट पेनल्टी वेट $w_{pen} = \exp(-\lambda D(o))$ लागू किया जाता है। उच्च डोमिनेंस स्कोर वाली वस्तुएं कम एम्प्लीट्यूड प्राप्त करती हैं, जिससे उन्हें अटेंशन डिस्ट्रीब्यूशन पर एकाधिकार करने से रोका जा सके।

C. आउटलियर बूस्ट कोएफिशिएंट (OBC)

यह सिग्नल दुर्लभ लेकिन आत्मविश्वास के साथ डिटेक्ट की गई वस्तुओं की ओर अटेंशन को एम्प्लीफाई (बढ़ावा) करता है।

गणना: एक सीन डिस्ट्रीब्यूशन के एक्सपोनेंशियल मूविंग एवरेज (EMA) और किसी वस्तु के फीचर्स के बीच महालनोबिस डिस्टेंस (Mahalanobis distance) का उपयोग करके रैरिटी स्कोर $r(o)$ का अनुमान लगाया जाता है।
बूस्ट: एक बूस्ट कोएफिशिएंट $b(o) = \gamma \cdot r(o)$ केवल तभी लागू किया जाता है जब वस्तु का डिटेक्शन कॉन्फिडेंस $p(o)$ , थ्रेशोल्ड $\tau_p$ से अधिक हो। यह सुनिश्चित करता है कि केवल विश्वसनीय, दुर्लभ वस्तुओं को ही एम्प्लीफिकेशन मिले।

D. एकीकरण (Integration)

इन सिग्नल्स को रो-वाइज मॉड्यूलेशन के रूप में अटेंशन कंप्यूटेशन में एकीकृत किया जाता है:

एम्प्लीट्यूड स्केलिंग: $\alpha_i \leftarrow \alpha_0 \cdot w_{pen}(o_i) \cdot (1 + b(o_i))$
स्लोप एडजस्टमेंट: $\sigma_i \leftarrow \sigma_0 / (1 + b(o_i))$
संशोधित लॉजिट्स को स्टैंडर्ड सॉफ्टमैक्स (SoftMax) और कॉज़ल मास्किंग के माध्यम से पास किया जाता है।

3. मुख्य योगदान

असमानता का निदान (Diagnosis of Inequity): यह पेपर स्थापित करता है कि ऑब्जेक्ट हेलुसिनेशन मौलिक रूप से डिकोडिंग के दौरान असमान अटेंशन एलोकेशन द्वारा संचालित होता है, जहाँ डोमिनेंट वस्तुएं परिधीय (peripheral) वस्तुओं को दबा देती हैं।
DOP-OBC फ्रेमवर्क: एक नवीन, प्लग-एंड-प्ले डिकोडिंग रणनीति जो दो पूरक सिग्नल्स (डोमिनेंट के लिए पेनल्टी और आउटलियर्स के लिए बूस्ट) का उपयोग करके अटेंशन को पुनर्संतुलित करती है।
ट्रेनिंग-फ्री और अगनोस्टिक: इस विधि के लिए कोई वेट अपडेट, कोई रिट्रेनिंग, और कोई सहायक मॉडल आवश्यक नहीं है। यह इन्फरेंस टाइम पर अटेंशन मैट्रिक्स को संशोधित करके किसी भी ट्रांसफार्मर-आधारित MLLM (इमेज या वीडियो) के साथ काम कर सकता है।
व्यापक सत्यापन: विभिन्न बेंचमार्क पर इमेज और वीडियो प्रयोगों से पता चलता है कि यह ग्राउंडिंग में निरंतर सुधार और हेलुसिनेशन में कमी लाता है।

4. प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने कई स्टेट-ऑफ-द-आर्ट मॉडल्स (LLaVA-1.5, Video-LLaVA, InstructBLIP, Chat-UniVi, VILA, Video-LLaMA2) पर विभिन्न बेंचमार्क के माध्यम से DOP-OBC का मूल्यांकन किया।

हेलुसिनेशन में कमी (CHAIR & POPE):
- LLaVA-1.5 पर, DOP-OBC ने CHAIRS (हेलुसिनेशन रेट) को 48.0 से घटाकर 39.7 कर दिया और POPE-P (प्रिसिजन) को 82.8 से बढ़ाकर 89.3 कर दिया।
- Video-LLaVA पर, CHAIRS 50.2 से गिरकर 41.2 हो गया, और POPE-P 85.3 से सुधरकर 87.7 हो गया।
- ये परिणाम पूर्ववर्ती ट्रेनिंग-फ्री तरीकों जैसे FixVPE, EDVT, और FarSight से बेहतर प्रदर्शन करते हैं।
सामान्य प्रदर्शन में सुधार:
- कुछ हेलुसिनेशन मिटिगेशन तकनीकों के विपरीत, जो सामान्य रीजनिंग को कम कर देती हैं, DOP-OBC ने MMBench, LLAVA-W, और MM-Vet जैसे सामान्य बेंचमार्क पर स्कोर में सुधार किया।
- वीडियो कैप्शनिंग (GPT-4o द्वारा मूल्यांकित) में, इस विधि ने पांचों आयामों में सुधार किया: सत्यता (Correctness), निरंतरता (Consistency), विवरण (Detail), संदर्भ (Context), और टेम्पोरल समझ (Temporal understanding)।
गुणात्मक विश्लेषण (Qualitative Analysis):
- अटेंशन मैप्स के विज़ुअलाइज़ेशन दिखाते हैं कि जबकि बेसलाइन (जैसे LLaVA-1.5) डोमिनेंट ऑब्जेक्ट्स पर "अटेंशन कोलैप्स" प्रदर्शित करते हैं (मोटर साइकिल के बगल में खड़ी एक महिला को अनदेखा करना), DOP-OBC एक संतुलित वितरण बनाए रखता है, जिससे डोमिनेंट मोटरसाइकिल और परिधीय महिला दोनों को सही ढंग से ग्राउंड किया जाता है।

5. महत्व और निष्कर्ष

पैराडाइम शिफ्ट: यह पेपर विजुअल एनकोडर्स को सुधारने के बजाय डिकोडर अटेंशन मैकेनिक्स को ठीक करने पर ध्यान केंद्रित करता है। यह तर्क देता है कि वफादार मल्टीमॉडल जनरेशन के लिए अटेंशन एलोकेशन में "निष्पक्षता" (fairness) एक व्यावहारिक आवश्यकता है।
व्यावहारिकता: क्योंकि DOP-OBC एक लाइटवेट, इन्फरेंस-टाइम इंटरवेंशन है, इसे रिट्रेनिंग की कम्प्यूटेशनल लागत या बाहरी गाइडेंस मॉडल्स को जोड़ने की जटिलता के बिना मौजूदा सिस्टम में तुरंत तैनात किया जा सकता है।
भविष्य की दृष्टि: लेखक सुझाव देते हैं कि भविष्य के कार्यों में अनिश्चितता मॉडलिंग (uncertainty modeling) को अधिक गहराई से एकीकृत किया जा सकता है और इस इक्विटी-अवेयर डिकोडिंग को मल्टी-इमेज और लॉन्ग-वीडियो डायलॉग सेटिंग्स तक विस्तारित किया जा सकता है।

संक्षेप में, DOP-OBC यह सिद्ध करता है कि डोमिनेंट वस्तुओं को स्पष्ट रूप से दंडित करके और दुर्लभ लेकिन आत्मविश्वासी वस्तुओं को बढ़ावा देकर, MLLMs अपने अंतर्निहित आर्किटेक्चर को बदले बिना अधिक सटीक, पूर्ण और ग्राउंडेड विवरण उत्पन्न कर सकते हैं।