🤖 AI

When RAG Hurts: Diagnosing and Mitigating Attention Distraction in Retrieval-Augmented LVLMs

यह शोध पत्र "अटेंशन डिस्ट्रैक्शन" (Attention Distraction) को रिट्रीवल-ऑगमेंटेड लार्ज विजन-लैंग्वेज मॉडल्स में एक नवीन विफलता मोड के रूप में पहचानता है जहाँ प्रासंगिक रिट्रीव्ड टेक्स्ट विजुअल अटेंशन को दबा देता है, और MAD-RAG का प्रस्ताव करता है, जो एक ट्रेनिंग-फ्री विधि है जो विजुअल ग्राउंडिंग को कॉन्टेक्स्ट इंटीग्रेशन से अलग करके इस समस्या को महत्वपूर्ण रूप से कम करती है।

मूल लेखक: Beidi Zhao, Wenlong Deng, Xinting Liao, Yushu Li, Nazim Shaikh, Yao Nie, Xiaoxiao Li

प्रकाशित 2026-06-16

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Beidi Zhao, Wenlong Deng, Xinting Liao, Yushu Li, Nazim Shaikh, Yao Nie, Xiaoxiao Li

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ सरल भाषा और रचनात्मक उपमाओं (analogies) का उपयोग करके शोध पत्र "When RAG Hurts: Diagnosing and Mitigating Attention Distraction in Retrieval-Augmented LVLMs" की व्याख्या दी गई है।

मुख्य समस्या: "अति-सहायक" लाइब्रेरियन (The "Over-Helpful" Librarian)

कल्पना कीजिए कि आप एक विजुअल क्विज़ (दृश्य प्रश्नोत्तरी) दे रहे हैं। आपके सामने एक फोटो है, और आपको उससे संबंधित एक प्रश्न का उत्तर देना है।

क्लोज्ड-बुक मोड (Closed-Book Mode): आप केवल अपनी याददाश्त और फोटो में जो दिख रहा है, उस पर भरोसा करते हैं।
RAG (रिट्रीवल-ऑगमेंटेड जनरेशन): एक लाइब्रेरियन आपको उत्तर देने में मदद करने के लिए संदर्भ पुस्तकों (रिट्रीव्ड टेक्स्ट) का एक ढेर थमा देता है।

आमतौर पर, हम सोचते हैं कि लाइब्रेरियन हमेशा मददगार होता है। लेकिन यह शोध पत्र एक अजीब बग (खामी) की खोज करता है: कभी-कभी लाइब्रेरियन वास्तव में आपको गलत उत्तर देने पर मजबूर कर देता है, भले ही उन किताबों में सही जानकारी मौजूद हो।

लेखक इस बग को "अटेंशन डिस्ट्रैक्शन" (Attention Distraction - ध्यान भटकना) कहते हैं। यह दो विशिष्ट तरीकों से होता है:

1. क्रॉस-मोडल डिस्ट्रैक्शन (The "Ignore the Picture" Effect - चित्र को अनदेखा करने का प्रभाव)

जब लाइब्रेरियन आपको वे किताबें थमाता है, तो आपका मस्तिष्क अचानक फोटो देखना बंद कर देता है। आप टेक्स्ट पढ़ने में इतने खो जाते हैं कि आप दृश्य साक्ष्य (visual evidence) देखना ही भूल जाते हैं।

उपमा: कल्पना कीजिए कि आप एक पार्किंग लॉट में कार को पहचानने की कोशिश कर रहे हैं। लाइब्रेरियन आपको कार के इंजन के बारे में एक मैनुअल थमा देता है। आप मैनुअल को इतनी तन्मयता से पढ़ने लगते हैं कि आप कार को देखना ही छोड़ देते हैं। आप किताब से इंजन के प्रकार का सही अनुमान तो लगा सकते हैं, लेकिन आप यह देखने में चूक जाते हैं कि वह कार वास्तव में एक मोटरसाइकिल है। टेक्स्ट ने आपको चित्र से "विचलित" (distract) कर दिया।

2. इंट्रा-इमेज डिस्ट्रैक्शन (The "Wrong Part of the Photo" Effect - फोटो के गलत हिस्से पर ध्यान)

भले ही आप फोटो को देख रहे हों, लेकिन टेक्स्ट की उपस्थिति के कारण आपकी नज़रें फोटो के गलत हिस्सों पर टिक जाती हैं। प्रश्न में बताए गए महत्वपूर्ण ऑब्जेक्ट पर ध्यान केंद्रित करने के बजाय, आपकी आँखें बैकग्राउंड या अप्रासंगिक विवरणों की ओर भटक जाती हैं।

उपमा: प्रश्न पूछता है, "खिलाड़ी क्या पकड़े हुए है?" फोटो में, खिलाड़ी ने एक बैट पकड़ा हुआ है। लेकिन क्योंकि आप बेसबॉल के नियमों के बारे में एक टेक्स्ट पढ़ रहे हैं, आपकी आँखें भीड़ या घास की ओर भटक जाती हैं। आप बैट को मिस कर देते हैं क्योंकि आपका ध्यान मुख्य विजुअल सुराग से "भटक" गया था।

ऐसा क्यों होता है?

यह शोध पत्र बताता है कि लार्ज विजन-लैंग्वेज मॉडल्स (LVLMs) "अटेंशन" (महत्व) देकर काम करते हैं, जो अलग-अलग शब्दों और पिक्सेल को आवंटित किया जाता है।

क्लोज्ड-बुक मोड में, मॉडल प्रश्न से संबंधित इमेज टोकन्स पर उच्च ध्यान (high attention) देता है।
RAG मोड में, लाइब्रेरियन द्वारा दिए गए लंबे टेक्स्ट के कारण इमेज "दब" जाती है। मॉडल का आंतरिक तंत्र टेक्स्ट की भारी मात्रा से भ्रमित हो जाता है, जिससे उसका विजुअल फोकस कम हो जाता है। यह एक शांत कमरे (Closed-Book) बनाम एक शोर वाले कॉन्सर्ट (Rals) में बातचीत करने जैसा है; शोर (टेक्स्ट) सूक्ष्म संकेतों (विजुअल विवरणों) को दबा देता है।

समाधान: MAD-RAG

इसे ठीक करने के लिए, लेखकों ने MAD-RAG नामक एक विधि बनाई है। यह एक "ट्रेनिंग-फ्री" ट्रिक है, जिसका अर्थ है कि आपको AI मॉडल को फिर से प्रशिक्षित करने की आवश्यकता नहीं है; आप बस परीक्षण के दौरान सूचना को प्रोसेस करने का तरीका बदलते हैं।

MAD-RAG दो चतुर रणनीतियों का उपयोग करता है:

1. "डुअल-क्वेश्चन" सेटअप (काम का बँटवारा)

केवल इमेज और टेक्स्ट दिखाने के बाद AI से एक प्रश्न पूछने के बजाय, MAD-RAG उसी प्रश्न को दो बार पूछता है, लेकिन अलग-अलग स्थानों पर:

प्रश्न 1 (इमेज-क्वेश्चन): इसे इमेज के ठीक बाद रखा जाता है। इसका एकमात्र काम फोटो को देखना और विजुअल सुराग खोजना है।
प्रश्न 2 (कॉन्टेक्स्ट-क्वेश्चन): इसे लाइब्रेरियन की किताबों के बाद रखा जाता है। इसका काम टेक्स्ट को पढ़ना और उसे उत्तर के साथ जोड़ना है।
उपमा: कल्पना कीजिए कि आपके पास दो सहायक हैं।
- सहायक A फोटो के पास खड़ा है। आप उससे कहते हैं, "बस मुझे बताओ कि तुम इस प्रश्न से संबंधित फोटो में क्या देख रहे हो।"
- सहायक B किताबों के पास खड़ा है। आप उससे कहते हैं, "इन किताबों को पढ़ो और उस जानकारी को सहायक A ने जो देखा उसके साथ मिलाओ।"
- भूमिकाओं को अलग करके, सहायक A किताबों से विचलित नहीं होता है, और सहायक B के पास काम करने के लिए एक स्पष्ट विजुअल रिपोर्ट होती है।

2. अटेंशन मिक्सिंग (दोनों दुनिया का सर्वश्रेष्ठ मिश्रण)

AI स्वाभाविक रूप से अधिक टेक्स्ट पढ़ते समय इमेज को भूलने लगता है (जिसे "रेन्सी बायस" कहा जाता है)। MAD-RAG AI को मजबूर करता है कि वह सहायक A से प्राप्त "विजुअल फोकस" को सहायक B के "टेक्स्ट रीजनिंग" में मिला दे।

उपमा: यह कड़क कॉफी (विजुअल साक्ष्य) को दूध (टेक्स्ट कॉन्टेक्स्ट) के साथ मिलाने जैसा है। यदि आप केवल दूध पीते हैं, तो यह हल्का है। यदि आप केवल कॉफी पीते हैं, तो यह बहुत तेज़ है। MAD-RAG यह सुनिश्चित करता है कि अंतिम कप में सही संतुलन हो, ताकि AI टेक्स्ट पढ़ते समय विजुअल सुरागों को न भूले।

परिणाम

शोध पत्र दिखाता है कि यह सरल ट्रिक बहुत अच्छी तरह काम करती है:

यह त्रुटियों को ठीक करता है: उन मामलों में जहाँ AI बिना किताबों के सही था लेकिन किताबों के साथ गलत था ("अटेंशन डिस्ट्रैक्शन" के मामले), MAD-RAG ने उन गलतियों को 74.68% तक ठीक कर दिया।
यह तेज़ है: यह प्रक्रिया में लगभग कोई अतिरिक्त समय नहीं जोड़ता (मानक विधि से केवल लगभग 10% धीमा है)।
यह अन्य सुधारों से बेहतर है: यह समान समस्याओं को ठीक करने की कोशिश करने वाले अन्य मौजूदा तरीकों से काफी बेहतर प्रदर्शन करता है।

सारांश

संक्षेप में, यह शोध पत्र तर्क देता है कि AI को बहुत अधिक टेक्स्ट देने से कभी-कभी वह उन छवियों के प्रति "अंधा" हो सकता है जिनका उसे विश्लेषण करना होता है। MAD-RAG इस कार्य को दो भागों में विभाजित करके इसे हल करता है—एक पूरी तरह से देखने पर केंद्रित है और दूसरा केवल पढ़ने पर—और फिर परिणामों को सावधानीपूर्वक मिलाकर यह सुनिश्चित करता है कि AI चित्र से अपनी दृष्टि न खोए।

तकनीकी सारांश: जब RAG नुकसान पहुँचाता है: रिट्रीवल-ऑगमेंटेड LVLMs में अटेंशन डिस्ट्रैक्शन का निदान और शमन

समस्या विवरण
नॉलेज-बेस्ड विजुअल क्वेश्चन अनswering (KB-VQA) कार्यों पर लार्ज विजन-लैंग्वेज मॉडल्स (LVLMs) को बेहतर बनाने के लिए रिट्रीवल-ऑगमेंटेड जनरेशन (RAG) एक प्रमुख प्रतिमान (paradigm) है। हालाँकि, लेखक एक पहले से अनदेखी की गई विफलता स्थिति (failure mode) की पहचान करते हैं जिसे अटेंशन डिस्ट्रैक्शन (AD) कहा जाता है। पिछले कार्यों के विपरीत, जो RAG की विफलताओं को रिट्रीव किए गए संदर्भ (retrieved context) के प्रति अपर्याप्त ध्यान के रूप में देखते हैं, यह शोध पत्र प्रदर्शित करता है कि भले ही रिट्रीव किया गया संदर्भ अत्यधिक प्रासंगिक हो या उसमें सही उत्तर मौजूद हो, फिर भी RAG उन प्रश्नों के प्रदर्शन को कम कर सकता है जिन्हें मॉडल क्लोज्ड-बुक सेटिंग में सही ढंग से हल कर सकता था। यह गिरावट केवल खराब रिट्रीवल क्वालिटी के कारण नहीं है, बल्कि जनरेशन चरण के दौरान अटेंशन के अनुचित आवंटन से उत्पन्न होती है, जहाँ रिट्रीव किया गया टेक्स्ट विजुअल अटेंशन को दबा देता है और ध्यान को प्रश्न-प्रासंगिक इमेज क्षेत्रों से हटा देता है।

कार्यप्रणाली (Methodology)
लेखक लॉन्ग-कॉन्टेक्स्ट मल्टीमॉडल इन्फरेंस में ऑटोरेग्रेसिव अटेंशन डायनेमिक्स के विश्लेषण के माध्यम से AD का निदान करते हैं। वे AD के दो विशिष्ट रूपों की पहचान करते हैं:

क्रॉस-मोडल अटेंशन डिस्ट्रैक्शन: रिट्रीव किए गए टेक्स्टुअल कॉन्टेक्स्ट का समावेश व्यवस्थित रूप से ग्लोबल विजुअल अटेंशन को दबा देता है। लेखक देखते हैं कि क्लोज्ड-बुक सेटिंग्स की तुलना में इमेज टोकन्स को आवंटित अटेंशन वेट्स में 12.1%–41.1% की कमी आती है, क्योंकि अटेंशन टेक्स्ट मोडैलिटी की ओर विचलित हो जाता है।
इंट्रा-इमेज अटेंशन डिस्ट्रक्शन: ग्लोबल सप्रेशन के अलावा, रिट्रीवल स्थानिक मिसअलाइनमेंट (spatial misalignment) को प्रेरित करता है। विजुअल अटेंशन, प्रश्न-प्रासंगिक प्रमुख क्षेत्रों से हटकर विजुअली प्रॉमिनेंट लेकिन सिमेंटिक रूप से अप्रासंगिक बैकग्राउंड क्षेत्रों की ओर स्थानांतरित हो जाता है।

इन समस्याओं को कम करने के लिए, लेखक MAD-RAG (रिट्रीवल-ऑगमेंटेड जनरेशन में अटेंशन डिस्ट्रैक्शन को कम करना) प्रस्तावित करते हैं, जो एक ट्रेनिंग-फ्री, इन्फरेंस-टाइम इंटरवेंशन है और इसके दो घटक हैं:

डुअल-क्वेश्चन फॉर्मुलेशन: विजुअल ग्राउंडिंग को कॉन्टेक्स्ट इंटीग्रेशन से अलग करने के लिए, इनपुट सीक्वेंस को $X_{MAD-RAG} = [I, Q_I, C, Q_C]$ के रूप में संरचित किया गया है, जहाँ $I$ इमेज टोकन्स को दर्शाता है, $C$ रिट्रीव किए गए कॉन्टेक्स्ट को दर्शाता है, और प्रश्न को दो समूहों में विभाजित किया गया है: $Q_I$ (इमेज-क्वेश्चन टोकन्स) जो इमेज के तुरंत बाद रखे जाते हैं, और $Q_C$ (कॉन्टेक्स्ट-क्वेश्चन टोकन्स) जो कॉन्टेक्स्ट के बाद रखे जाते हैं। यह सुनिश्चित करता है कि $Q_I$ , बाहरी जानकारी शामिल करने से पहले इमेज-प्रायोरिटाइज्ड ग्राउंडिंग स्थापित करे, जिससे क्रॉस-मोडल इंटरफेरेंस कम हो सके।
विजुअल ग्राउंडिंग संरक्षण के लिए अटेंशन मिक्सिंग: मॉडल के लंबे रिट्रीव किए गए कॉन्टेक्स्ट के प्रति 'रिसेंसी बायस' (recency bias) का मुकाबला करने के लिए, लेखक एक अटेंशन मिक्सिंग मैकेनिज्म पेश करते हैं। प्रत्येक ट्रांसफार्मर लेयर पर, $Q_I$ से इमेज टोकन्स के अटेंशन वेट्स ( $A_{Q_I,I}$ ) को एक कॉनवेक्स कॉम्बिनेशन के माध्यम से $Q_C$ के अटेंशन वेट्स में इंजेक्ट किया जाता है:
$\hat{A}_{Q_C,All} = \alpha \cdot [A_{Q_I,I}, 0_{Q_I}, 0_C] + ( - \alpha) \cdot A_{Q_C,All}$
यहाँ, $\alpha \in [0, 1]$ एक मिक्सिंग वेट (डिफ़ॉल्ट 0.5) है। यह ऑपरेशन प्रभावी रूप से $Q_I$ से इमेज-ग्राउंडेड अटेंशन को $Q_C$ में स्थानांतरित करता है, यह सुनिश्चित करता है कि कॉन्टेक्स्ट-अवेयर रीजनिंग प्रश्न-प्रासंगिक विजुअल साक्ष्यों से जुड़ी रहे।

प्रमुख योगदान

अटेंशन डिस्ट्रैक्शन का लक्षण वर्णन: यह पेपर AD को रिट्रीवल-ऑगमेंटेड LVLMs में एक विशिष्ट विफलता मोड के रूप में परिभाषित करता है, जिसमें विजुअल अटेंशन का क्रॉस-मोडल सप्रेशन और अप्रासंगिक क्षेत्रों की ओर इंट्रा-इमेज अटेंशन ड्रिफ्ट शामिल है।
अनुभवजन्य विश्लेषण (Empirical Analysis): लेखक प्रदर्शित करते हैं कि AD रिट्रीवल की गुणवत्ता से स्वतंत्र, रिट्रीवल ऑग्मेंटेशन और ऑटोरेग्रेसिव अटेंशन डायनेमिक्स के बीच परस्पर क्रिया से उत्पन्न होता है।
MAD-RAG प्रस्ताव: डुअल-क्वेश्चन फॉर्मुलेशन और अटेंशन मिक्सिंग के माध्यम से विजुअल अटेंशन को प्रश्न के साथ मजबूती से संरेखित करने वाला एक सरल, कुशल और ट्रेनिंग-फ्री तरीका।

परिणाम
LLaVA-1.5 और Qwen2.5-VL सहित LVLM परिवारों का उपयोग करते हुए तीन KB-VQA बेंचमार्क: OK-VQA, E-VQA, और InfoSeek पर व्यापक प्रयोग किए गए।

प्रदर्शन लाभ: MAD-RAG लगातार वैनिला RAG और मौजूदा बेसलाइन (CAD, AdaCAD, ALFAR और DoLa एवं VCD जैसे हैलुसिनेशन मिटिगेशन मेथड्स सहित) को पछाड़ता है। यह OK-VQA पर 4.76%, E-VQA पर 9.20%, और InfoSeek पर 6.18% तक एब्सोल्यूट गेन्स प्रदान करता है।
विफलता रिकवरी: MAD-RAG उन 74.68% तक विफलता के मामलों को ठीक करता है जहाँ क्लोज्ड-बुक मॉडल सही था लेकिन वैनिला RAG विफल रहा (AD विफलता मोड)।
दक्षता: MAD-R_AG नगण्य कम्प्यूटेशनल ओवरहेड रखता है, जिससे वैनिला RAG की तुलना में इन्फरेंस टाइम केवल लगभग 9–11% बढ़ता है, जो अन्य बेसलाइन विधियों के 1.3×–4.5× ओवरहेड की तुलना में काफी कम है।
मजबूती (Robustness): यह विधि कॉन्टेक्स्ट लेंथ, रिट्रीवल क्वालिटी (शोर वाले CLIP-आधारित रिट्रिवर्स के साथ भी अच्छा प्रदर्शन करती है) और हाइपरपैरामीटर सेंसिटिविटी ( $\alpha$ के विभिन्न मानों के बीच स्थिर प्रदर्शन) के प्रति मजबूत है।

महत्व
यह पेपर वर्तमान मल्टीमॉडल RAG फ्रेमवर्क में एक महत्वपूर्ण सीमा की पहचान करके अपनी महत्ता सिद्ध करता है: यह धारणा कि अधिक रिट्रीव किया गया कॉन्टेक्स्ट हमेशा रीजनिंग में सहायता करता है। अटेंशन डिस्ट्रैक्शन का निदान करके, यह कार्य विजुअल ग्राउंडिंग और कॉन्टेक्स्ट इंटीग्रेशन के बीच संतुलन बनाने की आवश्यकता पर प्रकाश डालता है। MAD-RAG एक मॉडल-एग्नोस्टिक, प्लग-एंड-प्ले समाधान प्रदान करता है जो मजबूत अटेंशन डायनेमिक्स को बहाल करता है, यह प्रदर्शित करता है कि प्रभावी नॉलेज-बेस्ड रीजनिंग के लिए विजुअल ग्राउंडिंग को स्थिर करना मौलिक है। लेखक नोट करते हैं कि उनका दृष्टिकोण न्यूनतम लेटेंसी के साथ RAG-प्रेरित त्रुटियों के एक बड़े हिस्से को ठीक करता है, जो इसे स्केलेबल अनुप्रयोगों के लिए उपयुक्त बनाता है।