💬 NLP

Relevance-aware Multi-context Contrastive Decoding for Retrieval-augmented Visual Question Answering

यह शोध पत्र Relevance-aware Multi-context Contrastive Decoding (RMCD) का प्रस्ताव करता है, जो एक प्रशिक्षण-मुक्त (training-free) डिकोडिंग विधि है जो अप्रासंगिक स्रोतों से शोर को दबाते हुए उपयोगी जानकारी को प्रभावी ढंग से एकत्रित करने के लिए उनकी प्रासंगिकता के आधार पर कई पुनर्प्राप्त संदर्भों (retrieved contexts) को अनुकूल रूप से भारित करके रिट्रीवल-ऑगमेंटेड विजुअल क्वेश्चन अनस्विरिंग (Retrieval-augmented Visual Question Answering) को बेहतर बनाती है।

मूल लेखक: Jongha Kim, Byungoh Ko, Jeehye Na, Jinsung Yoon, Hyunwoo J. Kim

प्रकाशित 2026-02-09

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Jongha Kim, Byungoh Ko, Jeehye Na, Jinsung Yoon, Hyunwoo J. Kim

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ "Relevance-aware Multi-context Contrastive Decoding for Retrieval-augmented Visual Question Answering" (RMCD) शोध पत्र का सरल भाषा और रचनात्मक उपमाओं (analogies) का उपयोग करते हुए विवरण दिया गया है।

बड़ी तस्वीर: "अभिभूत विशेषज्ञ" (Overwhelmed Expert) की समस्या

कल्पना कीजिए कि आपके पास एक बहुत ही बुद्धिमान, विद्वान विशेषज्ञ (AI Model) है जो किसी चित्र को देखकर उसके बारे में सवालों के जवाब दे सकता है। हालाँकि, इस विशेषज्ञ की एक स्मृति अंतराल (memory gap) है: उन्हें दुनिया की हर वस्तु के बारे में विशिष्ट तथ्य (जैसे कि एफिल टॉवर वास्तव में कब बना था) पता नहीं हैं।

इसे ठीक करने के लिए, आप विशेषज्ञ को संदर्भ पुस्तकों का एक ढेर (Knowledge Base) देते हैं और उनसे बोलने से पहले उत्तर खोजने के लिए कहते हैं। इस प्रक्रिया को Retrieval-Augmented Generation (RAG) कहा जाता है।

समस्या:
जब आप विशेषज्ञ को उत्तर खोजने के लिए कहते हैं, तो उन्हें केवल एक आदर्श पन्ना नहीं मिलता। उन्हें 5 पन्नों का एक ढेर मिलता है।

पन्ना 1 और 2: अत्यधिक प्रासंगिक और सही।
पन्ना 3: कुछ हद तक प्रासंगिक लेकिन थोड़ा भटका हुआ।
पन्ना 4 और 5: पूरी तरह से अप्रासंगिक (शायद किसी अलग विषय के बारे में)।

पुराना तरीका (पिछली विधियाँ):

विधि A: विशेषज्ञ केवल पहले पन्ने को पढ़ता है। यदि वह पन्ना खराब है, तो उत्तर भी गलत होगा।
विधि B: विशेषज्ञ सभी 5 पन्नों को पढ़ता है और उनका सारांश बनाने की कोशिश करता है। लेकिन क्योंकि आखिरी दो पन्ने भ्रमित करने वाले और अप्रासंगिक हैं, वे सारांश को बिगाड़ देते हैं, और विशेषज्ञ भ्रमित हो जाता है।

समाधान: RMCD (एक "स्मार्ट संपादक")

लेखकों ने RMCD नामक एक नई विधि प्रस्तावित की है। RMCD को एक स्मार्ट संपादक (Smart Editor) के रूप में सोचें जो विशेषज्ञ और पन्नों के ढेर के बीच बैठता है।

पन्नों को केवल पढ़ने के बजाय, स्मार्ट संपादक दो काम एक साथ करता है:

प्रवर्धित करना (Amplify/Reflect): यह उन पन्नों को हाइलाइट करता है जो वास्तव में उपयोगी हैं, जिससे विशेषज्ञ उन पर अतिरिक्त ध्यान देता है।
विक्षेपित करना (Deflect/Cancel Out): यह सक्रिय रूप से भ्रमित करने वाले, अप्रासंगिक पन्नों को दूर धकेलता है, और विशेषज्ञ को बताता है, "इस शोर को अनदेखा करें; यह आपको गलत साबित कर रहा है।"

यह कैसे काम करता है ("वॉल्यूम नॉब" की उपमा)

कल्पना कीजिए कि विशेषज्ञ का मस्तिष्क एक रेडियो है, और प्रत्येक प्राप्त पन्ना एक अलग रेडियो स्टेशन है जो एक आवाज़ बजा रहा है।

प्रासंगिक पन्ने एक स्पष्ट, सहायक आवाज़ बजा रहे हैं।
अप्रासंगिक पन्ने शोर (static) या एक पूरी तरह से अलग गाना बजा रहे हैं।

पुरानी विधियाँ या तो:

केवल सबसे तेज़ स्टेशन को सुनती हैं (अन्य अच्छी जानकारी को अनदेखा करती हैं)।
एक साथ सभी स्टेशनों का वॉल्यूम बढ़ा देती हैं (शोर के कारण दब जाती हैं)।

RMCD एक स्मार्ट मिक्सिंग बोर्ड की तरह काम करता है:

यह सहायक स्टेशनों के लिए वॉल्यूम बढ़ाता है (positive weight)।
यह शोर और अप्रासंगिक स्टेशनों के लिए वॉल्यूम कम करता है या यहाँ तक कि उन्हें उलट (invert) देता है (negative weight)।
यह इन समायोजित आवाजों को मिलाकर एक आदर्श, स्पष्ट उत्तर बनाता है।

RMCD की मुख्य विशेषताएं

कोई अतिरिक्त प्रशिक्षण नहीं: आपको विशेषज्ञ को फिर से सिखाने की आवश्यकता नहीं है। आप बस "डिकोडिंग विधि" (जिस तरह से विशेषज्ञ किताबों को प्रोसेस करता है) को इस नए स्मार्ट संपादक के साथ बदल देते हैं। यह तुरंत काम करता है।
खराब खोज परिणामों को संभालना: भले ही सर्च इंजन आपको खराब किताबें (अप्रासंगिक जानकारी) दे दे, RMCD मजबूत है। यह अभी भी अच्छी जानकारी को ढूंढ सकता है और किसी भी अन्य विधि की तुलना में खराब जानकारी को बेहतर ढंग से रद्द कर सकता है।
गति: यह तेज़ है। इसके लिए विशेषज्ञ को किताबों को कई बार पढ़ने या जटिल सिमुलेशन चलाने की आवश्यकता नहीं होती है। यह एक ही बार में सब कर देता है।

शोध पत्र ने क्या पाया (परिणाम)

लेखकों ने तीन कठिन "विजुअल क्वेश्चन अनस्वर्सिंग" टेस्ट पर इसका परीक्षण किया (जहाँ AI एक छवि को देखता है और तथ्य-आधारित प्रश्न का उत्तर देता है):

InfoSeek
Encyclopedic VQA
OK-VQA

परिणाम:

RMCD ने विभिन्न AI मॉडलों में लगातार सभी अन्य विधियों को हराया।
यह तब भी सर्वश्रेष्ठ प्रदर्शन करता है जब खोज परिणाम कमजोर या अस्त-व्यस्त होते हैं।
कुछ मामलों में, इसने सामान्य रूप से किताबों को पढ़ने की तुलना में सटीकता में भारी अंतर (कुछ परीक्षणों में 24 अंक तक) से सुधार किया।
यह उन जटिल विधियों की तुलना में तेज़ भी था जो समान चीजें करने की कोशिश करती हैं।

शोध पत्र से एक वास्तविक उदाहरण

एक पौधे की तस्वीर की कल्पना करें। प्रश्न है: "यह पौधा किस चीज़ जैसा दिखता है?"

सत्य (Truth): यह एक डैंडेलियन (dandelion) जैसा दिखता है।
खोज के परिणाम (Search Results):
- संदर्भ 1: कहता है कि यह डैंडेलियन जैसा दिखता है। (अच्छा)
- संदर्भ 2: कहता है कि यह डैंडेलियन जैसा दिखता है। (अच्छा)
- संदर्भ 3: कहता है कि यह एक खरपतवार (weed) है। (ठीक-ठाक)
- संदर्भ 4: कहता है कि इसका नाम ग्रीक शब्द 'सैंडल' (sandal) से आया है। (अप्रासंगिक शोर)
- संदर्भ 5: हाथियों के बारे में बात करता है। (पूरी तरह से शोर)

पुरानी विधियाँ:

यदि वे केवल संदर्भ 1 को पढ़ते हैं, तो वे संदर्भ 2 में मिलने वाली पुष्टि को मिस कर सकते हैं।
यदि वे सभी को पढ़ते हैं, तो "सैंडल" या "हाथी" का उल्लेख उन्हें भ्रमित कर देता है, और वे "डैंडेलियन" के बजाय "सैंडल" या "फूल" का अनुमान लगा सकते हैं।

RMCD:

यह "डैंडेलियन" के संकेतों को बढ़ाता है।
यह सक्रिय रूप से "सैंडल" और "हाथी" के संकेतों को दबा देता है।
परिणाम: यह आत्मविश्वास के साथ "डैंडेलियन" उत्तर देता है।

सारांश

यह शोध पत्र RMCD को पेश करता है, जो AI मॉडलों को बाहरी जानकारी का उपयोग करके प्रश्नों के उत्तर देने में मदद करने का एक चतुर तरीका है। AI को अच्छे और बुरे खोज परिणामों के मिश्रण से भ्रमित होने देने के बजाय, RMCD एक फिल्टर के रूप में कार्य करता है जो अच्छी जानकारी को बढ़ाता है और बुरी जानकारी को रद्द करता है, जिससे बिना AI को पुन: प्रशिक्षित किए स्मार्ट, अधिक सटीक उत्तर मिलते हैं।

तकनीकी सारांश: रिट्रीवल-ऑगमेंटेड विजुअल क्वेश्चन अनस्वर्सिंग के लिए रिलेवेंस-अवेयर मल्टी-कॉन्टेक्स्ट कॉन्ट्रास्टिव डीकोडिंग

1. समस्या विवरण (Problem Statement)

लार्ज विजन लैंग्वेज मॉडल्स (LVLMs) विजन-लैंग्वेज कार्यों में उल्लेखनीय क्षमता प्रदर्शित करते हैं, लेकिन अक्सर विशिष्ट संस्थाओं (entities) के बारे में विस्तृत ज्ञान की कमी होती है। रिट्रीवल-ऑगमेंटेड जनरेशन (RAG) नॉलेज बेस (KB) से बाहरी संदर्भ (contexts) प्रदान करके इस समस्या का समाधान करता है। हालांकि, वर्तमान डीकोडिंग विधियाँ RAG के लिए उप-इष्टतम (sub-optimal) हैं, जिसके दो प्राथमिक कारण हैं:

एकाधिक संदर्भों का लाभ उठाने में विफलता: वे विधियाँ जो एकल संदर्भ (जैसे, शीर्ष-रैंक वाला रिट्रीवल) पर निर्भर करती हैं, जब रिट्रीवल की गुणवत्ता खराब होती है, तो काफी खराब प्रदर्शन करती हैं, क्योंकि वे अन्य संभावित रूप से प्रासंगिक संदर्भों से जानकारी को एकत्रित करने में असमर्थ होती हैं।
अप्रासंगिक संदर्भों के प्रति संवेदनशीलता: वे विधियाँ जो कई संदर्भों को ग्रहण करती हैं, अक्सर प्रदर्शन में गिरावट का शिकार होती हैं जब अप्रासंगिक या शोर वाले (noisy) संदर्भ शामिल होते हैं, क्योंकि ये नकारात्मक संकेत जनरेशन प्रक्रिया में बाधा डालते हैं।

मुख्य चुनौती एक ऐसी डीकोडिंग रणनीति विकसित करना है जो बिना किसी अतिरिक्त मॉडल प्रशिक्षण के, कई प्रासंगिक संदर्भों से उपयोगी जानकारी को प्रभावी ढंग से एकत्रित कर सके और साथ ही अप्रासंगिक संदर्भों के नकारात्मक प्रभाव को कम कर सके।

2. कार्यप्रणाली: रिलेवेंस-अवेयर मल्टी-कॉन्टेक्स्ट कॉन्ट्रास्टिव डीकोडिंग (RMCD)

लेखक RMCD प्रस्तावित करते हैं, जो एक ट्रेनिंग-फ्री डीकोडिंग विधि है जो कॉन्ट्रास्टिव डीकोडिंग (CD) की अवधारणा का विस्तार करती है। केवल संदर्भों को जोड़ने या भविष्यवाणियों (predictions) को औसत करने के बजाय, RMCD प्रत्येक रिट्रीव किए गए संदर्भ की प्रासंगिकता के आधार पर उसके प्रभाव को गतिशील रूप से समायोजित करता है।

मुख्य तंत्र (Core Mechanism)

RMCD कई संदर्भों से उत्पन्न लॉजिट्स (logits) के बीच कंट्रास्ट (contrast) बनाकर कार्य करता है। इस प्रक्रिया में तीन मुख्य चरण शामिल हैं:

कॉन्टेक्स्ट वेटिंग (रिफ्लेक्शन और डिफ्लेक्शन):
- रिट्रीवल स्कोर $s_{c_j}$ द्वारा क्रमबद्ध संदर्भों के एक सेट $C = \{c_1, ..., c_n\}$ के लिए, मॉडल प्रत्येक संदर्भ के लिए एक लॉजिट डिस्ट्रीब्यूशन $q(y_i|c_j)$ उत्पन्न करता है।
- एक कॉन्टेक्स्ट वेट $\alpha_j$ को रिट्रीवल स्कोर $s_{c_j}$ के आधार पर अनुकूल रूप से निर्धारित किया जाता है।
- रिफ्लेक्शन (Reflection): उच्च रिट्रीवल स्कोर वाले संदर्भों को उच्च सकारात्मक भार (positive weights) दिए जाते हैं, जिससे उनका प्रभाव बढ़ जाता है।
- डिफ्लेक्शन (Deflection): कम रिट्रीवल स्कोर वाले संदर्भों को कम या नकारात्मक भार दिया जाता है। यह अप्रासंगिक संदर्भों को केवल अनदेखा करने के बजाय उनके प्रभाव को सक्रिय रूप से घटाता है।
- अंतिम लॉजिट एक भारित योग (weighted sum) है: $p(y_i) = \text{Softmax}(\sum \alpha_j q(y_i|c_j))$ ।
एनसेम्ब्ल्ड प्लासिबिलिटी कंस्ट्रेंट (Ensembled Plausibility Constraint):
- अत्यधिक असंभावित शब्दावली से सैंपलिंग को रोकने के लिए, RMCD एक प्रतिबंध पेश करता है।
- एक प्रासंगिकता थ्रेशोल्ड के आधार पर "कंस्ट्रेंट कॉन्टेक्स्ट्स" ( $C_c$ ) का एक उपसमुच्चय चुना जाता है।
- इन कंस्ट्रेंट कॉन्टेक्स्ट्स से एक एनसेम्ब्ल्ड प्रोबेबिलिटी की गणना की जाती है ताकि एक 'प्लासिबल' शब्दावली सेट $S_i$ को परिभाषित किया जा सके।
- $S_i$ से बाहर की शब्दावली के लॉजिट्स को $-\infty$ पर सेट कर दिया जाता है, जिससे सैंपलिंग स्पेस को उच्च-गुणवत्ता वाले संदर्भों से प्राप्त तर्कसंगत टोकन तक सीमित कर दिया जाता है।
सिंगल-कॉन्टेक्स्ट बेसलाइन (SCD):
- लेखक पहले एक बेसलाइन, सिंगल-कॉन्टेक्स्ट कॉन्ट्रास्टिव डीकोडिंग (SCD) पेश करते हैं, जो अनकंडीशनल आउटपुट के साथ टॉप कॉन्टेक्स्ट का कंट्रास्ट करता है। हालांकि यह उच्च-गुणवत्ता वाले रिट्रीवल के साथ प्रभावी है, लेकिन SCD तब विफल हो जाता है जब रिट्रीवल की गुणवत्ता गिर जाती है, जो मल्टी-कॉन्टेक्स्ट विस्तार (RMCD) को प्रेरित करता है।

3. प्रमुख योगदान

पेपर तीन प्राथमिक योगदानों को रेखांकित करता है:

सीमाओं की पहचान: लेखक देखते हैं कि मौजूदा RAG डीकोडिंग विधियाँ कई प्रासंगिक संदर्भों का पर्याप्त लाभ उठाने में विफल रहती हैं और अप्रासंगिक संदर्भों से आसानी से बाधित हो जाती हैं।
RMCD का प्रस्ताव: एक नवीन, ट्रेनिंग-फ्री डीकोडिंग विधि जो प्रासंगिकता के आधार पर कई संदर्भों को कंट्रास्ट करती है। यह अनुकूलित वेटिंग (नकारात्मक भार सहित) के माध्यम से प्रासंगिक संदर्भों को प्रभावी ढंग से "रिफ्लेक्ट" और अप्रासंगिक संदर्भों को "डिफ्लेक्ट" करती है।
अनुभवजन्य सत्यापन (Empirical Validation): RMCD विभिन्न LVLMs और बेंचमार्क पर अन्य डीकोडिंग विधियों की तुलना में लगातार बेहतर प्रदर्शन करता है। यह कमजोर से लेकर मजबूत रिट्रीवर तक, विविध रिट्रीवल क्वालिटी के बावजूद मजबूती प्रदर्शित करता है, और यहाँ तक कि 'ओरेकल' सेटिंग में भी जहाँ सही संदर्भ सुनिश्चित होता है।

4. प्रयोगात्मक परिणाम

विधि का मूल्यांकन तीन ज्ञान-गहन विजुअल क्वेश्चन अनस्वर्सिंग (VQA) बेंचमार्क पर किया गया: InfoSeek, Encyclopedic-VQA, और OK-VQA।

प्रदर्शन: RMCD ने सात अलग-अलग LVLMs (जिनमें InternVL, BLIP-2, और LLaVA वेरिएंट शामिल हैं) में डीकोडिंग विधियों के बीच स्टेट-ऑफ-द-आर्ट परिणाम प्राप्त किए।
- InfoSeek पर, RMCD ने अनकंडीशनल जनरेशन की तुलना में 13.1 अंक तक सुधार किया और मानक RAG बेसलाइन को पछाड़ दिया।
- Encyclopedic-VQA पर, इसने वन-हॉप और फुल स्प्लिट दोनों पर सर्वश्रेष्ठ परिणाम प्राप्त किए।
- OK-VQA पर, प्रतिस्पर्धी आर्किटेक्चर (RA-VQA और FLMR) पर RMCD लागू करने से उच्चतम सटीकता (63.1) प्राप्त हुई, जिसने GPT-3 पर आधारित विधियों को भी पीछे छोड़ दिया।
दक्षता (Efficiency): RMCD संदर्भों की संख्या के सापेक्ष लगभग $O(n)$ का टाइम कॉम्प्लेक्सिटी बनाए रखता है। जब इसे FLMR (जो बीम सर्च का उपयोग करता है) पर लागू किया गया, तो इसने सटीकता में सुधार करते हुए लेटेंसी को 33% कम कर दिया।
मजबूती (Robustness):
- मात्रा (Quantity): जैसे-जैसे संदर्भों की संख्या ( $n$ ) बढ़ी, प्रदर्शन निरंतर बढ़ा, जबकि बेसलाइन विधियों का प्रदर्शन स्थिर रहा या घट गया।
- गुणवत्ता (Quality): RMCD ने 1.7k से 2M तक के KB साइज (जहाँ रिट्रीवल कठिन होता है) में सभी अन्य विधियों से लगातार बेहतर प्रदर्शन किया। यह "ओरेकल" रिट्रीवर (गारंटीकृत सही संदर्भ) का उपयोग करने पर भी शीर्ष प्रदर्शन करने वाला बना रहा, जो इसके मूल्य को सिद्ध करता है।

5. महत्व और दावे

पेपर का दावा है कि RMCD बिना किसी अतिरिक्त मॉडल प्रशिक्षण लागत के, सूचना एकत्रीकरण और शोर दमन (noise suppression) की दोहरी चुनौती को हल करके LVLMs के लिए RAG में एक महत्वपूर्ण प्रगति प्रदान करता है।

ट्रेनिंग-फ्री इंटीग्रेशन: RMCD को मौजूदा LVLMs की डीकोडिंग विधि को बदलकर लागू किया जा सकता है, जिसके लिए किसी अतिरिक्त प्रशिक्षण या पैरामीटर अपडेट की आवश्यकता नहीं है।
रिट्रीवल नॉइज़ के प्रति मजबूती: यह विधि रिट्रीवल स्टेज की गुणवत्ता के प्रति अद्वितीय रूप से मजबूत है। यह चाहे रिट्रीवल परिणाम सबसे कमजोर हों या सबसे मजबूत, हर स्थिति में सर्वश्रेष्ठ प्रदर्शन करती है, जो इसे वास्तविक दुनिया के अनुप्रयोगों के लिए एक विश्वसनीय घटक बनाती है जहाँ रिट्रीवल की पूर्णता पाना कठिन है।
डिफ्लेक्शन का तंत्र: एब्लेशन स्टडीज पुष्टि करती हैं कि "डिफ्लेक्शन" तंत्र (अप्रासंगिक संदर्भों को नकारात्मक भार देना) अत्यंत महत्वपूर्ण है। अप्रासंगिक संदर्भों को केवल अनदेखा करना पर्याप्त नहीं है; उनके प्रभाव को सक्रिय रूप से बेअसर करना बेहतर प्रदर्शन देता है।

संक्षेप में, लेखक RMCD को RAG डीकोडिंग के एक आवश्यक विकास के रूप में प्रस्तुत करते हैं जो LVLMs को कई रिट्रीव किए गए संदर्भों के प्रभाव को गतिशील रूप से संतुलित करके बाहरी ज्ञान आधारों का प्रभावी ढंग से उपयोग करने में सक्षम बनाता है।