💻 computer science

Dual-Confidence Contrastive Decoding for Retrieval-Augmented Generation

यह शोध पत्र ड्यूल-कॉन्फिडेंस कॉन्ट्रास्टिव डीकोडिंग (DCCD) प्रस्तुत करता है, जो एक ट्रेनिंग-फ्री विधि है जो डॉक्यूमेंट-लेवल और टोकन-लेवल कॉन्फिडेंस सिग्नल्स का लाभ उठाकर मल्टी-डॉक्यूमेंट रिट्रीवल-ऑगमेंटेड जनरेशन में इंट्रा-कॉन्टेक्स्ट संघर्षों को हल करती है, और नए DRQA बेंचमार्क एवं मानक QA डेटासेट्स पर इसकी प्रभावशीलता को प्रमाणित करती है।

मूल लेखक: Raymond Li, Md Tawkat Islam Khondaker, Amirhossein Abaskohi, Gabriel Murray, Giuseppe Carenini, Issam H. Laradji

प्रकाशित 2026-07-02

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Raymond Li, Md Tawkat Islam Khondaker, Amirhossein Abaskohi, Gabriel Murray, Giuseppe Carenini, Issam H. Laradji

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक जासूस हैं जो एक रहस्य सुलझाने की कोशिश कर रहे हैं। आपके पास पाँच अलग-अलग गवाहों के बयानों का एक ढेर है (जो "प्राप्त दस्तावेज़" हैं)।

गवाह A सच बोलता है।
गवाह B झूठ बोल रहा है लेकिन बहुत प्रभावशाली लगता है।
गवाह C सच बोल रहा है, लेकिन यह पिछले साल की बात कर रहा है, आज की नहीं।
गवाह D पूरी तरह से किसी अलग अपराध के बारे में बात कर रहा है।
गवाह E बस बड़बड़ा रहा है।

आपका काम केवल इन बयानों के आधार पर एक अंतिम रिपोर्ट लिखना है। समस्या यह है कि आपके (AI मॉडल के) मस्तिष्क में अतीत के समान मामलों की अपनी "याददाश्त" भी होती है। कभी-कभी, आपका मस्तिष्क गवाहों को अनदेखा करने और केवल अपने ज्ञान के आधार पर अनुमान लगाने की कोशिश करता है। अन्य समय में, भले ही आप गवाहों की बात सुनें, आप भ्रमित हो सकते हैं क्योंकि वे एक-दूसरे का खंडन करते हैं।

यह शोध पत्र (पेपर) इस बारे में है कि एक जासूस (AI) बिना दोबारा स्कूल जाए (मॉडल को फिर से प्रशिक्षित किए बिना) सबूतों के इस बिखरे हुए ढेर को कैसे सुलझा सकता है। वे इसे Dual-Confidence Contrastive Decoding (DCCD) कहते हैं।

यह कैसे काम करता है, इसके सरल भाग यहाँ दिए गए:

1. नया "रहस्य" परीक्षण: DRQA

सबसे पहले, लेखकों ने महसूस किया कि मौजूदा AI परीक्षण पर्याप्त कठिन नहीं थे। अधिकांश परीक्षण सार्वजनिक तथ्यों (जैसे "राष्ट्रपति कौन है?") का उपयोग करते हैं जिन्हें AI पहले से ही जानता होगा।

इसलिए, उन्होंने एक नया परीक्षण बनाया जिसे DRQA (Deep Research Question Answering) कहा जाता है।

उपमा (Analogy): कल्पना कीजिए कि AI एक गुप्त कंपनी में एक नया कर्मचारी है। प्रश्न कंपनी के आंतरिक रहस्यों (जैसे "पिछली तिमाही में हमने कॉफी बीन्स पर कितनी बचत की?") के बारे में हैं। AI ने यह जानकारी पहले कभी नहीं देखी है।
जाल (The Trap): AI को दस्तावेजों का एक फोल्डर दिया जाता है। एक में सही उत्तर है। अन्य में गलत उत्तर, पुराने उत्तर या निरर्थक बातें हैं। AI को सवाल का जवाब देने के लिए सही दस्तावेज़ ढूँढना ही होगा। यदि वह अपनी याददाश्त के आधार पर अनुमान लगाता है, तो वह विफल हो जाएगा क्योंकि वह उत्तर उसकी याददाश्त में मौजूद नहीं है।

2. समाधान: "डबल-चेक" प्रणाली (DCCD)

लेखक एक ऐसी विधि प्रस्तावित करते हैं जिसमें AI को फिर से प्रशिक्षित करने की आवश्यकता नहीं है। इसके बजाय, यह AI के उत्तर लिखने के तरीके को बदल देता है, शब्द दर शब्द।

वे दो प्रकार के "कॉन्फिडेंस" (विश्वास) चेक का उपयोग करते हैं, जैसे एक जासूस दो अलग-अलग उपकरणों का उपयोग करता है:

टूल A: दस्तावेज़-स्तरीय विश्वास (यह जांचना कि "क्या यह फ़ाइल उपयोगी है?")

लिखना शुरू करने से पहले, AI फोल्डर में प्रत्येक दस्तावेज़ को देखता है और पूछता है: "क्या इस विशिष्ट दस्तावेज़ में वास्तव में सवाल का जवाब देने के लिए पर्याप्त जानकारी है?"

उपमा: यह यह जांचने जैसा है कि क्या गवाह वास्तव में सही अपराध के बारे में बात कर रहा है। यदि दस्तावेज़ "कॉफी बीन्स" के बारे में है लेकिन सवाल "सर्वर क्रैश" के बारे में है, तो कॉन्फिडेंस स्कोर कम है। यदि दस्तावेज़ में उत्तर होने की संभावना है, तो स्कोर अधिक है।
टूल B: टोकन-स्तरीय विश्वास (यह जांचना कि "क्या मैं अगले शब्द के बारे में निश्चित हूँ?")
जैसे ही AI अपना उत्तर लिखना शुरू करता है, वह उस वर्तमान दस्तावेज़ को देखता है जिसका वह उपयोग कर रहा है और पूछता है: "यदि मैं इस दस्तावेज़ का उपयोग करना जारी रखता हूँ, तो क्या मैं अगला शब्द टाइप करने के बारे में आश्वस्त हूँ?"
उपमा: कल्पना कीजिए कि आप एक गवाह का बयान पढ़ रहे हैं। यदि बयान स्पष्ट है, तो आप आसानी से अगले शब्द की भविष्यवाणी कर सकते हैं ("संदिग्ध भागा..." )। यदि बयान भ्रमित करने वाला या विरोधाभासी है, तो आप हिचकिचा सकते हैं ("संदिग्ध भागा... या शायद चला गया..." )। यह टूल आपकी उस हिचकिचाहट को मापता है।

3. जादुई चाल: "कॉन्ट्रास्ट" (तुलना)

यहाँ दिलचस्प हिस्सा है। AI केवल सबसे अच्छा दस्तावेज़ नहीं चुनता। यह एक तुलना (Tug-of-War) का खेल खेलता है:

यह वह दस्तावेज़ ढूंढता है जो दोनों जांचों पर उच्चतम स्कोर करता है (The "Good Witness" या "अच्छा गवाह")।
यह वह दस्तावेज़ ढूंढता है जो दोनों जांचों पर सबसे कम स्कोर करता है (The "Bad Witness" या "बुरा गवाह" या झूठा)।
यह "अच्छे गवाह" और "बुरे गवाह" के बीच के अंतर (margin) की गणना करता है।
निर्णय: यह अपने वर्तमान अनुमान को लेता है और इसे "अच्छे गवाह" की ओर मजबूती से धकेलता है और "बुरे गवाह" से दूर खींचता है। दोनों के बीच का अंतर जितना बड़ा होगा, यह उतना ही ज़ोर से धकेलेगा।

सरल शब्दों में: AI कह रहा है, "मैं 90% आश्वस्त हूँ कि दस्तावेज़ A सही है, और मैं 10% आश्वस्त हूँ कि दस्तावेज़ B गलत है। इसलिए, मैं दस्तावेज़ B को अनदेखा करूँगा और दस्तावेज़ A पर पूरा ध्यान केंद्रित करूँगा।"

4. यह क्यों महत्वपूर्ण है

शोध पत्र दिखाते हैं कि जब AI को विरोधाभासी, शोर वाले या पुराने दस्तावेजों के ढेर का सामना करना पड़ता है (जैसे उनके नए DRQA परीक्षण में), तो यह "डबल-चेक" विधि पिछले तरीकों की तुलना में बहुत बेहतर काम करती है।

पुराने तरीके अक्सर झूठ बोलने वालों या पुरानी जानकारी से भ्रमित हो जाते थे और केवल अनुमान लगाते थे।
DCCD सफलतापूर्वक "अच्छे गवाह" की पहचान करता है और "बुरे गवाह" को अनदेखा करता है, भले ही वह बुरा गवाह बहुत प्रभावशाली क्यों न लगे।

सारांश

यह शोध पत्र इस बारे में है कि कैसे एक AI को बेहतर जासूस बनने के लिए सिखाया जाए जब उसे विरोधाभासी सबूतों के ढेर के बीच से चुनना हो। केवल अनुमान लगाने या पढ़े गए सब कुछ पर आँख मूंदकर भरोसा करने के बजाय, AI एक दो-चरणीय विश्वास जांच का उपयोग करता है:

क्या यह स्रोत मददगार है? (दस्तावेज़-स्तर)
क्या यह स्रोत मुझे अगले शब्द के बारे में आश्वस्त करता है? (टोकन-स्तर)

"सर्वश्रेष्ठ" स्रोत की "सबसे खराब" स्रोत से तुलना करके और अंतर को बढ़ाकर, AI शोर को काट सकता है और सच्चाई खोज सकता है, भले ही सच्चाई विरोधाभासी कागजों के बिखरे हुए ढेर में छिपी हो।

तकनीकी सारांश: रिट्रीवल-ऑगमेंटेड जनरेशन के लिए ड्यूल-कॉन्फिडेंस कॉन्ट्रास्टिव डिकोडिंग (Dual-Confidence Contrastive Decoding)

समस्या विवरण (Problem Statement)
रिट्रीवल-ऑगमेंटेड जनरेशन (RAG) सिस्टम तेजी से मल्टी-डॉक्यूमेंट सेटिंग्स में काम कर रहे हैं जहाँ रिट्रीव की गई साक्ष्य सामग्री (evidence bundle) में विरोधाभासी, पुरानी (stale), शोर युक्त (noisy), या अप्रासंगिक जानकारी शामिल होती है। जबकि मौजूदा कॉन्ट्रास्टिव डिकोडिंग (CD) विधियाँ मॉडल की आंतरिक पैरामीट्रिक मेमोरी और रिट्रीव किए गए संदर्भ (context) के बीच के संघर्षों को प्रभावी ढंग से हल करती हैं, वे इंट्रा-कॉन्टेक्स्ट (intra-context) संघर्षों को संबोधित करने में काफी हद तक विफल रहती हैं। मल्टी-डॉक्यूमेंट RAG में, मॉडल को न केवल अगले टोकन का चयन करना होता है, बल्कि कई रिट्रीव किए गए दस्तावेजों में से सही साक्ष्य स्रोत का भी चयन करना होता है, जिनमें से कुछ विरोधाभासी दावों का समर्थन कर सकते हैं। मानक CD दृष्टिकोण अक्सर रिट्रीव किए गए बंडल को एक एकल संदर्भ के रूप में देखते हैं, जिससे वे उन दस्तावेजों के बीच अंतर करने में विफल रहते हैं जो किसी प्रश्न का उत्तर देने के लिए पर्याप्त हैं और जो नहीं हैं, न ही वे विशिष्ट दस्तावेज़-सशर्त स्ट्रीम के भीतर टोकन-स्तरीय भविष्यवाणियों के आत्मविश्वास (confidence) को ध्यान में रखते हैं।

कार्यप्रणाली: ड्यूल-कॉन्फिडेंस कॉन्ट्रास्टिव डिकोडिंग (DCCD)
लेखक DCCD का प्रस्ताव करते हैं, जो एक ट्रेनिंग-फ्री डिकोडिंग रणनीति है जिसे दो अलग-अलग कॉन्फिडेंस संकेतों को एकीकृत करके इंट्रा-कॉन्टेक्स्ट संघर्षों को हल करने के लिए डिज़ाइन किया गया है:

दस्तावेज़-स्तरीय आत्मविश्वास ( $q_i$ ): यह मीट्रिक अनुमान लगाता है कि क्या एक विशिष्ट रिट्रीव किया गया दस्तावेज़ $d_i$ प्रश्न $x$ का उत्तर देने के लिए पर्याप्त जानकारी रखता है। इसकी गणना एक "सपोर्ट प्रोब" प्रॉम्प्ट के माध्यम से की जाती है जिसमें मॉडल से एक बाइनरी हाँ/ना प्रश्न पूछा जाता है ("क्या इस दस्तावेज़ में प्रश्न का उत्तर देने के लिए पर्याप्त जानकारी है?")। स्कोर को "हाँ" वर्बलाइज़र टोकन के "नहीं" टोकन के सापेक्ष प्रोबेबिलिटी मास के माध्यम से प्राप्त किया जाता है। यह स्कोर डिकोडिंग शुरू होने से पहले प्रत्येक प्रश्न-दस्तावेज़ जोड़ी के लिए एक बार कंप्यूट किया जाता है।
टोकन-स्तरीय आत्मविश्वास ( $c_{i,t}$ ): यह मीट्रिक डिकोडिंग स्टेप $t$ पर एक विशिष्ट दस्तावेज़ $d_i$ द्वारा कंडिशन की गई मॉडल की अगले-टोकन भविष्यवाणी की शार्पनेस (sharpness) का अनुमान लगाता है। डिरिचलेट अनसर्टेनिटी फ्रेमवर्क (Dirichlet uncertainty framework) का अनुसरण करते हुए, मॉडल दस्तावेज़-सशर्त स्ट्रीम के टॉप- $k$ लॉजिट्स को डिरिचलेट कंसंट्रेशन पैरामीटर्स में मैप करता है। प्रेरित कैटेगोरिकल डिस्ट्रीब्यूशन के अपेक्षित एंट्रॉपी (expected entropy) की गणना की जाती है और उसे नॉर्मलाइज़ किया जाता है; कॉन्फिडेंस को $1 - \text{normalized entropy}$ के रूप में परिभाषित किया गया है। इसे प्रत्येक डिकोडिंग स्टेप पर पुन: कंप्यूट किया जाता है।

डिकोडिंग तंत्र (Decoding Mechanism)
प्रत्येक डिकोडिंग स्टेप $t$ पर, DCCD इन संकेतों को एक ड्यूल-कॉन्फिडेंस स्कोर $s_{i,t} = q_i + c_{i,t}$ में एकत्रित करता है। यह विधि निम्नलिखित का चयन करती है:

एक पॉजिटिव स्ट्रीम ( $i^+_t$ ) जो उच्चतम ड्यूल-कॉन्फिडेंस स्कोर वाले दस्तावेज़ से संबंधित है।
एक नेगेटिव स्ट्रीम ( $i^-_t$ ) जो निम्नतम ड्यूल-कॉन्फिडेंस स्कोर वाले दस्तावेज़ से संबंधित है।

कॉन्ट्रास्टिव टर्म $\epsilon_t$ को इन स्कोर्स के मार्जिन द्वारा डायनेमिकली स्केल किया जाता है ( $\epsilon_t = s_{i^+_t,t} - s_{i^-_t,t}$ )। अंतिम लॉजिट डिस्ट्रीब्यूशन $z_t$ को फुल-कॉन्टेक्स्ट लॉजिट्स ( $z^{full}_t$ ) में जनरेशन को एंकर (anchor) करके और पॉजिटिव एवं नेगेटिव दस्तावेज़-सशर्त लॉजिट्स के स्केल किए गए अंतर को जोड़कर कंप्यूट किया जाता है:
$z_t = z^{full}_t + \epsilon_t (z^{i^+_t}_t - z^{i^-_t}_t)$
यह दृष्टिकोण सबसे अधिक आत्मविश्वासी स्रोत से साक्ष्य को बढ़ाता है और विरोधाभासी या असमर्थ विकल्पों को दबा देता है, बिना किसी मॉडल फाइन-ट्यूनिंग की आवश्यकता के।

बेंचमार्क: DRQA
इस सेटिंग का मूल्यांकन करने के लिए, लेखक DRQA (डीप रिसर्च क्वेश्चन अनswering) पेश करते हैं, जो एंटरप्राइज डीप-रिसर्च परिदृश्यों से लिया गया एक तथ्यात्मक-संघर्ष (factual-conflict) बेंचमार्क है। मानक ओपन-डोमेन QA बेंचमार्क के विपरीत, जो सार्वजनिक ज्ञान पर निर्भर करते हैं, DRQA सिंथेटिक, एंटरप्राइज-विशिष्ट तथ्यों (जैसे, आंतरिक कंपनी मेट्रिक्स, यूजर पर्सोना) का उपयोग करता है जो मॉडल की आंतरिक मेमोरी से प्राप्त नहीं किए जा सकते। प्रत्येक क्वेरी को एक रिट्रीव किए गए बंडल के साथ जोड़ा जाता है जिसमें शामिल हैं:

एक सही (correct) दस्तावेज़।
गलत सूचना (misinformation) वाले दस्तावेज़ (प्लासिबल लेकिन तथ्यात्मक रूप से गलत)।
पुराने (temporal) दस्तावेज़ (ऐतिहासिक रूप से सटीक लेकिन वर्तमान में पुराने/stale)।
शोर (noise) वाले दस्तावेज़ (विषयगत रूप से प्रासंगिक लेकिन अनुत्तरित)।

यह डिज़ाइन मॉडल्स को उनके पैरामीट्रिक ज्ञान के बजाय पूरी तरह से रिट्रीवल और कॉन्फ्लिक्ट रेजोल्यूशन पर निर्भर होने के लिए मजबूर करता है।

प्रायोगिक परिणाम (Experimental Results)
लेखकों ने DRQA और मानक मल्टी-डॉक्यूमेंट QA बेंचमार्क (Natural Questions, TriviaQA, PopQA, RetrievalQA) का उपयोग करते हुए विभिन्न स्टैंडर्ड फुल-कॉन्टेक्स्ट डिकोडिंग और कॉन्ट्रास्टिव डिकोडिंग बेसलाइन्स (CAD, ADACAD, DVD, COCOA) के विरुद्ध DCCD का मूल्यांकन किया। इंस्ट्रक्शन-ट्यून्ड स्मॉल लैंग्वेज मॉडल्स (Qwen3.5-2B/9B, Phi-3-medium) का उपयोग किया गया।

प्रदर्शन (Performance): DCCD ने लगभग सभी सेटिंग्स में सर्वश्रेष्ठ औसत प्रदर्शन हासिल किया। लाभ DRQA पर सबसे अधिक स्पष्ट थे, जहाँ कार्य के लिए रिट्रीव किए गए साक्ष्यों के बीच आंतरिक संघर्षों को हल करना आवश्यक है।
एब्लेशन स्टडीज (Ablation Studies): दस्तावेज़-स्तरीय आत्मविश्वास को हटाने से सबसे बड़ा प्रदर्शन ह्रास हुआ (उदाहरण के लिए, DRQA @5 पर ~6.34% की गिरावट), जो दर्शाता है कि भ्रामक दस्तावेज़ अभी भी आत्मविश्वासी स्थानीय भविष्यवाणियां दे सकते हैं, तो केवल टोकन-स्तरीय शार्पनेस अपर्याप्त है। इसके विपरीत, केवल दस्तावेज़-स्तरीय आत्मविश्वास का उपयोग करना स्थिर था लेकिन डिस्ट्रैक्टर्स (distractors) की संख्या बढ़ने पर कम प्रभावी रहा, जो टोकन-स्तरीय आत्मविश्वास के पूरक मूल्य को उजागर करता है।
दक्षता (Efficiency): हालांकि DCCD कई फॉरवर्ड पासेस (एक फुल-कॉन्टेक्स्ट स्ट्रीम प्लस $n$ दस्तावेज़-सशर्त स्ट्रीम) के कारण उच्च इन्फरेंस लागत का सामना करता है, इसका ओवरहेड रिट्रीव किए गए दस्तावेजों की संख्या के साथ रैखिक (linear) है और दस्तावेज़-स्तरीय प्रोब द्वारा कम (amortized) किया जाता है।

महत्व और दावे (Significance and Claims)
यह पेपर दावा करता है कि DCCD जब रिट्रीव किया गया साक्ष्य आंतरिक रूप से विरोधाभासी हो, तो सोर्स-अवेयर, कॉन्फिडेंस-गेटेड डिकोडिंग के महत्वपूर्ण महत्व को प्रदर्शित करता है। एक स्रोत की पर्याप्तता (sufficiency) और उस स्रोत से जनरेशन की निश्चितता (certainty) के बीच स्पष्ट रूप से अंतर करके, DCCD बिना ट्रेनिंग के इंट्रा-कॉन्टेक्स्ट संघर्षों को हल करने के लिए एक मजबूत तंत्र प्रदान करता है। लेखक DRQA को एंटरप्राइज सेटिंग्स में RAG सिस्टम के मूल्यांकन के लिए एक आवश्यक बेंचमार्क के रूप में स्थापित करते हैं जहाँ तथ्य निजी, विषम और संघर्षपूर्ण होते हैं, एक ऐसी क्षमता जो पिछले कार्यों में कम खोजी गई है। परिणाम बताते हैं कि प्रभावी मल्टी-डॉक्यूमेंट RAG के लिए न केवल साक्ष्य प्राप्त करना आवश्यक है, बल्कि विशिष्ट साक्ष्य स्रोतों की विश्वसनीयता और स्पष्टता के आधार पर जनरेशन को डायनेमिकली गेट (gate) करना भी आवश्यक है।