💬 NLP

QuCo-RAG: Quantifying Uncertainty from the Pre-training Corpus for Dynamic Retrieval-Augmented Generation

QuCo-RAG एक मॉडल-अज्ञेय (model-agnostic) गतिशील रिट्रीवल-ऑगमेंटेड जनरेशन फ्रेमवर्क पेश करता है जो इन्फिनी-ग्राम (Infini-gram) के माध्यम से वस्तुनिष्ठ प्री-ट्रेनिंग कॉर्पस सांख्यिकी (एंटिटी फ्रीक्वेंसी और को-अकरेंस) के द्वारा अनिश्चितता को परिमाणित करके मतिभ्रम (hallucinations) को कम करता है, जिससे अविश्वसनीय आंतरिक मॉडल संकेतों पर निर्भर किए बिना विविध मॉडलों और बेंचमार्क में महत्वपूर्ण प्रदर्शन लाभ प्राप्त होता है।

मूल लेखक: Dehai Min, Kailin Zhang, Tongtong Wu, Lu Cheng

प्रकाशित 2026-05-19

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Dehai Min, Kailin Zhang, Tongtong Wu, Lu Cheng

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपका एक बहुत ही बुद्धिमान, विद्वान मित्र है (एक AI) जिसे कहानियाँ सुनाना और सवालों के जवाब देना बहुत पसंद है। लेकिन कभी-कभी, यह मित्र थोड़ा ज़्यादा आत्मविश्वासी हो जाता है और चीज़ें मनगढ़ंत बनाने लगता है—जैसे कि यह कहना कि एक फिल्म का निर्देशन किसी ऐसे व्यक्ति ने किया था जिसने वास्तव में कभी कोई फिल्म नहीं बनाई। इसे "हैलुसिनेशन" (hallucination) या भ्रम कहा जाता है।

लंबे समय तक, शोधकर्ताओं ने AI से यह पूछकर इसे ठीक करने की कोशिश की, "क्या तुम पक्का हो?" AI अपने अंदरूनी संकेतों (internal signals) को देखता और कहता, "हाँ, मैं 99% पक्का हूँ!" लेकिन समस्या यह है कि AI अपने आत्मविश्वास को आंकने में बुरा है। वह पूरी तरह से झूठ बोलने के बारे में भी 99% पक्का हो सकता है।

QuCo-RAG का आगमन: लाइब्रेरी से आया "फैक्ट-चेकर"

इस पेपर के लेखकों ने QuCo-RAG के रूप में तय किया कि AI से यह पूछना बंद कर दिया जाए कि वह कितना सुनिश्चित है। इसके बजाय, उन्होंने एक ऐसा सिस्टम बनाया जो AI के वाक्य पूरा करने से पहले ही उसके तथ्यों की जाँच एक विशाल, वस्तुनिष्ठ डेटा लाइब्रेरी (प्रशिक्षण कॉर्पस/pre-training corpus) के विरुद्ध करता है।

इसे इस तरह समझें:

पुराना तरीका (आंतरिक संकेत): आप AI से पूछते हैं, "क्या तुम यह जानते हो?" AI कहता है, "मुझे बहुत आत्मविश्वास महसूस हो रहा है!" (भले ही वह गलत हो)।
QuCo-RAG का तरीका (कॉर्पस सांख्यिकी): आप AI से पूछते हैं, "क्या यह तथ्य लाइब्रेरी में मौजूद है?" यदि लाइब्रेरी में इसका कोई रिकॉर्ड नहीं है, तो सिस्टम कहता है, "रुको! हमारे पास इसका प्रमाण नहीं है। चलिए इसे बोलने से पहले वास्तविक दुनिया (डेटा रिट्रीव) में जाकर देखते हैं।"

यह कैसे काम करता है: दो-चरणीय सुरक्षा जाल

यह सिस्टम झूठ पकड़ने के लिए एक दो-चरणीय प्रक्रिया का उपयोग करता है, जिसमें इन्फिनी-ग्राम (Infini-gram) नामक एक सुपर-फास्ट लाइब्रेरी इंडेक्स का उपयोग किया जाता है (जो मिलीसेकंड में 4 ट्रिलियन शब्दों को खोज सकता है)।

चरण 1: "दुर्लभ शब्द" की जाँच (बोलने से पहले)
AI के उत्तर देने से पहले, सिस्टम प्रश्न को स्कैन करता है।

उपमा: कल्पना कीजिए कि आप पूछते हैं, "Zogblorp नामक एक छोटे द्वीप राष्ट्र का राष्ट्रपति कौन है?"
जाँच: सिस्टम लाइब्रेरी में देखता है। यदि "Zogblorp" शब्द मानव लेखन के पूरे इतिहास में केवल 5 बार आया है (कम आवृत्ति/low frequency), तो सिस्टम जान जाता है: "यह बहुत ही दुर्लभ है। AI शायद इसे अच्छी तरह से नहीं जानता होगा और यह मनगढ़ंत जानकारी दे सकता है।"
कार्रवाई: यह तुरंत एक किताब (डेटा रिट्रीव) उठा लेता है ताकि AI के बोलने शुरू करने से पहले ही उसे सही उत्तर देने में मदद मिल सके।

चरण 2: "क्या वे कभी मिले थे?" की जाँच (बोलते समय)
जैसे-जैसे AI वाक्य-दर-वाक्य अपना उत्तर बनाता है, सिस्टम जो कुछ भी वह कहता है उस पर नज़र रखता है।

उपमा: AI कहता है, "प्रसिद्ध शेफ गॉर्डन रामसे और प्रसिद्ध चित्रकार वैन गॉग सबसे अच्छे दोस्त थे।"
जाँच: सिस्टम लाइब्रेरी में देखता है कि क्या "गॉर्डन रामसे" और "वैन गॉग" कभी एक ही वाक्य या पैराग्राफ में एक साथ आए हैं।
तर्क: यदि वे पूरी लाइब्रेरी में कभी भी एक साथ नहीं आए (शून्य सह-अस्तित्व/zero co-occurrence), तो यह एक बड़ा रेड फ्लैग है। यह वैसा ही है जैसे कहना "चाँद और टोस्टर सबसे अच्छे दोस्त हैं"—यह संभव है, लेकिन यदि किसी ने भी इसके बारे में कभी नहीं लिखा है, तो AI के मनगढ़ंत जानकारी देने की संभावना अधिक है।
कार्रवाई: सिस्टम AI को रोकता है, कहता है, "रुको, ये दोनों हमारी किताबों में कभी साथ नहीं रहे," और वाक्य को ठीक करने के लिए सही जानकारी प्राप्त करता है।

यह एक बड़ी बात क्यों है

यह पेपर दिखाता है कि यह तरीका AI से उसकी भावनाओं को जाँचने के लिए पूछने की तुलना में बहुत बेहतर है।

यह "ब्लैक बॉक्स" मॉडल्स पर भी काम करता है: भले ही आपको यह न पता हो कि AI ने कौन सी किताबें पढ़ी हैं (जैसे GPT-4 या Llama-3 के साथ), यह सिस्टम काम करता है। यह इस तथ्य का उपयोग करता है कि अधिकांश AI मॉडल समान किताबें पढ़ते हैं (इंटरनेट, विकिपीडिया आदि)। इसलिए, एक सार्वजनिक लाइब्रेरी की जाँच करना लगभग किसी भी स्मार्ट AI के लिए काम करता है।
यह "आत्मविश्वासी झूठ बोलने वालों" को पकड़ता है: अन्य तरीके अक्सर तब चूक जाते हैं जब AI आत्मविश्वास के साथ गलत होता है। QuCo-RAG उन्हें पकड़ लेता है क्योंकि इसे इस बात से फर्क नहीं पड़ता कि AI कैसा महसूस कर रहा है; इसे केवल इस बात से फर्क पड़ता है कि क्या वह तथ्य लाइब्रेरी में मौजूद है।
यह तेज़ और कुशल है: यह हर एक शब्द की जाँच नहीं करता है। यह केवल तभी जाँच करता है जब इसे कोई "दुर्लभ" शब्द या तथ्यों का "संदिग्ध" संयोजन दिखाई देता है। यह उन तरीकों की तुलना में समय और पैसा बचाता है जो लगातार हर चीज़ की जाँच करते हैं।

परिणाम

जब उन्होंने कठिन ट्रिविया प्रश्नों (जैसे "इस फिल्म का निर्देशन किसने किया और उनकी माँ का नाम क्या है?") पर इसका परीक्षण किया, तो QuCo-RAG ने पिछले सर्वश्रेष्ठ तरीकों की तुलना में काफी अधिक सही उत्तर दिए। इसने सटीकता में 14 अंक तक सुधार किया, जो AI की दुनिया में एक बहुत बड़ी छलांग है।

संक्षेप में: AI के अहंकार ("मैं पक्का हूँ!") पर भरोसा करने के बजाय, QuCo-RAG लाइब्रेरी ("मुझे प्रमाण दिखाओ") पर भरोसा करता है। यदि प्रमाण वहां नहीं है, तो यह AI को मनगढ़ंत बातें बनाने से रोक देता है।

तकनीकी सारांश: QuCo-RAG

समस्या विवरण (Problem Statement)

डायनेमिक रिट्रीवल-ऑगमेंटेड जनरेशन (Dynamic RAG) का लक्ष्य जनरेशन के दौरान बाहरी साक्ष्य (external evidence) को कब प्राप्त किया जाए, इसे अनुकूल रूप से निर्धारित करके लार्ज लैंग्वेज मॉडल्स (LLMs) में होने वाले मतिभ्रम (hallucinations) को कम करना है। हालाँकि, मौजूदा डायनेमिक RAG विधियाँ (जैसे FLARE, DRAGIN, SeaKR) अनिश्चितता को मापने के लिए मॉडल-आंतरिक संकेतों (model-internal signals)—जैसे कि टोकन प्रोबेबिलिटी, एंट्रॉपी, या अटेंशन वेट्स—पर निर्भर करती हैं। यह शोध पत्र तर्क देता है कि ये संकेत मौलिक रूप से अविश्वसनीय हैं क्योंकि LLMs आमतौर पर खराब तरीके से कैलिब्रेटेड (ill-calibrated) होते हैं, और अक्सर त्रुटिपूर्ण आउटपुट में भी उच्च आत्मविश्वास प्रदर्शित करते हैं ("कॉन्फिडेंट हैलुसिनेशन")। इसके अलावा, सैद्धांतिक कार्य सुझाव देते हैं कि पूरी तरह से कैलिब्रेटेड मॉडल को भी सांख्यिकीय निरंतरता बनाए रखने के लिए दुर्लभ तथ्यों पर मतिभ्रम (hallucinate) करना ही पड़ता है। फलस्वरूप, आंतरिक संकेत अनिश्चित जनरेशन और आत्मविश्वासी त्रुटियों के बीच अंतर करने में विफल रहते हैं, जिससे असंगत रिट्रीवल ट्रिगरिंग और उप-इष्टतम प्रदर्शन होता है।

कार्यप्रणाली: QuCo-RAG

लेखक QuCo-RAG (Quantifying Uncertainty from the Pre-training Corpus for Dynamic Retrieval-Augmented Generation) प्रस्तावित करते हैं, जो एक ऐसा फ्रेमवर्क है जो अनिश्चितता के निर्धारण को व्यक्तिपरक आंतरिक आत्मविश्वास से हटाकर प्री-ट्रेनिंग कॉर्पस से प्राप्त वस्तुनिष्ठ सांख्यिकी (objective statistics) पर स्थानांतरित करता है। यह सिस्टम ट्रिलियन-टोकन कॉर्पस पर मिलीसेकंड-लेटेंसी वाली क्वेरीज़ के लिए Infini-gram इंजन का लाभ उठाते हुए दो अलग-अलग चरणों में कार्य करता है।

1. प्री-जनरेशन नॉलेज असेसमेंट (इनपुट अनिश्चितता)

जनरेशन शुरू होने से पहले, सिस्टम ज्ञान के अंतराल (knowledge gaps) के लिए इनपुट प्रश्न का आकलन करता है:

एंटिटी एक्सट्रैक्शन (Entity Extraction): एक लाइटवेट एक्सट्रैक्टर प्रश्न से प्रमुख संस्थाओं ( $E_Q$ ) की पहचान करता है।
फ्रीक्वेंसी चेक (Frequency Check): सिस्टम प्री-ट्रेनिंग कॉर्पस ( $P$ ) में प्रत्येक संस्था की आवृत्ति (frequency) की जांच करता है।
ट्रिगर कंडीशन (Trigger Condition): यदि औसत संस्था आवृत्ति एक थ्रेशोल्ड ( $\tau_{entity}$ ) से नीचे गिर जाती है, जो "लॉन्ग-टेल" ज्ञान जोखिमों को इंगित करती है, तो रिट्रीवल तुरंत ट्रिगर किया जाता है। मूल प्रश्न का उपयोग दस्तावेज़ों को रिट्रीव करने के लिए क्वेरी के रूप में किया जाता है, जिन्हें कॉन्टेक्स्ट में जोड़ा जाता है।

2. रनटाइम क्लेम वेरिफिकेशन (आउटपुट अनिश्चितता)

जनरेशन के दौरान, सिस्टम प्रत्येक उत्पन्न वाक्य ( $s_i$ ) के लिए साक्ष्य समर्थन की निगरानी करता है:

ट्रिपलेट एक्सट्रैक्शन (Triplet Extraction): एक लाइटवेट मॉडल उत्पन्न वाक्य से नॉलेज ट्रिपलेट्स $(h, r, t)$ निकालता है।
को-ऑकरेंस वेरिफिकेशन (Co-occurrence Verification): पूर्ण रिलेशनल क्लेम (जो लेक्सिकल परिवर्तनशीलता के कारण कठिन होता है) को सत्यापित करने के बजाय, सिस्टम प्री-ट्रेनिंग कॉर्पस में एक परिभाषित विंडो ( $\omega$ ) के भीतर हेड ( $h$ ) और टेल ( $t$ ) संस्थाओं की सह-अस्तित्व आवृत्ति (co-occurrence frequency) की जाँच करता है।
ट्रिगर कंडीशन (Trigger Condition): यदि सह-अस्तित्व गणना शून्य (या $\tau_{cooc}$ थ्रेशोल्ड से कम) है, तो सिस्टम साक्ष्य समर्थन की कमी का अनुमान लगाता है, जो मतिभ्रम (hallucination) के उच्च जोखिम का संकेत देता है।
एक्शन (Action): एक सिमेंटिक-ओरिएंटेड क्वेरी ( $h \oplus r$ ) के साथ रिट्रीवल ट्रिगर किया जाता है, और रिट्रीव किए गए कॉन्टेक्स्ट का उपयोग करके वाक्य को पुन: जनरेट किया जाता है।

मुख्य योगदान (Key Contributions)

पैराडाइम शिफ्ट: यह पेपर एक मॉडल-अग्नोस्टिक दृष्टिकोण पेश करता है जो रिट्रीवल निर्णयों को अविश्वसनीय आंतरिक मॉडल संकेतों के बजाय कॉर्पस सांख्यिकी पर आधारित करता है।
दो-चरणीय पहचान (Two-Stage Detection): यह एक दो-चरणीय तंत्र को औपचारिक रूप देता है जो इनपुट अनिश्चितता (दुर्लभ संस्थाएं) और आउटपुट अनिश्चितता (असमर्थ संस्था युग्म) दोनों को संबोधित करता है।
इंफ्रास्ट्रक्चर का उपयोग: यह विधि विशाल प्री-ट्रेनिंग कॉर्परा (जैसे 4 ट्रिलियन टोकन) पर वास्तविक समय में सांख्यिकीय क्वेरी करने के लिए Infini-gram का प्रभावी ढंग से उपयोग करती है, जिसमें नगण्य विलंबता (latency) होती है।
व्यापक प्रयोज्यता (Broad Applicability): यह फ्रेमवर्क प्रदर्शित करता है कि एक पारदर्शी कॉर्पस (OLMo-2) से प्राप्त सांख्यिकी, अज्ञात या प्रोप्रायटरी ट्रेनिंग डेटा वाले मॉडल्स (जैसे Llama-3, Qwen2.5, GPT-4/5) के लिए प्रभावी प्रॉक्सी के रूप में कार्य कर सकती है।

प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने मल्टी-हॉप QA बेंचमार्क्स (2WikiMultihopQA, HotpotQA) पर QuCo-RAG का मूल्यांकन किया और लंबे समय तक चलने वाले जनरेशन (ASQA) और बायोमेडिकल QA (PubMedQA) तक इसका विस्तार किया।

OLMo-2 पर प्रदर्शन: उनके प्री-ट्रेनिंग कॉर्पस तक पूर्ण पहुँच के साथ OLMo-2 फैमिली (7B, 13B, 32B) का उपयोग करते हुए, QuCo-RAG ने स्टेट-ऑफ-द-आर्ट बेसलाइन्स (DRAGIN, ETC, और SeaKR सहित) पर Exact Match (EM) में 5–12 पॉइंट का सुधार हासिल किया।
क्रॉस-मॉडल ट्रांसफ़रेबिलिटी: अज्ञात डेटा वाले मॉडल्स (Llama-3, Qwen2.5, GPT-4.1/5) पर लागू होने पर, QuCo-RAG ने EM में 14 पॉइंट तक सुधार किया, जो आंतरिक संकेतों पर निर्भर बेसलाइन्स से बेहतर रहा। विशेष रूप से, इसने अपने बिल्ट-इन वेब सर्च टूल्स का उपयोग करने वाले GPT मॉडल्स को भी पीछे छोड़ दिया।
दक्षता (Efficiency): QuCo-RAG ने उच्च दक्षता बनाए रखते हुए बेहतर प्रदर्शन हासिल किया। इसने FS-RAG या SeaKR जैसे तरीकों की तुलना में प्रति प्रश्न काफी कम रिट्रीवल ट्रिगर किए (उदाहरण के लिए, HotpotQA पर ~1.7), जो अक्सर कम सटीकता के साथ अत्यधिक रिट्रीवल ट्रिगर करते हैं।
डोमेन जनरलाइजेशन: यह विधि बिना किसी टास्क-विशिष्ट ट्यूनिंग के लॉन्ग-फॉर्म जनरेशन और बायोमेडिकल डोमेन में मजबूती से सामान्यीकृत हुई, जबकि आंतरिक-संकेत विधियाँ इन विशिष्ट सेटिंग्स में दक्षता या प्रभावशीलता के मामले में संघर्ष करती रहीं।

महत्व और दावे (Significance and Claims)

यह पेपर दावा करता है कि यह डायनेमिक RAG के लिए एक सिद्धांतबद्ध और व्यावहारिक रूप से मॉडल-अग्नोस्टिक पैराडाइम के रूप में कॉर्पस-ग्राउंडेड वेरिफिकेशन को स्थापित करता है। लेखक तर्क देते हैं कि:

विश्वसनीयता: कॉर्पस सांख्यिकी, मॉडल-आंतरिक विश्वास स्कोर की तुलना में अनिश्चितता के लिए एक अधिक विश्वसनीय संकेत प्रदान करती है, जो मिस-कैलिब्रेशन के प्रति संवेदनशील होते हैं।
स्केलेबिलिटी: यह दृष्टिकोण वेब-स्केल प्री-ट्रेनिंग कॉर्परा के पर्याप्त ओवरलैप का लाभ उठाकर अज्ञात ट्रेनिंग डेटा वाले मॉडल्स तक प्रभावी रूप से स्केल करता है।
सुरक्षा और मजबूती: "जीरो को-ऑकरेंस" को मतिभ्रम के जोखिम के एक मजबूत संकेतक के रूप में पहचानकर, यह विधि 'कॉन्फिडेंट हैलुसिनेशन' को कम करने का एक सिद्धांतबद्ध तरीका प्रदान करती है, विशेष रूप से लॉन्ग-टेल नॉलेज के लिए जहाँ मॉडल सबसे अधिक त्रुटिपूर्ण होने की संभावना रखते हैं।

लेखक सीमाओं को स्वीकार करते हैं, जिसमें सटीक लेक्सिकल मैचिंग पर निर्भरता (जो एलियास के तहत को-ऑकरेंस को मिस कर सकती है) और स्टैटिक प्री-ट्रेनिंग कॉर्पस की अस्थायी सीमाएं शामिल हैं। हालाँकि, वे तर्क देते हैं कि संदेह होने पर रिट्रीवल ट्रिगर करने की रूढ़िवादी रणनीति, अनपेक्षित मतिभ्रम के जोखिम की तुलना में बेहतर है।