💬 NLP

Guaranteeing Knowledge Integration with Joint Decoding for Retrieval-Augmented Generation

यह शोधपत्र GuarantRAG प्रस्तुत करता है, जो एक ऐसा ढांचा है जो एक नवीन कॉन्ट्रास्टिव DPO ऑब्जेक्टिव और एक संयुक्त डिकोडिंग तंत्र के माध्यम से तर्क (reasoning) को साक्ष्य एकीकरण (evidence integration) से अलग करके रिट्रीवल-ऑगमेंटेड जनरेशन (RAG) को उन्नत करता है, जो आंतरिक पैरामीट्रिक ज्ञान और बाहरी रिट्रीव्ड दस्तावेजों के बीच के संघर्षों को प्रभावी ढंग से हल करता है ताकि सटीकता में उल्लेखनीय सुधार हो सके और मतिभ्रम (hallucinations) को कम किया जा सके।

मूल लेखक: Zhengyi Zhao, Shubo Zhang, Zezhong Wang, Yuxi Zhang, Huimin Wang, Yutian Zhao, Yefeng Zheng, Binyang Li, Kam-Fai Wong, Xian Wu

प्रकाशित 2026-04-10

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Zhengyi Zhao, Shubo Zhang, Zezhong Wang, Yuxi Zhang, Huimin Wang, Yutian Zhao, Yefeng Zheng, Binyang Li, Kam-Fai Wong, Xian Wu

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक नए शहर के लिए एक विस्तृत यात्रा गाइड लिखने की कोशिश कर रहे हैं। आपके पास जानकारी के दो स्रोत हैं:

आपकी याददाश्त (The "Inner-Answer"): आपने इस शहर का पहले दौरा किया है, इसलिए आप वहां के माहौल, बनावट और स्थानीय लोगों से बात करने के तरीके को जानते हैं। आप इसके बारे में एक सुंदर, प्रवाहपूर्ण कहानी लिख सकते हैं। लेकिन, आपकी याददाश्त विशिष्ट विवरणों पर धुंधली हो सकती है (जैसे आज कॉफी की सटीक कीमत क्या है या पिछले सप्ताह कौन सी नई इमारत खुली है)।
आपकी नोटबुक (The "Refer-Answer"): आपने अभी-अभी एक ताज़ा, अपडेटेड ट्रैवल गाइड में इस शहर के बारे में देखा है। इसमें सटीक तथ्य, कीमतें और खुलने के घंटे दिए गए हैं। लेकिन, यदि आप केवल नोटबुक को ज़ोर से पढ़ते हैं, तो यह रोबोटिक, नीरस और शुष्क लगेगा, इसमें कहानी कहने का प्रवाह नहीं होगा।

वर्तमान AI के साथ समस्या:
अधिकांश वर्तमान AI सिस्टम (जिन्हें RAG या 'रिट्रीवल-ऑगमेंटेड जनरेशन' कहा जाता है) दोनों काम एक साथ करने की कोशिश करते हैं। वे AI को कहानी लिखते समय ही नोटबुक देखने के लिए कहते हैं।

यह शोध पत्र तर्क देता है कि इससे "ब्रेन फ्रीज़" (दिमाग सुन्न होना) हो जाता है। AI भ्रमित हो जाता है। वह अपनी पुरानी यादों और नए तथ्यों को मिलाने की कोशिश करता है, और अक्सर:

वह नए तथ्यों को अनदेखा कर देता है क्योंकि वह अपनी याददाश्त पर बहुत अधिक भरोसा करता है (जैसे, "मुझे याद है कि कॉफी $2 की थी, इसलिए मैं$ 2 लिखूँगा," भले ही नोटबुक में $5 लिखा हो)।
या, वह तथ्यों को कहानी में बहुत ही अनाड़ी तरीके से चिपका देता है, जिससे लेखन खंडित और बिखरा हुआ लगता है।

लेखक इसे "इंटीग्रेशन बॉटलनैक" (Integration Bottleneck) कहते हैं। यह वैसा ही है जैसे कार चलाते समय साथ-साथ इंजन को ठीक करने की कोशिश करना; आप कहीं भी नहीं पहुँच पाते।

समाधान: GUARANTRAG
यह पेपर एक नया फ्रेमवर्क पेश करता है जिसे GUARANTRAG कहा जाता है। सब कुछ एक साथ करने के बजाय, यह काम को तीन स्पष्ट चरणों में विभाजित करता है, जैसे विशेषज्ञों की एक टीम मिलकर काम कर रही हो।

चरण 1: कहानीकार (The "Inner-Answer")

सबसे पहले, AI केवल अपनी आंतरिक स्मृति का उपयोग करके एक ड्राफ्ट लिखता है।

उपमा: यह आपके उस दोस्त की तरह है जो अपनी याददाश्त से यात्रा गाइड लिख रहा है। यह खूबसूरती से बहता है, इसमें व्याकरण बेहतरीन है और यह एक अच्छी कहानी सुनाता है। हालाँकि, तथ्य थोड़े गलत हो सकते हैं (शायद संग्रहालय पिछले साल बंद हो गया हो)।
लक्ष्य: तथ्य नहीं, बल्कि तर्क (logic) और शैली (style) को पकड़ना।

चरण 2: तथ्य-जांचकर्ता (The "Refer-Answer")

इसके बाद, AI का एक विशेष संस्करण केवल प्राप्त दस्तावेजों (नोटबुक) को देखता है और दूसरा ड्राफ्ट लिखता है।

सीक्रेट सॉस: लेखकों ने इस AI को एक विशेष तकनीक का उपयोग करके प्रशिक्षित किया है जिसे कॉन्ट्रास्टिव DPO (Contrastive DPO) कहा जाता है। इसे एक सख्त शिक्षक के रूप में सोचें। शिक्षक कहता है, "यदि आप कुछ ऐसा लिखते हैं जो आपके दोस्त की याददाश्त से मेल खाता है (जो गलत हो सकता है), तो आपको लाल निशान मिलेगा। यदि आप बिल्कुल वही लिखते हैं जो नोटबुक में है, तो आपको गोल्ड स्टार मिलेगा।"
लक्ष्य: AI को अपनी याददाश्त को पूरी तरह से भूलने और दस्तावेजों से तथ्यों की हूबहू नकल करने के लिए मजबूर करना। यह ड्राफ्ट 100% सटीक है लेकिन थोड़ा औपचारिक या नीरस लग सकता है।

चरण 3: मास्टर एडिटर (Joint Decoding)

यह जादुई चरण है। दोनों ड्राफ्टों को बस एक साथ जोड़ने (जो दोहराव वाला और अव्यवस्थित होगा) के बजाय, यह सिस्टम एक जॉइंट डिकोडिंग (Joint Decoding) तंत्र का उपयोग करता है।

उपमा: कल्पना कीजिए कि एक मास्टर एडिटर डेस्क पर दोनों ड्राफ्ट के साथ बैठा है। वे कहानीकार के सहज वाक्यों को पढ़ते हैं। लेकिन, जैसे ही वे किसी विशिष्ट तथ्य (जैसे कीमत, तारीख या नाम) पर पहुँचते हैं, वे रुक जाते हैं। वे तथ्य-जांचकर्ता के ड्राफ्ट को देखते हैं, सटीक सही संख्या उठाते हैं, और उसे कहानीकार के वाक्य में बदल देते हैं।
परिणाम: आपको एक ऐसी कहानी मिलती है जो पूरी तरह से प्रवाहमयी है (क्योंकि यह कहानीकार के तर्क का पालन करती है) लेकिन 100% तथ्यात्मक रूप से सटीक है (क्योंकि एडिटर ने वास्तविक डेटा को बदल दिया है)।

यह क्यों महत्वपूर्ण है?
पेपर ने पांच अलग-अलग प्रकार के प्रश्नों (साधारण तथ्यों से लेकर जटिल तर्क तक) पर इसका परीक्षण किया। परिणाम प्रभावशाली थे:

कम मतिभ्रम (Hallucinations): AI ने चीजें बनाना 16.3% कम कर दिया।
बेहतर सटीकता: उत्तर 12.1% अधिक सही थे।
बेहतर प्रवाह: उत्तर रोबोटिक नहीं लगे; वे अभी भी ऐसे लगे जैसे किसी इंसान ने लिखे हों।

संक्षेप में:
वर्तमान AI एक "स्विस आर्मी नाइफ" बनने की कोशिश करता है जो एक साथ सब कुछ करता है और अक्सर विफल हो जाता है। GUARANTRAG एक सुव्यवस्थित रसोई की तरह है: एक शेफ सब्जियां काटता है (तथ्य प्राप्त करता है), दूसरा शेफ भोजन पकाता है (कहानी लिखता है), और एक हेड शेफ (जॉइंट डिकोडिंग) अंतिम क्षण में उन्हें पूरी तरह से मिलाकर एक स्वादिष्ट, सटीक व्यंजन परोसता है।

यहाँ शोध पत्र "Guaranteeing Knowledge Integration with Joint Decoding for Retrieval-Augmented Generation" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

यह शोध पत्र रिट्रीवल-ऑगमेंटेड जनरेशन (RAG) प्रणालियों में एक महत्वपूर्ण बाधा को संबोधित करता है: ज्ञान एकीकरण विफलता (knowledge integration failure)। जबकि RAG बाहरी दस्तावेजों को रिट्रीव करने में प्रभावी है, वर्तमान विधियाँ अक्सर इस जानकारी का प्रभावी ढंग से उपयोग करने में विफल रहती हैं क्योंकि इनके बीच एक संघर्ष होता है:

पैरामीट्रिक ज्ञान (Parametric Knowledge): मॉडल का आंतरिक, पूर्व-प्रशिक्षित ज्ञान (जो तर्क प्रवाह और प्रवाहशीलता को संचालित करता है लेकिन पुराना या काल्पनिक हो सकता है)।
नॉन-पैरामीट्रिक ज्ञान (Non-Parametric Knowledge): रिट्रीव किए गए बाहरी दस्तावेज़ (जिनमें तथ्यात्मक सत्य होता है लेकिन यदि उन्हें जनरेशन में जबरदस्ती डाला जाए, तो वे मॉडल के तर्क प्रवाह को बाधित कर सकते हैं)।

पहचाने गए मुख्य विफलता मोड (Failure Modes):

पैरामीट्रिक ओवरराइड (Parametric Override): मॉडल अपने आंतरिक पूर्वाग्रहों के पक्ष में विशिष्ट रिट्रीव किए गए विवरणों (जैसे सांख्यिकी) को अनदेखा कर देता है।
विखंडित एकीकरण (Disjointed Integration): मॉडल बाहरी तथ्यों को बेतरतीब ढंग से डाल देता है, जिससे प्रतिक्रिया की तार्किक सुसंगतता (logical coherence) टूट जाती है।
सांख्यिकीय साक्ष्य (Statistical Evidence): 500 प्रश्नों पर प्रारंभिक प्रयोगों से पता चला कि मानक RAG प्रतिक्रियाओं में से 67.3% इन एकीकरण विफलताओं से ग्रस्त हैं, जो यह दर्शाता है कि केवल रिट्रीवल की गुणवत्ता ही पर्याप्त नहीं है।

2. कार्यप्रणाली: GUARANTRAG

लेखक GUARANTRAG प्रस्तावित करते हैं, जो एक ढांचा (framework) है जो तर्क (reasoning) को साक्ष्य एकीकरण (evidence integration) से स्पष्ट रूप से अलग करता है। यह मानक RAG के "ब्लैक बॉक्स" निहित एकीकरण से हटकर एक तीन-चरणीय पाइपलाइन की ओर बढ़ता है।

चरण 1: ज्ञान निर्णय (Knowledge Decision)

एक हल्का एस्टिमेटर यह निर्धारित करता है कि क्या रिट्रीवल आवश्यक है, जो सामयिक प्रासंगिकता (Temporal Relevance) (क्या प्रश्न ट्रेनिंग कटऑफ के बाद का है?) और तथ्यात्मक विशिष्टता (Factual Specificity) (क्या इसके लिए लॉन्ग-टेल ज्ञान की आवश्यकता है?) पर आधारित है। यदि रिट्रीवल अनावश्यक माना जाता है, तो मॉडल सीधे जनरेट करता है; अन्यथा, यह डुअल-पाथ जनरेशन की ओर बढ़ता है।

चरण 2: डुअल-पाथ उत्तर जनरेशन (Dual-Path Answer Generation)

यह ढांचा दो अलग-अलग मध्यवर्ती आउटपुट उत्पन्न करता है:

इनर-आंसर ( $y_{inner}$ ): बेस मॉडल द्वारा केवल पैरामीट्रिक ज्ञान का उपयोग करके जनरेट किया जाता है। यह मॉडल की बेहतर तर्क संरचना (reasoning structure), भाषाई प्रवाह (linguistic fluency), और निर्देश-अनुपालन क्षमताओं को कैप्चर करता है, जो एक "स्ट्रक्चरल टेम्पलेट" के रूप में कार्य करता है। इसमें तथ्यात्मक भ्रम (hallucinations) हो सकते हैं।
रेफर-आंसर ( $y_{ref}$ ): एक विशेष एविडेंस मॉडल (Evidence Model) द्वारा जनरेट किया जाता है जिसे रिट्रीव किए गए दस्तावेजों ( $D$ $D$ ) से कड़ाई से तथ्यों को निकालने के लिए प्रशिक्षित किया गया है।
- प्रशिक्षण रणनीति (Contrastive DPO): मॉडल को डायरेक्ट प्रेफरेंस ऑप्टिमिज़ेशन (DPO) का उपयोग करके प्रशिक्षित किया जाता है।
  - चुना गया (Chosen): रिट्रीव किए गए दस्तावेजों से प्राप्त सामग्री।
  - अस्वीकार किया गया (Rejected): मॉडल का अपना $y_{inner}$ (भले ही वह आंशिक रूप से सही हो, इसे एक नकारात्मक बाधा के रूप में माना जाता है ताकि बाहरी साक्ष्य पर निर्भरता सुनिश्चित की जा सके)।
- सहायक बाधाएं (Auxiliary Constraints): डिजनरेशन (जैसे वर्बेट कॉपी करना) को रोकने के लिए, प्रशिक्षण में एडेप्टिव लेंथ रेगुलराइजेशन ( $y_{inner}$ और $y_{ref}$ की लंबाई को संरेखित करना) और फैक्टुअल रेलेवेंस कंस्ट्रेंट्स (प्रश्न और $y_{ref}$ के बीच सिमेंटिक समानता को अधिकतम करना) शामिल हैं।

चरण 3: डायनेमिक फ्यूजन के साथ जॉइंट डिकोडिंग (Joint Decoding with Dynamic Fusion)

साधारण कॉनकेटेनेशन (जो अटेंशन का क्षरण करता है) के बजाय, GUARANTRAG एक टोकन-लेवल जॉइंट डिकोडिंग तंत्र का उपयोग करता है:

सिमेंटिक सेगमेंटेशन (Semantic Segmentation): $y_{ref}$ को एक हल्के LLM का उपयोग करके परमाणु सिमेंटिक सेगमेंट ( $S_{ref}$ ) में विभाजित किया जाता है ताकि यह सुनिश्चित हो सके कि प्रत्येक सेगमेंट में ठीक एक तथ्यात्मक इकाई हो।
डायनेमिक फ्यूजन (Dynamic Fusion): अंतिम उत्तर के टोकन-दर-टोकन जनरेशन के दौरान:
- मॉडल $y_{inner}$ के हिडन स्टेट ( $h^{gen}_t$ ) को बनाए रखता है (तर्क प्रवाह के लिए)।
- यह वर्तमान जनरेशन कॉन्टेक्स्ट की $y_{ref}$ के सेगमेंट्स के साथ प्रासंगिकता की गणना करता है।
- यदि कोई सेगमेंट अत्यधिक प्रासंगिक है, तो हिडेन स्टेट को एक गेटिंग फैक्टर $\gamma$ द्वारा स्केल किए गए सेगमेंट के एम्बेडिंग ( $h(s^*)$ ) को जोड़कर सॉफ्टली इंटरवीन (softly intervened) किया जाता है।
- परिणाम: मॉडल इनर-आंसर के तार्किक ढांचे का पालन करता है, जबकि उसे रेफर-आंसर द्वारा तथ्यात्मक सटीकता की ओर गतिशील रूप से "स्टीयर" (steer) किया जाता है।

3. मुख्य योगदान (Key Contributions)

स्पष्ट पृथक्करण (Explicit Decoupling): पैरामीट्रिक/नॉन-पैरामीट्रिक संघर्ष को RAG विफलता के मूल कारण के रूप में पहचाना और तर्क (Inner-Answer) को तथ्य-जांच (Refer-Answer) से स्पष्ट रूप से अलग करने वाला एक ढांचा प्रस्तावित किया।
कॉन्ट्रास्टिव DPO ऑब्जेक्टिव: एक नई प्रशिक्षण रणनीति पेश की जहाँ मॉडल का अपना भ्रमित (hallucinated) आउटपुट एक नेगेटिव सैंपल के रूप में कार्य करता है, ताकि एविडेंस मॉडल को आंतरिक मेमोरी के बजाय रिट्रीव किए गए दस्तावेजों को प्राथमिकता देने के लिए मजबूर किया जा सके।
जॉइंट डिकोडिंग तंत्र: एक टोकन-लेवल फ्यूजन रणनीति विकसित की जो तर्क प्रवाह में तथ्यात्मक साक्ष्य को गतिशील रूप से इंजेक्ट करती है, जो नैव कॉनकेटेनेशन और कोर्स-ग्रेन्ड फ्यूजन विधियों से बेहतर प्रदर्शन करती है।
सेगमेंट-लेवल ग्रैनुलैरिटी: यह प्रदर्शित किया कि साक्ष्य को परमाणु सिमेंटिक सेगमेंट (न कि टोकन या पूर्ण वाक्यों) में विभाजित करने से बेहतर अटेंशन वितरण और एकीकरण की गुणवत्ता प्राप्त होती है।

4. प्रयोगात्मक परिणाम (Experimental Results)

इस ढांचे का मूल्यांकन विभिन्न मॉडलों (Qwen3-8B/14B) और रिट्रीवर्स का उपयोग करके पाँच QA बेंचमार्क (Natural Questions, TruthfulQA, Wizard of Wikipedia, HotpotQA, ELI5) पर किया गया।

प्रदर्शन लाभ (Performance Gains):
- सटीकता (Accuracy): अत्याधुनिक डायनेमिक RAG बेसलाइन्स (जैसे SelfRAG, P-RAG) की तुलना में उत्तर की सटीकता में 12.1% तक सुधार हुआ।
- भ्रम में कमी (Hallucination Reduction): भ्रम की दर में 16.3% की कमी आई।
- सुसंगतता (Coherence): बिना रिट्रीवल वाले मूल मॉडलों के समान संरचनात्मक सुसंगतता स्कोर बनाए रखा, जिससे सटीकता और प्रवाह के बीच के ट्रेड-ऑफ को हल किया गया।
मजबूती (Robustness):
- नॉइज़ रेजिस्टेंस (Noise Resilience): जब 50% रिट्रीव किए गए दस्तावेज़ अप्रासंगिक (नॉइजी) थे, तब भी GUARANTRAG ने अपने प्रदर्शन का 90.3% बनाए रखा, जो SelfRAG और SOLAR जैसे बेसलाइन्स से काफी बेहतर है।
- मॉडल स्केलिंग: बड़े मॉडल क्षमता के साथ प्रदर्शन का अंतर बढ़ता गया, जो सुझाव देता है कि यह ढांचा मजबूत पैरामीट्रिक ज्ञान का प्रभावी ढंग से लाभ उठाता है।
दक्षता (Efficiency):
- हालांकि इसमें मानक RAG की तुलना में थोड़े अधिक टोकन की आवश्यकता होती है, लेकिन इसने SelfRAG (जिसमें 70%+ ओवरहेड था) की तुलना में केवल 33% समय ओवरहेड पेश किया, जिससे यह उच्च-गुणवत्ता वाले जनरेशन के लिए कम्प्यूटेशनल रूप से कुशल बन गया।

5. महत्व (Significance)

प्रतिमान परिवर्तन (Paradigm Shift): यह RAG को एक निहित "रिट्रीव-देन-जनरेट" प्रक्रिया से एक स्पष्ट "रीजन-देन-फ्यूज" पाइपलाइन में ले जाता है, जो यह स्वीकार करता है कि तर्क और तथ्य रिट्रीवल अलग-अलग संज्ञानात्मक कार्य हैं।
एकीकरण बाधा का समाधान: यह पैरामीट्रिक/नॉन-पैरामीट्रिक संघर्ष के दीर्घकालिक समाधान के रूप में एक सिद्धांतपूर्ण समाधान प्रदान करता है, यह सुनिश्चित करता है कि बाहरी ज्ञान न केवल मौजूद है बल्कि विश्वसनीय रूप से उपयोग भी किया गया है।
व्यावहारिक प्रयोज्यता: यह विधि नॉइजी रिट्रीवल के प्रति मजबूत है और विभिन्न मॉडल आकारों में स्केलेबल है, जो इसे भाषा जनरेशन के प्राकृतिक प्रवाह से समझौता किए बिना उच्च तथ्यात्मक सटीकता (जैसे चिकित्सा, कानूनी या वित्तीय डोमेन) के लिए एक व्यवहार्य समाधान बनाती है।