💬 NLP

DynaKRAG: A Unified Framework for Learnable Evidence Control in Multi-Hop Retrieval-Augmented Generation

DynaKRAG एक एकीकृत ढांचा है जो मल्टी-हॉप रिट्रीवल-ऑगमेंटेड जनरेशन को एक स्टेट-कंडीशन्ड कंट्रोल समस्या के रूप में सूत्रबद्ध करता है, जिसमें रिट्रीवल और क्वेरी रीफॉर्म्युलेशन जैसे वैध एविडेंस ऑपरेशन्स में से गतिशील रूप से चयन करने के लिए एक सीखे गए पॉलिसी का उपयोग किया जाता है, जिससे यह HotpotQA, 2Wiki और MuSiQue जैसे बेंचमार्क पर मौजूदा विधियों से बेहतर प्रदर्शन करता है।

मूल लेखक: Yaqi Wu, Xiaolei Guo, Chenyu Zhou, Jiaqi Huang, Xianfa Zhang, Junxu Zhang, Zhuo Yu, Zhubo Shi, Jianghao Lin, Dongdong Ge

प्रकाशित 2026-07-08

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Yaqi Wu, Xiaolei Guo, Chenyu Zhou, Jiaqi Huang, Xianfa Zhang, Junxu Zhang, Zhuo Yu, Zhubo Shi, Jianghao Lin, Dongdong Ge

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक जासूस हैं जो एक जटिल रहस्य को सुलझाने की कोशिश कर रहे हैं, जैसे कि "ताज के गहने किसने चुराए, और उन्हें कहाँ छिपाया गया था?"

पुराने तरीके के काम करने के ढंग में (मानक AI सिस्टम), जासूस को एक सख्त नियम पुस्तिका दी जाती थी: "फाइलिंग कैबिनेट की पहली तीन फाइलों को देखें। यदि आपको उत्तर नहीं मिलता है, तो अगली तीन फाइलों को देखें। चाहे कुछ भी हो जाए, पांच फाइलों के बाद रुक जाएं।" यह बहुत कठोर है। कभी-कभी पहली फाइल एक ऐसा सुराग देती है जो जांच की पूरी दिशा बदल देता है, लेकिन नियम पुस्तिका आपको गलत फाइलों को देखते रहने के लिए मजबूर करती है।

DynaKRAG जासूस के काम करने का एक नया, स्मार्ट तरीका है। एक निश्चित नियम पुस्तिका का पालन करने के बजाय, यह एक लचीले, सीखने पर आधारित प्रबंधक (manager) का उपयोग करता है जो अब तक मिली जानकारियों के आधार पर अगला कदम तय करता है।

यह कैसे काम करता है, इसे सरल अवधारणाओं में यहाँ समझाया गया है:

1. जासूस की नोटबुक (द "स्टेट" - State)

हर बार जब जासूस को कागज का एक नया टुकड़ा (सबूत) मिलता है, तो वे उसे एक नोटबुक में लिखते हैं। यह नोटबुक केवल कागजों का ढेर नहीं है; यह एक जीवित मानचित्र है। यह ट्रैक करता है:

मूल प्रश्न क्या था।
कौन से कागज पहले ही पढ़े जा चुके हैं।
कौन से सुराग गायब हैं (जैसे, "मुझे चोर का नाम पता है, लेकिन मुझे यह नहीं पता कि वह कहाँ रहता है")।
अब तक क्या कार्रवाई की गई है।

2. चालों का मेनू (द "एक्शन्स" - Actions)

किसी भी क्षण, जासूस के पास संभावित चालों का एक मेनू होता है, लेकिन सभी चालें हर समय उपलब्ध नहीं होतीं।

शेल्फ की खोज करें: दस्तावेज़ों की तलाश करें।
प्रश्न को फिर से लिखें: शायद मूल प्रश्न भ्रमित करने वाला था; आइए इसे अलग तरह से पूछें।
सुराग का पीछा करें: यदि कोई दस्तावेज़ किसी विशिष्ट व्यक्ति (एक "ब्रिज एंटिटी") का उल्लेख करता है, तो उस व्यक्ति के बारे में अधिक जानकारी खोजें।
अंतरालों की जाँच करें: पूछें, "क्या हमारे पास इसे हल करने के लिए पर्याप्त जानकारी है? यदि नहीं, तो क्या कमी है?"
रुकें और हल करें: यदि सबूत पूर्ण हैं, तो अंतिम उत्तर लिखें।

3. दो-चरणीय निर्णय प्रक्रिया

DynaKRAG का असली जादू यहीं है। जासूस द्वारा कोई चाल चुनने से पहले, दो चीजें होती हैं:

चरण A: बाउंसर (वैलिडिटी लेयर - Validity Layer): एक क्लब के बाउंसर की कल्पना करें। बाउंसर वर्तमान स्थिति को देखता है और कहता है, "आप अभी वह नहीं कर सकते।" उदाहरण के लिए, आप प्रश्न को फिर से नहीं लिख सकते यदि आपने अभी तक कोई दस्तावेज़ नहीं पढ़ा है। आप सुराग का पीछा नहीं कर सकते यदि आपको कोई सुराग नहीं मिला है। बाउंसर असंभव चालों को छान देता है, जिससे केवल वैध (valid) विकल्पों की सूची बचती है।
चरण B: कोच (लर्नड कंट्रोलर - Learned Controller): अब कि बाउंसर ने जासूस को वैध चालों की सूची सौंप दी है, कोच (Coach) मैदान में आता है। कोच ने हजारों पिछले जासूसी मामलों से सीखा है। वह वर्तमान नोटबुक को देखता है और कहता है, "इन वैध विकल्पों में से, वह विकल्प जो हमें अभी सबसे अधिक कुशलतापूर्वक रहस्य सुलझाने में मदद करेगा, वह है संदिग्ध के पते के सुराग का पीछा करना।"

4. यह बेहतर क्यों है

बर्बाद प्रयास नहीं: पुराने सिस्टम या तो उत्तरों की तलाश में लगे रह सकते हैं भले ही उनके पास पहले से ही पर्याप्त जानकारी हो, या वे बार-बार एक ही सवाल पूछते रह सकते हैं। DynaKRAG जानता है कि कब रुकना है।
रहस्य के अनुकूल ढलना: यदि पहला सुराग पूरी तरह से एक नया कोण खोल देता है, तो सिस्टम तुरंत अपनी रणनीति बदल लेता है (जैसे प्रश्न को फिर से लिखना) बजाय इसके कि वह एक पूर्व-निर्धारित योजना का आँख मूंदकर पालन करता रहे।
ऊर्जा बचाना: यह सिस्टम "टोकन-कुशल" (token-efficient) है। AI के संदर्भ में, "टोकन" शब्दों या डेटा के टुकड़ों की तरह होते हैं जिनकी लागत आती है और जो समय लेते हैं। DynaKRAG पहेली को सुलझाने के लिए पर्याप्त सबूत मिलते ही जानकारी जुटाना बंद कर देता है, जिससे उन प्रणालियों की तुलना में समय और पैसा बचता है जो बस खोदते रहते हैं।

परिणाम

लेखकों ने इस "स्मार्ट डिटेक्टिव" का परीक्षण तीन बहुत कठिन पहेली डेटासेट्स (HotpotQA, 2Wiki, और MuSiQue) पर किया।

बेहतर उत्तर: इसने पिछले सर्वोत्तम तरीकों की तुलना में अधिक पहेलियों को सही ढंग से हल किया।
स्मार्ट खर्च: इसने अपने बेहतर उत्तर पाने के लिए कम संसाधनों (कम "टोकन" उपयोग) का इस्तेमाल किया।
प्रूफ ऑफ कॉन्सेप्ट: जब उन्होंने "कोच" (सीखने वाला निर्णय लेने वाला) को हटा दिया और सिस्टम को वैध सूची में से यादृच्छिक (randomly) चालें चुनने दिया, तो प्रदर्शन काफी गिर गया। यह साबित करता है कि अगला कदम चुनने की क्षमता उतनी ही महत्वपूर्ण है जितनी कि अगला कदम उठाने की क्षमता।

संक्षेप में: DynaKRAG AI को एक कठोर स्क्रिप्ट का पालन करने वाले रोबोट से बदलकर एक लचीले जासूस में बदल देता है, जो जानता है कि उसने अब तक जो कुछ भी खोजा है उसके आधार पर अगला सही उपकरण कौन सा है, जिससे यह सुनिश्चित होता है कि वह बिना किसी बर्बादी के रहस्य को सुलझा सके।

तकनीकी सारांश: DynaKRAG

समस्या विवरण

मल्टी-हॉप रिट्रीवल-ऑगमेंटेड जनरेशन (RAG) उन प्रश्नों को संबोधित करता है जहाँ उत्तर कई दस्तावेजों और तर्क चरणों में वितरित साक्ष्यों पर निर्भर करता है। मानक RAG के विपरीत, जो आमतौर पर एक निश्चित 'रिट्रीव-देन-जनरेट' प्रतिमान का पालन करता है, मल्टी-हॉप प्रश्नों के लिए एक विकसित होने वाली सूचना प्राप्ति प्रक्रिया की आवश्यकता होती है। एक एकल रिट्रीव किया गया अनुच्छेद शायद ही कभी पर्याप्त होता है; इसके बजाय, यह एक "ब्रिज एंटिटी" (bridge entity) को प्रकट कर सकता है, एक लुप्त संबंध को उजागर कर सकता है, एक क्वेरी दोष का संकेत दे सकता है, या रुकने के लिए पर्याप्त समर्थन प्रदान कर सकता है।

मौजूदा एडेप्टिव RAG विधियाँ (जैसे, IRCoT, Self-Ask, CRAG, S2G-RAG) उपयोगी व्यवहार जैसे कि पुनरावृत्त रिट्रीवल, क्वेरी पुनर्गठन, साक्ष्य आलोचना और पर्याप्तता निर्णय पेश करती हैं। हालाँकि, ये विधियाँ आमतौर पर इन ऑपरेशनों को मेथड-विशिष्ट पाइपलाइनों या पूर्व-निर्धारित नियंत्रण टोपोलॉजी के भीतर व्यवस्थित करती हैं। यह विखंडन दो प्राथमिक सीमाएँ उत्पन्न करता है:

एकीकृत नियंत्रण का अभाव: विषम साक्ष्य ऑपरेशनों को एक एकल ढांचे के भीतर व्यक्त करना, तुलना करना और सीखना कठिन है। एक प्रणाली जो अधिक रिट्रीव करने का निर्णय लेती है, उसे यह पता नहीं हो सकता कि कब पुनर्गठन (rewriting) बेहतर है, और एक पर्याप्तता मॉड्यूल एक लुप्त तथ्य की पहचान तो कर सकता है, लेकिन वह ब्रिज विस्तार (bridge expansion) या रुकने के विरुद्ध संयुक्त रूप से निर्णय लेने में सक्षम नहीं हो सकता।
अक्षमता: एडेप्टिव प्रक्षेप पथ (trajectories) बार-बार रिट्रीवर्स और लैंग्वेज मॉडल्स को कॉल कर सकते हैं। इन ऑपरेशनों को समन्वित करने के लिए एक सीखे हुए नीति (learned policy) के बिना, सिस्टम रेडंडेंट साक्ष्य पर टोकन बर्बाद कर सकता है या पर्याप्त साक्ष्य होने पर भी रुकने में विफल हो सकता है।

मुख्य चुनौती एक साझा स्टेट-कंडीशन्ड पॉलिसी (state-conditioned policy) सीखना है जो वर्तमान में वैध साक्ष्य ऑपरेशनों में से गतिशील रूप से चुनाव कर सके, जैसा कि साक्ष्य की स्थिति विकसित होती है, और रिट्रीवल, डायग्नोसिस और गैप-निर्देशित अधिग्रहण के बीच संतुलन बना सके।

कार्यप्रणाली: DynaKRAG

DynaKRAG (डायनामिक नॉलेज रिट्रीवल-ऑगमेंटेड जनरेशन) मल्टी-हॉप साक्ष्य अधिग्रहण को एटमिक साक्ष्य ऑपरेशनों पर स्टेट-कंडीशन्ड कंट्रोल के रूप में स्वरूपित करता है। यह क्रिया की वैधता को उसकी उपयोगिता से अलग करता है, जिससे नियम ट्रांजिशन निरंतरता को लागू कर सकते हैं जबकि लर्निंग (learning) सबसे उपयोगी ऑपरेशन निर्धारित करती है।

1. एकीकृत साक्ष्य-क्रिया ढांचा (Unified Evidence-Action Framework)

सिस्टम इस प्रक्रिया को एक प्रक्षेप पथ $\tau = (s_0, a_0, s_1, a_1, \dots, s_T)$ के रूप में मॉडल करता है।

स्टेट ( $s_t$ ): इसमें प्रश्न, रिट्रीव किए गए दस्तावेज़, रिट्रीवल फ्रंटियर सांख्यिकी, एक्शन हिस्ट्री, डिटेक्टेड ब्रिज एंटिटीज और डायग्नोस्टिक फीडबैक (जैसे, लुप्त जानकारी का विवरण) सहित अवलोकन योग्य जानकारी शामिल है। महत्वपूर्ण रूप से, इसमें इन्फरेंस के समय गोल्ड आंसर्स या सपोर्ट एनोटेशन शामिल नहीं होते हैं।
एटमिक ऑपरेशन्स (Atomic Operations): ढांचा सात एटमिक क्रियाओं को परिभाषित करता है:
- रिट्रीवल/एक्सपेंशन: retrieve_more (फ्रंटियर को आगे बढ़ाता है), gap_query (लुप्त तथ्यों को लक्षित करता है), bridge_entity_expand (डिटेक्टेड एंटिटीज के आसपास रिट्रीव करता है), rewrite_query (साक्ष्य के आधार पर क्वेरी को पुनर्गठित करता है)।
- डायग्नोसिस/टर्मिनेशन: sufficiency_check (जेनेरेटर से पूछता है कि क्या साक्ष्य पर्याप्त है; यदि नहीं, तो लुप्त जानकारी रिकॉर्ड करता है), stop_answer।
- पोस्ट-प्रोसेसिंग: compress_answer_evidence (अंतिम जनरेशन से पहले सहायक स्निपेट्स निकालता है)।
वैलिडिटी लेयर (Validity Layer): एक हार्ड, रूल-बेस्ड लेयर अनडिफाइंड, समाप्त या समयपूर्व ऑपरेशनों को फ़िल्टर करके निष्पादन योग्य एक्शन सेट $A(s_t)$ का निर्माण करती है (उदाहरण के लिए, यदि कोई गैप ज्ञात नहीं है तो gap_query को रोकना)।

2. सीखा हुआ स्टेट-कंडीशन्ड कंट्रोल पॉलिसी

DynaKRAG वैध क्रियाओं को रैंक करने के लिए एक सीखा हुआ कंट्रोलर नियोजित करता है:

एक्शन-वैल्यू मॉडल: एक रैंडम फॉरेस्ट रिग्रेसर $\hat{v}_\theta(s, a)$ $\overset{v}{^}_{θ} (s, a)$ उस सुधार का अनुमान लगाता है जो एक क्रिया साक्ष्य अवस्था में लाता है।
- ट्रेनिंग टारगेट्स: प्रशिक्षण के दौरान, वैल्यू $v(s, a)$ को सपोर्ट रिकॉल (SR) (एनोटेटेड सपोर्टिंग डॉक्यूमेंट्स का अंश) में परिवर्तन द्वारा परिभाषित किया जाता है। अधिग्रहण क्रियाओं के लिए, $v = SR(s') - SR(s) $है। पर्याप्तता जाँच के लिए, यह भविष्यवाणी करता है कि क्या$ SR(s)=1$ है। रुकने के लिए, यह वर्तमान कवरेज के आधार पर स्कोर करता है।
- इन्फरेंस: कंट्रोलर उस क्रिया $a^*$ को चुनता है जो कॉस्ट टर्म को घटाने के बाद अधिकतम वैल्यू को अधिकतम करती है: $a^* = \arg\max_{a \in A(s_t)} [\hat{v}_\theta(s_t, a) - \lambda c(s_t, a)]$ ।
कंटीन्यूएशन मॉडल (Continuation Model): एक अलग मॉडल प्रक्षेप पथ को जारी रखने की उपयोगिता का अनुमान लगाता है, जिससे समय से पहले रुकने से रोका जा सके जब अतिरिक्त साक्ष्य मदद करने की भविष्यवाणी की जाती है।
टर्मिनल कंप्रेशन (Terminal Compression): समाप्ति पर, एक कंप्रेसर संचित संदर्भ (context) से परस्पर सहायक स्निपेट्स निकालता है ताकि अंतिम उत्तर जनरेटर पर बोझ कम हो सके।

3. इन्फरेंस प्रक्रिया

इन्फरेंस लूप (एल्गोरिदम 1) इस प्रकार पुनरावृत्त होता है:

वर्तमान स्टेट बाधाओं के आधार पर वैध एक्शन सेट $A(s_t)$ का निर्माण करें।
सीखे हुए वैल्यू मॉडल का उपयोग करके वैध क्रियाओं को स्कोर करें।
टॉप-रैंक्ड एक्शन का चयन करें।
एक्शन को निष्पादित करें (जैसे, डेंस इंडेक्स को क्वेरी करना, स्टेट को अपडेट करना)।
तब तक दोहराएं जब तक stop_answer का चयन न हो जाए या रिट्रीवल/एक्शन कैप तक न पहुँच जाए।
वैकल्पिक रूप से, साक्ष्य को कंप्रेस करें और अंतिम उत्तर जेनरेट करें।

मुख्य योगदान

एकीकृत ढांचा: पेपर एक एकीकृत साक्ष्य-क्रिया ढांचे का प्रस्ताव करता है जहाँ विषम RAG रणनीतियों को एक साझा स्टेट पर एटमिक ऑपरेशनों के रूप में दर्शाया गया है, जो आइसोलेटेड, मेथड-विशिष्ट पाइपलाइनों से दूर ले जाता है।
लागत प्रभावी सीखा हुआ कंट्रोलर: यह एक कंट्रोलर विकसित करता है जो हार्ड एक्शन वैलिडिटी को स्टेट-कंडीशन्ड एक्शन यूटिलिटी से अलग करता है। यह एक विकसित प्रक्षेप पथ के साथ रिट्रीवल, डायग्नोसिस, पुनर्गठन और टर्मिनेशन के गतिशील समन्वय को सक्षम बनाता है, बिना अंडरलाइंग रिट्रीवर या जेनेरेटर को बदले।
अनुभवजन्य सत्यापन (Empirical Validation): तीन बेंचमार्क पर नियंत्रित प्रयोगों के माध्यम से, लेखक सीखे हुए एक्शन रैंकिंग, पर्याप्तता फीडबैक और टर्मिनल कंप्रेशन के प्रभावों को अलग करते हैं, यह प्रदर्शित करते हुए कि डायनामिक कंट्रोल गुणवत्ता और दक्षता में निरंतर लाभ देता है।

प्रयोगात्मक परिणाम

लेखकों ने Qwen2.5-7B-Instruct, GPT-4o-mini, और Llama-3.1-8B-Instruct को बैकबोन जेनेरेटर के रूप में उपयोग करते हुए, HotpotQA, 2WikiMultiHopQA, और MuSiQue पर DynaKRAG का मूल्यांकन किया।

प्रदर्शन: DynaKRAG ने सभी तीन बेंचमार्क पर उच्चतम F1 स्कोर प्राप्त किया (HotpotQA पर Qwen2.5-7B के साथ 0.5998, 2Wiki पर 0.5340, MuSiQue पर 0.3061), जो सबसे मजबूत कंट्रोल्ड बेसलाइन्स (जैसे, S2G-RAG, CoRAG) को 2.88 से 7.19 पॉइंट्स से पीछे छोड़ देता है।
सामान्यीकरण (Generalization): Qwen ट्रेजेक्टरीज पर प्रशिक्षित पॉलिसी, बिना री-ट्रेनिंग के GPT-4o-mini और Llama-3.1-8B पर प्रभावी ढंग से ट्रांसफर हुई, और अधिकांश कॉन्फ़िगरेशन पर स्टेट-ऑफ-द-आर्ट परिणाम प्राप्त किए। यह सुझाव देता है कि सीखी हुई पॉलिसी एक विशिष्ट जेनेरेटर पर ओवरफिट होने के बजाय सामान्यीकृत साक्ष्य-अधिग्रहण प्राथमिकताओं को कैप्चर करती है।
दक्षता: DynaKARG ने सबसे मजबूत F1 बेसलाइन (S2G-RAG) की तुलना में उच्च सटीकता प्राप्त करते हुए कुल टोकन खपत को 13.1% से 20.7% तक कम कर दिया।
एब्लेशन स्टडीज (Ablation Studies):
- सीखे हुए कंट्रोलर को यूनिफॉर्म-वैलिड पॉलिसी से बदलने पर F1 में 3.96–5.78 पॉइंट्स की कमी आई, जो सिद्ध करता है कि केवल क्रियाओं को एक्सपोज़ करना पर्याप्त नहीं है; उन्हें रैंक करना महत्वपूर्ण है।
- पर्याप्तता फीडबैक हटाने से सभी डेटासेट्स पर प्रदर्शन में गिरावट आई, जो स्पष्ट साक्ष्य-तैयारता मूल्यांकन के महत्व की पुष्टि करता है।
- टर्मिनल कंप्रेशन हटाने से भी प्रदर्शन कम हुआ, जो संदर्भ शोधन (context refinement) के लाभ को रेखांकित करता है।
रिट्रीवल बजट संवेदनशीलता: नियंत्रित प्रयोगों ने दिखाया कि "अधिक रिट्रीवल" समान रूप से फायदेमंद नहीं है। उदाहरण के लिए, MuSiQue पर, प्रदर्शन दो रिट्रीवल कॉल पर चरम पर था और तीन पर घट गया, जो दर्शाता है कि विशिष्ट साक्ष्य स्थिति के आधार पर बजट को प्रभावी ढंग से आवंटित करने के लिए डायनामिक कंट्रोल आवश्यक है।

महत्व और दावे

पेपर का दावा है कि एडेप्टिव मल्टी-हॉप RAG वर्तमान सूचना अवस्था से उपयुक्त साक्ष्य ऑपरेशनों को चुनने पर निर्भर करता है। साक्ष्य अधिग्रहण को एक क्लोज्ड-लूप कंट्रोल प्रक्रिया के रूप में फ्रेम करके, DynaKRAG मौजूदा विधियों के विखंडन को दूर करता है।

लेखक इस बात पर जोर देते हैं कि उनका दृष्टिकोण एक विकसित साक्ष्य अवस्था के तहत रिट्रीवल, डायग्नोसिस और गैप-निर्देशित अधिग्रहण को समन्वित करने के लाभ को प्रदर्शित करता है। परिणाम बताते हैं कि एक एकीकृत, सीखा हुआ कंट्रोल पॉलिसी, उत्तर की गुणवत्ता और टोकन दक्षता दोनों में स्पेशलाइज्ड, पाइपलाइन-आधारित सिस्टम से बेहतर प्रदर्शन कर सकती है, और ये कंट्रोल रणनीतियाँ विभिन्न लैंग्वेज मॉडल बैकबोन में सामान्य हो सकती हैं। यह कार्य स्थापित करता है कि क्या करना है (रिट्रीव, रीराइट, पर्याप्तता चेक, या स्टॉप) का निर्णय स्वयं रिट्रीवल जितना ही महत्वपूर्ण है, और यह निर्णय एक फिक्स्ड ह्यूरिस्टिक्स के बजाय एक स्टेट-कंडीशन्ड पॉलिसी द्वारा संचालित होना चाहिए।