Learning to Route: A Rule-Driven Agent Framework for Hybrid-Source Retrieval-Augmented Generation

यहाँ शोध पत्र "Learning to Route: A Rule-Driven Agent Framework for Hybrid-Source Retrieval-Augmented Generation" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

लार्ज लैंग्वेज मॉडल्स (LLMs) उन डोमेन-विशिष्ट प्रश्नों के साथ संघर्ष करते हैं जिनमें सटीक और अद्यतित (up-to-date) जानकारी की आवश्यकता होती है। हालाँकि रिट्रीवल-ऑगमेंटेड जनरेशन (RAG) बाहरी ज्ञान प्राप्त करके इस समस्या का समाधान करता है, लेकिन मौजूदा प्रणालियाँ दो मुख्य सीमाओं का सामना करती हैं:

• स्रोत पूर्वाग्रह (Source Bias): अधिकांश RAG सिस्टम केवल असंरचित दस्तावेजों (जैसे विकिपीडिया) पर निर्भर करते हैं, जो अपूर्ण या पुराने हो सकते हैं। इसके विपरीत, रिलेशनल डेटाबेस सटीक, संरचित और सामयिक तथ्य प्रदान करते हैं, लेकिन उन्हें अक्सर RAG फ्रेमवर्क में अनदेखा कर दिया जाता है।
• नाइव हाइब्रिडाइजेशन (Naive Hybridization) की अक्षमता: प्रत्येक क्वेरी के लिए दस्तावेज़ और डेटाबेस दोनों स्रोतों को केवल मिला देने से (Hybrid RAG) अक्सर शोर (noise) बढ़ जाता है, टोकन की खपत (लागत/विलंबता) बढ़ जाती है, और संदर्भ के भटकाव (context distraction) के कारण सटीकता कम हो सकती है।

मुख्य चुनौती: प्रत्येक क्वेरी को सबसे उपयुक्त स्रोत (डेटाबेस, दस्तावेज़, हाइब्रिड, या डायरेक्ट LLM) पर गतिशील और बुद्धिमानी से कैसे रूट किया जाए, ताकि जटिल ब्लैक-बॉक्स मॉडल पर निर्भर रहे बिना सटीकता, दक्षता और व्याख्यात्मकता (interpretability) के बीच संतुलन बनाया जा सके।

2. मुख्य अवलोकन (Key Observations)

लेखकों ने प्रारंभिक प्रयोगों के माध्यम से तीन महत्वपूर्ण अंतर्दृष्टियाँ प्रस्तुत कीं:

1. पूरकता (Complementarity): डेटाबेस और दस्तावेज़ों की अपनी विशिष्ट ताकतें हैं। तथ्य-केंद्रित/संख्यात्मक (numerical) क्वेरी डेटाबेस द्वारा बेहतर ढंग से उत्तर दी जाती हैं, जबकि खुले अंत वाले/वर्णनात्मक (descriptive) प्रश्न दस्तावेज़ों के साथ बेहतर तालमेल रखते हैं। कोई भी एक स्रोत सभी प्रकार की क्वेरी के लिए प्रभावी नहीं है।
2. हाइब्रिडाइजेशन में शोर (Noise in Hybridization): दोनों स्रोतों को अंधाधुंध जोड़ने से अक्सर एकल इष्टतम स्रोत का उपयोग करने की तुलना में गलत उत्तर मिलते हैं, जबकि इससे इन्फरेंस लागत (inference cost) भी काफी बढ़ जाती है।
3. पैटर्न नियमितता (Pattern Regularity): क्वेरी के प्रकार निरंतर पैटर्न प्रदर्शित करते हैं (जैसे, "कितना" का अर्थ संख्या/डेटाबेस है; "क्यों" का अर्थ व्याख्या/दस्तावेज़ है)। इन पैटर्नों को भारी प्रशिक्षण के बजाय स्पष्ट नियमों (rules) के माध्यम से पकड़ा जा सकता है।

3. कार्यप्रणाली: नियम-संचालित एजेंट फ्रेमवर्क (Methodology: The Rule-Driven Agent Framework)

प्रस्तावित फ्रेमवर्क तीन मुख्य घटकों से बना है जिन्हें एक अनुकूलन योग्य, व्याख्यात्मक और कुशल रूटिंग सिस्टम बनाने के लिए डिज़ाइन किया गया है।

A. नियम-संचालित रूटिंग एजेंट (Rule-Driven Routing Agent)

एक सीखे हुए क्लासिफायर के बजाय, यह एजेंट संभावित ऑग्मेंटेशन पथों ($P = \{Doc, DB, Hybrid, LLM\}$) को स्कोर करने के लिए स्पष्ट, व्याख्यात्मक नियमों का उपयोग करता है।

• तंत्र (Mechanism): एजेंट एक सेट के नियमों के विरुद्ध क्वेरी का मूल्यांकन करता है (जैसे, "यदि क्वेरी किसी संख्या के बारे में पूछती है, तो DB स्कोर में +3 जोड़ें")।
• स्कोरिंग: यह प्रत्येक पथ के लिए एक स्कोर $S_p(q)$ की गणना करता है और अधिकतम स्कोर वाला पथ चुनता है: $p_q = \arg\max_{p} S_p(q)$।
• लाभ: यह दृष्टिकोण ट्रेनिंग-मुक्त, पारदर्शी है और नियमों को संशोधित करके आसानी से डोमेन अनुकूलन की अनुमति देता है।

B. नियम-बनाने वाला विशेषज्ञ एजेंट (Rule-Making Expert Agent)

यह सुनिश्चित करने के लिए कि नियम विशिष्ट डेटासेट के लिए स्थिर या उप-इष्टतम (suboptimal) न हो जाएं, एक "नियम-बनाने वाला विशेषज्ञ" (Rule-Making Expert) पुनरावृत्ति (iteratively) के माध्यम से नियम सेट को परिष्कृत करता है।

• प्रक्रिया: बैच-वार क्वेरी को प्रोसेस करने के बाद, सिस्टम एक नैदानिक रिपोर्ट (जिसमें पथ चयन की आवृत्ति, नियम ट्रिगर, और सटीकता शामिल है) उत्पन्न करता है।
• परिष्करण (Refinement): विशेषज्ञ एजेंट इस फीडबैक का विश्लेषण करता है और नियम सेट को अपडेट करता है (जैसे, उस नियम को मजबूत करना जिसने उच्च सटीकता प्रदान की या उसे कमजोर करना जिसके कारण त्रुटियां हुईं)। यह एक "टेक्स्टुअल ग्रेडिएंट" के रूप में कार्य करता है, जिससे सिस्टम रूटिंग मॉडल को फिर से प्रशिक्षित किए बिना डेटा वितरण के अनुकूल हो सकता है।

C. पाथ-लेवल मेटा-कैश (Path-Level Meta-Cache)

प्रत्येक क्वेरी के लिए रूटिंग एजेंट को कॉल करने की विलंबता (latency) को कम करने के लिए, एक कैशिंग तंत्र पेश किया गया है।

• रणनीति: पारंपरिक उत्तर कैशिंग (जो गतिशील डेटाबेस में विफल रहती है) के विपरीत, यह रूटिंग निर्णयों को कैश करता है।
• कार्यान्वयन: यह क्वेरी के एम्बेडिंग (embedding) और परिणामी पथ स्कोर को संग्रहीत करता है। नई क्वेरी के लिए, यदि एम्बेडिंग समानता एक थ्रेशोल्ड से अधिक है, तो कैश किए गए रूटिंग निर्णय का पुन: उपयोग किया जाता है। यह सिमेंटिक रूप से समान क्वेरी के लिए एजेंट कॉल को बायपास करता है, जिससे विलंबता काफी कम हो जाती है।

4. मुख्य योगदान (Key Contributions)

1. व्यवस्थित विश्लेषण: प्रमाणिक साक्ष्य प्रदान किए कि रिलेशनल डेटाबेस और दस्तावेज़ एक-दूसरे के पूरक हैं और अनैतिक हाइब्रिडाइजेशन अक्सर हानिकारक होता है, जिससे बुद्धिमान रूटिंग की आवश्यकता स्थापित हुई।
2. नियम-संचालित फ्रेमवर्क: एक अभिनव आर्किटेक्चर प्रस्तावित किया जिसमें एक रूटिंग एजेंट, एक नियम-बनाने वाला विशेषज्ञ, और एक मेटा-कैश शामिल है। यह फ्रेमवर्क ब्लैक-बॉक्स लर्निंग के बजाय व्याख्यात्मकता और दक्षता को प्राथमिकता देता है।
3. प्रदर्शन और दक्षता: प्रदर्शित किया कि नियम-आधारित रूटिंग, Learned Routing बेसलाइन्स की तुलना में बेहतर प्रदर्शन करती है और कम कम्प्यूटेशनल लागत और विलंबता बनाए रखती है।

5. प्रयोगात्मक परिणाम (Experimental Results)

फ्रेमवर्क का मूल्यांकन तीन डेटासेट्स पर किया गया: TATQA (वित्तीय), FinQA (वित्तीय), और WikiQA (सामान्य ज्ञान), जिसमें विभिन्न LLM बैकबोन (LLaMA-3, Qwen2.5, GPT-4o, GPT-4.1) का उपयोग किया गया।

• सटीकता (Accuracy): प्रस्तावित विधि ("Ours") ने स्थिर रणनीतियों (Basic, Doc-only, DB-only, Hybrid) और सीखे हुए रूटिंग बेसलाइन्स (Adaptive-RAG, Agent-Based, Rule Agent) को लगातार पछाड़ दिया।
  • उदाहरण: Qwen2.5 के साथ WikiQA पर, इसने 0.302 की स्टेट-ऑफ-द-आर्ट सटीकता प्राप्त की, जो सर्वश्रेष्ठ बेसलाइन (0.260) से अधिक है।
• दक्षता (टोकन उपयोग): इस पद्धति ने हाइब्रिड रणनीति की तुलना में काफी कम टोकन का उपयोग करते हुए उच्च सटीकता प्राप्त की। इसने LLM को सभी स्रोत खिलाकर होने वाली "टोकन ब्लोट" (token bloat) की समस्या से बचाव किया।
• विलंबता (Latency): Path-Level Meta-Cache का उपयोग करके, रूटिंग समय को नाटकीय रूप से कम कर दिया गया (अक्सर नगण्य), जबकि एजेंट-आधारित रूटिंग विधियों में प्रति क्वेरी 2+ सेकंड लग रहे थे।
• पथ चयन (Path Selection): विश्लेषण से पता चला कि फ्रेमवर्क का पथ चयन वितरण "ऑरेकल" (आदर्श) वितरण के करीब था, जो प्रभावी रूप से जहाँ आवश्यक हो वहां DB, Doc और Hybrid पथों की शक्तियों का लाभ उठाता है, जबकि बेसलाइन्स एक ही स्रोत की ओर झुके हुए थे।

6. महत्व (Significance)

यह कार्य हाइब्रिड-सोर्स RAG में प्रतिमान को "अधिक डेटा बेहतर है" से बदलकर "सही डेटा बेहतर है" में बदल देता है।

• व्याख्यात्मकता (Interpretability): नियमों का उपयोग करके, निर्णय लेने की प्रक्रिया ऑडिट योग्य है, जो वित्त और स्वास्थ्य सेवा जैसे उच्च-जोखिम वाले डोमेन के लिए महत्वपूर्ण है।
• लागत-प्रभावशीलता (Cost-Effectiveness): यह एंटरप्राइज RAG सिस्टम के लिए एक व्यावहारिक समाधान प्रदान करता है जहाँ विलंबता और टोकन लागत महत्वपूर्ण बाधाएं हैं।
• अनुकूलन क्षमता (Adaptability): फीडबैक लूप सिस्टम को महंगे रिट्रेनिंग के बिना अपने रूटिंग लॉजिक को विकसित करने की अनुमति देता है, जिससे यह बदलते डेटा वितरण के प्रति मजबूत बनता है।

निष्कर्षतः, यह शोध पत्र प्रदर्शित करता है कि एक हल्का, नियम-संचालित दृष्टिकोण, जिसे विशेषज्ञ फीडबैक और कैशिंग द्वारा बढ़ाया गया है, हाइब्रिड रिट्रीवल वातावरण में जटिल सीखे हुए रूटिंग तंत्रों की तुलना में बेहतर प्रदर्शन और दक्षता प्राप्त कर सकता है।