तकनीकी सारांश: रिट्रीवर पोर्टफोलियो: एडेप्टिव RAG के लिए एक सिद्धांतपूर्ण दृष्टिकोण

1. समस्या का निरूपण

रिट्राइवल-ऑगमेंटेड जनरेशन (RAG) सिस्टम आमतौर पर सभी उपयोगकर्ता प्रश्नों को संभालने के लिए हाइपरपैरामीटर के एक निश्चित सेट के साथ एक एकल रिट्रीवर (retriever) पर निर्भर करते हैं। हालांकि, वास्तविक दुनिया के अनुप्रयोगों में क्वेरी वितरण (query distributions) अत्यधिक विषम होते हैं, जो सरल तथ्य आधारित (factoid) प्रश्नों से लेकर जटिल मल्टी-हॉप रीजनिंग कार्यों तक फैले होते हैं। विभिन्न रिट्राइवल कॉन्फ़िगरेशन (मॉडल, रणनीतियाँ, या हाइपरपैरामीटर) अक्सर अलग-अलग क्षेत्रों में विशेषज्ञता रखते हैं, जिसका अर्थ है कि कोई भी एक अकेला रिट्रीवर सभी प्रश्नों के लिए इष्टतम नहीं है। जबकि हालिया कार्य जैसे Adaptive-RAG और Vendi-RAG, अनुकूलन रणनीतियों को अपनाने का प्रयास करते हैं, वे या तो हाथ से डिज़ाइन किए गए रणनीतियों के एक छोटे सेट पर काम करते हैं या इन्फरेंस के समय महंगे प्रति-क्वेरी हाइपरपैरामीटर ट्यूनिंग करते हैं, जिससे उच्च विलंबता (latency) और टोकन लागत आती है।

यह शोध पत्र "वन-साइज़-फिट्स-ऑल" (एक ही आकार सबके लिए उपयुक्त) रिट्राइवल की सीमा को संबोधित करने के लिए रिट्रीवर पोर्टफोलियो ऑप्टिमाइजेशन के एक सिद्धांतपूर्ण दृष्टिकोण का प्रस्ताव करता है। मुख्य समस्या को $m$ उम्मीदवारों के एक बड़े पूल में से $k$ विविध उपसमुच्चय (पोर्टफोलियो) के चयन के रूप में परिभाषित किया गया है। लक्ष्य एक एकल रिट्रीवर के औसत प्रदर्शन को अधिकतम करने के बजाय, अंतर्निहित वितरण से प्राप्त एक यादृच्छिक क्वेरी के लिए "बेस्ट-ऑफ-$k$" रिट्रीवर के अपेक्षित प्रदर्शन को अधिकतम करना है।

2. कार्यप्रणाली

2.1. सैद्धांतिक ढांचा

लेखक इसे एक एक्स्पेक्टेड बेस्ट-ऑफ-$k$ ऑब्जेक्टिव का उपयोग करके औपचारिक रूप देते हैं। मान लीजिए कि $Q$ वितरण $D$ के साथ प्रश्नों का सेट है और $\mathcal{R}$ उम्मीदवार रिट्रीवर्स का सेट है। एक स्कोर फंक्शन $s(q, r) \in [0, 1]$ क्वेरी $q$ के लिए रिट्रीवर $r$ की उपयुक्तता को मापता है। एक पोर्टफोलियो $S \subseteq \mathcal{R}$ (जहाँ $|S| \le k$) की गुणवत्ता को इस प्रकार परिभाषित किया गया है:
$$F(S) = \mathbb{E}_{q \sim D} \left[ \max_{r \in S} s(q, r) \right]$$
लक्ष्य वह $S$ खोजना है जो $F(S)$ को अधिकतम करे। लेखक सिद्ध करते हैं कि किसी भी निश्चित क्वेरी $q$ के लिए, फलन $f_q(S) = \max_{r \in S} s(q, r)$ गैर-ऋणात्मक, मोनोटोन और सबमॉड्यूलर (submodular) है। फलस्वरूप, जनसंख्या ऑब्जेक्टिव $F(S)$ और इसका अनुभवजन्य अनुमान (empirical estimate) भी सबमॉड्यूलर सेट फंक्शन्स हैं।

2.2. एल्गोरिदम: ग्रीडी पोर्टफोलियो सिलेक्शन

इस अनुकूलन समस्या को कुशलतापूर्वक हल करने के लिए, यह शोध पत्र एल्गोरिदम 1, एक सैंपल-आधारित ग्रीडी प्रक्रिया का प्रस्ताव करता है:

1. सैंपलिंग (Sampling): वितरण $D$ से $N$ i.i.d. प्रश्न निकालें।
2. अनुभवजन्य अनुमान (Empirical Estimation): जनसंख्या ऑब्जेक्टिव को एक अनुभवजन्य अनुमान $\hat{F}_Q(S)$ से बदलें।
3. ग्रीडी निर्माण (Greedy Construction): पुनरावृत्ति (iteratively) के रूप में उस रिट्रीवर $r$ का चयन करें जो मार्जिनल गेन $\hat{F}_Q(S \cup \{r\}) - \hat{F}_Q(S)$ को अधिकतम करता है। एल्गोरिदम लाभों को कुशलतापूर्वक गणना करने के लिए प्रति-क्वेरी वर्तमान सर्वोत्तम स्कोर के मेमोइज़्ड वेक्टर को बनाए रखता है।
4. गारंटी (Guarantees): यह एल्गोरिदम $O(k |\mathcal{R}| N)$ समय में चलता है। सैद्धांतिक विश्लेषण से पता चलता है कि यह पूल के आकार और वांछित आत्मविश्वास के साथ उचित रूप से स्केल होने वाले सैंपल आकार $N$ के प्रावधान के साथ, इष्टतम पोर्टफोलियो के $(1 - 1/e)$-अनुमान (approximation) को प्राप्त करता है।

2.3. इन्फरेंस पाइपलाइन

प्रस्तावित सिस्टम में दो चरण शामिल हैं:

1. ऑफलाइन पोर्टफोलियो निर्माण: एल्गोरिदम 1 का उपयोग करके, प्रशिक्षण डेटा के आधार पर एक बड़े पूल (जिसमें डेंस, डायवर्सिटी-आधारित और ग्राफ-आधारित रिट्रीवर्स शामिल हैं) से $k$ पूरक (complementary) रिट्रीवर्स का एक विविध पोर्टफोलियो चुना जाता है।
2. एडेप्टिव इन्फरेंस: एक हल्का राउटर (router) प्रशिक्षित किया जाता है ताकि विशिष्ट क्वेरी के लिए सर्वोत्तम रिट्रीवर(स) को गतिशील रूप से चुना जा सके।
   • राउटर कच्चे टेक्स्ट और कैश किए गए डेंस एम्बेडिंग्स (MPNet/E5) का उपयोग करके क्वेरी को एनकोड करता है।
   • यह सीखे गए रिट्रीवर एम्बेडिंग्स के साथ समानता के माध्यम से $k$ पोर्टफोलियो सदस्यों को स्कोर करता है।
   • विलंबता (latency) को कम करने के लिए शीर्ष-$\ell$ रिट्रीवर्स को समानांतर (parallel) में निष्पादित किया जाता है।
   • एक सेलेक्टर LLM अंतिम आउटपुट उत्पन्न करने के लिए समानांतर रिट्रीवर्स से उत्तरों को एकत्रित करता है।

यह दृष्टिकोण अनुकूलन की लागत को ऑफलाइन रूप से अमोर्टाइज (amortize) करता है, जिससे इन्फरेंस-टाइम ट्यूनिंग के लिए आवश्यक पुनरावृत्तीय खोज से बचा जा जा सकता है।

3. प्रमुख योगदान

• समस्या का निरूपण: "RAG पोर्टफोलियो ऑप्टिमाइजेशन" समस्या का परिचय, जो अपेक्षित बेस्ट-ऑफ-$k$ ऑब्जेक्टिव के माध्यम से विषम क्वेरी वितरण को कवर करने के लिए रिट्रीवर्स के एक छोटे, विविध सेट के चयन को औपचारिक बनाता है।
• सैद्धांतिक गारंटी: यह प्रमाण कि ऑब्जेक्टिव सबमॉड्यूलर है, जो $(1 - 1/e)$ अनुमान गारंटी के साथ कुशल और निकट-इष्टतम पोर्टफोलियो निर्माण की अनुमति देता है।
• व्यावहारिक पाइपलाइन: एक पूर्ण प्रणाली जिसमें ऑफलाइन पोर्टफोलियो चयन और एक हल्का राउटर शामिल है जो समानांतर रिट्राइवल और उत्तर देने में सक्षम बनाता है, जो अनुक्रमिक (sequential) एडेप्टिव विधियों की तुलना में विलंबता को काफी कम करता है।
• अनुभवजन्य सत्यापन: चार विविध QA बेंचमार्क (HotpotQA, 2WikiMultiHopQA, TriviaQA, MusiQue) पर व्यापक मूल्यांकन, जो सिंगल-रिट्रीवर बेसलाइन और इन्फरेंस-टाइम ट्यूनिंग दृष्टिकोणों की तुलना में बेहतर प्रदर्शन प्रदर्शित करता है।

4. प्रयोगात्मक परिणाम

विधि का मूल्यांकन दो उत्तर मॉडलों (Gemma-3-27B-IT और Llama-3.1-70B-Instruct) का उपयोग करके चार ओपन-डोमेन QA डेटासेट्स पर किया गया।

• रिट्राइवल कवरेज: सीखे गए पोर्टफोलियो "औसत-सर्वश्रेष्ठ" (average-best) रिट्रीवर चयन की तुलना में काफी बेहतर प्रदर्शन करते हैं। उदाहरण के लिए, $k=5$ के आकार के पोर्टफोलियो ने 0.594 का सपोर्ट रिकॉल (Support Recall) प्राप्त किया, जबकि शीर्ष-5 औसत रिट्रीवर्स के लिए यह 0.492 था। यह लाभ केवल अधिक दस्तावेज़ खोजने के बजाय पूरकता (complementarity) (विभिन्न क्वेरी उप-जनसंख्या को कवर करना) से उत्पन्न हुआ।
• एंड-टू-एंड सटीकता: रूट किए गए पोर्टफोलियो ने सिंगल-रिट्रीवर बेसलाइन और Vendi-RAG (एक इन्फरेंस-टाइम ट्यूनिंग बेसलाइन) की तुलना में लगातार उच्च सटीक मिलान (Exact Match - EM) स्कोर प्राप्त किए। "ऑल-पूल" पोर्टफोलियो (डेंस, वेंडी और ग्राफडेंस रिट्रीवर्स को संयोजित करना) ने सभी डेटासेट्स में सर्वश्रेष्ठ औसत EM दिया।
• दक्षता बनाम सटीकता: Vendi-RAG (समान वेंडी सर्च स्पेस का उपयोग करते हुए) के साथ नियंत्रित तुलनाओं में, ऑफलाइन पोर्टफोलियो दृष्टिकोण ने काफी कम विलंबता और टोकन लागत के साथ तुलनीय या बेहतर सटीकता प्राप्त की। ऐसा इसलिए है क्योंकि पोर्टफोलियो रिट्रीवर्स के एक निश्चित सेट के समानांतर निष्पादन की अनुमति देता है, जबकि Vendi-RAG के लिए क्रमिक, पुनरावृत्तीय पीढ़ी और निर्णय लेने की आवश्यकता होती है।
• राउटर प्रभावशीलता: एब्लेशन अध्ययनों ने दिखाया कि सीखा गया राउटर रैंडम चयन से काफी बेहतर प्रदर्शन करता है और लगातार उन रिट्रीवर्स को चुनता है जो सिंगल बेस्ट एवरेज मेंबर में सुधार करते हैं, प्रभावी रूप से क्वेरी को सबसे उपयुक्त पोर्टफोलियो सदस्यों तक रूट करता है।

5. महत्व और दावे

यह शोध पत्र RAG के क्षेत्र को महंगे, क्रमिक इन्फरेंस-टाइम अनुकूलन से कुशल, ऑफलाइन पोर्टफोलियो निर्माण की ओर स्थानांतरित करके आगे बढ़ाने का दावा करता है। लेखक तर्क देते हैं कि:

• कोई भी एकल रिट्रीवर इष्टतम नहीं है: एक एकल रणनीति को स्थिर करने से विविध सूचना आवश्यकताओं पर प्रदर्शन का नुकसान होता है।
• पूरकता (Complementarity) महत्वपूर्ण है: एक छोटा सेट विविध रिट्रीवर्स, एकल "सर्वश्रेष्ठ" रिट्रीवर या केवल दस्तावेज़ बजट बढ़ाने की तुलना में क्वेरी वितरण को अधिक प्रभावी ढंग से कवर कर सकता है।
• दक्षता: फिक्स्ड पोर्टफोलियो समानांतर रिट्राइवल और LLM कॉल्स को सक्षम करते हैं, जो एक व्यावहारिक ट्रेड-ऑफ प्रदान करता है जो उच्च सटीकता के साथ अनुमानित, कम विलंबता और टोकन उपयोग प्राप्त करता है, जिससे एडेप्टिव RAG उत्पादन वातावरण में अधिक तैनात करने योग्य (deployable) बन जाता है।

यह कार्य सभी RAG चुनौतियों को हल करने का दावा नहीं करता है, बल्कि रिट्राइवल रणनीतियों के चयन और रूटिंग के लिए एक सिद्धांतपूर्ण, सैद्धांतिक रूप से स्थापित तरीका प्रदान करता है जो सिद्ध रूप से निकट-इष्टतम और अनुभवजन्य रूप से प्रभावी है।