A-RAG: Scaling Agentic Retrieval-Augmented Generation via Hierarchical Retrieval Interfaces
यह शोध पत्र A-RAG को प्रस्तुत करता है, जो एक एजेंटिक RAG फ्रेमवर्क है जो पदानुक्रमित पुनर्प्राप्ति इंटरफेस (कीवर्ड खोज, सिमेंटिक खोज और चंक रीड) को सीधे भाषा मॉडलों के लिए उपलब्ध कराता है, जिससे अनुकूलन योग्य, बहु-स्तर की सूचना पुनर्प्राप्ति सक्षम होती है जो मॉडल के आकार और टेस्ट-टाइम कंप्यूट के साथ प्रभावी ढंग से स्केल करते हुए मौजूदा प्रतिमानों से लगातार बेहतर प्रदर्शन करती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक बहुत ही पेचीदा रहस्य सुलझाने की कोशिश कर रहे हैं, जैसे कि एक जासूस लाखों किताबों वाले पुस्तकालय के भीतर छिपे किसी विशिष्ट तथ्य को खोजने की कोशिश कर रहा हो।
लंबे समय तक, कंप्यूटर (AI) द्वारा इन रहस्यों को सुलझाने का तरीका एक कठोर रोबोट की तरह था। आप रोबोट को कहते, "इस विषय पर शीर्ष 5 किताबें खोजो और उन सभी को एक साथ पढ़ लो।" रोबोट बिना सोचे-समझे वे किताबें उठा लेता, उन्हें अपने दिमाग में ठूस लेता और उत्तर देने की कोशिश करता। यदि उत्तर उन पहली 5 किताबों में नहीं होता, तो रोबोट केवल अनुमान लगा लेता, भले ही वह उत्तर तीन गलियां दूर किसी शेल्फ पर रखा हो। यह वही है जिसे पेपर "पुराने तरीके" के रूप में RAG (रिट्रीवल-ऑगमेंटेड जनरेशन) कहता है।
फिर, कुछ लोगों ने एक थोड़ा स्मार्ट रोबोट आज़माया जो एक सख्त चेकलिस्ट का पालन करता था। "चरण 1: खोजें। चरण 2: पढ़ें। चरण 3: उत्तर दें।" लेकिन रोबोट अपनी योजना बदल नहीं सकता था। यदि चरण 1 विफल हो जाता, तो रोबोट वहीं फंस जाता। वह यह नहीं कह सकता था, "हे, शायद मुझे किसी अलग शब्द के लिए खोजने की कोशिश करनी चाहिए," या "शायद मुझे केवल एक पैराग्राफ नहीं, बल्कि पूरा अध्याय पढ़ने की आवश्यकता है।"
नया विचार: A-RAG (द "स्मार्ट डिटेक्टिव")
पेपर A-RAG को पेश करता है, जो एक रोबोट के बजाय AI को एक स्मार्ट, स्वायत्त जासूस (Smart, Autonomous Detective) देने जैसा है। इस जासूस के पास पदानुक्रमित उपकरणों (Hierarchical Tools) का एक विशेष सेट (विभिन्न खोज विधियों की एक सीढ़ी) है और यह तय करने की स्वतंत्रता है कि किस उपकरण का उपयोग कब और कैसे करना है।
यहाँ यह जासूस तीन विशिष्ट उपकरणों का उपयोग करके काम करता है:
"कीवर्ड फ्लैशलाइट" (कीवर्ड सर्च):
- उपमा: कल्पना करें कि आप "जॉन स्मिथ" नामक किसी विशिष्ट व्यक्ति को खोज रहे हैं। आपको पूरी किताब पढ़ने की ज़रूरत नहीं है; आपको बस नाम के लिए पन्नों को स्कैन करने की ज़रूरत है।
- यह कैसे काम करता है: AI सटीक शब्दों की तलाश करता है। यह विशिष्ट नामों या शब्दों को खोजने के लिए तेज़ और सटीक है।
"मीनिंग मैग्नेट" (सिमेंटिक सर्च):
- उपमा: कभी-कभी आपको सटीक नाम पता नहीं होता। आपको बस एक विचार (जैसे, "वह व्यक्ति जिसने लाइट बल्ब का आविष्कार किया") पता होता है। आपको एक ऐसे उपकरण की आवश्यकता है जो आपके प्रश्न के अर्थ को समझ सके और उन किताबों को खोज सके जो उस अवधारणा के बारे में बात करती हैं, भले ही वे आपके द्वारा कहे गए सटीक शब्दों का उपयोग न करती हों।
- यह कैसे काम करता है: AI विचारों और अवधारणाओं की खोज करता है, न कि केवल सटीक शब्दों की।
"डीप डाइव गॉगल्स" (चंक रीड):
- उपमा: पहले दो उपकरण आपको केवल एक छोटा सा अंश दिखाते हैं, जैसे कि किताब का सारांश या कुछ वाक्य। लेकिन रहस्य सुलझाने के लिए, आपको अक्सर पूरा अध्याय पढ़ने की आवश्यकता होती है।
- यह कैसे काम करता है: एक बार जब जासूस फ्लैशलाइट या मैग्नेट का उपयोग करके एक आशाजनक किताब (या पृष्ठ) ढूंढ लेता है, तो वह सभी विवरण प्राप्त करने के लिए उस विशिष्ट अनुभाग के पूर्ण पाठ (Full Text) को पढ़ने के लिए इस उपकरण का उपयोग करता है।
यह बेहतर क्यों है?
पेपर का तर्क है कि पुराने तरीके एक इंसान को 5 रैंडम किताबें पढ़ने और तुरंत एक प्रश्न का उत्तर देने के लिए मजबूर करने जैसे थे। A-RAG एक इंसान को सोचने देने जैसा है।
- वे अनुकूलित हो सकते हैं: यदि "कीवर्ड फ्लैशलाइट" कुछ भी नहीं पाती है, तो जासूस "मीनिंग मैग्नेट" की ओर स्विच कर सकता है। यदि अंश भ्रमित करने वाले दिखते हैं, तो वह पूर्ण पाठ में "डीप डाइव" करने का निर्णय ले सकता है।
- वे ऊर्जा बचाते हैं: पुराने तरीके अक्सर बहुत अधिक अप्रासंगिक टेक्स्ट पढ़ते थे, जिससे समय और कंप्यूटर की शक्ति बर्बाद होती थी। A-RAG जासूस केवल उतना ही पढ़ता है जितना आवश्यक है, चरण-दर-चरण।
- वे जैसे-जैसे AI स्मार्ट होता जाता है, वे भी स्मार्ट होते जाते हैं: पेपर दिखाता है कि जैसे-जैसे AI मॉडल अधिक शक्तिशाली (बेहतर तर्क करने वाले) होते जा रहे हैं, यह फ्रेमवर्क समस्याओं को हल करने में और भी बेहतर होता जाता है। यह कुशलता से स्केल करता है।
परिणाम
शोधकर्ताओं ने इस "स्मार्ट डिटेक्टिव" का परीक्षण कठिन प्रश्नों पर किया जिनमें सूचना के कई टुकड़ों को जोड़ने की आवश्यकता होती है (जैसे कि "जब संधि पर हस्ताक्षर किए गए थे तब राष्ट्रपति कौन थे, और उनका पसंदीदा भोजन क्या था?")।
- बेहतर सटीकता: A-RAG जासूस ने पुराने रोबोट तरीकों की तुलना में अधिक पहेलियों को सही ढंग से सुलझाया।
- कम बर्बादी: इसने अन्य तरीकों की तुलना में कम शब्द पढ़कर उत्तर खोज लिया, जिससे सिद्ध हुआ कि यह अधिक कुशल था।
- "एक ही आकार सबके लिए" (No One-Size-Fits-All) नहीं: जासूस ने कोई निश्चित स्क्रिप्ट का पालन नहीं किया। उसने प्रत्येक विशिष्ट प्रश्न के लिए सबसे अच्छी रणनीति खुद तय की।
संक्षेप में
पेपर का दावा है कि AI के लिए सूचना खोजने के जटिल, पूर्व-प्रोग्राम किए गए नियम बनाने के बजाय, हमें बस AI को एक टूलबॉक्स देना चाहिए और उसे निर्णय लेने देना चाहिए कि उसका उपयोग कैसे करना है। AI को सटीक शब्दों की खोज करने, विचारों की खोज करने, या पूर्ण दस्तावेज़ों को पढ़ने के बीच चयन करने की अनुमति देकर, हमें एक ऐसा सिस्टम मिलता है जो स्मार्ट, तेज़ और जटिल समस्याओं को हल करने में बहुत बेहतर है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।