ScalableRAG: High-Quality RAG at Zero Ingestion Cost
यह शोध पत्र ScalableRAG को प्रस्तुत करता है, जो एक उच्च-गुणवत्ता वाला रिट्रीवल-ऑगमेंटेड जनरेशन (Retrieval-Augmented Generation) दृष्टिकोण है जो ऑन-द-फ्लाई एग्रीगेटिव रीजनिंग (on-the-fly aggregative reasoning) के लिए एक डायनेमिक वर्कस्पेस का उपयोग करके शून्य इनजेशन लागत के साथ कई डेटासेट्स पर बेहतर सटीकता प्राप्त करता है, जबकि यह न्यूनतम वेक्टर डेटाबेस उपयोग के साथ बड़े पैमाने पर प्रदर्शन को और अधिक बढ़ाने वाला एक लिमिटेड-इनजेशन (Limited-Ingestion) वेरिएंट भी प्रदान करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप दस लाख किताबों के पुस्तकालय को पढ़कर एक विशाल रहस्य को सुलझाने की कोशिश कर रहे हैं। आर्टिफिशियल इंटेलिजेंस की दुनिया में, इसे रिट्रीवल-ऑगमेंटेड जनरेशन (RAG) कहा जाता है। एक मानक AI को एक ऐसे प्रतिभाशाली जासूस के रूप में सोचें जिसने पूरे इंटरनेट को पढ़ा है लेकिन किसी धूल भरी पुरालेख (आर्काइव) के विशिष्ट विवरणों को याद नहीं रख पाता। उनकी मदद करने के लिए, हम आमतौर पर जासूस के काम शुरू करने से पहले एक "कार्ड कैटलॉग" या "नॉलेज ग्राफ" बनाते हैं। इसमें हर एक किताब को पढ़ना, उसका सारांश निकालना और उसे एक जटिल डेटाबेस में व्यवस्थित करना शामिल है ताकि AI तेजी से सही पन्ना ढूंढ सके। यह ऐसा है जैसे जासूस के आने से पहले लाइब्रेरी को इंडेक्स करने के लिए लाइब्रेरियन की एक टीम को हफ्तों तक काम पर रखना। यह प्रक्रिया महंगी, धीमी है और शुरुआत करने के लिए बहुत अधिक कंप्यूटिंग पावर की आवश्यकता होती है। लेकिन क्या होगा अगर जासूस लाइब्रेरी में प्रवेश कर सके, किताबों को देख सके और बिना किसी पूर्व-निर्मित कैटलॉग के तुरंत उत्तर खोज सके? यही वह बड़ा सवाल है जिसे यह शोध पत्र संबोधित करता है: क्या हम उस विशाल डेटाबेस को बनाने की उच्च "इन्जेशन" लागत चुकाए बिना भी उतने ही शानदार परिणाम प्राप्त कर सकते हैं?
कोहेसिटी (Cohesity) के शोधकर्ताओं ने, जिनका नेतृत्व हि লাফ हैसन (Hilaf Hasson) और उनकी टीम कर रही है, कहा है कि इसका उत्तर एक जोरदार "हाँ" है। वे एक नया सिस्टम पेश करते हैं जिसे स्केलेबल-आरएजी (ScalableRAG) कहा जाता है, जिसके दो रूप हैं: ज़ीरो-इन्जेशन (Zero-Ingestion) और लिमिटेड-इन्जेशन (Limited-Ingestion)। उनकी मुख्य खोज यह है कि जटिल प्रश्नों के उत्तर देने के लिए आपको पूरी लाइब्रेरी को प्री-प्रोसेस करने की आवश्यकता नहीं है। इसके बजाय, उनका AI एजेंट एक सुपर-संगठित जासूस की तरह कार्य करता है जो एक जादुई, विस्तार योग्य क्लिपबोर्ड लेकर चलता है। जब जासूस को किसी विशिष्ट तथ्य को खोजने की आवश्यकता होती है, तो वे केवल कीवर्ड नहीं खोजते; वे प्रासंगिक दस्तावेजों का एक अस्थायी "समूह" बनाते हैं, उन्हें फ़िल्टर करते हैं, और वहीं पर परिणामों पर गणित भी करते हैं।
उनका "ज़ीरो-इन्जेशन" तरीका कैसे काम करता है, इसके लिए एक सरल रूपक (metaphor) का उपयोग करें: कल्पना कीजिए कि आपके पास साल भर की खरीदारी की मिली-जुली रसीदों का ढेर है। एक पारंपरिक सिस्टम के लिए यह आवश्यक होगा कि कोई व्यक्ति हर रसीद को पढ़े और उन्हें लेबल किए गए फोल्डरों (किराना, गैस, इलेक्ट्रॉनिक्स) में व्यवस्थित करे, इससे पहले कि आप "जून में मैंने गैस पर कितना खर्च किया?" जैसा प्रश्न पूछें। यह छंटनी करने में बहुत समय लगता है। हालाँकि, स्केलेबल-आरएजी इस छंटनी को पूरी तरह से छोड़ देता है। जब आप प्रश्न पूछते हैं, तो AI ढेर को देखता है, उन सभी रसीदों को ढूंढता है जिनमें "गैस" का उल्लेख है, फिर उस छोटे ढेर को केवल "जून" वाली रसीदों के लिए फ़िल्टर करता है, और अंत में संख्याओं को जोड़ देता है। यह दस्तावेज़ों के "सेट" बनाकर और उन्हें ऑन-द-फ्लाई प्रबंधित करके करता है। यह एक ऐसे जासूस की तरह है जो तुरंत प्रासंगिक रसीदों के चारों ओर घेरा बना सकता है, उन्हें गिन सकता है और गणित कर सकता है, और यह सब बिना उन्हें पहले से फाइल किए।
यह शोध पत्र दिखाता है कि यह "ऑन-द-फ्लाई" दृष्टिकोण अविश्वसनीय रूप से शक्तिशाली है। छह अलग-अलग दस्तावेज़ संग्रहों (सरकारी सुनवाई के ट्रांसक्रिप्ट से लेकर वित्तीय रिपोर्ट और मूवी स्क्रिप्ट तक) में परीक्षणों में, उनके ज़ीरो-इन्जेशन सिस्टम ने छह में से तीन डेटासेट (MuSique, Transcripts, और Hotels) में सभी बेसलाइन्स (नॉलेज ग्राफ दृष्टिकोणों सहित) को आसानी से पछाड़ दिया। शेष तीन डेटासेट (2Wiki, FinanceBench, और ComplexTR) पर, यह केवल मामूली अंतर से अधिकतम प्रदर्शन से पीछे रहा, जो प्रत्येक के लिए सर्वश्रेष्ठ प्रदर्शन करने वाले बेसलाइन (जो कि A-RAG था) की तुलना में औससे केवल 1.63% कम था। इन आधे डेटासेट्स पर इन मामूली हारों के बावजूद, सिस्टम ने छह सभी डेटासेट्स में औसत सटीकता लगभग 7.36% अधिक हासिल की। यह एक बड़ी बात है क्योंकि यह सुझाव देता है कि कई प्रकार के प्रश्नों के लिए, डेटाबेस को पूर्व-निर्मित करने का महंगा चरण वास्तव में अनावश्यक है।
सिस्टम को अधिक कठिन प्रश्नों के लिए और भी बेहतर बनाने के लिए, उन्होंने एक "लिमिटेड-इन्जेशन" संस्करण भी बनाया है। यह एक ऐसे जासूस को देने जैसा है जो सबसे सामान्य प्रकार के सुरागों के लिए एक छोटा, पूर्व-निर्मित इंडेक्स रखता है, लेकिन फिर भी उन्हें ऑन-द-फ्लाई भारी काम करने देता है। यह संस्करण थोड़े से प्री-प्रोसेसिंग (पैटर्न खोजने के लिए दस्तावेजों का एक नमूना) और एक छोटे वेक्टर डेटाबेस (एक उपकरण जो केवल सटीक शब्दों के बजाय समान विचारों को खोजने में मदद करता है) का उपयोग करता है। यह हाइब्रिड दृष्टिकोण सटीकता को और भी ऊपर ले जाता है, विशेष रूप से उन डेटासेट्स में जहाँ जानकारी जटिल संरचनाओं में छिपी होती है, जैसे होटल के विवरण में एक विशिष्ट सुविधा या कानूनी अनुबंध में एक विशिष्ट क्लॉज खोजना।
यह शोध पत्र स्पष्ट रूप से इस विचार का खंडन करता है कि जटिल, बहु-चरणीय प्रश्नों का उत्तर देने के लिए आपको एक विशाल, पूर्व-प्रसंस्कृत नॉलेज ग्राफ या पूर्ण SQL डेटाबेस बनाना अनिवार्य है। वे दिखाते हैं कि "इन्जेशन-हैवी" विधियाँ, जिनमें उपयोगकर्ता के पूछने से पहले एक LLM को प्रत्येक दस्तावेज़ को पढ़ने और डेटा निकालने की आवश्यकता होती है, अक्सर ज़रूरत से ज़्यादा (overkill) होती हैं। जबकि वे विधियाँ डेटा को समूहित करने में अच्छी हैं, स्केलेबल-आरएजी साबित करता है कि एक एजेंट बातचीत के दौरान तुरंत वही समूहन और गणित कर सकता है। लेखक इन परिणामों को लेकर बहुत आश्वस्त हैं, क्योंकि उन्होंने विविध डेटासेट्स में एक कठोर परीक्षण पद्धति के माध्यम से इन्हें मापा है जहाँ एक अलग AI एक जज के रूप में उत्तरों को ग्रेड करता है। उन्होंने पाया कि उनका सिस्टम न केवल पैसा और समय बचाता है, बल्कि अक्सर महंगे विकल्पों की तुलना में सही उत्तर भी अधिक बार देता है, या बहुत कम प्रयास के साथ उनके बहुत करीब पहुँच जाता है।
संक्षेप में, स्केलेबल-आरएजी यह दिखाकर खेल बदल देता है कि घास के ढेर में सुई खोजने के लिए आपको व्यवस्थित ज्ञान का एक विशाल गोदाम बनाने की आवश्यकता नहीं है। इसके बजाय, आप एक स्मार्ट एजेंट को घास के ढेर में जादुई उपकरणों के सेट के साथ भेज सकते हैं ताकि वह वहीं पर सुइयों को पकड़ सके, उन्हें छाँट सके और गिन सके। चाहे आपको एक ऐसा सिस्टम चाहिए जिसकी सेटअप लागत शून्य हो (ज़ीरो-इन्जेशन), या एक ऐसा जो अतिरिक्त सटीकता के लिए थोड़ा सा पूर्व-कार्य जोड़ता हो (लिमिटेड-इन्जेशन), यह शोध बताता है कि AI प्रश्न-उत्तर का भविष्य हमारी सोच से कहीं अधिक सरल, तेज़ और सस्ता हो सकता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।