Vector RAG vs LLM-Compiled Wiki: A Preregistered Comparison on a Small Multi-Domain Research
बहु-डोमेन अनुसंधान संश्लेषण के लिए वेक्टर आरएजी (Vector RAG) और एलएलएम-कंपाइल्ड विकी (LLM-compiled wikis) की तुलना करने वाला यह पूर्व-पंजीकृत अध्ययन पाता है कि जहाँ विकी क्रॉस-पेपर कनेक्शन और क्लेम-लेवल साइटेशन सपोर्ट में उत्कृष्ट हैं, वहीं आरएजी एकल-तथ्य खोज (single-fact lookups) के लिए अधिक लागत प्रभावी है, जो यह दर्शाता है कि कोई भी एकल आर्किटेक्चर साक्ष्य संगठन, साइटेशन सटीकता और परिचालन लागत के बीच इष्टतम संतुलन नहीं बना पाता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास AI नैतिकता, जलवायु परिवर्तन और चिकित्सा जैसे विषयों पर 24 शोध पत्रों का एक विशाल पुस्तकालय है। आप एक सुपर-स्मार्ट AI सहायक से ऐसे सवाल पूछना चाहते हैं जिनमें इन सभी शोध पत्रों को पढ़ने और उनके बीच के संबंधों को जोड़ने की आवश्यकता हो।
यह शोध पत्र इस बात की तुलना करता है कि इस AI सहायक को बनाने के दो अलग-अलग तरीके कैसे काम करते हैं:
"वेक्टर RAG" सिस्टम (टॉर्च लेकर खड़ा लाइब्रेरियन):
यह सिस्टम एक ऐसे लाइब्रेरियन की तरह काम करता है जो, जब आप कोई सवाल पूछते हैं, तो तुरंत अलमारियों की ओर दौड़ता है, कुछ प्रासंगिक पन्ने (chunks) निकालता है, और उत्तर लिखने के लिए उन्हें AI को सौंप देता है। यह तेज़ और सस्ता है, लेकिन यह केवल उन्हीं विशिष्ट पन्नों को देख पाता है जिन्हें इसने निकाला है। यदि उत्तर के लिए तीन अलग-अलग किताबों के विचारों को जोड़ने की आवश्यकता है, तो लाइब्रेरियन वह कड़ी मिस कर सकता है।"LLM-कंपाइल्ड विकी" (विश्वकोश लेखक):
इससे पहले कि आप कोई सवाल पूछें, यह सिस्टम उन सभी 24 शोध पत्रों को लेता है और एक मानव-समान AI के माध्यम से उन्हें एक एकल, विशाल, क्रॉस-लिंक्ड विकिपीडिया-शैली के विश्वकोश में फिर से लिख देता है। जब आप कोई सवाल पूछते हैं, तो AI कच्चे शोध पत्रों को नहीं देखता; बल्कि वह पहले से लिखे गए इस विश्वकोश को ब्राउज़ करता है। विचार यह है कि चूंकि विश्वकोश पहले से ही व्यवस्थित और आपस में जुड़ा हुआ है, इसलिए AI एक बेहतर और अधिक संश्लेषित (synthesized) उत्तर दे पाएगा।
बड़ी दौड़: क्या हुआ?
शोधकर्ताओं ने एक निष्पक्ष, ब्लाइंड टेस्ट आयोजित किया जहाँ दोनों प्रणालियों ने समान 13 कठिन सवालों के जवाब दिए। यहाँ उन्हें क्या मिला, सरल उपमाओं का उपयोग करते हुए:
1. "बड़ी तस्वीर" का परीक्षण (कड़ियों को जोड़ना)
- अपेक्षा: उम्मीद थी कि 'विकी' (Wiki) अलग-अलग शोध पत्रों के बीच विचारों को जोड़ने में आसानी से जीत जाएगा।
- परिणाम: विकी जीता तो सही, लेकिन उतनी उम्मीद के मुताबिक बड़ी बढ़त से नहीं। यह एक एकीकृत कहानी बुनने में बहुत अच्छा था। हालाँकि, शोधकर्ताओं ने लाइब्रेरियन (RAG) के लिए एक "चीट कोड" पाया: यदि आप लाइब्रेरियन को बड़े सवाल को छोटे-छोटे उप-सवालों में तोड़ने और प्रत्येक के लिए अलग से खोजने के लिए कहते हैं, तो लाइब्रेरियन विकी के लगभग बराबर पहुँच जाता है।
- सबक: "कड़ियों को जोड़ने" में विकी का लाभ मुख्य रूप से इसके द्वारा खोज को तोड़ने के तरीके से आता है, न कि केवल एक पहले से लिखे गए दस्तावेज़ होने से।
2. "तथ्य-जांच" का परीक्षण (क्या उन्होंने झूठ बोला?)
- अपेक्षा: डर था कि विकी अंक खो सकता है क्योंकि शोध पत्रों को विकी में फिर से लिखने से तथ्य गलती से बदल सकते हैं (जैसे "टेलीफोन गेम" में होता है)।
- परिणाम: आश्चर्यजनक रूप से, विकी अपने विशिष्ट दावों को साक्ष्यों के साथ समर्थन देने में वास्तव में बेहतर था। जब विकी कहता था कि "तथ्य X सत्य है," तो वह एक ऐसे पन्ने की ओर इशारा करता था जिसमें स्पष्ट रूप से वह वाक्य मौजूद था। लाइब्रेरियन (RAG), हालांकि, अक्सर एक ऐसा पन्ना निकाल लेता था जो तथ्य के करीब तो था लेकिन फिर AI ने एक छोटा सा विवरण गलत पढ़ दिया या उसमें हेरफेर कर दी।
- ट्विस्ट: मानक स्कोरिंग सिस्टम (जो पूरे उत्तर को देखता था) ने सोचा कि लाइब्रेरियन बेहतर था क्योंकि उसके उत्तर छोटे थे और उसने सटीक टेक्स्ट का हवाला दिया। लेकिन जब शोधकर्ताओं ने हर एक वाक्य को व्यक्तिगत रूप से देखा, तो विकी अपने विशिष्ट उद्धरणों में अधिक सटीक था।
3. "लागत" का परीक्षण (कौन सस्ता है?)
- अपेक्षा: माना जा था कि विकी बनाना महंगा होगा (विश्वकोश लिखने में समय लगेगा) लेकिन बाद में उपयोग करना सस्ता होगा (एक किताब को ब्राउज़ करना तेज़ है)।
- परिणाम: यहीं पर विकी बुरी तरह विफल रहा। भले ही इसे पहले से बनाया गया था, लेकिन AI को विकी को ब्राउज़ करने के लिए बहुत अधिक टेक्स्ट पढ़ना पड़ा।
- उपमा: कल्पना कीजिए कि लाइब्रेरियन आपको नोट्स के 5 पन्ने लाता है। विकी सिस्टम आपको 200 पन्नों की एक किताब लाता है, आपसे उसके 150 पन्ने पढ़ने को कहता है, और फिर सारांश लिखने को कहता है।
- गणित: विकी ने प्रति प्रश्न लाइब्रेरियन की तुलना में लगभग 21 गुना अधिक लागत वसूली। यह विचार कि "पहले भुगतान करने से बाद में पैसा बचता है," काम नहीं आया; उपयोगकर्ता ने हर बार सवाल पूछने पर एक भारी प्रीमियम चुकाया।
अंतिम निर्णय
शोध पत्र निष्कर्ष निकालता है कि कोई भी "परफेक्ट" सिस्टम नहीं है। यह एक तीन-तरफा समझौता (tradeoff) है:
- लाइब्रेरियन (सिंगल-राउंड RAG): सबसे अच्छा है यदि आप पैसे बचाने की परवाह करते हैं और बस एक तथ्य जल्दी से खोजना चाहते हैं।
- "स्मार्ट" लाइब्रेरियन (डिकम्पोज्ड RAG): यदि आप सवाल को हिस्सों में तोड़ते हैं, तो यह संस्करण "कड़ियों को जोड़ने" में विकी के लगभग बराबर हो जाता है, लेकिन बहुत कम लागत पर (विकी की तुलना में लगभग 3.4 गुना सस्ता)।
- विकी (Wiki): सबसे अच्छा है यदि आपको AI से विशिष्ट दावों का सटीक हवाला चाहिए और आपको उच्च लागत की चिंता नहीं है। हालाँकि, यह चलाने में बहुत महंगा है।
मुख्य बात:
आप सब कुछ एक साथ नहीं पा सकते। आपके पास एक ऐसा सिस्टम हो सकता है जो सस्ता हो, एक ऐसा जो विचारों को अच्छी तरह जोड़ता हो, या एक ऐसा जो साक्ष्यों का पूरी तरह से हवाला देता हो, लेकिन इस प्रयोग में, कोई भी एक प्रणाली इन तीनों में सर्वश्रेष्ठ नहीं थी। "विकी" का विचार कोई जादुई समाधान नहीं है; यह केवल समस्या को "सही पन्ने खोजने" से बदलकर "बहुत अधिक टेक्स्ट पढ़ने के लिए भारी बिल चुकाने" में बदल देता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।