Beyond Sequential Hybrid Retrieval: A Parallel Framework for Accurate and Scalable RAG
यह शोध पत्र PH-RAG को प्रस्तुत करता है, जो एक समानांतर हाइब्रिड रिट्रीवल फ्रेमवर्क है जो ओपन-डोमेन प्रश्नोत्तर पर अत्याधुनिक सटीकता और बेहतर विलंबता (लेटेंसी) प्राप्त करने के लिए फ्यूजन और रीरैंकिंग के साथ स्पार्स और डेंस रिट्रीवल को एक साथ निष्पादित करता है, जो बिना किसी नॉलेज ग्राफ या इटरेटिव क्रिटिक्स की आवश्यकता के जटिल एजेंटिक बेसलाइन्स से बेहतर प्रदर्शन करता है।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने नहीं लिखा है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
आधुनिक कंप्यूटर लिखने और बात करने में उल्लेखनीय रूप से कुशल हो गए हैं, जो मानवीय बातचीत की नकल करते हुए आश्चर्यजनक प्रवाह दिखाते हैं। फिर भी, ये डिजिटल मस्तिष्क एक मौलिक दोष से ग्रस्त हैं: वे अतीत में फंसे हुए हैं। उनका ज्ञान उस क्षण तक सीमित है जब उन्हें प्रशिक्षित किया गया था, जिसका अर्थ है कि वे कल हुई घटनाओं के बारे में नहीं जान सकते, न ही वे किसी कंपनी के आंतरिक दस्तावेजों या किसी पुस्तकालय के संपूर्ण संग्रह के विशाल, विशिष्ट विवरणों तक आसानी से पहुँच सकते हैं। जब उनसे ऐसा प्रश्न पूछा जाता है जिसका उत्तर वे अपनी स्मृति से नहीं दे पाते, तो वे अक्सर तथ्यों का आविष्कार कर देते हैं, जिससे वे आत्मविश्वास से भरी लेकिन पूरी तरह से झूठी कहानियाँ बना लेते हैं। इसे ठीक करने के लिए, इंजीनियरों ने 'रिट्रीवल-ऑगमेंटेड जनरेशन' (retrieval-augmented generation) नामक एक विधि विकसित की। केवल अपनी आंतरिक स्मृति पर निर्भर रहने के बजाय, कंप्यूटर पहले वास्तविक दस्तावेजों के एक डेटाबेस की खोज करता है, सबसे प्रासंगिक पृष्ठों को ढूँढता है, और फिर उन पृष्ठों का उपयोग अपने उत्तर को तैयार करने के लिए एक संदर्भ के रूप में करता है। यह मशीन को ईमानदार और अद्यतित रखता है।
हालाँकि, सही जानकारी खोजना जितना दिखता है उससे कहीं अधिक कठिन है। कंप्यूटर उत्तर खोजने के दो मुख्य तरीके हैं। एक विधि, जिसे अक्सर 'स्पार्स रिट्रीवल' (sparse retrieval) कहा जाता है, एक पारंपरिक लाइब्रेरी कार्ड कैटलॉग की तरह काम करती है, जो प्रश्न के सटीक शब्दों को पृष्ठ पर मौजूद शब्दों से मिलाती है। यह विशिष्ट नामों, तिथियों या तकनीकी शब्दों को खोजने में उत्कृष्ट है, लेकिन यदि उपयोगकर्ता उन शब्दों का उपयोग करके प्रश्न पूछता है जो दस्तावेज़ में नहीं हैं, तो यह विफल हो जाती है। दूसरा तरीका, जिसे 'डेंस रिट्रीवल' (dense retrieval) के रूप में जाना जाता है, एक अधिक सहज दृष्टिकोण का उपयोग करता है। यह शब्दों के पीछे के अर्थ को समझता है, जिससे यह एक ऐसे दस्तावेज़ को खोजने में सक्षम होता है जो उसी अवधारणा पर चर्चा करता है, भले ही वह कभी भी बिल्कुल उन्हीं शब्दों का उपयोग न करे। वर्षों से, शोधकर्ताओं ने इन दोनों तरीकों को मिलाने का प्रयास किया है ताकि दोनों का सर्वश्रेष्ठ लाभ मिल सके, लेकिन वे आमतौर पर एक के बाद एक खोज को चलाकर ऐसा करते थे। यह क्रमिक दृष्टिकोण एक बाधा उत्पन्न करता है, जिससे डेटा की मात्रा बढ़ने पर सिस्टम धीमा हो जाता है।
पाकिस्तान के शोधकर्ताओं की एक टीम ने इस चुनौती से निपटने का एक अलग तरीका प्रस्तावित किया है। उन्होंने एक ऐसा सिस्टम बनाया जो इन दोनों खोज विधियों को एक के बाद एक चलाने के बजाय, एक ही समय में चलाता है। कल्पना कीजिए कि एक लाइब्रेरियन किताब खोजने के लिए अपने दो सहायकों को भेजता है: एक सहायक सटीक शीर्षकों के लिए कार्ड कैटलॉग की जाँच करता है, जबकि दूसरा कहानी के विषय की अपनी समझ का उपयोग करके अलमारियों को स्कैन करता है। एक पारंपरिक सेटअप में, लाइब्रेरियन दूसरे को भेजने से पहले पहले सहायक के वापस आने का इंतजार करता है। इस नए सिस्टम में, दोनों सहायकों को एक साथ भेजा जाता है, और लाइब्रेरियन केवल उस सहायक के पूरा होने का इंतजार करता है जिसे सबसे अधिक समय लगता है। यह समानांतर दृष्टिकोण, जिसे शोधकर्ता PH-RAG कहते हैं, कंप्यूटर को सटीकता से समझौता किए बिना बहुत तेज़ी से जानकारी एकत्र करने की अनुमति देता है।
शोधकर्ताओं ने पाँच हजार से अधिक विकिपीडिया लेखों के संग्रह और एक हजार सामान्य ज्ञान (trivia) के प्रश्नों के सेट का उपयोग करके अपने सिस्टम का परीक्षण किया। उन्होंने पाया कि दोनों खोज विधियों को समानांतर में चलाने और फिर उनके परिणामों को सावधानीपूर्वक मिलाने से, उनका सिस्टम पिछले, अधिक जटिल सिस्टम की तुलना में सही उत्तर अधिक बार खोज सकता है। विशेष रूप से, उनके सिस्टम ने 65.6 प्रतिशत बार सही उत्तर को सूची में सबसे ऊपर सफलतापूर्वक रखा। यह एक अग्रणी प्रणाली की तुलना में थोड़ा बेहतर था जो तथ्यों के बीच संबंधों के एक जटिल नेटवर्क पर निर्भर थी, जिसे 'नॉलेज ग्राफ' (knowledge graph) कहा जाता है। नया सिस्टम इस उच्च सटीकता को एक बहुत ही सरल संरचना के साथ प्राप्त करने में सफल रहा, जो यह सिद्ध करता है कि यदि आप सही उपकरणों का कुशलतापूर्वक उपयोग करते हैं, तो अच्छे परिणाम प्राप्त करने के लिए आपको एक विशाल, जटिल संरचना की आवश्यकता नहीं है।
उनकी सफलता का एक प्रमुख हिस्सा दो अलग-अलग खोज विधियों की सूचियों को संयोजित करने का तरीका था। उन्होंने केवल एक सूची या दूसरी सूची से शीर्ष उत्तर नहीं चुना। इसके बजाय, उन्होंने एक ऐसी रणनीति का उपयोग किया जिसने अर्थ को समझने वाली विधि को अधिक महत्व दिया, जबकि सटीक शब्दों को खोजने वाली विधि के लिए एक महत्वपूर्ण भूमिका बनाए रखी। इस मिश्रण ने सिस्टम को उन उत्तरों को पकड़ने में मदद की जो अकेले काम करने वाली किसी भी विधि द्वारा छूट गए थे। सूचियों को मिलाने के बाद, सिस्टम ने शीर्ष दस उम्मीदवारों की एक अंतिम, सावधानीपूर्वक समीक्षा की। इसने मूल प्रश्न के विरुद्ध प्रत्येक संभावित उत्तर का पुनर्मूल्यांकन किया ताकि यह सुनिश्चित हो सके कि सबसे अच्छा मिलान सबसे ऊपर रखा गया है। इस अंतिम चरण ने यह नहीं बदला कि कौन से दस्तावेज़ पाए गए, लेकिन इसने यह सुनिश्चित किया कि सबसे प्रासंगिक दस्तावेज़ को पहले प्रस्तुत किया जाए, जो अत्यंत महत्वपूर्ण है जब कंप्यूटर के पास उत्तर लिखना शुरू करने से पहले पढ़ने के लिए सीमित स्थान होता है।
शोधकर्ताओं ने यह भी बारीकी से देखा कि उनके सिस्टम की गति पुस्तकालय के आकार के बढ़ने के साथ कैसे बदलती है। उन्होंने पाया कि दस्तावेजों के छोटे संग्रहों के लिए, खोजों को एक के बाद एक चलाने और उन्हें एक साथ चलाने के बीच गति का अंतर नगण्य था। हालाँकि, जैसे-जैसे संग्रह पाँच हजार से बीस हजार दस्तावेजों तक बढ़ा, समानांतर सिस्टम काफी तेज़ हो गया, जिससे प्रतीक्षा समय में 64 प्रतिशत तक की कमी आई। ऐसा इसलिए है क्योंकि जैसे-जैसे पुस्तकालय बड़ा होता है, सटीक शब्दों के लिए खोजने वाली विधि अधिक समय लेती है, जबकि अर्थ को समझने वाली विधि अपेक्षाकृत तेज़ बनी रहती है। उन्हें एक साथ चलाकर, सिस्टम दूसरे के समाप्त होने का इंतजार करने के बजाय प्रक्रिया को तेज करता है। अध्ययन सुझाव देता है कि पाठ के मध्यम आकार के संग्रहों वाले अधिकांश वास्तविक दुनिया के अनुप्रयोगों के लिए, खोजों को समानांतर में चलाना, एक अधिक जटिल मशीन बनाने के बिना गति और सटीकता दोनों में सुधार करने का एक अत्यधिक कुशल तरीका है।
ये निष्कर्ष इस विचार को चुनौती देते हैं कि हमेशा अधिक जटिल सिस्टम बेहतर होते हैं। शोधकर्ताओं ने अपने दृष्टिकोण की तुलना एक ऐसे सिस्टम से की जिसमें नॉलेज ग्राफ और एक आर्टिफिशियल इंटेलिजेंस एजेंट शामिल है जो बार-बार अपने काम की जाँच करता है। हालांकि वह जटिल सिस्टम शक्तिशाली है, नया समानांतर तरीका एक बहुत ही सरल डिज़ाइन के साथ उसके प्रदर्शन के बराबर या उससे बेहतर प्रदर्शन करता है। यह सुझाव देता है कि कई रोजमर्रा के कार्यों के लिए, जैसे कि सामान्य ज्ञान या कंपनी की नीतियों के बारे में प्रश्नों के उत्तर देना, एक अच्छी तरह से इंजीनियर किया गया, सीधा सिस्टम जटिल, बहु-चरणीय प्रक्रियाओं से बेहतर प्रदर्शन कर सकता है। अध्ययन यह दावा नहीं करता है कि उन्होंने कंप्यूटर विज्ञान की हर समस्या को हल कर दिया है, विशेष रूप से वे जिनमें विभिन्न दस्तावेजों में फैले कई तथ्यों को जोड़ने की आवश्यकता होती है। हालाँकि, यह प्रदर्शित करता है कि मौजूदा उपकरणों को सावधानीपूर्वक समन्वित करके और उन्हें समानांतर में चलाकर, हम ऐसे सिस्टम बना सकते हैं जो तेज़ और अधिक विश्वसनीय दोनों हैं, जो कृत्रिम बुद्धिमत्ता (AI) को वास्तविक दुनिया में अधिक उपयोगी बनाने के लिए एक व्यावहारिक मार्ग प्रदान करते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।