RAGtio: A Modular Framework for Systematic Evaluation of Hybrid Retrieval-Augmented Generation Pipelines
यह शोध पत्र RAGtio को प्रस्तुत करता है, जो Haystack और Qdrant पर निर्मित एक मॉड्यूलर, ओपन-सोर्स फ्रेमवर्क है, जो दोहरे मूल्यांकन मोड और तकनीकी एवं गैर-तकनीकी दोनों उपयोगकर्ताओं के लिए सुलभ इंटरफेस के माध्यम से बायोमेडिकल डोमेन में हाइब्रिड RAG रिट्रीवल पाइपलाइनों के व्यवस्थित, पुनरुत्पादक मूल्यांकन को सक्षम बनाता है।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक सुपर-स्मार्ट रोबोट है जो निबंध लिख सकता है, सवालों के जवाब दे सकता है और कहानियाँ सुना सकता है। यह एक प्रतिभाशाली छात्र की तरह है जिसने दुनिया की लगभग हर किताब पढ़ ली है। लेकिन इसमें एक पेंच है: यह रोबोट हाल की खबरों के बारे में थोड़ा भुलक्कड़ है, और कभी-कभी, जब इसे उत्तर नहीं पता होता, तो यह आत्मविश्वास से दिखने के लिए कुछ भी बना लेता है। यह एक समस्या है यदि आपको सच्चाई की आवश्यकता हो, विशेष रूप से अस्पतालों या अनुसंधान प्रयोगशालाओं जैसे गंभीर स्थानों में। इसे ठीक करने के लिए, वैज्ञानिकों ने "रिट्रीवल-ऑगमेंटेड जनरेशन" (या संक्षेप में RAG) नामक एक तरकीब ईजाद की। इसे ऐसे समझें कि आपने रोबोट को विशिष्ट पाठ्यपुस्तकों से भरा एक बैकपैक दे दिया है। जब आप कोई प्रश्न पूछते हैं, तो रोबोट केवल अपनी याददाश्त से अनुमान नहीं लगाता; पहले वह बैकपैक खोलता है, सही पन्ने ढूँढता है, उन्हें पढ़ता है, और फिर उत्तर देता है। यह रोबोट को बहुत अधिक विश्वसनीय बनाता है। लेकिन पेचीदा हिस्सा यह है: आप यह कैसे जानेंगे कि रोबोट वास्तव में सही पन्ने ढूँढ रहा है? यदि बैकपैक अस्त-व्यस्त है, या यदि रोबोट गलत कीवर्ड्स की तलाश कर रहा है, तो वह गलत पन्ना उठा सकता है और आपको गलत उत्तर दे सकता है। वैज्ञानिकों को यह जांचने के तरीके की आवश्यकता है कि क्या रोबोट का "सर्च इंजन" वाला हिस्सा काम करने से पहले पूरी तरह से ठीक है।
यह बिल्कुल वही है जिसके बारे में "RAGtio" पेपर है। लेखकों ने, जो इटली के विश्वविद्यालयों के एक दल से हैं, एक नया, ओपन-सोर्स टूल बनाया है जिसे RAGtio कहा जाता है, जो इन रोबोट सर्च इंजनों के लिए एक कठोर "टेस्ट ड्राइव" के रूप में कार्य करता है। उन्होंने महसूस किया कि जबकि कई लोग चिकित्सा और जीव विज्ञान के लिए ये RAG सिस्टम बना रहे हैं, वे अक्सर कठिन हिस्से को छोड़ देते हैं: व्यवस्थित रूप से यह जांचना कि क्या खोज वास्तव में अच्छी है। RAGtio एक मॉड्यूलर फ्रेमवर्क है, जिसे आप परीक्षण के लिए एक विशाल, कस्टमाइज़ करने योग्य लेगो (Lego) सेट के रूप में समझ सकते हैं। हर बार नया परीक्षण बनाने के बजाय, शोधकर्ता विभिन्न "खोज रणनीतियों" (जैसे सटीक शब्दों को ढूँढना बनाम अर्थ को ढूँढना) को प्लग इन कर सकते हैं और देख सकते हैं कि उनके विशिष्ट दस्तावेजों के ढेर पर कौन सा सबसे अच्छा काम करता है।
यह टूल चतुर है क्योंकि यह सिस्टम को परखने के दो अलग-अलग तरीके प्रदान करता है। पहला तरीका, जिसे मोड A कहा जाता है, एक "स्पीड रन" की तरह है। सिस्टम एक स्मार्ट AI का उपयोग करके दस्तावेजों के आधार पर स्वचालित रूप से हजारों प्रश्न बनाता है, फिर यह जाँचता है कि क्या सर्च इंजन उत्तर ढूँढ सकता है। यह तेज़ है और यह देखने के लिए बेहतरीन है कि सिस्टम डेटा की एक बड़ी मात्रा को कैसे संभालता है। दूसरा तरीका, मोड B, "विशेषज्ञ की जाँच" है। यहाँ, एक मानव विशेषज्ञ वास्तविक, पेचीदा प्रश्न लिखता है और ठीक से चिह्नित करता है कि किन पन्नों में उत्तर मौजूद हैं। यह करना कठिन है लेकिन यह इस बात की बहुत अधिक ईमानदार तस्वीर देता है कि वास्तविक दुनिया में यह सिस्टम कैसा प्रदर्शन करेगा, जहाँ प्रश्न उन तरीकों से पूछे जा सकते हैं जिनका उपयोग दस्तावेजों में कभी नहीं किया गया था।
शोधकर्ताओं ने चार चिकित्सा विषयों पर RAGtio का परीक्षण किया: कैंसर (ऑन्कोलॉजी), मधुमेह, दवाएं (फार्माकोलॉजी), और संक्रामक रोग। उन्होंने चार अलग-अलग खोज विधियों का परीक्षण किया: सटीक शब्द मिलान ढूँढना, समान अर्थ ढूँढना, दोनों का मिश्रण, और एक मिश्रण जो परिणामों को पॉलिश करने के लिए "री-रैंकर" से दूसरी राय लेता है। उनके निष्कर्ष बताते हैं कि "हाइब्रिड" दृष्टिकोण—सटीक शब्द मिलान के साथ अर्थ-आधारित खोज को जोड़ना, और फिर शीर्ष परिणामों को एक त्वरित दूसरी नज़र देना—आमतौर पर सबसे मजबूत प्रदर्शन करने वाला होता है। अपने परीक्षणों में, इस पद्धति ने लगातार सही जानकारी को परिणामों की सूची में जल्दी पाया। उदाहरण के लिए, उनके कैंसर परीक्षणों में, जब ऑटोमेटेड टेस्ट का उपयोग किया गया तो सिस्टम ने लगभग 73% बार शीर्ष 5 परिणामों में सही उत्तर ढूँढ लिया, और मानव विशेषज्ञों द्वारा जाँच किए जाने पर यह और भी बेहतर रहा।
हालाँकि, पेपर इस बात का दावा करने में सावधान है कि यह सब कुछ हल करने वाला कोई जादुई समाधान नहीं है। लेखक बताते हैं कि उनके परीक्षण दस्तावेजों की अपेक्षाकृत कम संख्या (चार विषयों में लगभग 20 पेपर) पर किए गए थे, और उत्तरों की जाँच करने वाले मानव विशेषज्ञ केवल एक व्यक्ति थे, न कि एक पूरी टीम। वे यह भी नोट करते हैं कि जबकि हाइब्रिड विधि उनके विशिष्ट सेटअप में अच्छी तरह से काम करती थी, टूल को इस तरह डिज़ाइन किया गया है कि उपयोगकर्ता यह देखने के लिए अपने सर्च इंजन को बदल सकते हैं कि उनके अपने दस्तावेजों के पुस्तकालय के लिए क्या सबसे अच्छा काम करता है। मुख्य संदेश यह नहीं है कि उन्होंने पूरी दुनिया के लिए एक एकल "सर्वश्रेष्ठ" सर्च इंजन खोजा है, बल्कि यह है कि उन्होंने एक पारदर्शी, उपयोग में आसान वर्कशॉप बनाई है जहाँ कोई भी कोडिंग का जादूगर बने बिना अपने स्वयं के सर्च इंजन का परीक्षण और तुलना कर सकता है। इस टूल को खुला और मुफ्त बनाकर, वे उम्मीद करते हैं कि वे डॉक्टरों और शोधकर्ताओं को अधिक भरोसेमंद AI सहायक बनाने में मदद कर सकते हैं जो केवल स्मार्ट नहीं दिखते, बल्कि वास्तव में तथ्यों को सही रखते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।