Comparing RAG and GraphRAG for Page-Level Retrieval Question Answering on a Math Textbook
यह शोध पत्र एक गणित की पाठ्यपुस्तक पर 477-आइटम वाले डेटासेट का उपयोग करते हुए पेज-लेवल प्रश्न उत्तर के लिए RAG और GraphRAG का मूल्यांकन करता है, जिसमें यह पाया गया कि एम्बेडिंग-आधारित RAG (विशेष रूप से voyage-3-large के साथ) रिट्रीवल सटीकता और उत्तर की गुणवत्ता में GraphRAG से काफी बेहतर प्रदर्शन करता है और साथ ही अधिक कुशल भी है, जबकि BM25 एक मजबूत बेसलाइन के रूप में कार्य करता है और RAG कमजोर, लागत प्रभावी स्थानीय LLMs के लिए आनुपातिक रूप से अधिक लाभ प्रदान करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक कठिन गणित की समस्या को हल करने की कोशिश कर रहे हैं, लेकिन आपका मस्तिष्क एक सुपर-स्मार्ट रोबोट की तरह है जिसने पूरे इंटरनेट को पढ़ लिया है। वह बहुत कुछ जानता है, लेकिन कभी-कभी वह चीजें बना लेता है या भूल जाता है कि आपके विशिष्ट पाठ्यपुस्तक के किस पृष्ठ पर उत्तर मौजूद है। यह "लार्ज लैंग्वेज मॉडल्स" (LLMs) की दुनिया है—ऐसे AI जो चैट कर सकते हैं और समस्याओं को हल कर सकते हैं, लेकिन कभी-कभी अपने ही विशाल ज्ञान में खो जाते हैं। इसे ठीक करने के लिए, वैज्ञानिकों ने एक तरकीब ईजाद की जिसे "रिट्रीवल-ऑगमेंटेड जनरेशन" (RAG) कहा जाता है। RAG को एक रोबोट को लाइब्रेरी कार्ड और एक लाइब्रेरियन देने के रूप में सोचें। याददाश्त से अनुमान लगाने के बजाय, रोबोट लाइब्रेरियन से पूछता है, "हे, इस विशिष्ट पुस्तक का कौन सा पृष्ठ इस बारे में बात करता है?" लाइब्रेरियन सही पृष्ठ ढूंढता है, उसे रोबोट को थमाता है, और रोबोट आपको सही उत्तर देने के लिए उस ताज़ा जानकारी का उपयोग करता है। लेकिन क्या होगा अगर लाइब्रेरियन बहुत अधिक उत्साही हो? क्या होगा अगर वे एक वाक्य खोजने के लिए पूरी किताब, या पूरी लाइब्रेरी ही उठा लें? वहीं, एक नया, अधिक चकाचौंध वाला विचार जिसे "ग्राफआरएजी" (GraphRAG) कहा जाता है, सामने आता है। यह हर विचार को दूसरे विचार से कैसे जोड़ा जाता है, इसका मानचित्र बनाने की कोशिश करता है, जैसे ज्ञान का एक विशाल मकड़ी का जाल, इस उम्मीद में कि वह धागों का पीछा करके उत्तर ढूंढ लेगा। बड़ा सवाल छात्रों और शिक्षकों के लिए यह है कि जब आपको परीक्षा के लिए अध्ययन करने हेतु गणित की पुस्तक का एक विशिष्ट पृष्ठ ढूँढना हो, तो कौन सा लाइब्रेरियन बेहतर है? वह जो जल्दी से सटीक पृष्ठ पकड़ता है, या वह जो कनेक्शनों का एक विशाल जाल बनाता है?
कार्नेगी मेलन यूनिवर्सिटी और द यूनिवर्सिटी ऑफ हांगकांग की शोधकर्ताओं की एक टीम ने इन दो लाइब्रेरियनों को एक वास्तविक स्नातक गणित की पाठ्यपुस्तक का उपयोग करके परखने का निर्णय लिया। उन्होंने 477 प्रश्नों का एक डेटासेट बनाया, जिनमें से प्रत्येक पुस्तक के एक विशिष्ट पृष्ठ से जुड़ा था, और विभिन्न AI सिस्टम को सही पृष्ठ खोजने और फिर प्रश्न का उत्तर देने के लिए कहा। उन्होंने पांच अलग-अलग "एम्बेडिंग" मॉडल (जो अर्थ समझने वाले स्मार्ट सर्च इंजन की तरह हैं), एक क्लासिक खोज पद्धति जिसे BM25 कहा जाता है (जो केवल मिलान करने वाले शब्दों को देखता है, जैसे कि एक बहुत ही पुराने ढंग का इंडेक्स), और फैंसी ग्राफआरएजी (GraphRAG) सिस्टम की तुलना की।
परिणाम उन तकनीकी उत्साही लोगों के लिए आश्चर्यजनक थे जो जटिल जालों को पसंद करते हैं। शोधकर्ताओं ने पाया कि एम्बेडिंग-आधारित RAG का सरल, सीधा दृष्टिकोण विशिष्ट पृष्ठों को खोजने के लिए स्पष्ट विजेता था। सबसे अच्छा मॉडल, जिसे "voyage-3-large" कहा जाता है, ने तब 99.4% बार सही पृष्ठ खोजा जब उसे शीर्ष 10 परिणाम देखने की अनुमति दी गई। यहाँ तक कि क्लासिक, शब्द-मिलान करने वाला BM25 तरीका भी बहुत अच्छा रहा, जिसने कई अधिक जटिल न्यूरल मॉडलों को पीछे छोड़ दिया। इसके विपरीत, ग्राफआरएजी (GraphRAG) सटीक होने में संघर्ष करता रहा। हालांकि यह कुछ प्रासंगिक जानकारी खोजने में अच्छा था, लेकिन इसने अक्सर बहुत अधिक संदर्भ (context) पकड़ लिया—अन्य तरीकों द्वारा उपयोग किए गए 3,700 शब्दों के मुकाबले लगभग 47,000 शब्दों का टेक्स्ट। इस "सूचना के बोझ" (information overload) ने AI को भ्रमित कर दिया, जिससे इसके अंतिम उत्तर थोड़े खराब हो गए। अध्ययन बताता है कि जिन कार्यों के लिए आपको एक विशिष्ट पृष्ठ संदर्भ की आवश्यकता होती है, जैसे कि गणित के टेस्ट के लिए पढ़ाई करना, वहां सरल, केंद्रित लाइब्रेरियन उस लाइब्रेरियन से कहीं बेहतर है जो कनेक्शनों के पूरे ब्रह्मांड का मानचित्र बनाने की कोशिश करता है।
टीम ने गलतियों का भी गहराई से अध्ययन किया। जब सबसे अच्छे AI मॉडल ने गलत पृष्ठ चुना, तो वह आमतौर पर एक "नियर मिस" (पास से चूकना) था। लगभग 63% बार, इसने उसी अध्याय का एक पृष्ठ पकड़ा, जो कुछ ही पन्ने दूर था। यह वास्तव में सहायक है! यदि कोई छात्र किसी प्रमाण (proof) की तलाश में है और उसे प्रमेय (theorem) के कथन वाला पृष्ठ मिल जाता है, तो भी वह सही सामग्री सीख ही रहा होता है, बस एक थोड़े अलग क्रम में। यह एक ट्यूटर की तरह है जो कहता है, "आप समाधान की तलाश कर रहे हैं, लेकिन पहले पिछला पृष्ठ देखें; यह उस नियम को समझाता है जिसकी आपको आवश्यकता है।"
अंत में, शोधकर्ताओं ने यह परीक्षण किया कि क्या ये निष्कर्ष सस्ते, ओपन-सोर्स AI मॉडलों के साथ भी कायम रहते हैं जिन्हें महंगे क्लाउड सर्वर की आवश्यकता नहीं होती है। उन्होंने पाया कि हालांकि ये छोटे मॉडल अपने आप में प्रश्नों का उत्तर देने में कम सक्षम थे, लेकिन सही पाठ्यपुस्तक पृष्ठ दिए जाने पर उनमें नाटकीय सुधार हुआ। ओपन-सोर्स मॉडल ने रिट्रीवल (retrieval) की मदद से गुणवत्ता में 39% की वृद्धि देखी, जबकि शक्तिशाली वाणिज्यिक मॉडल के लिए यह वृद्धि केवल 16% थी। यह सुझाव देता है कि उन स्कूलों या छात्रों के लिए जो महंगे AI सेवाओं का खर्च नहीं उठा सकते, एक सरल प्रणाली जो पुस्तक में सही पृष्ठ की ओर इशारा करती है, एक स्थानीय, मुफ्त AI ट्यूटर को आश्चर्यजनक रूप से प्रभावी बना सकती है।
अंततः, पेपर यह निष्कर्ष निकालता है कि शिक्षा में पेज-लेवल रिट्रीवल के लिए, "कम ही अधिक है" (less is often more)। फैंसी, जटिल ग्राफआरएजी (GraphRAG) सिस्टम इस विशिष्ट कार्य के लिए सही उपकरण नहीं था; यह बहुत अधिक शोर और पर्याप्त सटीकता के बिना आया। इसके बजाय, एक सीधा खोज जो शीर्ष कुछ पृष्ठों को ढूंढता है और AI को उन्हें पढ़ने देता है, एक भरोसेमंद AI ट्यूटर बनाने का सबसे विश्वसनीय तरीका है जिसका छात्र वास्तव में अध्ययन के लिए उपयोग कर सकें।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।