VecTree-RAG: An Agentic Retrieval-Augmented Generation Framework Combining Vector and Tree Retrieval for Efficiency and Accuracy
VecTree-RAG एक एजेंटिक रिट्रीवल-ऑगमेंटेड जनरेशन फ्रेमवर्क है जो कॉर्पस-स्तरीय दस्तावेज़ रैंकिंग के लिए वेक्टर सर्च को सटीक साक्ष्य स्थानीयकरण (एविडेंस लोकलाइजेशन) के लिए रीजनिंग-गाइडेड ट्री ट्रैवर्सल के साथ जोड़ता है, जिससे अकादमिक साहित्य के संरचनात्मक संदर्भ को संरक्षित और लाभान्वित करके वैज्ञानिक प्रश्न-उत्तर बेंचमार्क पर अत्याधुनिक प्रदर्शन और बेहतर दक्षता प्राप्त होती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक विशाल, बहु-स्तरीय रहस्य को सुलझाने की कोशिश कर रहे हैं, लेकिन एक साधारण नोटबुक के बजाय, आपके पास हजारों मोटी, जटिल किताबों वाला एक पुस्तकालय है। आर्टिफिशियल इंटेलिजेंस की दुनिया में, यह "वैज्ञानिक प्रश्न उत्तर" (Scientific Question Answering) की चुनौती है। वैज्ञानिकों और कंप्यूटरों को शोध पत्रों के भीतर छिपे सही उत्तर खोजने की आवश्यकता होती है, लेकिन ये शोध पत्र केवल तथ्यों की सूचियाँ नहीं हैं; वे अध्यायों, विधियों, आकृतियों और तर्कों वाली एक संरचित कहानियों की तरह हैं।
इस काम को करने के लिए, शोधकर्ता 'रिट्रीवल-ऑगमेंटेड जनरेशन' (RAG) नामक एक तकनीक का उपयोग करते हैं। RAG को एक सुपर-स्मार्ट लाइब्रेरियन के रूप में समझें जो केवल तथ्यों को याद नहीं करता, बल्कि सही किताब ढूंढ सकता है, प्रासंगिक पन्ने पढ़ सकता है, और फिर आपके लिए एक सटीक उत्तर लिख सकता है। हालाँकि, पारंपरिक लाइब्रेरियन अक्सर एक गलती करते हैं: वे किताबों को छोटे, यादृच्छिक टुकड़ों (जैसे व्यक्तिगत वाक्यों) में फाड़ देते हैं और उन सभी को एक बड़े ढेर में मिला देते हैं। यदि आप कोई प्रश्न पूछते हैं, तो लाइब्रेरियन उन टुकड़ों की एक मुट्ठी भर लेता है। समस्या यह है कि वैज्ञानिक पद्धति के बारे में एक टुकड़ा उस परिणाम से बहुत दूर हो सकता है जिसे वह समझा रहा है, या संदर्भ खो सकता है, जिससे AI भ्रमित हो जाता है। यह एक जिग्सॉ पहेली (jigsaw puzzle) को सुलझाने जैसा है जब कोई एक हजार अलग-अलग पहेलियों के टुकड़ों को आपस में मिला दे।
यह शोध पत्र इस तरह के बेहतर लाइब्रेरियन बनने का एक नया तरीका पेश करता है। शोधकर्ताओं ने, ज़िनयान झोंग और झेनघौ वू के नेतृत्व में, VecTree-RAG नामक एक प्रणाली बनाई है। किताबों को फाड़ने के बजाय, यह प्रणाली दस्तावेजों की मूल संरचना का सम्मान करती है। यह एक दो-चरणीय "लोकेट-देन-रीड" (locate-then-read) रणनीति का उपयोग करती है। पहले, यह तेजी से सही किताबों और अध्यायों को खोजने के लिए एक हाई-स्पीड स्कैनर का उपयोग करता है (वेक्टर सर्च का उपयोग करके, जो आपके प्रश्न के 'वाइब' या अर्थ को पुस्तक के शीर्षक और सारांश से मिलाने जैसा है)। दूसरा, एक बार जब इसे पता चल जाता है कि किस पुस्तक और अध्याय को देखना है, तो यह दस्तावेज़ की संरचना के माध्यम से नेविगेट करने के लिए एक "ट्री" (tree) नेविगेशन सिस्टम का उपयोग करता है, जिससे यह ढूँढ सके कि सबूत किस सटीक पन्ने पर मौजूद है। यह केवल तभी बारीक अक्षरों को पढ़ने के लिए भारी पन्नों को खोलता है जब यह बिल्कुल आवश्यक हो। यह दृष्टिकोण विज्ञान की "कहानी" को अखंड रखता है, यह सुनिश्चित करता है कि AI विधियों, आकृतियों और निष्कर्षों को उनके उचित क्रम में देखे।
शोध पत्र की खोज
लेखकों ने इस नए "VecTree-RAG" सिस्टम का तीन अलग-अलग प्रकार के वैज्ञानिक चुनौतियों पर चार अन्य लोकप्रिय तरीकों के विरुद्ध परीक्षण किया। वे यह देखना चाहते थे कि क्या दस्तावेज़ की संरचना को बनाए रखने से वास्तव में AI को बेहतर उत्तर देने और सही साक्ष्य खोजने में मदद मिलती है।
परिणाम: एक स्पष्ट विजेता
VecTree-RAG सिस्टम ने केवल अच्छा प्रदर्शन ही नहीं किया; इसने उन सभी अन्य तरीकों को पीछे छोड़ दिया जिनका परीक्षण शोधकर्ताओं ने किया था।
- एकल-पेपर प्रश्नों पर (QASPER): जब किसी एक विशिष्ट पेपर के आधार पर प्रश्नों के उत्तर देने के लिए कहा गया, तो VecTree-RAG ने एक शुद्धता स्कोर 0.800 प्राप्त किया (जैसा कि दूसरे AI द्वारा आंका गया)। अगले सर्वश्रेष्ठ तरीकों ने केवल 0.750 के आसपास स्कोर किया। अधिक महत्वपूर्ण बात यह है कि VecTree-RAG सही पन्ना बताने में बहुत बेहतर था जहाँ उत्तर पाया गया था। इसकी "एविडेंस प्रिसिजन" (साक्ष्य सटीकता) 0.274 थी, जबकि अन्य तरीके संघर्ष करते हुए 0.046 और 0.071 के बीच स्कोर कर रहे थे। इसका मतलब है कि VecTree-RAG अप्रासंगिक पन्नों को पढ़ने में समय बर्बाद करने की संभावना बहुत कम थी।
- लाइब्रेरी में सही पेपर खोजने पर (LitQA2): जब कार्य यह था कि 61 पेपर्स में से कौन सा पेपर उत्तर रखता है, तो VecTree-RAG ने 0.925 सटीकता हासिल की। अन्य तरीकों का स्कोर 0.759 से 0.889 के बीच था।
- कई पेपर्स को संयोजित करने पर (MOSIC): यह सबसे कठिन परीक्षण था, जिसमें एक एकल प्रश्न का उत्तर देने के लिए 5 से 7 अलग-अलग शोध पत्रों से जानकारी को संश्लेषित करने की आवश्यकता थी। VecTree-RAG ने 0.547 स्कोर किया, जो अगले सर्वश्रेष्ठ स्कोर 0.503 को पछाड़ गया।
यह शोध पत्र किस बात को खारिज करता है
शोधकर्ता स्पष्ट रूप से इस विचार का खंडन करते हैं कि केवल अधिक टेक्स्ट पढ़ना या दस्तावेजों को यादृच्छिक टुकड़ों में बदलना ही समाधान है। उन्होंने पाया कि खोज का विस्तार करने से (जैसे "डेंस RAG" बेसलाइन) अधिक यादृच्छिक अंश शामिल करना, वास्तव में AI के काम को कठिन बना देता है क्योंकि इससे "शोर" और पुनरावृत्ति बढ़ जाती है। शोध पत्र सुझाव देता है कि दस्तावेज़ की संरचना को समझे बिना समस्या पर अधिक डेटा फेंकना अक्षम है और अक्सर खराब उत्तरों की ओर ले जाता है। उन्होंने यह भी दिखाया कि उनका सिस्टम केवल अनुमान नहीं लगा रहा था; इसने एक "प्रोग्रेसिव डिस्क्लोजर" (क्रमिक प्रकटीकरण) पद्धति का उपयोग किया, जिसका अर्थ है कि इसने छोटे, सस्ते सारांशों के साथ शुरुआत की और पूर्ण-पाठ (full-text) पढ़ने के लिए तभी "भुगतान" किया जब यह सुनिश्चित हो गया कि यह सही रास्ते पर है।
वे कितने आश्वस्त हैं?
लेखक इन परिणामों के बारे में काफी आश्वस्त हैं क्योंकि उन्होंने विशिष्ट, पूर्व-निर्धारित प्रश्नों वाले वास्तविक, ओपन-एक्सेस डेटासेट पर सिस्टम का परीक्षण किया। उन्होंने केवल परिणामों का अनुकरण नहीं किया; उन्होंने यह सुनिश्चित करने के लिए वास्तविक AI एजेंटों को कई बार परीक्षणों के माध्यम से चलाया (तीन अलग-अलग "सीड्स" या शुरुआती बिंदुओं का उपयोग करके) ताकि स्कोर सुसंगत रहे। उन्होंने सख्त नियमों का उपयोग करके परिणामों को मापा, जैसे कि सही उत्तरों के विरुद्ध उत्तरों को ग्रेड करने के लिए एक अलग AI जज का उपयोग करना। हालांकि वे स्वीकार करते हैं कि उनके सिस्टम में एक साधारण एक-चरणीय खोज की तुलना में अधिक चरण (और इस प्रकार अधिक कंप्यूटर समय) लगते हैं, वे प्रदर्शित करते हैं कि यह अतिरिक्त प्रयास काफी उच्च सटीकता और बहुत बेहतर साक्ष्य स्थान (evidence location) की ओर ले जाता है। शोध पत्र सुझाव देता है कि जटिल वैज्ञानिक प्रश्नों के लिए, यह "स्ट्रक्चर-अवेयर" (संरचना-जागरूक) दृष्टिकोण पुराने "फ्लैट" तरीकों की तुलना में एक आवश्यक अपग्रेड है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।