SchemaRouter: Field-Aware Tool Routing for Efficient Heterogeneous Agentic RAG
SchemaRouter एक हल्का, फील्ड-अवेयर रूटिंग लेयर है जो विषम (heterogeneous) एजेंटिक RAG सिस्टम्स के लिए है, जो निष्पादन योग्य टूल प्लान (executable tool plans) उत्पन्न करने के लिए एक स्कीमा ग्राफ का उपयोग करता है, जो बेसलाइन विधियों की तुलना में प्रतिस्पर्धी उत्तर सटीकता बनाए रखते हुए और सत्यापन योग्य प्रोवेनेंस (verifiable provenance) प्रदान करते हुए टोकन उपयोग और विलंबता (latency) को काफी कम करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
आधुनिक डिजिटल परिदृश्य में, कृत्रिम बुद्धिमत्ता (AI) प्रणालियों को बाहरी संसाधनों के एक विशाल नेटवर्क तक पहुँचकर उत्तर खोजने का कार्य तेजी से सौंपा जा रहा है। कल्पना कीजिए कि एक शोधकर्ता किसी कंप्यूटर से किसी नए पदार्थ के विशिष्ट गुणों, किसी यौगिक की रासायनिक संरचना, या किसी वैज्ञानिक जर्नल के नवीनतम निष्कर्षों को खोजने के लिए कहता है। ऐसा करने के लिए, कंप्यूटर एक एजेंट के रूप में कार्य करता है, जो विभिन्न डेटाबेस, पुस्तकालयों और उपकरणों से जुड़ता है, जिनमें से प्रत्येक के पास पहेली का एक हिस्सा होता है। ये उपकरण विशेष पुस्तकालयों की तरह हैं, जिनमें से प्रत्येक के पास अपनी अनूठी पुस्तकों का सेट और जानकारी माँगने के नियम होते हैं। कंप्यूटर के लिए चुनौती केवल यह जानना नहीं है कि किस पुस्तकालय में जाना है, बल्कि यह भी जानना है कि किस अलमारी से कौन सी किताब निकालनी है और कौन सा पृष्ठ पढ़ना है। यदि वह बहुत अधिक जानकारी माँगता है, तो सिस्टम धीमा और महंगा हो जाता है, और अनावश्यक डेटा में डूब जाता है। यदि वह बहुत कम जानकारी माँगता है, तो वह सही उत्तर देने के लिए आवश्यक महत्वपूर्ण तथ्यों को खो देता है। दक्षता और पूर्णता के बीच का यह संतुलन ही वह केंद्रीय समस्या है जिसे शोधकर्ता हल करने का प्रयास कर रहे हैं।
एक शोधकर्ता ने इस जटिल सूचना स्रोतों के जाल को नेविगेट करने के लिए 'स्कीमा राउटर' (SchemaRouter) नामक एक नई विधि विकसित की है। हर संभव उपकरण से हर संभव डेटा के लिए अंधाधुंध पूछने के बजाय, या समान शब्दों को खोजने के लिए कंप्यूटर के अनुमान पर भरोसा करने के बजाय, स्कीमा राउटर उपलब्ध उपकरणों के एक संरचित मानचित्र का उपयोग करता है। यह मानचित्र, या 'स्कीमा', न केवल यह बताता है कि कौन से उपकरण मौजूद हैं, बल्कि इसमें डेटा के विशिष्ट क्षेत्र (fields), उनके माप की इकाइयाँ और उन तक पहुँचने के लिए आवश्यक कानूनी अनुमतियाँ भी शामिल हैं। जब कोई उपयोगकर्ता प्रश्न पूछता है, तो सिस्टम पहले मूल इरादे और विशिष्ट अवधारणाओं को समझने के लिए एक छोटे, केंद्रित चरण का उपयोग करता है। इसके बाद, यह उस विशिष्ट प्रश्न का उत्तर देने के लिए आवश्यक सटीक उपकरणों और डेटा क्षेत्रों का चयन करने के लिए अपने मानचित्र का परामर्श करता है। यह प्रक्रिया नियतात्मक (deterministic) है, जिसका अर्थ है कि यह अनुमान लगाने के बजाय मानचित्र पर आधारित नियमों के एक सख्त सेट का पालन करती है, जिससे यह सुनिश्चित होता है कि इसके द्वारा बनाया गया प्लान वैध है और इसमें स्रोत कहाँ से आया और इसके अधिकार किसके पास हैं जैसे सभी आवश्यक विवरण शामिल हैं।
शोधकर्ता ने इस दृष्टिकोण का परीक्षण सामग्री विज्ञान (materials science) से संबंधित एक सौ दस प्रश्नों के बेंचमार्क का उपयोग करके किया, जो एक ऐसा क्षेत्र है जो कई अलग-अलग स्रोतों से सटीक डेटा पर बहुत अधिक निर्भर करता है। उन्होंने अपने नए तरीके की तुलना कई मौजूदा रणनीतियों से की। एक सामान्य रणनीति में प्रत्येक प्रश्न के लिए उपकरणों की पूरी सूची और उनके विवरण को कंप्यूटर की मेमोरी में डाल दिया जाता है, जबकि दूसरी रणनीति शब्द-मिलान तकनीक का उपयोग करके उन उपकरणों को खोजने पर निर्भर करती है जो प्रश्न के समान लगते हैं। परिणामों ने दिखाया कि स्कीमा राउटर ने अंतिम उत्तरों में उच्च स्तर की सटीकता प्राप्त की, जो उस पद्धति के प्रदर्शन से मेल खाती है जो सब कुछ माँगती है, लेकिन यह बहुत कम डेटा के साथ किया गया। विशेष रूप से, नए तरीके ने 0.71 की उत्तर सटीकता तक पहुँचने के लिए केवल 227 शब्दों का संदर्भ (context) प्राप्त किया, जबकि वह पद्धति जिसे सब कुछ प्राप्त करने की आवश्यकता थी, उसे समान स्तर की सटीकता प्राप्त करने के लिए 2,000 से अधिक शब्दों के संदर्भ की आवश्यकता थी। डेटा की मात्रा में इस कमी ने गति में भी महत्वपूर्ण सुधार किया, जिसमें नया सिस्टम उपलब्ध सभी जानकारी को लोड करने वाले दृष्टिकोण की तुलना में लगभग 2.7 गुना तेज़ी से कार्य पूरा करता है।
अध्ययन का एक महत्वपूर्ण निष्कर्ष एक सामान्य धारणा को चुनौती देता है: कि संसाधनों को बचाने का सबसे अच्छा तरीका डेटा क्षेत्रों की संख्या को कम करना है। शोधकर्ता ने पाया कि अत्यधिक मितव्ययी होने का प्रयास करना और डेटा क्षेत्रों के बिल्कुल न्यूनतम चयन को करने से वास्तव में अंतिम उत्तर की गुणवत्ता खराब हो गई। जब उन्होंने चयन को न्यूनतम स्तर तक कम कर दिया, तो डेटा क्षेत्रों की संख्या में बदलाव न होने के बावजूद उत्तर की सटीकता काफी गिर गई। सफलता की कुंजी क्षेत्रों की संख्या को कम करना नहीं था, बल्कि यह सुनिश्चित करना था कि चयनित क्षेत्र सही हों ताकि प्रश्न का सही उत्तर देने की क्षमता बनी रहे। प्रासंगिक डेटा समूहों का एक सुरक्षा जाल बनाए रखकर, सिस्टम ने उच्च सटीकता बनाए रखी, जबकि उसने अप्रासंगिक जानकारी प्राप्त करने के भारी बोझ से भी बचाव किया। यह सुझाव देता है कि लक्ष्य केवल सबसे कम संदर्भ प्राप्त करना नहीं, बल्कि सही संदर्भ प्राप्त करना होना चाहिए।
गति और सटीकता से परे, यह नई विधि विश्वसनीयता में एक विशिष्ट लाभ प्रदान करती है। क्योंकि सिस्टम प्राप्त किए गए प्रत्येक डेटा के स्रोत और लाइसेंसिंग को स्पष्ट रूप से ट्रैक करता है, इसलिए यह उत्तर के साथ एक स्पष्ट उद्धरण (citation) संलग्न कर सकता है, जो यह बताता है कि किस डेटाबेस ने जानकारी प्रदान की और किन शर्तों के तहत। परीक्षणों में, नए तरीके ने अपने उत्तरों में 62 प्रतिशत मामलों में इन विशिष्ट स्रोत और लाइसेंस विवरणों को शामिल किया। इसके विपरीत, अन्य पद्धतियाँ, जो इस मेटाडेटा को मॉडल नहीं करती हैं, लगभग किसी भी मामले में ये उद्धरण प्रदान करने में विफल रहीं। यह एक महत्वपूर्ण सुधार है क्योंकि कंप्यूटर अपने सामान्य ज्ञान से इन विशिष्ट कानूनी विवरणों का आविष्कार नहीं कर सकता; इसे सीधे स्रोत से प्राप्त करना ही होगा। यह क्षमता उत्तरों को सत्यापन योग्य बनाती है, जो वैज्ञानिक और व्यावसायिक अनुप्रयोगों के लिए आवश्यक है जहाँ तथ्य का उद्गम जानना उतना ही महत्वपूर्ण है जितना कि स्वयं तथ्य।
शोधकर्ता ने यह भी नोट किया कि उपलब्ध उपकरणों की संख्या बढ़ने पर उनका दृष्टिकोण बहुत बेहतर तरीके से स्केल (scale) करता है। उपकरणों की सूची को कंप्यूटर की मेमोरी में सूचीबद्ध करने की पारंपरिक विधि जल्दी ही अव्यवहारिक हो जाती है; जैसे-जैसे उपकरणों की संख्या बढ़ती है, उन्हें वर्णित करने के लिए आवश्यक टेक्स्ट की मात्रा रैखिक रूप से बढ़ती है, जो अंततः सिस्टम की मेमोरी सीमाओं को पार कर जाती है। हालाँकि, नया तरीका एक निश्चित निर्देश सेट का उपयोग करता है जो उपकरणों की संख्या के साथ नहीं बढ़ता है। इसका अर्थ यह है कि भले ही सिस्टम कुछ दर्जन उपकरणों से बढ़कर सैकड़ों में विस्तारित हो जाए, खोज की योजना बनाने के लिए आवश्यक लागत और समय लगभग स्थिर रहेगा। अध्ययन को सटीक माप सुनिश्चित करने के लिए स्थिर डेटा के साथ एक सिम्युलेटेड वातावरण में संचालित किया गया था, और हालांकि परिणाम उत्साहजनक हैं, लेखक स्वीकार करते हैं कि दृष्टिकोण की सीमाओं को पूरी तरह से समझने के लिए विभिन्न प्रकार के प्रश्नों और कमजोर कंप्यूटर मॉडलों के साथ और अधिक परीक्षण की आवश्यकता है।
अंततः, यह कार्य प्रदर्शित करता है कि सूचना के रूटिंग के लिए एक संरचित, क्षेत्र-जागरूक (field-aware) दृष्टिकोण सूचना एजेंटों को अधिक कुशल और विश्वसनीय बनाने का एक व्यावहारिक तरीका है। डेटा क्षेत्रों के चयन को एक अनुमान लगाने वाले खेल के बजाय एक सटीक, नियम-आधारित प्रक्रिया के रूप में मानकर, सिस्टम तेज़ और अधिक पारदर्शिता के साथ सटीक उत्तर दे सकता है। निष्कर्ष बताते हैं कि भविष्य में, इन बुद्धिमान प्रणालियों को बनाने का सबसे प्रभावी तरीका केवल अधिक जानकारी एकत्र करने के बजाय, सत्यापन योग्य मूल के साथ सही संदर्भ प्राप्त करने पर ध्यान केंद्रित करना होगा। रणनीति में यह बदलाव तकनीक को उपलब्ध डेटा की विशाल मात्रा से दबे बिना जटिल, वास्तविक दुनिया के कार्यों को संभालने की अनुमति देता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।