Agentic SPARQL: Evaluating SPARQL-MCP-powered Intelligent Agents on the Federated KGQA Benchmark
यह शोध पत्र मौजूदा बेंचमार्क का विस्तार करके एंडपॉइंट डिस्कवरी (endpoint discovery), स्कीमा एक्सप्लोरेशन (schema exploration) और कई डेटा स्रोतों में क्वेरी फॉर्मुलेशन (query formulation) के माध्यम से एजेंटिक क्षमताओं का मूल्यांकन करने के लिए फेडरेटेड नॉलेज ग्राफ क्वेश्चन अनस्वर्सिंग (federated Knowledge Graph Question Answering) हेतु SPARQL-MCP-संचालित इंटेलिजेंट एजेंटों की क्षमता का अन्वेषण करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक जासूस हैं जो एक जटिल रहस्य को सुलझाने की कोशिश कर रहे हैं। अतीत में, आपको शहर के हर एक पुस्तकालय, अभिलेखागार और पुलिस स्टेशन में एक-एक करके जाना पड़ता था, एक ही सवाल पूछना पड़ता था, और इस उम्मीद में रहना पड़ता था कि शायद किसी के पास जवाब हो। यदि आपने गलत लाइब्रेरियन से गलत तरीके से पूछा, तो आप भ्रमित हो जाते या आपको वहां से भगा दिया जाता।
यह पेपर एक सुपर-स्मार्ट एआई जासूस (जिसे "एजेंटिक एआई" कहा जाता है) को यह काम स्वचालित रूप से करने के लिए सिखाने के बारे में है, लेकिन एक ट्विस्ट के साथ: केवल एक पुस्तकालय के बजाय, एआई को हजारों अलग-अलग पुस्तकालयों के एक विशाल, परस्पर जुड़े नेटवर्क (नॉलेज ग्राफ्स) के माध्यम से खोज करनी है जो थोड़ी अलग-अलग भाषाएं बोलते हैं।
यहाँ उनकी रोमांचक यात्रा का विवरण सरल भाषा में दिया गया है:
1. समस्या: डेटा का "टॉवर ऑफ बेबेल"
इंटरनेट डेटा से भरा हुआ है। इसमें से कुछ डेटा SPARQL नामक प्रारूप में है (इसे एक बहुत ही सख्त, औपचारिक भाषा के रूप में सोचें जिसका उपयोग डिजिटल पुस्तकालयों द्वारा प्रश्नों का उत्तर देने के लिए किया जाता है)।
- चुनौती: ऐसे हजारों डिजिटल पुस्तकालय हैं। कुछ बड़े हैं (जैसे विकीडेटा), कुछ छोटे हैं। कुछ खुले हैं, कुछ बंद। वे सभी सवाल पूछने के तरीके पर सहमत नहीं होते हैं।
- पुराना तरीका: इंसानों को मैन्युअल रूप से यह पता लगाना पड़ता था कि किस पुस्तकालय से पूछना है, सवाल कैसे पूछना है, और फिर जवाबों को कैसे जोड़ना है। यह धीमा और कठिन था।
- नया तरीका (एजेंटिक एआई): हम एक ऐसा एआई चाहते हैं जो इस तरह के सवाल को देख सके: "मुझे टिम बर्नर्स-ली की वे सभी पुस्तकें दिखाएं जो विकीडेटा पर भी मौजूद हैं," और स्वचालित रूप से यह पता लगा सके कि:
- किन पुस्तकालयों के पास यह जानकारी है?
- उनसे विनम्रतापूर्वक कैसे पूछना है?
- जवाबों को कैसे आपस में जोड़ना है?
2. टूल: "यूनिवर्सल ट्रांसलेटर" (MCP)
शोधकर्ताओं ने SPARQL-MCP नामक एक विशेष टूल बनाया है।
- उपमा: कल्पना कीजिए कि एआई एक यात्री है जो "अंग्रेजी" (प्राकृतिक भाषा) बोलता है। डिजिटल पुस्तकालय "लैटिन" (SPARQL) बोलते हैं।
- पुल: MCP एक यूनिवर्सल ट्रांसलेटर और टूर गाइड की तरह है जो यात्री और पुस्तकालयों के बीच खड़ा है। यह केवल शब्दों का अनुवाद नहीं करता; यह यात्री को यात्रा की योजना बनाने में मदद करता है। यह कहता है, "हे, लाइब्रेरी A आज बंद है, लेकिन लाइब्रेरी B के पास वह है जिसकी आपको आवश्यकता है। चलिए पहले लाइब्रेरी C से पूछते हैं, फिर लाइब्रेरी B को देखते हैं।"
3. बड़ा टेस्ट: "फेडरेशन" बेंचमार्क
यह देखने के लिए कि क्या यह एआई वास्तव में काम करता है, शोधकर्ता केवल एक पुस्तकालय पर परीक्षण नहीं कर सकते थे। उन्हें एक विशाल सिमुलेशन बनाना पड़ा।
- सेटअप: उन्होंने 19 अलग-अलग डेटासेट्स को लिया और उन्हें पिज्जा की तरह काटकर, 118 अलग-अलग "वर्चुअल लाइब्रेरीज़" (एंडपॉइंट्स) में फैला दिया।
- ट्विस्ट: उन्होंने इसे ऐसा बनाया कि एआई को यह पता न हो कि किस लाइब्रेरी के पास कौन सा हिस्सा (स्लाइस) है। एआई को खुद उन हिस्सों को खोजना था।
- लक्षल: क्या एआई सही हिस्सों को ढूंढ सकता है, सही सवाल पूछ सकता है, और मूल सवाल का जवाब देने के लिए उस पिज्जा को वापस जोड़ सकता है?
4. परिणाम: "स्मार्ट" बनाम "ब्रूट फोर्स"
उन्होंने दो प्रकार के एआई डिटेक्टिव का परीक्षण किया:
- सुपर-जीनियस (GPT-5.2): यह एआई एक अनुभवी जासूस की तरह था। इसने सुरागों को देखा, यह पता लगाया कि किन पुस्तकालयों के पास उत्तर होने की संभावना है, और उनसे विशिष्ट रूप से पूछा।
- परिणाम: इसने लगभग 45% बार सही उत्तर दिया। यह प्रभावशाली है क्योंकि यह सबसे अच्छे मानव-लिखित सिस्टम के बराबर है, भले ही इसे बहुत अधिक काम करना पड़ा (स्वयं लाइब्रेरी खोजना)।
- हार्ड-वर्कर (Qwen3-8B): यह एआई छोटा और कम अनुभवी था। इसने रहस्य को सुलझाने के लिए एक ही सवाल को हर एक लाइब्रेरी पर एक साथ चिल्लाकर (एक "ब्रूट फोर्स" दृष्टिकोण) हल करने की कोशिश की।
- परिणाम: इसने केवल 13% बार सही उत्तर दिया। इसने सवाल लिखते समय व्याकरण की बहुत सारी गलतियाँ भी कीं क्योंकि डेटा की भाषा (SPARML) बहुत सख्त है।
5. मुख्य खोज और आश्चर्य
- कम ही अधिक है: शोधकर्ताओं ने पाया कि एआई को एक पुस्तकालय का एक वाक्य का विवरण देना (जैसे, "इस लाइब्रेरी में कार का डेटा है") एक विशाल, तकनीकी मैनुअल (जिसे "VoID विवरण" कहा जाता है) देने से बेहतर काम करता है। एआई तकनीकी विवरणों से अभिभूत हो गया और गलतियाँ करने लगा।
- "ट्रिवियल" ट्रैप: छोटा एआई अक्सर हर लाइब्रेरी से एक ही सवाल पूछने की कोशिश करता था, भले ही केवल एक की ही आवश्यकता हो। यह समय और संसाधनों को बर्बाद करने जैसा था, जैसे कि केवल एक व्यक्ति से समय पूछने के बजाय 100 लोगों से पूछना।
- "स्मार्ट" एक्सप्लोरर: स्मार्ट एआई वास्तव में "एक्सप्लोर" करता था। वह एक लाइब्रेरी से पूछता, देखता कि उसे क्या मिला, और फिर निर्णय लेता, "ठीक है, यह वह नहीं था, चलो अगली लाइब्रेरी को आजमाते हैं।"
6. यह क्यों महत्वपूर्ण है
यह पेपर एक बड़ा कदम है क्योंकि यह साबित करता है कि एआई एजेंट बिना किसी इंसान के हाथ पकड़ने के, जटिल, वितरित डेटा (distributed data) को संभाल सकते हैं।
- पहले: आपको विभिन्न डेटाबेस को जोड़ने के लिए कोड लिखने के लिए एक मानव विशेषज्ञ की आवश्यकता होती थी।
- अब: आप बस एआई से सामान्य अंग्रेजी में एक सवाल पूछ सकते हैं, और वह कनेक्शन खुद ढूंढ लेता है।
सावधानी: यह करने के लिए एआई को अभी भी "स्मार्ट" (बड़ा और शक्तिशाली) होने की आवश्यकता है। छोटे, सस्ते एआई मॉडल अभी भी डेटा भाषाओं के सख्त व्याकरण के साथ संघर्ष करते हैं और अक्षम भी होते हैं।
निचोड़ (The Bottom Line)
शोधकर्ताओं ने डेटा के लिए एक GPS बनाया है। इसके बजाय कि आप सही डेटाबेस खोजने के लिए इधर-उधर भटकें, आप एआई को अपना गंतव्य बताते हैं, और वह आपके लिए उत्तर खोजने के लिए डिजिटल पुस्तकालयों के जटिल जाल में रास्ता बनाता है। यह अभी भी परफेक्ट नहीं है (जीपीएस कभी-कभी गलत मोड़ ले लेता है), लेकिन यह एक ऐसे भविष्य की ओर एक बड़ी छलांग है जहाँ हम इंटरनेट से कुछ भी पूछ सकते हैं और वास्तविक उत्तर प्राप्त कर सकते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।