Text2GraphQuery-Bench: A Text to Graph Query Benchmark
यह शोध पत्र Text2GraphQuery-Bench को प्रस्तुत करता है, जो 267,000 से अधिक नमूनों के साथ सभी मुख्यधारा के डिक्लेरेटिव प्रॉपर्टी ग्राफ क्वेरी भाषाओं को कवर करने वाला पहला व्यापक बेंचमार्क है, जो यह प्रकट करता है कि मॉडल क्षमता के बजाय विविध सिंटैक्स से उपयोगकर्ता की अपरिचयाता प्रदर्शन में प्राथमिक बाधा है और यह पहचानता है कि कठिनाई बढ़ने के साथ लॉजिक और स्कीमा लिंकिंग में विशिष्ट बाधाएं आती हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक बहुत ही बुद्धिमान, बहुत शक्तिशाली लाइब्रेरियन से बात करने की कोशिश कर रहे हैं जो दुनिया के बारे में सब कुछ जानता है। यदि आप उससे "बिल्लियों के बारे में किताबें" मांगते हैं, तो एक सामान्य डेटाबेस आपको केवल शीर्षकों की एक सूची थमा देगा। लेकिन क्या होगा यदि आपको एक बिल्ली, उसके मालिक, उस पशु चिकित्सक (वेट) जिसने उसका इलाज किया, और उस विशिष्ट ब्रांड के भोजन के बीच का संबंध खोजने की आवश्यकता है जिसे मालिक ने खरीदा था? यहीं पर ग्राफ डेटाबेस (Graph Databases) काम आते हैं। स्प्रेडशीट की तरह साफ-सुथरी पंक्तियों और कॉलमों के बजाय, वे जानकारी को संबंधों के एक विशाल, उलझे हुए जाल के रूप में संग्रहीत करते हैं, जैसे कि एक सबवे मैप या एक वंशावली। इस जाल से सवाल पूछने के लिए, आपको आमतौर पर एक बहुत ही विशिष्ट, कठिन भाषा बोलनी होती है जिसे "ग्राफ क्वेरी भाषा" कहा जाता है। यह ऐसा है जैसे आप लाइब्रेरियन से किताब मांग रहे हों, लेकिन आपको एक जटिल मंत्र बोलना पड़ता है ताकि आप पुस्तकालय की अलमारियों के माध्यम से उस सटीक पथ का वर्णन कर सकें जिस पर आप चाहते हैं कि वे चलें।
हाल ही में, लार्ज लैंग्वेज मॉडल्स (LLMs) नामक सुपर-स्मार्ट कंप्यूटर प्रोग्राम बहुत अच्छे हो गए हैं जो मानवीय भाषा को कोड में अनुवाद कर सकते हैं। हमने देखा है कि वे नियमित स्प्रेडशीट के लिए डेटाबेस कमांड में "पिछले महीने की बिक्री दिखाएं" जैसे वाक्यों को बदल देते हैं। लेकिन जब बात उन उलझे हुए जाल जैसे ग्राफ डेटाबेस की आती है, तो चीजें गड़बड़ा जाती हैं। उन्हें इस्तेमाल करने वाली भाषाएँ अलग, भ्रमित करने वाली हैं और बहुत कम लोग उन्हें जानते हैं। यह पेपर एक नया, विशाल "टेस्ट" पेश करता है यह देखने के लिए कि क्या ये AI प्रोग्राम अंततः ग्राफ डेटाबेस की गुप्त भाषाओं को धाराप्रवाह बोलना सीख सकते हैं, जिसमें न केवल एक भाषा, बल्कि एक साथ तीन प्रमुख भाषाएँ शामिल हैं।
बड़ा टेस्ट: Text2GraphQuery-Bench
इस पेपर के पीछे के शोधकर्ताओं ने, जो विश्वविद्यालयों और एंट ग्रुप (Ant Group) और ऑरेकल (Oracle) जैसी दिग्गज तकनीकी कंपनियों की एक टीम है, महसूस किया कि पिछले टेस्ट बहुत छोटे और बहुत सरल थे। उन्होंने Text2GraphQuery-Bench बनाया, जो AI के परीक्षण के लिए एक विशाल खेल का मैदान है। इसे एक विशाल, बहु-स्तरीय बाधा दौड़ (obstacle course) के रूप में समझें जिसमें 267,276 अलग-अलग चुनौतियाँ हैं। ये चुनौतियाँ एक प्राकृतिक भाषा के प्रश्न (जैसे "एलिस से पैसे किन खातों को प्राप्त हुए?") और उस सही, जटिल ग्राफ क्वेरी के जोड़े हैं जिसकी आवश्यकता उस प्रश्न का उत्तर देने के लिए होती है।
उन्होंने केवल रैंडम सवाल नहीं बनाए। उन्होंने इस टेस्ट को 34 अलग-अलग डेटाबेस में बनाया जो 13 वास्तविक दुनिया के डोमेन को कवर करते हैं, जैसे वित्तीय धोखाधड़ी का पता लगाना, आपूर्ति श्रृंखला (supply chains) का प्रबंधन करना और सोशल नेटवर्क का विश्लेषण करना। यह टेस्ट विशेष है क्योंकि यह केवल एक भाषा की जांच नहीं करता है; यह AI का परीक्षण ग्राफ क्वेरी भाषाओं के तीन अलग-अलग "बोलियों" पर करता है: Cypher (सबसे आम), GQL (नया अंतर्राष्ट्रीय मानक), और SQL/PGQ (एक तरीका जिससे ग्राफ संबंधी प्रश्न मानक SQL का उपयोग करके पूछे जाते हैं)।
उन्होंने टेस्ट कैसे बनाया
यह सुनिश्चित करने के लिए कि टेस्ट निष्पक्ष और कठिन हो, टीम ने केवल पुराने सवालों को कॉपी-पेस्ट नहीं किया। उन्होंने एक लचीली मशीन बनाई जो:
- अन्य टेस्ट से मौजूदा प्रश्नों को इन नई ग्राफ भाषाओं में अनुवाद (Translate) कर सके।
- वास्तविक दुनिया के व्यावसायिक नियमों के मार्गदर्शन में शुरू से नए, यथार्थवादी परिदृश्य तैयार (Synthesize) कर सके।
- प्रश्नों को विकसित (Evolve) कर सके, जो सरल से शुरू होकर कठिन और जटिल होते जाएं, जैसे किसी वीडियो गेम में लेवल अप होना।
उन्होंने एक "डिफिकल्टी डायल" (कठिनाई का पहिया) भी जोड़ा। कुछ प्रश्न आसान हैं, जो एक एकल संबंध के बारे में पूछते हैं। अन्य "एक्स्ट्रा हार्ड" (अत्यधिक कठिन) हैं, जिनमें एक साथ वेब के माध्यम से एक पथ का पता लगाने, चीजों को गिनने और परिणामों को फ़िल्टर करने की आवश्यकता होती है। उन्होंने यह भी परीक्षण किया कि क्या AI इसे संभाल सकता है जब लोग एक ही चीज़ के लिए अलग-अलग शब्दों का उपयोग करते हैं (जैसे "ग्राहक" को "क्लाइंट" कहना), जो वास्तव में अक्सर होता है।
AI ने क्या सही (और गलत) किया
टीम ने 8 अलग-अलग AI मॉडल्स को इस बाधा दौड़ के माध्यम से चलाया, छोटे ओपन-सोर्स मॉडल से लेकर उपलब्ध सबसे बड़े, सबसे शक्तिशाली मॉडल्स तक। यहाँ उन्हें क्या मिला:
1. "भाषा की बाधा" वास्तविक है
जब AI ने बिना किसी मदद के (जिसे "जीरो-शॉट" कहा जाता है) उत्तर देने की कोशिश की, तो वह सामान्य भाषा, Cypher में बहुत अच्छा था। लेकिन जब उसने नई भाषाओं, GQL और SQL/PGQ को आज़माया, तो वह बुरी तरह लड़खड़ा गया। यह एक ऐसे छात्र की तरह था जो फ्रेंच पूरी तरह से जानता है लेकिन उस स्पानी भाषा के टेस्ट में शून्य पाता है जिसे उसने पहले कभी नहीं देखा। हालाँकि, पेपर में पाया गया कि यदि आप पहले AI को इसे करने के कुछ उदाहरण (जिसे "फ्यू-शॉट प्रॉम्प्टिंग" कहा जाता है) दे दें, तो इसका प्रदर्शन आसमान छू जाता है। यह सुझाव देता है कि AI "मूर्ख" नहीं था; बस वह उन नई भाषाओं के नियमों को नहीं जानता था।
2. ट्रेनिंग आकार से बेहतर है
यहाँ एक आश्चर्यजनक मोड़ है: एक छोटा, 8-बिलियन-पैरामीटर वाला मॉडल (एक स्मार्ट हाई स्कूल छात्र की तरह सोचें) जिसे विशेष रूप से इन नई भाषाओं पर ट्रेन किया गया था, ने उन विशाल, महंगे मॉडल्स के बराबर या उनसे बेहतर प्रदर्शन किया जो केवल अनुमान लगा रहे थे। यह हमें बताता है कि मुख्य समस्या यह नहीं है कि AI पर्याप्त स्मार्ट नहीं है; बल्कि यह है कि उसे इन ग्राफ भाषाओं की विशिष्ट शब्दावली नहीं सिखाई गई है।
3. बाधा बदल जाती है (The Bottleneck Shifts)
जैसे-जैसे AI बुनियादी बातों में बेहतर हुआ, समस्याएँ बदल गईं।
- शुरुआत में, AI ने सिंटैक्स एरर (Syntax Errors) (टाइपिंग और व्याकरण की गलतियाँ) कीं।
- एक बार जब उसने व्याकरण ठीक कर लिया, तो समस्या स्कीमा लिंकिंग (Schema Linking) बन गई (प्रश्न के शब्दों को डेटाबेस के सही हिस्सों से मिलाना)।
- अंत में, सबसे कठिन प्रश्नों के लिए, AI को लॉजिक (Logic) के साथ संघर्ष करना पड़ा, जैसे कि एक जटिल श्रृंखला में चीजों को गिनना या परिणामों को सही ढंग से फ़िल्टर करना।
4. कठिन सवाल अभी भी कठिन हैं
सभी मदद के बावजूद, "एक्स्ट्रा हार्ड" सवाल अभी भी एक कठिन पहेली बने हुए थे। ये वे प्रश्न हैं जिनमें AI को कई चरणों और जटिल पथों के माध्यम से सोचना पड़ता है। सर्वश्रेष्ठ मॉडल्स भी इन्हें अक्सर गलत करते रहे, जो यह दर्शाता है कि भले ही AI बुनियादी बातों में अच्छा हो रहा है, लेकिन ग्राफ डेटाबेस में गहरा, बहु-चरणीय तर्क (multi-step reasoning) अभी भी एक चुनौतीपूर्ण सीमा (frontier) है।
यह क्यों मायने रखता है
यह पेपर केवल यह नहीं कहता कि "AI ग्राफ में अच्छा है।" यह हमें एक रोडमैप देता है। यह दिखाता है कि इन शक्तिशाली ग्राफ डेटाबेस का उपयोग करने में बाधा AI की बुद्धिमत्ता नहीं, बल्कि इसकी विशिष्ट भाषाओं से परिचितता है। इस विशाल, मानकीकृत टेस्ट प्रदान करके, शोधकर्ताओं ने वैज्ञानिक समुदाय को प्रगति को मापने का एक स्पष्ट तरीका दिया है। उन्होंने साबित कर दिया है कि सही प्रशिक्षण और कुछ उदाहरणों के साथ, AI हमारे डेटा के जटिल जालों को नेविगेट करना सीख सकता है, जिससे एक कठिन, विशेषज्ञ-मात्र कार्य को कुछ भी ऐसा बनाने में बदला जा सकता है जिसे कोई भी साधारण अंग्रेजी में पूछ सकता है। "मुझे नहीं पता कि कैसे पूछें" से "मुझे कनेक्शन दिखाएं" तक का सफर जारी है, लेकिन सबसे कठिन पहेलियाँ अभी भी हल होने का इंतज़ार कर रही हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।