A Cost-Aware Agentic Architecture for NL-to-SQL over Nested Enterprise Schemas, with a New Benchmark
यह शोध पत्र DevRev NL2SQL बेंचमार्क प्रस्तुत करता है, जिसमें नेस्टेड संरचनाओं वाले 900 निष्पादन-सत्यापित (execution-verified) प्रश्न और एक नया सिमेंटिक डेप्थ स्कोर शामिल है, साथ ही एक लागत-सचेत एजेंटिक आर्किटेक्चर भी है जो इस बेंचमार्क पर 91.7% की महत्वपूर्ण उत्तर शुद्धता प्राप्त करता है और Spider 2.0 पर प्रतिस्पर्धी बना रहता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
एक ऐसी दुनिया की कल्पना करें जहाँ आप अपने व्यवसाय के बारे में कंप्यूटर से जटिल प्रश्न पूछ सकें और बिना डेटाबेस की गुप्त भाषा जाने, सरल अंग्रेजी में सटीक उत्तर प्राप्त कर सकें। वर्षों से, शोधकर्ता कंप्यूटरों को मानवीय प्रश्नों को डेटाबेस कमांड में अनुवाद करना सिखा रहे हैं, जिसे 'नेचुरल-लैंग्वेज-टू-एसक्यूएल' (natural-language-to-SQL) के रूप में जाना जाता है। शुरुआती सफलताएं प्रभावशाली थीं, लेकिन वे कंप्यूटरों को सरल, सपाट डेटा सूचियों के साथ परीक्षण करने पर निर्भर थीं, जैसे कि पंक्तियों और स्तंभों वाली एक स्प्रेडशीट। हालाँकि, वास्तविक दुनिया में, व्यावसायिक डेटा शायद ही कभी इतना व्यवस्थित होता है। आधुनिक एंटरप्राइज सिस्टम जटिल वर्कफ़्लो के इर्द-गर्द बने होते हैं, जहाँ एक एकल आइटम, जैसे कि एक ग्राहक सहायता टिकट, अन्य वस्तुओं के जाल से जुड़ा होता है, जो सूचियों के भीतर नेस्टेड (nested) होता है, और सूचना की परतों के भीतर दबा होता है। इन संरचनाओं को अक्सर ग्राफ-जैसे (graph-like) के रूप में वर्णित किया जाता है, जिसका अर्थ है कि वे एक साधारण तालिका के बजाय कनेक्शनों के मानचित्र की तरह दिखते हैं। जब शोधकर्ताओं ने अपने सर्वश्रेष्ठ उपकरणों को इस अव्यवस्थित, वास्तविक दुनिया के डेटा पर लागू करने की कोशिश की, तो सिस्टम अक्सर विफल हो गए, क्योंकि वे सूचना के गहरे, उलझे हुए रास्तों पर चलने में असमर्थ थे।
शोधकर्ताओं की एक टीम ने एक नया परीक्षण आधार और एक स्मार्ट कंप्यूटर सिस्टम बनाकर इस विशिष्ट चुनौती का सामना किया है। उन्होंने 'डेवरेव' (DevRev) नामक एक बेंचमार्क बनाया, जिसमें एक लाइव बिजनेस डेटाबेस पर आधारित 900 वास्तविक दुनिया के प्रश्न शामिल हैं। पिछले परीक्षणों के विपरीत, यह डेटाबेस गहराई से नेस्टेड संरचनाओं से भरा है, जहाँ जानकारी उन सूचियों में संग्रहीत होती है जिनमें अन्य सूचियाँ होती हैं, और जहाँ आइटम जटिल तरीकों से एक-दूसरे से जुड़े होते हैं जो संदर्भ के आधार पर बदलते रहते हैं। यह मापने के लिए कि एक सिस्टम इन प्रश्नों को कितनी अच्छी तरह समझता है, टीम ने 'सिमेंटिक डेप्थ स्कोर' (Semantic Depth Depth Score) नामक एक नया स्कोरिंग तरीका पेश किया। यह स्कोर केवल प्रश्न की लंबाई नहीं गिनता है; बल्कि यह मापता है कि उत्तर खोजने के लिए तर्क की कितनी परतों की आवश्यकता है, जैसे कि विभिन्न समय अवधियों की तुलना करना, पुराने मूल्यों से नए मानों की गणना करना, या विभिन्न प्रकार के व्यावसायिक ऑब्जेक्ट्स के बीच कनेक्शन की एक श्रृंखला का अनुसरण करना।
शोधकर्ताओं ने पाया कि उस समय के सबसे उन्नत सिस्टम, जिन्होंने सरल परीक्षणों पर अच्छा प्रदर्शन किया था, इस नए, जटिल डेटा के साथ संघर्ष करते हैं। ये सिस्टम, जो अक्सर कई अलग-अलग संभावित उत्तर उत्पन्न करते हैं और फिर उनमें से सर्वश्रेष्ठ को चुनते हैं, नेस्टेड सूचियों को सही ढंग से नेविगेट करने या विभिन्न प्रकार के व्यावसायिक रिकॉर्डों को जोड़ने के विशिष्ट नियमों को समझने में असमर्थ रहे। इस नए बेंचमार्क पर उनकी सफलता दर एक-तिहाई के आसपास रही, जिसका अर्थ है कि उन्होंने अधिकांश प्रश्नों के गलत उत्तर दिए। शोधकर्ताओं का तर्क था कि समस्या केवल अभ्यास की कमी नहीं थी, बल्कि इन सिस्टमों के निर्माण के तरीके और डेटा की संरचना के बीच एक मौलिक बेमेल था। सिस्टम एक गहरे, स्तरित वास्तविकता पर एक सपाट, सरल दृष्टिकोण थोपने की कोशिश कर रहे थे।
इसे हल करने के लिए, टीम ने एक नया कंप्यूटर आर्किटेक्चर डिजाइन किया जो एक अनुमान लगाने वाले के बजाय एक सतर्क अन्वेषक की तरह काम करता है। दर्जनों संभावित उत्तर उत्पन्न करने और उम्मीद करने के बजाय कि उनमें से एक सही होगा, यह सिस्टम एक एकल, केंद्रित पथ का अनुसरण करता है। यह एक केंद्रीय समन्वयक (central coordinator) को डेटाबेस को देखने और यह पता लगाने के लिए कहता है कि किन विशिष्ट सूचनाओं की आवश्यकता है। यदि सिस्टम अटक जाता है क्योंकि वह एक टेबल या कॉलम को नहीं ढूंढ पाता है, तो वह केवल अनुमान नहीं लगाता; वह वापस जाता है, संरचना के बारे में अधिक विवरण मांगता है, और नई जानकारी के साथ फिर से प्रयास करता है। यह प्रक्रिया डेटाबेस के एक विस्तृत मानचित्र द्वारा निर्देशित होती है जिसमें न केवल कॉलम के नाम शामिल हैं, बल्कि उनके भीतर मौजूद डेटा का वास्तव में क्या अर्थ है, इसके विवरण भी शामिल हैं। सिस्टम अपने द्वारा की गई प्रत्येक गलती का एक रनिंग लॉग भी रखता है, जिससे वह प्रत्येक विफलता से सीखता है ताकि उसी गलती को दोहराने से बचा जा सके। यह डेटाबेस को भेजने से पहले अपने काम की जांच करता है, यह सुनिश्चित करता है कि तर्क सही है और वह अनजाने में डेटा का एक विशाल, भ्रमित करने वाला ढेर नहीं बना रहा है।
900 जटिल प्रश्नों पर परीक्षण किए जाने पर, इस नए सिस्टम ने 91.7 प्रतिशत की सफलता दर हासिल की, जो पिछले सर्वोत्तम प्रयासों की तुलना में एक बड़ी उपलब्धि है। यह उन प्रश्नों के सही उत्तर देने में सक्षम था जिनमें कई चरणों का पालन करना, व्युत्पन्न मूल्यों (derived values) की गणना करना और डेटा की नेस्टेड सूचियों के माध्यम से नेविगेट करना शामिल था। शोधकर्ताओं ने यह भी दिखाया कि यह दृष्टिकोण बहुत अधिक कुशल था, क्योंकि इसे चलाने की लागत काफी कम थी क्योंकि इसने दर्जनों गलत उत्तरों को उत्पन्न करने और परीक्षण करने में संसाधन बर्बाद नहीं किए। सरल डेटा के एक अलग, बड़े पैमाने के परीक्षण में, इस सिस्टम ने अग्रणी प्रतिस्पर्धियों के समान ही प्रदर्शन किया, जिससे यह सिद्ध हुआ कि जटिल डेटा के लिए इसके विशेष डिजाइन से मानक डेटा को संभालने की क्षमता में कोई कमी नहीं आई।
अध्ययन सुझाव देता है कि कंप्यूटरों से प्रश्न पूछने का भविष्य उन्हें अधिक प्रयास करने या अधिक विकल्प उत्पन्न करने में नहीं, बल्कि उन्हें उस डेटा की संरचना को समझने के लिए बेहतर उपकरण देने में है जिस पर वे काम कर रहे हैं। ऐसे सिस्टम बनाकर जो डेटाबेस को पुनरावृत्ति (iteratively) के माध्यम से एक्सप्लोर कर सकते हैं, अपनी गलतियों से सीख सकते हैं, और विभिन्न सूचनाओं के बीच गहरे संबंधों को समझ सकते हैं, शोधकर्ताओं ने आधुनिक व्यवसायों को संचालित करने वाले जटिल, नेस्टेड डेटा के लिए विश्वसनीय, बुद्धिमान इंटरफेस की ओर एक मार्ग प्रशस्त किया है। यह कार्य इस बात पर प्रकाश डालता है कि कंप्यूटरों के लिए हमारे प्रश्नों को वास्तव में समझने के लिए, उन्हें पहले उस जटिल, स्तरित दुनिया को समझना होगा जहाँ हमारा डेटा रहता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।