UniQL: Towards Dialect-Universal Benchmarking for Text-to-SQL
यह शोध पत्र UniQL को प्रस्तुत करता है, जो 16 डायलेक्ट्स (dialects) में 24,544 निष्पादन योग्य (executable) SQL क्वेरीज़ के साथ संरेखित 1,534 प्राकृतिक भाषा के प्रश्नों वाला एक मानव-सत्यापित बेंचमार्क है, जो यह प्रकट करता है कि वर्तमान टेक्स्ट-टू-SQL मॉडल SQLite से परे सामान्यीकरण करने में संघर्ष करते हैं और डायलेक्ट-जागरूक मूल्यांकन विधियों की महत्वपूर्ण आवश्यकता पर प्रकाश डालता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
यहाँ UNIQL: Towards Dialect-Universal Benchmarking for Text-to-SQL पेपर का सरल भाषा और रचनात्मक उपमाओं के साथ विवरण दिया गया है।
बड़ी समस्या: एक भाषा, कई बोलियाँ
कल्पना कीजिए कि आप एक शेफ हैं जो "अंग्रेजी" बोलते हैं। आप किराने की दुकान से सामान मंगवाना चाहते हैं।
- न्यूयॉर्क में, आप कहते हैं, "मुझे एक बोरी मैदा चाहिए।" दुकानदार आपको ठीक वही चीज़ थमा देता है।
- लंदन में, यदि आप वही बात कहते हैं, तो दुकानदार आपको किसी अलग प्रकार का मैदा दे सकता है क्योंकि वे अलग मापने वाले कपों का उपयोग करते हैं।
- टोक्यो में, दुकानदार को शायद "मैदा" शब्द समझ ही न आए और वह आपसे इसके लिए जापानी शब्द पूछेगा, या वह आपको चावल दे सकता है क्योंकि उसका सिस्टम सोचता है कि "मैदा" का अर्थ कुछ और है।
कंप्यूटर की दुनिया में, SQL वह भाषा है जिसका उपयोग डेटाबेस (डिजिटल गोदाम जहाँ डेटा रहता है) से बात करने के लिए किया जाता है। मानव भाषाओं की तरह, SQL की भी कई "बोलियाँ" (संस्करण) हैं जैसे MySQL, Oracle, PostgreSQL और SQLite। वे सभी समान दिखते हैं, लेकिन उनके नियम, शब्दावली और काम करने के तरीके अलग-अलग होते हैं।
वर्तमान स्थिति: केवल न्यूयॉर्क में परीक्षण करना
वर्षों से, शोधकर्ता AI मॉडलों (शेफ) का परीक्षण SQLite नामक एक बेंचमार्क पर कर रहे हैं। यह केवल न्यूयॉर्क में AI का परीक्षण करने जैसा है।
- AI न्यूयॉर्क में सामान मंगवाना पूरी तरह सीख जाता है।
- शोधकर्ता कहते हैं, "बहुत बढ़िया! AI स्मार्ट है!"
- लेकिन पेपर तर्क देता है: हमें नहीं पता कि क्या AI वास्तव में लंदन या टोक्यो में सामान मंगवा सकता है। यह बुरी तरह विफल हो सकता है क्योंकि इसने केवल न्यूयॉर्क के नियम सीखे हैं।
पेपर इसे एक "अंध बिंदु" (blind spot) कहता है। वर्तमान परीक्षण AI को वास्तव में जितना वह है उससे अधिक स्मार्ट दिखाते हैं क्योंकि वे यह जाँच नहीं करते कि क्या AI विभिन्न डेटाबेस सिस्टम की जटिल वास्तविकता को संभाल सकता है।
समाधान: UNIQL (यूनिवर्सल मेनू)
लेखकों ने UNIQL नामक एक नया परीक्षण बनाया है। UNIQL को एक यूनिवर्सल मेनू के रूप में सोचें जिसे 16 अलग-अलग भाषाओं (16 अलग-अलग SQL बोलियों) में अनुवादित किया गया है।
- सेटअप: उन्होंने 1,534 वास्तविक दुनिया के प्रश्न लिए (जैसे "सबसे कम नामांकन वाले शीर्ष 5 स्कूल दिखाएं")।
- अनुवाद: हर एक प्रश्न के लिए, उन्होंने सही उत्तर (SQL कोड) के 16 अलग-अलग संस्करण बनाए, जो 16 अलग-अलग डेटाबेस सिस्टम के लिए एक-एक हैं।
- लक्ष्य: वे यह देखना चाहते हैं कि क्या एक AI प्रश्न को देखकर किसी भी एक प्रश्न के लिए सही कोड लिख सकता है, न कि केवल उस एक सिस्टम के लिए जिस पर उसे प्रशिक्षित किया गया है।
उन्होंने इसे कैसे बनाया (द फैक्ट्री)
इस परीक्षण को बनाना कठिन था। आप कोड को स्वचालित रूप से अनुवाद करने के लिए केवल कंप्यूटर का उपयोग नहीं कर सकते क्योंकि वह अक्सर गलतियाँ करता है। इसलिए, उन्होंने "ह्यूमन-इन-द-लूप" (मानव भागीदारी) के साथ एक "फैक्ट्री" बनाई:
- रोबोट अनुवादक: सबसे पहले, उन्होंने कोड को स्वचालित रूप से अनुवाद करने के लिए एक मानक टूल का उपयोग किया।
- ट्रायल रन: उन्होंने वास्तविक डेटाबेस पर अनुवादित कोड चलाया। यदि वह क्रैश हुआ या गलत उत्तर दिया, तो उसे पकड़ लिया गया।
- AI फिक्सर: यदि रोबोट विफल रहा, तो उन्होंने एक शक्तिशाली AI (जैसे एक सीनियर अनुवादक) से फिर से प्रयास करने के लिए कहा, जिसमें उसे त्रुटि संदेश दिखाया गया।
- नियम पुस्तिका: यदि AI बार-बार एक ही तरह से विफल होता रहा, तो उन्होंने भविष्य के लिए उस विशिष्ट समस्या को ठीक करने हेतु एक नया "नियम" लिखा।
- मानव निरीक्षक: अंत में, सबसे कठिन मामलों के लिए जिन्हें मशीनें ठीक नहीं कर सकीं, मानव विशेषज्ञों ने कोड की मैन्युअल रूप से जांच की और उसे सही किया ताकि वह पूर्ण हो सके।
उन्हें क्या मिला (परिणाम)
उन्होंने इस नए 16-बोली वाले परीक्षण पर कई प्रसिद्ध AI मॉडलों (जैसे GPT-4, Claude और ओपन-सोर्स मॉडल) का परीक्षण किया। परिणाम एक वास्तविकता की जाँच थे:
- "न्यूयॉर्क" का भ्रम: एक AI SQLite (न्यूयॉर्क) में 60% प्रश्नों के उत्तर सही दे सकता है, लेकिन जब आप Teradata या Druid (टोक्यो या लंदन) पर स्विच करते हैं, तो इसका स्कोर गिरकर 30% हो सकता है।
- कोई सच्चा "यूनिवर्सल" शेफ नहीं: यहाँ तक कि सबसे स्मार्ट AI मॉडल भी सभी 16 बोलियों में औसतन केवल 50-55% उत्तर सही दे पाए। वे "डायलेक्ट-यूनिवर्सल" होने से बहुत दूर हैं।
- "सब कुछ या कुछ भी नहीं" वाली समस्या: एक मॉडल 16 में से 8 बोलियों के लिए उत्तर सही दे सकता है, लेकिन बाकी 8 के लिए विफल हो सकता है। उसने प्रश्न के इरादे को वास्तव में नहीं सीखा है; वह केवल विशिष्ट बोली के ट्रिक्स को याद कर रहा है।
- आकार मायने रखता है (एक तरह से): बड़े AI मॉडल आमतौर पर बेहतर प्रदर्शन करते हैं, लेकिन बड़े मॉडल भी सबसे कठिन बोलियों के साथ संघर्ष करते हैं।
निष्कर्ष
पेपर निष्कर्ष निकालता है कि हम केवल एक डेटाबेस सिस्टम पर AI का परीक्षण करके यह नहीं मान सकते कि यह हर जगह काम करेगा। "यूनिवर्सल" का सपना—कि किसी भी डेटाबेस से साधारण अंग्रेजी में बात की जा सके—अभी तक वास्तविकता नहीं बना है। AI वर्तमान में उस विशिष्ट "बोली" के प्रति बहुत संवेदनशील है जिससे वह बात कर रहा है।
इसे ठीक करने के लिए, हमें चाहिए:
- बेहतर परीक्षण: UNIQL जैसे परीक्षण, जो केवल एक नहीं, बल्कि सभी बोलियों की जाँच करते हैं।
- स्मार्ट मॉडल: ऐसे AI जो केवल एक विशिष्ट डेटाबेस के सिंटैक्स को याद करने के बजाय, प्रश्न के अर्थ को गहराई से समझते हैं।
संक्षेप में: इस पेपर ने एक कठोर 16-भाषा वाला परीक्षण बनाया है जो यह साबित करता है कि वर्तमान AI अभी भी डेटाबेस के विभिन्न प्रकारों से बात करने के मामले में एक "वन-ट्रिक पोनी" (एक ही हुनर वाला) है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।