तकनीकी सारांश: Spider 2.0-AIFunc

समस्या विवरण

प्रमुख क्लाउड डेटा प्लेटफॉर्म (जैसे Snowflake, BigQuery, Databricks) ने लार्ज लैंग्वेज मॉडल (LLM) क्षमताओं को नेटिव SQL फंक्शन्स के रूप में प्रदर्शित करना शुरू कर दिया है। ये "AI-नेटिव" फंक्शन्स विश्लेषकों को मानक SQL क्वेरीज़ के भीतर सीधे अर्थपूर्ण (semantic) ऑपरेशन्स—जैसे वर्गीकरण (classification), सेंटिमेंट एनालिसिस, समानता खोज (similarity search), और सूचना निष्कर्षण (information extraction)—करने की अनुमति देते हैं। हालांकि, मौजूदा Text-to-SQL बेंचमार्क (जैसे Spider 1.0, Spider 2.0, BIRD) केवल संरचित डेटा पर पारंपरिक SQL का मूल्यांकन करते हैं। वे इस बारे में कोई संकेत नहीं देते कि किसी मॉडल में AI-नेटिव SQL उत्पन्न करने की क्षमता है या नहीं, जिसके लिए न केवल मानक क्वेरी निर्माण बल्कि AI फंक्शन कॉल्स के सही चयन, पैरामीटराइजेशन और एकीकरण की आवश्यकता होती है।

कार्यप्रणाली

लेखक Spider 2.0-AIFunc पेश करते हैं, जो AI-नेटिव वर्कफ़्लो के संदर्भ में Text-to-SQL क्षमताओं का मूल्यांकन करने के लिए डिज़ाइन किया गया एक बेंचमार्क है। निर्माण और मूल्यांकन पद्धति में तीन मुख्य घटक शामिल हैं:

1. एजेंट पाइपलाइन के माध्यम से बेंचमार्क निर्माण

यह बेंचमार्क Spider2-Snow डेटासेट (Spider 2.0 का एक एंटरप्राइज-स्तरीय उपसमुच्चय जो Snowflake पर होस्ट किया गया है) के 513 इंस्टेंस से प्राप्त किया गया है। लेखक इन पारंपरिक कार्यों को AI-नेटिव संस्करणों में बदलने के लिए एक पुन: प्रयोज्य, एजेंट-आधारित पाइपलाइन (Claude Opus 4.5 का उपयोग करके) का उपयोग करते हैं:

• रूपांतरण (Transformation): एजेंट लक्ष्य SQL को Snowflake Cortex AI फंक्शन्स को शामिल करने के लिए फिर से लिखते हैं और साथ ही प्राकृतिक भाषा निर्देशों को परिष्कृत करते हैं ताकि इच्छित AI उपयोग स्पष्ट हो सके।
• अस्पष्टता में कमी (Ambiguity Reduction): उन कार्यों के लिए जिनमें कई वैध गोल्ड SQL हो सकते हैं, निर्देशों को सटीक AI फंक्शन और पैरामीटर्स (जैसे वर्गीकरण के लिए पूर्ण क्लास लेबल सेट) को निर्दिष्ट करने के लिए परिष्कृत किया जाता है ताकि एक ही सही उत्तर सुनिश्चित हो सके।
• दो-चरण प्रक्रिया:
  • मुख्य दौर (Main Round): एजेंट स्वतंत्र रूप से AI फंक्शन्स का चयन करते हैं, जिसके परिणामस्वरूप AI_CLASSIFY, AI_FILTER, और AI_SIMILARITY द्वारा प्रधान वितरण होता है।
  • विविधता दौर (Diversity Round): एजेंटों को छह समर्थित AI फंक्शन प्रकारों के व्यापक कवरेज को सुनिश्चित करने के लिए कम प्रतिनिधित्व वाले फंक्शन्स (AI_SENTIMENT, AI_EXTRACT, AI_AGG) को प्राथमिकता देने का निर्देश दिया जाता है।

2. नियतता सत्यापन (Determinism Verification)

AI फंक्शन्स के बेंचमार्किंग में एक महत्वपूर्ण चुनौती निष्पादन नियतता (execution determinism) है, क्योंकि LLM आउटपुट जीरो टेम्परेचर पर भी मामूली विसंगतियां प्रदर्शित कर सकते हैं। इसे संबोधित करने के लिए:

• बहु-पास सत्यापन (Multi-Pass Verification): प्रत्येक कैंडिडेट इंस्टेंस चार निष्पादन चरणों (कुल $\ge$35 निष्पादन) से गुजरता है। एक सत्यापन एजेंट SQL, निर्देशों, या मूल्यांकन कॉन्फ़िगरेशन को समायोजित करके असंगत परिणामों वाले इंस्टेंस की मरम्मत करता है।
• सामयिक स्थिरता (Temporal Stability): जीवित बचे हुए इंस्टेंस का अंतिम स्थिरता चेक किया जाता है जिसमें तीन अलग-अलग समय अंतराल के दौरान 30 निष्पादन शामिल हैं। जो इंस्टेंस इन अंतरालों के बीच असंगत परिणाम देते हैं, उन्हें हटा दिया जाता है।
• अंतिम डेटासेट: यह प्रक्रिया 125 वास्तविक दुनिया के डेटाबेस में 465 सत्यापित इंस्टेंस प्रदान करती है।

3. मूल्यांकन प्रोटोकॉल

• मेट्रिक: निष्पादन सटीकता (Execution Accuracy - EX)। पारंपरिक बेंचमार्क के विपरीत जहाँ गोल्ड परिणाम पूर्व-निर्धारित और स्थिर होते हैं, Spider 2.0-AIFunc के लिए गोल्ड SQL ($S_n$) और प्रेडिक्टेड SQL ($\hat{S}_n$) दोनों को उसी समय अंतराल (time window) के भीतर निष्पादित करना आवश्यक है ताकि यह सुनिश्चित हो सके कि उन्हें एक ही अंतर्निहित मॉडल स्टेट के विरुद्ध आंका गया है।
• तुलना तर्क: परिणामों की तुलना कॉलम-सबसेट मिलान का उपयोग करके की जाती है (गोल्ड कॉलम प्रेडिक्टेड परिणामों में दिखने चाहिए; प्रेडिक्टेड कॉलम में अतिरिक्त कॉलम हो सकते हैं)।
• फ्रेमवर्क्स: मॉडल्स का मूल्यांकन Spider-Agent फ्रेमवर्क का उपयोग करके किया जाता है जिसमें एक न्यूनतम टूल सेट (स्कीमा अन्वेषण, SQL निष्पादन और कार्य समाप्ति के लिए bash) शामिल है। सेटअप में Snowflake Cortex AI फंक्शन्स के लिए संदर्भ दस्तावेज़ शामिल हैं।

प्रमुख योगदान

1. Spider 2.0-AIFunc बेंचमार्क: AI-नेटिव Text-to-SQL के लिए पहला बेंचमार्क, जो 465 सत्यापित इंस्टेंस, 125 डेटाबेस और छह प्रकार के AI फंक्शन्स (Classification, Filtering, Sentiment, Similarity, Extraction, Aggregation) को कवर करता है।
2. एजेंट-आधारित निर्माण पाइपलाइन: एक नवीन, स्वचालित पाइपलाइन जो मौजूदा एंटरप्राइज Text-to-SQL कार्यों को AI-नेटिव संस्करणों में बदलती है और साथ ही निर्देशों को परिष्कृत करती है और निष्पादन नियतता को सत्यापित करती है।
3. AI-नेटिव SQL का अनुभवजन्य विश्लेषण: 10 अत्याधुनिक मॉडल्स (5 प्रोप्राइटरी, 5 ओपन-सोर्स) और 3 एजेंट फ्रेमवर्क्स का एक व्यापक मूल्यांकन, जो विशिष्ट विफलता मोड और इस नए परिवेश में पारंपरिक Text-to-SQL रणनीतियों की सीमाओं को प्रकट करता है।

परिणाम

Spider 2.0-AIFunc पर 10 मॉडल्स का मूल्यांकन निम्नलिखित निष्कर्ष देता है:

• प्रोप्राइटरी बनाम ओपन-सोर्स अंतर: प्रोप्राइटरी मॉडल्स, ओपन-सोर्स मॉडल्स की तुलना में काफी बेहतर प्रदर्शन करते हैं।
  • शीर्ष प्रोप्राइटरी: Claude Opus 4.6 (70.3%), Claude Sonnet 4.6 (69.0%), और Gemini 3.1 Pro (67.1%)।
  • शीर्ष ओपन-सोर्स: Kimi K2.5 (58.1%)।
  • यह अंतर मुख्य रूप से प्रेडिकेट स्पेसिफिकेशन (predicate specification), स्कीमा ग्राउंडिंग (schema grounding), और AI फंक्शन पैरामीटराइजेशन में त्रुटियों के कारण है।
• निष्पादन सफलता: अधिकांश मॉडल्स उच्च "Exec." दर (90–99%) प्राप्त करते हैं, जो यह दर्शाता है कि वे बिना किसी त्रुटि के चलने वाला सिंटैक्टिक रूप से वैध AI-नेटिव SQL उत्पन्न कर सकते हैं। प्रदर्शन का अंतर अर्थपूर्ण शुद्धता (semantic correctness) में निहित है।
• एजेंट फ्रेमवर्क हस्तांतरणीयता (Transferability): पारंपरिक Text-to-SQL चुनौतियों (जैसे स्कीमा रिट्रीवल, टेबल सिलेक्शन) के लिए डिज़ाइन किए गए एजेंट फ्रेमवर्क, AI-नेटिव SQL के लिए प्रभावी रूप से हस्तांतरित नहीं होते हैं।
  • जटिल फ्रेमवर्क्स (AutoLink, ReFoRCE, DSR-SQL) ने उसी बैकबोन मॉडल (Claude Sonnet 4.6) का उपयोग करते समय एक न्यूनतम Spider-Agent सेटअप के प्रदर्शन की बराबरी तो की, लेकिन उससे अधिक नहीं किया।
  • यह सुझाव देता है कि पारंपरिक SQL स्कैफोल्डिंग के लिए रणनीतियाँ, AI फंक्शन के उपयोग के संबंध में सटीक अर्थपूर्ण निर्णय लेने की क्षमता की तुलना में कम महत्वपूर्ण हैं (जैसे सही पैरामीटराइजेशन, फ़िल्टरिंग ऑर्डर)।
• इंटरैक्शन व्यवहार: ओपन-सोर्स मॉडल्स को सही परिणाम तक पहुँचने के लिए काफी अधिक इंटरैक्शन राउंड (19–30 बनाम प्रोप्राइटरी के लिए 10–12) और अधिक SQL निष्पादन प्रयासों की आवश्यकता होती है, और वे अक्सर सही ढंग से समाप्त होने में विफल रहते हैं।

महत्व और दावे

पेपर का दावा है कि Spider 2.0-AIFunc, Text-to-SQL मूल्यांकन में एक आवश्यक विकास का प्रतिनिधित्व करता है, जो विशुद्ध रूप से संरचित डेटा हेरफेर से AI-नेटिव वर्कफ़्लो की ओर बढ़ता है जो सीधे SQL में अर्थपूर्ण ऑपरेशन्स को एकीकृत करते हैं।

लेखक इस बात पर जोर देते हैं कि:

1. वर्तमान बेंचमार्क अपर्याप्त हैं: मौजूदा बेंचमार्क एंटरप्राइज डेटा पाइपलाइनों में LLM क्षमताओं को एकीकृत करने की जटिलता को पकड़ने में विफल रहते हैं।
2. नियतता (Determinism) महत्वपूर्ण है: सत्यापन प्रोटोकॉल यह रेखांकित करता है कि AI फंक्शन्स के बेंचमार्किंग के लिए LLM आउटपुट के स्वाभाविक गैर-नियत स्वभाव के कारण कठोर स्थिरता जांच की आवश्यकता होती है, भले ही वे नियंत्रित सेटिंग्स में हों।
3. रणनीति में बदलाव: जटिल एजेंट फ्रेमवर्क्स के न्यूनतम सेटअप से बेहतर प्रदर्शन करने में विफल होने से पता चलता है कि AI-नेटिव SQL में प्राथमिक बाधा स्कीमा रिट्रीवल या डिकम्पोजिशन नहीं है, बल्कि AI फंक्शन्स का सटीक स्पेसिफिकेशन और पैरामीटराइजेशन है। जैसे-जैसे मॉडल्स में सुधार होता है, पारंपरिक SQL घटकों के लिए विस्तृत स्कैफोल्डिंग का मूल्य सटीक अर्थपूर्ण फंक्शन इनवोकेशन की आवश्यकता के सापेक्ष कम होता जाता है।

यह कार्य उन मॉडल्स के मूल्यांकन और सुधार के लिए एक आधारभूत कदम के रूप में कार्य करता है जो "AI-नेटिव" डेटा विश्लेषण वर्कफ़्लो बनाने में सक्षम हैं, एक ऐसी क्षमता जिसकी एंटरप्राइज डेटा प्लेटफॉर्म्स द्वारा तेजी से आवश्यकता बढ़ रही है।