Spider 2.0-AIFunc: Extending Real-World Text-to-SQL to AI-Native SQL Workflows
यह शोध पत्र Spider 2.0-AIFunc को प्रस्तुत करता है, जो 125 वास्तविक दुनिया के डेटाबेस में 465 सत्यापित इंस्टेंस का एक नया बेंचमार्क है जिसे स्नोफ्लेक (Snowflake) प्लेटफॉर्म पर AI-नेटिव SQL क्वेरी उत्पन्न करने की बड़े भाषा मॉडलों (LLMs) की क्षमता का मूल्यांकन करने के लिए डिज़ाइन किया गया है, जो यह प्रकट करता है कि जबकि शीर्ष प्रोप्रायटरी मॉडल 67-70% सटीकता प्राप्त करते हैं, पारंपरिक टेक्स्ट-टू-SQL कार्यों के लिए अनुकूलित वर्तमान एजेंट फ्रेमवर्क इस उभरते परिवेश में प्रभावी रूप से स्थानांतरित नहीं होते हैं।