💬 NLP

Spider 2.0-AIFunc: Extending Real-World Text-to-SQL to AI-Native SQL Workflows

Dit artikel introduceert Spider 2.0-AIFunc, een nieuwe benchmark van 465 geverifieerde instanties verspreid over 125 real-world databases, ontworpen om het vermogen van grote taalmodellen om AI-native SQL-queries te genereren op het Snowflake-platform te evalueren, waarbij wordt onthuld dat hoewel top propriëtaire modellen een nauwkeurigheid van 67-70% bereiken, huidige agent-frameworks die geoptimaliseerd zijn voor traditionele text-to-SQL-taken niet effectief overdraagbaar zijn naar deze opkomende setting.

Oorspronkelijke auteurs: Tianyang Liu, Canwen Xu, Fangyu Lei, Nikki Lijing Kuang, Jixuan Chen, Tao Yu, Julian McAuley, Zhewei Yao, Yuxiong He

Gepubliceerd 2026-07-08

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Tianyang Liu, Canwen Xu, Fangyu Lei, Nikki Lijing Kuang, Jixuan Chen, Tao Yu, Julian McAuley, Zhewei Yao, Yuxiong He

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een enorme, hoogtechnologische bibliotheek hebt (een clouddatabase) waar mensen alles opslaan, van klantbeoordelingen tot verkoopcijfers. Jarenlang vereiste het stellen van vragen over deze bibliotheek een zeer strikte, robotische taal genaamd SQL. Het was alsof je een complex gerecht in een restaurant probeerde te bestellen door alleen in een code van cijfers en symbolen te spreken.

Onlangs hebben de eigenaren van de bibliotheek (zoals Snowflake) een nieuwe functie toegevoegd: AI-functies. Denk aan deze als "slimme assistenten" die direct in het bestelsysteem zijn ingebouwd. Nu kun je, in plaats van alleen te vragen om "alle rode appels", het systeem vragen om "de beoordelingen van deze appels te lezen en mij te vertellen of mensen blij of boos zijn", of "zoeken naar beoordelingen die lijken op deze". Dit verandert de database in een AI-native systeem, waarbij je standaard datacommando's kunt combineren met slim, taalgebaseerd denken in één enkele zin.

Het Probleem: De Oude Kaart Werkt Niet Meer

De onderzoekers merkten op dat hoewel deze nieuwe "slimme assistenten" krachtig zijn, de tests die werden gebruikt om computerbreinen (AI-modellen) te trainen en te controleren, verouderd waren. De oude tests controleerden alleen of de computer de strikte, robotische taal kon spreken. Ze controleerden niet of de computer de nieuwe "slimme assistenten" kon gebruiken. Het was alsojd een bestuurder testte op een rechte, lege weg, terwijl de echte wereld nu verkeer, voetgangers en wegwerkzaamheden heeft.

De Oplossing: Spider 2.0-AIFunc

Om dit op te lossen, creëerde het team een nieuwe, moeilijkere rijtest genaamd Spider 2.0-AIFunc.

De Transformatie: Ze namen 513 bestaande "rijtests" (vragen over data) en schreven deze opnieuw. Ze dwongen de vragen om de nieuwe "slimme assistenten" te vereisen.
- Oude Vraag: "Toon alle negatieve beoordelingen." (Vereist dat een mens ze eerst leest).
- Nieuwe Vraag: "Toon alle beoordelingen waar de AI-assistent zegt dat het sentiment negatief is." (De AI doet het lezen binnen de database).
De Bouwploeg: Ze gebruikten een team van AI-agenten (digitale werkers) om deze vragen te herschrijven. Deze agenten fungeerden als redacteuren en monteurs:
- Ze controleerden of de instructies duidelijk waren (bijv. "Wat bedoel je precies met 'negatief'?").
- Ze zorgden ervoor dat de "slimme assistent" over alle juiste instrumenten (parameters) beschikte om de klus te klaren.
- Ze draalden de tests herhaaldelijk om er zeker van te zijn dat de antwoorden stabiel waren en niet veranderden alleen omdat de AI-assistent een slechte dag had.
Het Eindexamen: Het resultaat is een benchmark van 465 geverifieerde vragen verspreid over 125 verschillende databases. Het dekt zes soorten "slimme assistent"-taken, zoals het sorteren van beoordelingen op emotie, het vinden van vergelijkbare tekst, of het extraheren van specifieke details uit een paragraaf.

De Resultaten: Wie Is Er Geslaagd?

De onderzoekers lieten 10 verschillende AI-modellen (de "bestuurders") dit nieuwe examen afleggen om te zien hoe goed ze deze complexe, AI-gestuurde queries konden schrijven.

De Topbestuurders (Proprietary Modellen): De grote, gesloten modellen (zoals Claude Opus en Gemini) presteerden het best. Ze kregen ongeveer 67% tot 70% van de antwoorden goed. Ze waren goed in het uitzoeken welke "slimme assistent" te gebruiken en hoe de juiste vraag aan deze assistent gesteld moest worden.
De Open-Source Bestuurders: De beste open-source modellen (zoals Kimi K2.5) scoorden rond de 58%. Ze waren redelijk, maar maakten meer fouten.
De Kloof: De belangrijkste reden dat de open-source modellen moeite hadden, was niet dat ze de basiscode niet konden schrijven. Ze struikelden over de "slimme" onderdelen:
- Misverstanden over de regels: Het kiezen van de verkeerde tabel of kolom.
- Slechte instructies: Vergeten de AI-assistent precies te vertellen waar hij naar moet zoeken (bijv. niet alle mogbare categorieën vermelden voor een classificatietaak).
- Logische fouten: Het door elkaar halen van de volgorde van bewerkingen (bijv. data filteren na het vragen aan de AI in plaats van ervóór).

De Verrassende Ontdekking: Minder is Meer

De onderzoekers testten ook of het gebruik van complexe "agent frameworks" (uitgebreide toolkits die de AI helpen bij het plannen van zijn stappen) hielp.

De Bevinding: Verrassend genoeg hielpen de meest complexe toolkits niet veel. Sterker nog, een minimale opstelling — slechts een simpele tool om naar de database te kijken en een tool om de query uit te voeren — presteerde net zo goed als, of zelfs beter dan, de fancy frameworks.
De Metafoor: Het is alsof je een meesterkok een klein, simpel mes geeft in plaats van een enorme, ingewikkelde Zwitserse zakmes. Voor dit specifieke soort koken (AI-Native SQL) had de meesterkok de extra gadgets niet nodig; hij moest alleen weten hoe hij het mes moest gebruiken. De complexe frameworks die ontworpen zijn voor de ouderwetse data-taken, stonden in de weg of voegden geen waarde toe voor deze nieuwe, slimme taken.

Samenvatting

Dit paper introduceert een nieuwe, realistische test voor AI-modellen die controleert of ze moderne "AI-gestuurde" databasefuncties kunnen gebruiken. Het toonde aan dat hoewel de beste AI-modellen goed worden, er nog steeds een kloof bestaat tussen de topmodellen en de open-source modellen. De sleutel tot succes is niet het gebruik van complexere planningsinstrumenten, maar het exact goed krijgen van de basisinstructies en parameters voor de AI-functies.

Technische Samenvatting: Spider 2.0-AIFunc

Probleemstelling

Grote cloudgegevensplatforms (bijv. Snowflake, BigQuery, Databricks) zijn begonnen met het blootstellen van Large Language Model (LLM) capaciteiten als native SQL-functies. Deze "AI-native" functies stellen analisten in staat om semantische operaties uit te voeren—zoals classificatie, sentimentanalyse, gelijkeniszoekopdrachten en informatie-extractie—direct binnen standaard SQL-queries. Echter, bestaande Text-to-SQL benchmarks (bijv. Spider 1.0, Spider 2.0, BIRD) evalueren alleen conventionele SQL over gestructureerde data. Ze geven geen signaal over het vermogen van een model om AI-native SQL te genereren, wat niet alleen de constructie van standaard queries vereist, maar ook de correcte selectie, parametrisering en integratie van AI-functieaanroepen.

Methodologie

De auteurs introduceren Spider 2.0-AIFunc, een benchmark ontworpen om Text-to-SQL-capaciteiten te evalueren in de context van AI-native workflows. De constructie- en evaluatiemethodologie omvat drie kerncomponenten:

1. Benchmark Constructie via Agent Pipeline

De benchmark is afgeleid van 513 instanties van de Spider2-Snow dataset (een enterprise-niveau subset van Spider 2.0 gehost op Snowflake). De auteurs gebruiken een herbruikbare, agent-gebaseerde pipeline (gebruikmakend van Claude Opus 4.5) om deze traditionele taken te transformeren naar AI-native versies:

Transformatie: Agents herschrijven de doel-SQL om Snowflake Cortex AI-functies te incorporeren en verfijnen tegelijkertijd de natuurlijke taalinstructies om de beoogde AI-toepassing expliciet te maken.
Ambiguïteitsreductie: Voor taken met meerdere geldige gold SQL's worden instructies verfijnd om de exacte AI-functie en parameters te specificeren (bijv. volledige sets van klasse-labels voor classificatie) om een enkel correct antwoord te garanderen.
Tweefasenproces:
- Hoofdfase: Agents selecteren AI-functies vrij, wat resulteert in een distributie die gedomineerd wordt door AI_CLASSIFY, AI_FILTER en AI_SIMILARITY.
- Diversiteitsfase: Agents krijgen de instructie om ondervertegenwoordigde functies te prioriteren (AI_SENTIMENT, AI_EXTRACT, AI_AGG) om brede dekking te garanderen van de zes ondersteunde AI-functietypes.

2. Determinisme Verificatie

Een kritieke uitdaging bij het benchen van AI-functies is de executie-determinisme, aangezien LLM-outputs zelfs bij een zero temperature kleine inconsistenties kunnen vertonen. Om dit aan te pakken:

Multi-Pass Verificatie: Elke kandidaat-instantie ondergaat vier executie-passes (totaal $\ge$ 35 executies). Een verificatie-agent repareert instanties met inconsistente resultaten door de SQL, instructies of evaluatieconfiguraties aan te passen.
Temporele Stabiliteit: Overlevende instanties ondergaan een laatste stabiliteitscontrole bestaande uit 30 executies over drie tijdelijk gescheiden tijdvensters. Instanties die inconsistente resultaten produceren over deze vensters worden verwijderd.
Definitieve Dataset: Het proces levert 465 geverifieerde instanties op over 125 real-world databases.

3. Evaluatieprotocol

Metriek: Executie-accuratesse (EX). In tegen tegenstelling tot traditionele benchmarks waar gold-resultaten vooraf berekend en statisch zijn, vereist Spider 2.0-AIFunc dat zowel de gold SQL ( $S_n$ ) als de voorspelde SQL ( $\hat{S}_n$ ) binnen hetzelfde tijdvenster worden uitgevoerd om te garanderen dat ze tegen dezelfde onderliggende modelstatus worden geëvalueerd.
Vergelijkingslogica: Resultaten worden vergeleken met behulp van kolom-subset matching (gold kolommen moeten in voorspelde resultaten voorkomen; voorspelde kolommen mogen extra kolommen bevatten).
Frameworks: Modellen worden geëvalueerd met het Spider-Agent framework met een minimale toolset (bash voor schema-exploratie, SQL-executie en taakterminatie). De setup bevat referentiedocumentatie voor Snowflake Cortex AI-functies.

Belangrijkste Bijdragen

Spider 2.0-AIFunc Benchmark: De eerste benchmark specifiek voor AI-native Text-to-SQL, die 465 geverifieerde instanties, 125 databases en zes typen AI-functies dekt (Classificatie, Filtering, Sentiment, Gelijkenis, Extractie, Aggregatie).
Agent-gebaseerde Constructie Pipeline: Een nieuwe, geautomatiseerde pipeline die bestaande enterprise Text-to-SQL taken transformeert naar AI-native versies, terwijl tegelijkertijd instructies worden verfijnd en de executie-determinisme wordt geverifieerd.
Empirische Analyse van AI-native SQL: Een uitgebreide evaluatie van 10 state-of-the-art modellen (5 propriëtair, 5 open-source) en 3 agent-frameworks, die specifieke foutmodi en de beperkingen van traditionele Text-to-SQL strategieën in deze nieuwe setting onthult.

Resultaten

De evaluatie van 10 modellen op Spider 2.0-AIFunc levert de volgende bevindingen op:

Propriëtair vs. Open-Source Gat: Propriëtaire modellen presteren aanzienlijk beter dan open-source modellen.
- Top Propriëtair: Claude Opus 4.6 (70.3%), Claude Sonnet 4.6 (69.0%) en Gemini 3.1 Pro (67.1%).
- Top Open-Source: Kimi K2.5 (58.1%).
- Het gat wordt primair gedreven door fouten in predicaat-specificatie, schema grounding en AI-functie parametrisering.
Executie Succes: De meeste modellen bereiken een hoge "Exec." rate (90–99%), wat aangeeft dat ze syntactisch geldige AI-native SQL kunnen genereren die zonder fouten draait. Het prestatieverschil ligt in de semantische correctheid.
Agent Framework Transferbaarheid: Agent-frameworks ontworpen voor traditionele Text-to-SQL uitdagingen (bijv. schema retrieval, tabelselectie) verplaatsen zich niet effectief naar AI-native SQL.
- Complexe frameworks (AutoLink, ReFoRCE, DSR-SQL) kwamen overeen met maar overtroffen de prestaties van een minimale Spider-Agent setup niet wanneer ze dezelfde backbone model (Claude Sonnet 4.6) gebruikten.
- Dit suggereert dat strategieën voor traditionele SQL-scaffolding minder kritiek zijn dan het vermogen om precieze semantische beslissingen te nemen met betrekking tot AI-functiegebruik (bijv. correcte parametrisering, volgorde van filtering).
Interactiegedrag: Open-source modellen vereisen aanzienlijk meer interactierondes (19–30 vs. 10–12 voor propriëtair) en meer SQL-executiepogingen om een correct resultaat te bereiken, en falen vaak om correct te termineren.

Betekenis en Claims

Het papier claimt dat Spider 2.0-AIFunc een noodzakelijke evolutie vormt in Text-to-SQL evaluatie, waarbij de focus verschuift van louter gestructureerde datamanipulatie naar AI-native workflows die semantische operaties direct in SQL integreren.

De auteurs benadrukken dat:

Huidige Benchmarks Onvoldoende Zijn: Bestaande benchmarks slagen er niet in de complexiteit van het integreren van LLM-capaciteiten in enterprise datapijplijnen te vatten.
Determinisme Kritiek Is: Het verificatieprotocol benadrukt dat het benchen van AI-functies een rigoureuze stabiliteitscontrole vereist vanwege de inherente niet-determinisme van LLM-outputs, zelfs in gecontroleerde omgevingen.
Strategische Verschuiving: Het falen van complexe agent-frameworks om de prestaties van minimale setups te overtreffen, suggereert dat de primaire bottleneck in AI-native SQL niet schema retrieval of decompositie is, maar de precieze specificatie en parametrisering van AI-functies. Naarmate modellen verbeteren, neemt de waarde van uitgebreide scaffolding voor traditionele SQL-componenten af ten opzichte van de noodzaak voor nauwkeurige semantische functie-invocatie.

Dit werk dient als een fundamentele stap voor het evalueren en verbeteren van modellen die in staat zijn om "AI-native" data-analyse workflows op te bouwen, een capaciteit die steeds vaker vereist wordt door enterprise dataplatforms.