🤖 AI

Agent-Agnostic Evaluation of SQL Accuracy in Production Text-to-SQL Systems

Dit artikel introduceert STEF, een schema-onafhankelijk evaluatiekader dat continue, productie-natieve monitoring van Text-to-SQL-systemen mogelijk maakt door interpreteerbare nauwkeurigheidscores te genereren op basis van natuurlijke taal-invoer en gegenereerde SQL, zonder dat databaseschema's of ground-truth-query's vereist zijn.

Oorspronkelijke auteurs: Taslim Jamal Arif, Kuldeep Singh

Gepubliceerd 2026-05-01

📖 5 min leestijd🧠 Diepgaand

CC0 1.0

Oorspronkelijke auteurs: Taslim Jamal Arif, Kuldeep Singh

Oorspronkelijk artikel vrijgegeven aan het publieke domein onder CC0 1.0 (http://creativecommons.org/publicdomain/zero/1.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een zeer slimme robotassistent hebt die "Menselijk" spreekt (zoals "Toon mij de verkopen van vorig jaar") en dit vertaalt naar "Database-taal" (SQL-code) om informatie uit de administratie van een bedrijf te halen.

Het grote probleem dat dit artikel aanpakt is: Hoe weet je of de robot een goede prestatie levert wanneer hij voor echte mensen in een echt bedrijf werkt?

De Oude Manier: Het "Antwoordenboekje"-Probleem

In het verleden gebruikten onderzoekers om deze robots te testen een methode die lijkt op het nakijken van een wiskundetoets met een antwoordboekje.

Het Scenario: Je geeft de robot een vraag, hij geeft een antwoord, en je vergelijkt dit met een "Gouden Standaard"-antwoord dat door een menselijk expert is geschreven.
De Tekortkoming: In de echte wereld heb je niet voor elke vraag die een klant stelt een antwoordboekje. Bovendien is de database van het bedrijf vaak geheim, veranderlijk of te complex om met het testteam te delen.
Het Resultaat: Zodra de robot in een echt kantoor wordt ingezet, weet niemand of hij na verloop van tijd slechter wordt. Het is als rijden met een kapotte snelheidsmeter; je weet niet of je te hard rijdt totdat je een ongeluk veroorzaakt.

De Nieuwe Oplossing: STEF (De "Slimme Vertaler"-Inspecteur)

De auteurs hebben een nieuw systeem ontwikkeld genaamd STEF (Schema-agnostisch Text-naar-SQL Evaluatiekader). Denk aan STEF als een superintelligente redacteur die niet het originele boek of de database nodig heeft om te controleren of de vertaling goed is.

Hier is hoe STEF werkt, met behulp van eenvoudige analogieën:

1. De "Geen-Referentie"-Regel

STEF heeft geen "Gouden Standaard"-antwoord of de databasekaart nodig. Het kijkt alleen naar drie dingen:

Wat de mens vroeg.
Hoe de robot die vraag intern heeft herschreven.
De code die de robot schreef.
Het is als een vertaler die controleert of een Franse zin zinvol is in het Engels, zonder dat hij de originele Spaanse brontekst hoeft te kennen.

2. De "Deconstructie" (De Soep Uit elkaar Haal)

In plaats van alleen de code letter voor letter te vergelijken (wat lijkt op het controleren of twee zinnen exact dezelfde letters hebben), breekt STEF het verzoek op in ingrediënten:

Waar zoeken we naar? (De kolommen)
Wat tellen we op of bij elkaar? (De wiskunde)
Wat filteren we weg? (Het "toon mij alleen actieve gebruikers"-gedeelte)
Hoe groeperen we het? (Per land, per jaar, etc.)

STEF controleert of de robot de juiste ingrediënten heeft gebruikt. Als de mens vroeg om "Actieve Gebruikers" en de robot vergat "Inactieve" gebruikers weg te filteren, dan ziet STEF het ontbrekende ingrediënt direct.

3. De "Menselijke" Rechter (De LLM)

STEF gebruikt een andere AI (een "Rechter") om naar de ingrediënten te kijken en te beslissen: "Beantwoordt deze code daadwerkelijk de vraag?"

De Zekerheidsscore: De Rechter zegt niet alleen "Ja" of "Nee". Hij zegt: "Ik ben 90% zeker dat dit goed is," of "Ik ben maar 50% zeker."
De Boete: Als de Rechter onzeker is, krijgt de eindscore een kleine boete. Dit voorkomt dat het systeem een perfecte score geeft aan een gok.

4. De "Echte Wereld"-Regels (Normalisatie)

Dit is het slimste deel. In de echte wereld voegen robots soms extra stappen toe die eigenlijk nuttig zijn, niet verkeerd. STEF weet dit.

De "Sorteer"-Regel: Als een robot de resultaten sorteert van hoog naar laag (zelfs als de mens dit niet vroeg), zegt STEF: "Dat is een aardig gebaar, geen fout."
De "Veiligheid"-Regel: Als een robot een limiet toevoegt zoals "Toon mij de top 10.000 resultaten" om te voorkomen dat de computer crasht, zegt STEF: "Goed gedaan, dat is veilig," in plaats van "Fout, je vroeg niet om 10.000."
De "Groep"-Regel: Als de wiskunde het vereist om gegevens te groeperen om zinvol te zijn, accepteert STEF dat, zelfs als de mens niet expliciet zei "groeperen op".

5. De "Bedrijfsaanpassing" (Het Regelboek)

Elk bedrijf is anders. Het ene bedrijf noemt een kolom misschien "Regio", terwijl het andere "Gebied" zegt.
STEF heeft een configureerbaar regelboek. Je kunt STEF vertellen: "Hé, in dit bedrijf betekenen 'Regio' en 'Gebied' hetzelfde," of "Negeer altijd de 'Status'-filter omdat die automatisch wordt toegevoegd." Hierdoor kan STEF zich aanpassen aan elk bedrijf zonder opnieuw geprogrammeerd te hoeven worden.

De Eindscore

STEF geeft een score van 0 tot 100.

90-100: Uitstekend. De robot is klaar voor de prime time.
50-75: Marginaal. De robot gokt te veel; mensen moeten het controleren.
Onder de 50: Slecht. De robot faalt en heeft directe hulp nodig.

Waarom Dit Belangrijk Is

Voor STEF vlogen bedrijven blind met hun AI-assistenten. Ze konden niet zien of de AI langzaam dommer werd of of het gevaarlijke fouten maakte. STEF fungeert als een continu gezondheidsmonitor voor deze AI-agenten. Het stelt bedrijven in staat om problemen op te lossen voordat ze echte zakelijke beslissingen beïnvloeden, allemaal zonder in te kijken in de geheime database of voor elke vraag nieuwe antwoordboekjes te schrijven.

1. Probleemstelling

Het paper adresseert een kritieke kloof in de implementatie van Text-to-SQL (T2SQL) systemen in productieomgevingen. Waar academische benchmarks (zoals Spider, BIRD) vertrouwen op SQL-query's met grondwaarheid (ground-truth) en vaste databaseschema's voor evaluatie, staan real-world productiesystemen voor andere beperkingen:

Geen Grondwaarheid: Gebruikersvragen arriveren dynamisch zonder vooraf geannoteerde "gouden standaard" SQL.
Schema-afhankelijkheid: Productiedatabases zijn vaak propriëtair, multi-tenant of onderhevig aan frequente schema-evolutie, waardoor statische schema-toegang een risico wordt.
Evaluatievacuüm: Zonder referentie-query's of schema-toegang kunnen ontwikkelaars na implementatie geen systematisch nauwkeurigheid monitoren, kwaliteitsachteruitgang detecteren of agent-versies vergelijken. Dit leidt tot "stille kwaliteitserosie" waarbij fouten onopgemerkt blijven.

Bestaande methoden (string matching of uitvoeringsgebaseerde nauwkeurigheid) falen in deze context omdat ze referentie-query's of een live, querybare database-snapshot vereisen, wat in enterprise-omgevingen vaak niet beschikbaar of onpraktisch is.

2. Methodologie: Het STEF-kader

De auteurs stellen STEF (Schema-agnostic Text-to-SQL Evaluation Framework) voor, een productie-natief systeem dat T2SQL-agenten evalueert met uitsluitend natuurlijke taal-invoer en de gegenereerde SQL, zonder databaseschema's of referentie-query's te nodig te hebben.

Het kader werkt via een pijplijn van vijf fasen:

A. Invoerspecificatie

STEF accepteert vier invoeren per query-instantie:

$Q_u$ : De originele gebruikersvraag.
$Q_e$ : De verrijkte/herformuleerde vraag van de agent (voorverwerkingsoutput).
$S$ : De gegenereerde SQL-query.
$R_{app}$ : Een JSON-configuratie voor applicatie-specifieke regels (bijv. kolom-mappings, onschadelijke filters).

B. Semantische Kenmerkextractie & Normalisatie

Het systeem haalt gestructureerde semantische specificaties uit zowel de natuurlijke taal ( $Q_u, Q_e$ ) als de SQL ( $S$ ) onafhankelijk van elkaar.

Dimensies: Het decomponeert query's in Projecties (kolommen), Aggregaties (SUM, AVG), Filters (WHERE-clausules) en Groepering (GROUP BY).
Normalisatie: Om oppervlaktevorm-variaties te hanteren, normaliseert STEF data tijdens extractie:
- Lost SQL-aliassen op naar semantische betekenissen.
- Normaliseert filterwaarden (hoofdletters, witruimte).
- Koppelt natuurlijke taal-termen (bijv. "totaal") aan SQL-functies (bijv. SUM).
- Past applicatie-specifieke kolom-mappings toe vanuit $R_{app}$ .

C. Specificatie-uitlijning & Filterclassificatie

De geëxtraheerde kenmerken worden uitgelijnd om de Filter-uitlijnstatus te bepalen. Het systeem classificeert de uitlijning in vier categorieën:

Volledig Toegepast: Alle vereiste filters aanwezig, geen extra's.
Volledig Toegepast met Extra's: Vereiste filters aanwezig, maar er bestaan extra filters (gecontroleerd tegen "onschadelijke" regels).
Gedeeltelijk Toegepast: Sommige filters ontbreken of zijn onjuist.
Niet Toegepast: Kritieke filters ontbreken.

D. LLM-gebaseerde Semantische Uitspraak

Een LLM-evaluator fungeert als "rechter" om holistische semantische uitlijning te beoordelen die regelgebaseerde logica niet kan vangen (bijv. complexe datumrekenkunde, impliciete metriek-equivalenties).

Uitspraakschaal: De LLM geeft een 4-punts ordinaal cijfer: Correct, Waarschijnlijk Correct, Potentieel Onjuist, Onjuist.
Zekerheidsscore: De LLM levert een zekerheidsscore ( $\gamma \in [0, 1]$ ) om zijn zekerheid te kwantificeren, wat cruciaal is voor het hanteren van variatie in evaluatie.

E. Productie-normalisatieregels

Om false negatives op structureel correct maar idiomatisch verschillend SQL te voorkomen, past STEF vier universele normalisatieregels toe:

Vereiste GROUP BY-inferentie: Als een SELECT aggregaten en niet-aggregaten mixt, wordt de benodigde GROUP BY als correct verondersteld, zelfs als deze niet expliciet is aangevraagd.
Onschadelijke GROUP BY: Groeperen op een kolom die al door een WHERE-clausule tot één enkele waarde is beperkt, wordt genegeerd.
ORDER BY-tolerantie: Standaard sortering (bijv. op aggregatiemetriek aflopend) wordt geaccepteerd als de gebruiker geen sorteervolgorde expliciet heeft aangevraagd.
LIMIT-tolerantie: LIMITs met hoge cardinaliteit (bijv. LIMIT 10000) die als veiligheidsmaatregelen worden gebruikt, worden niet bestraft als top-k-beperkingen tenzij expliciet aangevraagd.

3. Compositieve Scoremechanisme

STEF produceert een enkele interpreteerbare score ( $\Phi$ ) op een 0–100 schaal. De score wordt als volgt berekend:
$\Phi = \frac{B}{10} \times 100 \times \Gamma$
Waarbij:

$B$ (Basiscore): Som van de Filter-uitlijn Score (0–5) en Semantische Uitspraak Score (0–5), plus een Laxiteit Boost (+1) als extra filters als onschadelijk worden bevestigd.
$\Gamma$ (Zekerheidsmultiplier): Een straffactor gebaseerd op de zekerheid van de LLM ( $\gamma$ $γ$ ).
- $\gamma \ge 0.85 \rightarrow \Gamma = 1.0$
- $0.65 \le \gamma < 0.85 \rightarrow \Gamma = 0.8$
- $\gamma < 0.65 \rightarrow \Gamma = 0.5$
- Betekenis: Dit transformeert evaluatie-onzekerheid in een score-signaal, waarbij beoordelingen met lage zekerheid worden gestraft om false positives te voorkomen.

4. Belangrijkste Bijdragen

Schema-agnostische Evaluatie: Het eerste kader om T2SQL-nauwkeurigheid in productie te evalueren zonder databaseschema's, referentie-query's of uitvoeringsinfrastructuur te vereisen.
Verrijkte Vraagvalidatie: Behandelt de interne herformulering van de gebruikersvraag door de agent als een eersteklas signaal voor evaluatie.
Configureerbare Regelinjectie: Maakt het voor ondernemingen mogelijk om implementatie-specifieke logica (kolom-mappings, onschadelijke filters) in te voegen via prompt-templating zonder code-wijzigingen of model-opnieuwtraining.
Productie-robuste Normalisatie: Hanteert expliciet veelvoorkomende productie-SQL-idiomen (GROUP BY-inferentie, standaard ORDER BY, veiligheids-LIMITs) om false negatives te verminderen.
Zekerheid-gekalibreerde Score: Integreert LLM-onzekerheid direct in de uiteindelijke nauwkeurigheidsscore, waardoor een betrouwbaarder metriek voor continue monitoring wordt geboden.

5. Resultaten

Empirische resultaten (Sectie 7) tonen de levensvatbaarheid van het kader aan over drie productie-agenten:

Agent-A: Gemiddelde Score 87.4, P90 Score 96.2, Dekking 98.7%.
Agent-B: Gemiddelde Score 82.1, P90 Score 93.5, Dekking 97.2%.
Agent-C: Gemiddelde Score 91.3, P90 Score 98.1, Dekking 99.1%.
De hoge dekking en scores geven aan dat STEF agent-prestaties effectief kan monitoren en onderscheiden in een live omgeving.

6. Betekenis

Dit werk overbrugt de kloof tussen academisch T2SQL-onderzoek en industriële realiteit. Door de afhankelijkheid van grondwaarheidsdata en statische schema's te verwijderen, stelt STEF het volgende in staat:

Continue Verbetering: Organisaties kunnen nu agentkwaliteit in real-time monitoren en regressie identificeren.
Agent-Vergelijking: Verschillende modelversies of agenten kunnen objectief worden vergeleken op basis van hun outputkwaliteit alleen.
Schaalbaarheid: Het kader is implementeerbaar over heterogene database-technologieën en multi-tenant-omgevingen zonder aanpassing.

Beperkingen: De auteurs merken op dat residuële variatie in LLM-evaluatie blijft bestaan bij grensgevallen en dat diep geneste subquery's of complexe window-functies nog steeds uitdagend blijven, wat een toekomstige richting suggereert naar hybride symbolisch-neurale parsing.