💬 NLP

SPENCE: A Syntactic Probe for Detecting Contamination in NL2SQL Benchmarks

Het artikel introduceert SPENCE, een syntactisch proefkader dat aantoont dat oudere NL2SQL-benchmarks zoals Spider waarschijnlijk verontreinigd zijn door trainingdata, terwijl de nieuwere BIRD-dataset als schoon wordt beschouwd.

Oorspronkelijke auteurs: Mohammadtaher Safarzadeh, Hitesh Laxmichand Patel, Afshin Orojlooyjadid, Graham Horwood, Dan Roth

Gepubliceerd 2026-04-21

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Mohammadtaher Safarzadeh, Hitesh Laxmichand Patel, Afshin Orojlooyjadid, Graham Horwood, Dan Roth

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

🕵️‍♂️ De Grote Vraag: Is de AI echt slim, of heeft ze gewoon geleerd?

Stel je voor dat je een student (een kunstmatige intelligentie of AI) wilt testen op een wiskundetoets. De student haalt een 10. Dat is fantastisch! Maar wat als je ontdekt dat de student de antwoorden van de toets al uit zijn hoofd heeft geleerd voordat hij de examenzaal binnenkwam? Dan is die 10 niet echt een teken van slimheid, maar van plagiaat.

In de wereld van AI noemen we dit "contaminatie" (vervuiling). De AI heeft tijdens haar training per ongeluk de antwoorden op de testvragen gezien.

🧪 De Uitvinding: SPENCE (De Taal-Detective)

De auteurs van dit paper hebben een nieuwe manier bedacht om te checken of AI-modellen echt begrijpen wat ze doen, of dat ze alleen maar de exacte zinnen uit hun geheugen halen. Ze noemen hun methode SPENCE.

Stel je voor dat SPENCE een taaldetective is die een trucje gebruikt:

Ze neemt een originele vraag (bijvoorbeeld: "Hoeveel zangers zijn ouder dan 20?").
Ze laat de AI dezelfde vraag stellen, maar dan in 10 verschillende versies die steeds moeilijker te herkennen zijn.
- Versie 1: "Hoeveel zangers zijn er ouder dan 20?" (Nog heel erg hetzelfde).
- Versie 5: "Welke zangers hebben een leeftijd boven de twintig?" (Iets anders geformuleerd).
- Versie 10: "Geef me een lijst van alle zangers die niet jonger zijn dan twintig." (Heel anders geformuleerd, maar betekent hetzelfde).

📉 Het Experiment: De "Vallei van Vergetelheid"

De detective vraagt de AI om voor al deze 10 versies een antwoord te geven.

Als de AI echt slim is: Dan maakt het haar niet uit hoe de vraag is gesteld. Ze begrijpt de bedoeling en geeft in alle 10 de gevallen het juiste antwoord. De lijn op het grafiekje blijft recht.
Als de AI alleen maar heeft geleerd: Dan gaat het mis zodra de vraag net iets anders klinkt dan wat ze in haar geheugen heeft staan. Ze haalt de 100% score bij versie 1, maar bij versie 10 zakt ze dramatisch in. De lijn op het grafiekje daalt steil naar beneden.

📅 De Grote Ontdekking: Oud vs. Nieuw

De auteurs hebben dit getest op vier bekende "toetsen" (datasets) voor AI's die SQL (een programmeertaal voor databases) moeten schrijven:

Spider (2018)
SParC (2019)
CoSQL (2019)
BIRD (2023)

Het resultaat was verrassend duidelijk:

De Oude Toetsen (Spider, SParC, CoSQL): Hier zagen ze de steile daling. De AI's haalden hoge scores op de originele vragen, maar faalden zodra de vragen net iets anders werden geformuleerd.
- Analogie: Het is alsof een student die de antwoorden van de toets van 2018 uit zijn hoofd heeft geleerd, faalt zodra de leraar de vraag net iets anders op het bord schrijft. Dit betekent dat deze oude benchmarks waarschijnlijk "vervuild" zijn; de AI's hebben ze al gezien.
De Nieuwe Toets (BIRD): Hier bleef de lijn vlak. De AI's presteerden even goed op de originele vragen als op de moeilijkste, anders geformuleerde versies.
- Analogie: Dit is een student die de stof écht heeft begrepen. Het maakt haar niet uit hoe de vraag is gesteld; ze weet het antwoord. Omdat BIRD pas in 2023 is uitgebracht, is het waarschijnlijk nog niet "gelekt" in de training van de AI's.

💡 Waarom is dit belangrijk?

Vroeger keken we alleen naar de eindcijfers op de leaderboard. "Kijk, deze AI haalt 90% op Spider!" 🎉
Maar met SPENCE zien we nu: "Wacht even, die 90% is nep. Als je de vraag net iets verandert, zakt hij naar 70%."

Dit paper zegt eigenlijk: "Stop met blind vertrouwen op oude toetsen. Gebruik deze nieuwe 'taal-detective' om te zien of een AI echt slim is, of dat ze alleen maar de antwoorden heeft uit haar hoofd geleerd."

🏁 Conclusie in één zin

SPENCE is een slimme test die laat zien dat veel AI's die goed scoren op oude databanken eigenlijk alleen maar het "plakkaat" hebben geleerd, terwijl ze op de nieuwste, frisse databanken (zoals BIRD) pas echt laten zien dat ze het begrijpen.

1. Het Probleem

Grote Taalmodellen (LLMs) hebben indrukwekkende resultaten geboekt op benchmarks voor het vertalen van natuurlijke taal naar SQL (NL2SQL). Er is echter een groeiende bezorgdheid dat deze gerapporteerde nauwkeurigheden kunstmatig zijn opgeblazen door data-contaminatie. Dit betekent dat modellen de testvragen of structureel vergelijkbare patronen hebben gezien tijdens hun training, in plaats van echt te generaliseren.

Bestaande methoden om contaminatie te detecteren (zoals string-overlap of n-gram matching) zijn vaak onvoldoende, omdat ze geen onderscheid maken tussen oppervlakkige memorisatie en echte semantische begrip. Het paper stelt dat een model dat is "vervuild" door een benchmark, extreem goed presteert op de originele vragen, maar zijn prestaties drastisch laat dalen zodra de syntactische structuur van de vraag lichtjes wordt gewijzigd, terwijl de betekenis gelijk blijft.

2. Methodologie: SPENCE

De auteurs introduceren SPENCE (Syntactic Probing and Evaluation of NL2SQL Contamination Effects), een gecontroleerd raamwerk om contaminatie te detecteren en te kwantificeren. Het proces verloopt als volgt:

Data Selectie: Het onderzoek focust op vier populaire NL2SQL-benchmarks met verschillende release-data:
- Spider (september 2018)
- SParC (juni 2019)
- CoSQL (oktober 2019)
- BIRD (mei 2023)
Paraphrasing (Herschrijven): Voor elke natuurlijke taal-vraag (NL-query) in de development sets worden 10 syntactische varianten gegenereerd met behulp van een LLM (GPT-5). De originele SQL-query en het databaseschema worden als context meegegeven om te garanderen dat de betekenis behouden blijft.
Syntactische Rangschikking: De gegenereerde varianten worden gesorteerd op Tree Edit Distance (TED). TED meet het minimale aantal bewerkingen (invoegen, verwijderen, vervangen van knopen in een afhankelijkheidsboom) dat nodig is om de originele zin in de herschreven zin om te zetten.
- Rank 1: Zeer dicht bij de originele syntaxis.
- Rank 10: Syntactisch zeer verschillend, maar semantisch equivalent.
Filtering: Varianties worden gefilterd op basis van cosine-similariteit (embeddings) en handmatige inspectie om te zorgen dat ze semantisch equivalent blijven.
Evaluatie: De prestaties van diverse LLMs (o.a. GPT-4o-mini, LLaMA-3.1/3.3, O3-mini) worden getest op zowel de originele vragen als de herschreven varianten. De uitvoeringsnauwkeurigheid (execution accuracy) wordt vergeleken.
Statistische Analyse: De auteurs berekenen Kendall's $\tau$ correlatie tussen de syntactische rang (rank) en de verandering in nauwkeurigheid ( $\Delta$ Accuracy). Een sterk negatieve correlatie suggereert dat het model afhankelijk is van de specifieke syntaxis van de trainingsdata (contaminatie).

3. Belangrijkste Bijdragen

SPENCE Framework: Een reproduceerbare, model-onafhankelijke methode om contaminatie te detecteren door gecontroleerde syntactische verstoringen toe te passen.
Empirisch Bewijs van Contaminatie: Het paper levert kwantitatief bewijs dat oudere benchmarks (Spider, SParC, CoSQL) sterk gevoelig zijn voor syntactische variatie, wat wijst op memorisatie.
Tijdsgradient: Er wordt een duidelijke correlatie aangetoond tussen de release-datum van een benchmark en de mate van contaminatie. Nieuwere benchmarks (BIRD) tonen veel minder gevoeligheid voor syntactische veranderingen.
Validatie van Alternatieve Hypothesen: De auteurs sluiten uit dat de resultaten worden veroorzaakt door:
- De lengte van de vragen (lengte-distributies zijn vergelijkbaar).
- Lexicale overlap (het effect blijft bestaan zelfs bij lage Jaccard-overlap).
- Schema-linking problemen (de sleutelwoorden voor het koppelen aan tabellen blijven behouden in de herschreven vragen).
- De keuze van de generator (het effect blijft bestaan bij gebruik van een andere LLM voor het genereren van parafrases).

4. Resultaten

De resultaten tonen een scherp contrast tussen oude en nieuwe benchmarks:

Oudere Benchmarks (Spider, SParC, CoSQL):
- Alle geteste modellen vertonen een sterke negatieve correlatie ( $\tau$ tussen -0.6 en -0.95) tussen syntactische rang en nauwkeurigheid.
- Zodra de syntactische afstand toeneemt (naar rank 8-10), daalt de uitvoeringsnauwkeurigheid met 10-15 procentpunten.
- Dit suggereert dat deze modellen de specifieke formuleringen van de trainingsdata hebben gememoriseerd en falen bij variatie.
Nieuwere Benchmark (BIRD):
- De prestaties blijven stabiel over alle syntactische rangen heen.
- De Kendall's $\tau$ waarden liggen dicht bij nul (vaak niet significant verschillend van nul).
- Dit wijst erop dat BIRD minder vatbaar is voor contaminatie en een betrouwbaarder maatstaf is voor echte generalisatie.

Figuur 2 in het paper visualiseert dit duidelijk: de balken voor Spider dalen steil naar beneden naarmate de rang toeneemt, terwijl de balken voor BIRD rond de nul-lijn blijven.

5. Betekenis en Conclusie

Het paper concludeert dat de hoge scores op traditionele NL2SQL-benchmarks zoals Spider mogelijk niet het echte vermogen van LLMs tot redeneren en generaliseren weergeven, maar eerder een indicatie zijn van memorisatie van benchmark-artefacten.

Kritische Evaluatie: SPENCE biedt een noodzakelijke aanvulling op standaard leaderboard-ranglijsten. Het stelt onderzoekers en ontwikkelaars in staat om te onderscheiden of een model echt begrijpt hoe SQL werkt, of dat het alleen de "woordenboeken" van de testset heeft geleerd.
Toekomstige Richting: De auteurs pleiten voor het gebruik van syntactische probe-evaluaties als standaardpraktijk. Ze suggereren ook om SPENCE uit te breiden naar andere domeinen (zoals text-to-code) en om aanvullende probes op semantisch niveau toe te voegen.

Kortom, SPENCE onthult dat de "generalisatie" van veel huidige LLMs op NL2SQL-taken fragiel is en sterk afhankelijk van de syntactische vorm van de input, wat een waarschuwing is voor de interpretatie van huidige benchmark-resultaten.