💬 NLP

SPENCE: A Syntactic Probe for Detecting Contamination in NL2SQL Benchmarks

Die Studie stellt SPENCE vor, ein syntaktisches Probing-Framework zur Erkennung und Quantifizierung von Kontamination in NL2SQL-Benchmarks, das zeigt, dass ältere Datensätze wie Spider eine hohe Wahrscheinlichkeit von Trainingslecks aufweisen, während neuere wie BIRD weitgehend unbeeinflusst sind.

Ursprüngliche Autoren: Mohammadtaher Safarzadeh, Hitesh Laxmichand Patel, Afshin Orojlooyjadid, Graham Horwood, Dan Roth

Veröffentlicht 2026-04-21

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Mohammadtaher Safarzadeh, Hitesh Laxmichand Patel, Afshin Orojlooyjadid, Graham Horwood, Dan Roth

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stell dir vor, du hast einen sehr klugen Schüler, der für eine große Prüfung gelernt hat. Die Lehrer geben ihm einen Test, und er besteht ihn mit einer perfekten Note. Alles sieht toll aus, oder?

Aber was, wenn der Schüler den Test nicht wirklich verstanden hat, sondern einfach nur die genauen Fragen auswendig gelernt hat, die er vorher schon gesehen hat? Oder vielleicht hat er nur gelernt, wie die Fragen klingen, und nicht, wie man sie löst?

Genau das ist das Problem, das die Forscher in diesem Papier mit dem Namen SPENCE untersuchen. Sie wollen herausfinden, ob große KI-Modelle (die "klugen Schüler") wirklich verstehen, wie man aus einer Frage eine Datenbank-Abfrage (SQL) macht, oder ob sie einfach nur die Antworten auswendig gelernt haben, weil sie die Prüfungsfragen schon vorher in ihrem Trainingsmaterial gesehen haben.

Hier ist die Erklärung der Studie in einfachen Worten:

1. Das Problem: Der "auswendig gelernte" Schüler

In der Welt der Künstlichen Intelligenz gibt es viele Tests (Benchmarks), um zu sehen, wie gut KIs sind. Ein beliebter Test ist "NL2SQL" (Natural Language to SQL). Das bedeutet: Die KI soll eine Frage in menschlicher Sprache (z. B. "Zeig mir alle Sänger über 20") in eine Datenbank-Sprache (SQL) übersetzen.

Das Problem: Viele KIs haben diese Tests schon während ihres "Lernens" (Training) gesehen. Wenn sie den Test machen, rufen sie sich die Antwort einfach ins Gedächtnis, anstatt neu zu denken. Das nennt man Kontamination (Verschmutzung). Die Ergebnisse sehen dann super gut aus, sind aber eine Lüge.

2. Die Lösung: SPENCE – Der "Paraphrase-Trick"

Die Forscher haben eine neue Methode namens SPENCE entwickelt. Stell dir SPENCE wie einen cleveren Prüfer vor, der dem Schüler eine Falle stellt.

Statt die Frage genau so zu stellen, wie sie im Testbuch steht, verändert der Prüfer die Frage leicht, aber behält die Bedeutung bei.

Original: "Zeig mir alle Sänger über 20."
Variante 1: "Welche Sänger sind älter als 20 Jahre?"
Variante 2: "Gib mir eine Liste von Sängern, die das 20. Lebensjahr überschritten haben."

SPENCE macht das systematisch. Es erstellt 10 Versionen jeder Frage, von sehr ähnlich bis sehr anders formuliert (aber immer mit derselben Bedeutung).

3. Der Test: Wie reagiert der Schüler?

Jetzt wird die KI mit diesen 10 Varianten getestet. Die Forscher schauen sich an, wie sich die Leistung verändert:

Der "echte" Verstehende: Wenn die KI wirklich versteht, wie die Sprache funktioniert, sollte sie bei allen 10 Varianten gleich gut abschneiden. Es ist egal, ob die Frage leicht oder schwer umformuliert ist.
Der "auswendig Lernende": Wenn die KI nur die Originalfrage auswendig gelernt hat, wird sie bei der ersten Variante noch gut abschneiden. Aber je weiter die Frage vom Original entfernt ist (je mehr sie sich verändert), desto schlechter wird die Leistung. Sie "vergisst" die Antwort, sobald die Frage nicht mehr genau so klingt wie im Gedächtnis.

4. Was haben sie herausgefunden?

Die Forscher haben vier verschiedene Tests (Benchmarks) untersucht, die zu unterschiedlichen Zeiten veröffentlicht wurden:

Spider (2018) – Der alte, klassische Test.
SParC & CoSQL (2019) – Etwas neuer.
BIRD (2023) – Der ganz neue Test.

Das Ergebnis war sehr klar:

Bei den alten Tests (Spider, SParC, CoSQL) brach die Leistung der KI ein, sobald die Fragen nur ein bisschen umformuliert wurden. Das ist wie ein Schüler, der panisch wird, sobald der Lehrer die Frage anders formuliert. Das deutet stark darauf hin, dass diese KIs die alten Tests auswendig gelernt haben.
Beim neuen Test (BIRD) war das anders. Die KIs blieben stabil, egal wie die Fragen umformuliert wurden. Sie schienen die Fragen wirklich zu verstehen, nicht nur auswendig zu lernen.

5. Warum ist das wichtig?

Stell dir vor, du kaufst ein Auto, das auf dem Prüfstand 200 km/h fährt. Aber wenn du es auf einer normalen Straße fährst, geht es nur 50 km/h, weil der Motor nur für den Prüfstand optimiert war.

Diese Studie sagt uns: Viele KI-Leistungsberichte sind wie dieser Prüfstand. Sie sehen toll aus, aber nur, weil die KI die Prüfungsfragen kennt. SPENCE hilft uns, die KIs auf die "normale Straße" zu bringen, indem wir sie mit umformulierten Fragen testen.

Zusammenfassung in einer Metapher

Die KI ist ein Schüler, der für eine Prüfung lernt.
Die alten Tests sind wie ein Spickzettel, den der Schüler im Unterricht gefunden hat. Er kann die Fragen beantworten, aber nur, wenn sie genau so klingen wie auf dem Zettel.
SPENCE ist der Lehrer, der sagt: "Okay, ich schreibe die Frage jetzt anders her. Kannst du sie immer noch beantworten?"
Das Ergebnis: Bei den alten Tests fällt der Schüler durch (weil er nur den Spickzettel kannte). Bei den neuen Tests besteht er, weil er die Materie wirklich verstanden hat.

Fazit: Wir müssen aufhören, nur auf die nackten Zahlen von KI-Tests zu schauen. Wir müssen testen, ob die KI wirklich versteht oder nur auswendig lernt. SPENCE ist das Werkzeug, um diesen Unterschied aufzudecken.

1. Problemstellung

Große Sprachmodelle (LLMs) haben auf Benchmarks für die Umwandlung von natürlicher Sprache in SQL (NL2SQL) starke Leistungen gezeigt. Es besteht jedoch die berechtigte Sorge, dass diese gemeldeten Genauigkeitswerte durch Datenkontamination (Data Contamination) oder das Auswendiglernen von Benchmark-Beispielen während des Trainings künstlich aufgebläht sind.

Das Hauptproblem besteht darin, dass Modelle oft nicht die zugrunde liegende Logik oder Kompositionalität verstehen, sondern stattdessen oberflächliche Muster oder fast wortwörtliche Formulierungen aus den Trainingsdaten memorieren. Wenn die Eingabeabfragen (Natural Language Queries) auch nur geringfügig syntaktisch umformuliert werden, bricht die Leistung dieser Modelle oft ein. Bisherige Methoden zur Detektion von Kontamination basieren oft auf String-Überlappungen oder statistischen Tests, die jedoch nicht spezifisch genug sind, um zwischen echter Generalisierung und Memorierung von syntaktischen Mustern in NL2SQL-Aufgaben zu unterscheiden.

2. Methodik: Das SPENCE-Framework

Die Autoren stellen SPENCE (Syntactic Probing and Evaluation of NL2SQL Contamination Effects) vor, ein kontrolliertes Framework zur systematischen Detektion und Quantifizierung solcher Kontaminationseffekte.

Der SPENCE-Pipeline-Prozess:

Datenauswahl: Die Studie verwendet die Entwicklungssplits von vier weit verbreiteten NL2SQL-Benchmarks: Spider (Sept 2018), SParC (Juni 2019), CoSQL (Okt 2019) und BIRD (Mai 2023).
Paraphrasierung: Für jede natürliche Sprachabfrage (NL-Query) werden mit Hilfe eines LLMs (GPT-5) 10 syntaktische Varianten (Paraphrasen) generiert. Dabei werden die Gold-Standard-SQL-Abfragen und das Datenbank-Schema als Kontext bereitgestellt, um semantische Äquivalenz sicherzustellen.
Filterung und Ranking:
- Die generierten Paraphrasen werden in Abhängigkeitsbäume (Dependency Trees) analysiert (mittels spaCy).
- Der Tree Edit Distance (TED) wird berechnet, um den syntaktischen Abstand zur Originalabfrage zu messen.
- Die Paraphrasen werden nach TED-Score sortiert (Rank 1 = geringster Abstand, Rank 10 = größter syntaktischer Abstand).
- Zusätzlich wird eine Embedding-basierte Ähnlichkeit (Cosine Similarity) berechnet, um semantisch irrelevante Paraphrasen zu filtern.
Evaluation: Die Leistung der NL2SQL-Modelle wird auf den Originalabfragen und den paraphrasierten Varianten verglichen. Die Metrik ist die Execution Accuracy (ob die generierte SQL-Abfrage das korrekte Ergebnis liefert).
Analyse der Empfindlichkeit: Es wird untersucht, wie sich die Genauigkeit mit zunehmendem syntaktischem Abstand (steigender Rank) verändert. Dies wird quantifiziert durch die Kendall's $\tau$ -Korrelation zwischen dem Paraphrasen-Rank und der Änderung der Genauigkeit ( $\Delta$ Accuracy).

Hypothesen:

$H_0$ (Robustheit): Die Genauigkeit bleibt bei Paraphrasierung stabil (echte Generalisierung).
$H_1$ (Kontamination): Die Genauigkeit sinkt mit zunehmendem syntaktischem Abstand, was auf Memorierung hindeutet.

3. Wichtige Beiträge

Neues Evaluierungsframework: SPENCE bietet eine reproduzierbare, modellunabhängige Methode, um Generalisierung von Memorierung zu unterscheiden, indem sie gezielt syntaktische Variationen nutzt.
Temporale Gradienten-Analyse: Die Studie korreliert die Ergebnisse mit dem Veröffentlichungsdatum der Benchmarks, um zu zeigen, wie sich die Anfälligkeit für Kontamination über die Zeit entwickelt hat.
Ausschluss alternativer Erklärungen: Die Autoren widerlegen systematisch andere Ursachen für Leistungsabfälle, wie z. B. die Länge der Abfragen, lexikalische Überlappung (Jaccard-Similarity) oder Probleme beim Schema-Linking. Sie zeigen, dass der Leistungsabfall primär durch syntaktische Divergenz verursacht wird.

4. Ergebnisse

Die Ergebnisse zeigen einen deutlichen temporalen Gradienten in der Robustheit der Modelle:

Ältere Benchmarks (Spider, SParC, CoSQL):
- Auf diesen Datensätzen zeigen fast alle getesteten Modelle (einschließlich GPT-4o-mini, LLaMA-3-Varianten, O3-mini) einen starken Leistungsabfall mit steigendem syntaktischem Abstand.
- Die Kendall's $\tau$ -Werte sind stark negativ (zwischen -0,6 und -0,95), was eine signifikante negative Korrelation zwischen syntaktischem Abstand und Genauigkeit bedeutet.
- Besonders bei Spider (dem ältesten Benchmark) ist der Abfall drastisch: Ab Rank 8–10 verlieren Modelle oft 10–15 Prozentpunkte an Genauigkeit. Dies deutet stark auf eine Kontamination oder ein Überanpassen an die Originalformulierungen hin.
Neuerer Benchmark (BIRD):
- Auf dem BIRD-Datensatz (veröffentlicht 2023) bleibt die Leistung der Modelle über alle syntaktischen Ranks hinweg bemerkenswert stabil.
- Die Kendall's $\tau$ -Werte liegen nahe Null, und die Konfidenzintervalle überlappen oft mit Null.
- Dies deutet darauf hin, dass BIRD weniger von Kontamination betroffen ist und die Modelle hier eher echte Generalisierungsfähigkeiten unter Beweis stellen.

Zusammenfassung der Korrelationen (Kendall's $\tau$ ):

Spider: $\approx -0,89$ (stark negativ)
SParC: $\approx -0,76$ (negativ)
CoSQL: $\approx -0,71$ (negativ)
BIRD: $\approx -0,35$ (schwach/nicht signifikant)

5. Bedeutung und Fazit

Die Studie liefert starke empirische Belege dafür, dass die hohen Scores auf etablierten NL2SQL-Benchmarks wie Spider oft auf Memorierung und nicht auf echtes Verständnis zurückzuführen sind.

Warnung vor bestehenden Benchmarks: Ältere Benchmarks sind zunehmend ungeeignet, um die wahren Fähigkeiten von LLMs zu messen, da sie leicht durch syntaktisch ähnliche, aber nicht identische Abfragen „geknackt" werden können.
Rolle neuer Benchmarks: Der BIRD-Benchmark scheint robuster gegen solche Kontaminationseffekte zu sein.
Empfehlung: Die Autoren plädieren dafür, syntaktische Probing-Evaluierungen (wie SPENCE) als kritische Ergänzung zu standardmäßigen Leaderboard-Rankings zu etablieren. Nur durch Tests unter kontrollierter syntaktischer Variation lässt sich sicherstellen, dass NL2SQL-Systeme generalisieren und nicht nur auswendig gelernt haben.

Das Paper unterstreicht die Notwendigkeit einer transparenteren Bewertung von LLMs, insbesondere in kritischen Anwendungsbereichen wie Text-to-SQL, wo Fehler schwerwiegende Folgen haben können.