💬 NLP

SPENCE: A Syntactic Probe for Detecting Contamination in NL2SQL Benchmarks

Ce papier présente SPENCE, un cadre d'analyse syntaxique conçu pour détecter et quantifier la contamination des benchmarks NL2SQL, révélant ainsi que les datasets plus anciens comme Spider souffrent fortement de fuites de données dans les modèles d'IA, contrairement au dataset plus récent BIRD qui semble exempt de ce problème.

Auteurs originaux : Mohammadtaher Safarzadeh, Hitesh Laxmichand Patel, Afshin Orojlooyjadid, Graham Horwood, Dan Roth

Publié 2026-04-21

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Mohammadtaher Safarzadeh, Hitesh Laxmichand Patel, Afshin Orojlooyjadid, Graham Horwood, Dan Roth

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

🕵️‍♂️ SPENCE : Le Détective qui traque les "Tricheurs" de l'IA

Imaginez que vous organisez un grand concours de cuisine pour des robots (les intelligences artificielles). Le défi ? Transformer une demande en langage humain (ex: "Combien y a-t-il de pommes rouges ?") en une recette précise (ex: un code SQL pour interroger une base de données).

Les robots obtiennent d'excellentes notes. Mais il y a un problème : ont-ils vraiment appris à cuisiner, ou ont-ils simplement mémorisé les réponses par cœur ?

C'est là qu'intervient SPENCE, un nouveau détective créé par des chercheurs d'Oracle.

1. Le Problème : La "Contamination" (ou le Copier-Coller)

Dans le monde de l'IA, on parle de contamination quand un robot a déjà vu les questions du concours pendant sa "formation" (son entraînement).

Le robot tricheur : Il ne comprend pas vraiment la logique. Il se souvient juste : "Ah, la question 'Combien de pommes rouges ?', la réponse c'est '5' !"
Le vrai chef : Il comprend la logique. Si vous changez la question en "Combien de fruits rouges pèsent moins de 100g ?", il sait toujours trouver la réponse.

Le problème, c'est que les robots tricheurs obtiennent de très bonnes notes sur les vieux concours, ce qui fausse notre perception de leur intelligence réelle.

2. La Solution : SPENCE (Le Test de la "Paraphrase")

Pour savoir qui triche, les chercheurs ont inventé SPENCE. Voici comment ça marche, avec une analogie simple :

Imaginez que vous posez une question à un ami :

"Qui est le capitaine de l'équipe de foot ?"

Si votre ami a la réponse par cœur, il va vous répondre instantanément. Mais si vous reformulez la question de 10 façons différentes, en changeant l'ordre des mots et le style, voyez ce qui se passe :

Niveau 1 (Changement léger) : "Qui dirige l'équipe de foot ?" (L'ami tricheur répond encore juste).
Niveau 5 (Changement moyen) : "Quel est le nom du chef des joueurs de football ?" (L'ami tricheur commence à hésiter).
Niveau 10 (Changement radical) : "Si je vous demandais le nom du leader de la troupe sportive, que me diriez-vous ?" (L'ami tricheur panique et se trompe).

SPENCE fait exactement cela avec les robots :

Il prend une question originale.
Il génère 10 versions différentes (des paraphrases) qui veulent dire la même chose, mais avec une structure de phrase de plus en plus différente.
Il demande au robot de répondre à ces 10 versions.

3. Les Résultats : Qui triche le plus ?

Les chercheurs ont testé plusieurs robots sur quatre concours célèbres (Spider, SParC, CoSQL et BIRD). Voici ce qu'ils ont découvert :

Les vieux concours (Spider, SParC, CoSQL) : C'est le désastre pour les robots. Dès qu'on change un peu la formulation de la question, la performance des robots s'effondre comme un château de cartes.
- L'analogie : C'est comme si un étudiant avait appris par cœur les réponses d'un examen de 2018. Si vous changez la question de 10%, il ne sait plus répondre. Cela prouve qu'il a "contaminé" ses réponses par la mémorisation.
Le nouveau concours (BIRD) : Là, c'est différent. Les robots restent performants même quand on change radicalement la phrase.
- L'analogie : C'est comme si l'étudiant avait vraiment compris les mathématiques. Peu importe comment on pose la question, il trouve la solution.

4. Pourquoi est-ce important ?

Cet article nous dit une chose cruciale : Les classements actuels des IA sont peut-être gonflés.

Si un robot obtient 90% de réussite sur un vieux concours, ce n'est pas forcément parce qu'il est intelligent. C'est peut-être juste parce qu'il a "lu" les questions avant le test.

SPENCE est comme un détecteur de mensonge :

Si la performance chute quand on change la phrase ➡️ Le robot a triché (mémorisation).
Si la performance reste stable ➡️ Le robot a vraiment compris (généralisation).

En résumé

Les chercheurs nous disent : "Arrêtez de faire confiance aux notes brutes sur les vieux tests ! Utilisez SPENCE pour voir si l'IA est vraiment intelligente ou si elle est juste une machine à apprendre par cœur."

C'est une étape essentielle pour s'assurer que les IA que nous utilisons demain seront capables de gérer des situations réelles et imprévues, et pas seulement de répéter ce qu'elles ont déjà vu.

1. Problématique

Les modèles de langage de grande taille (LLM) ont démontré des performances impressionnantes sur les benchmarks de conversion du langage naturel vers SQL (NL2SQL). Cependant, ces résultats rapportés risquent d'être artificiellement gonflés par une contamination des données. Cela se produit lorsque les modèles ont mémorisé les requêtes de test ou des motifs structurels similaires présents dans leurs données d'entraînement, plutôt que d'avoir véritablement appris à généraliser la tâche.

Le problème central est l'absence de méthodes robustes pour distinguer une véritable généralisation compositionnelle d'une simple mémorisation (ou "near-memorization"). Les benchmarks existants (comme Spider, SParC, CoSQL et BIRD) sont de plus en plus susceptibles d'être contaminés, en particulier ceux plus anciens, ce qui fausse l'évaluation des capacités réelles des modèles.

2. Méthodologie : Le Framework SPENCE

Les auteurs introduisent SPENCE (Syntactic Probing and Evaluation of NL2SQL Contamination Effects), un cadre d'évaluation contrôlé conçu pour détecter et quantifier cette contamination via des perturbations syntaxiques.

A. Génération et Filtrage des Paraphrases

Génération : Pour chaque requête de test (NL) d'un benchmark, le système génère 10 paraphrases syntaxiquement variées en utilisant un LLM (GPT-5 dans l'étude), en fournissant le schéma de la base de données et la requête SQL d'or (gold SQL) comme contexte pour garantir la fidélité sémantique.
Mesure de Similarité Syntaxique : Les paraphrases sont analysées via des arbres de dépendance (spaCy). La distance entre la paraphrase et la requête originale est calculée à l'aide de la Distance d'Édition d'Arbre (Tree Edit Distance - TED).
Classement : Les paraphrases sont classées de 1 (la plus proche syntaxiquement) à 10 (la plus éloignée).
Filtrage : Un filtrage par similarité cosinus (embeddings) et une validation humaine (85% d'équivalence sémantique) assurent que les variations sont purement syntaxiques et non sémantiques.

B. Protocole d'Évaluation

Évaluation Appariée : Les modèles NL2SQL sont testés sur les requêtes originales et leurs paraphrases. La métrique principale est la précision d'exécution (Execution Accuracy).
Hypothèse de Test :
- H0 (Pas de contamination) : La précision reste stable quelle que soit la distance syntaxique.
- H1 (Contamination) : La précision chute drastiquement à mesure que la distance syntaxique augmente (indiquant une dépendance à la forme de surface).
Analyse Statistique : Les auteurs utilisent le Tau de Kendall ( $\tau$ ) pour mesurer la corrélation entre le rang de la paraphrase (distance syntaxique) et la variation de précision ( $\Delta$ Accuracy). Des intervalles de confiance par bootstrap (100 itérations) sont utilisés pour valider la robustesse.

C. Benchmarks et Modèles

L'étude porte sur quatre benchmarks majeurs avec des dates de publication différentes :

Spider (Sept 2018)
SParC (Juin 2019)
CoSQL (Oct 2019)
BIRD (Mai 2023)

Six LLMs sont évalués, allant de modèles open-source (LLaMA-3, GPT-OSS) à des modèles commerciaux (GPT-4o-mini, o3-mini).

3. Résultats Clés

Les résultats révèlent un gradient temporel clair reliant l'ancienneté du benchmark à la sensibilité des modèles aux paraphrases :

Benchmarks Anciens (Spider, SParC, CoSQL) :
- Tous les modèles montrent une dégradation significative de la précision dès les premiers rangs de paraphrase.
- Pour Spider, la chute de précision dépasse souvent 10-15 points de pourcentage entre la requête originale et les paraphrases les plus éloignées (rangs 8-10).
- Le Tau de Kendall est fortement négatif (entre -0.6 et -0.95), indiquant une corrélation inverse forte : plus la syntaxe s'éloigne, moins le modèle performe. Cela suggère une forte mémorisation des instances de test.
Benchmark Récent (BIRD) :
- La performance des modèles reste stable face aux paraphrases, avec des variations proches de zéro sur l'ensemble des rangs.
- Le Tau de Kendall est proche de zéro (entre -0.11 et -0.46, souvent non significatif), indiquant une absence de sensibilité à la variation syntaxique.
- Cela suggère que BIRD est moins contaminé et teste mieux la généralisation réelle.
Contrôles et Validations :
- La dégradation n'est pas due à la longueur des requêtes (les distributions de longueur sont similaires).
- Elle n'est pas due uniquement au chevauchement lexicale (Jaccard) : la chute persiste même en contrôlant le chevauchement lexical.
- Le problème n'est pas lié à la rupture du lien schéma (schema linking) : les mots-clés essentiels sont préservés dans les paraphrases, mais les modèles échouent quand même.
- Le signal est robuste au choix du générateur de paraphrases (testé avec LLaMA-4 Maverick au lieu de GPT-5).

4. Contributions Principales

Framework SPENCE : Une méthode reproductible et agnostique au modèle pour évaluer la contamination via des perturbations syntaxiques contrôlées.
Preuve Empirique de Contamination : La démonstration que les benchmarks NL2SQL les plus anciens (Spider) souffrent d'une contamination sévère, tandis que les plus récents (BIRD) sont plus fiables.
Nouvelle Métrique de Robustesse : L'utilisation du Tau de Kendall sur les courbes de précision vs. distance syntaxique comme indicateur de "mémorisation" vs. "généralisation".
Distinction Syntaxique vs Sémantique : Démonstration que la fragilité des modèles réside dans leur incapacité à gérer les restructurations syntaxiques, même lorsque le sens et le lien avec le schéma sont préservés.

5. Signification et Impact

Ce travail met en lumière une faille critique dans l'évaluation actuelle des LLMs pour les tâches NL2SQL. Les scores élevés sur les leaderboards traditionnels (notamment Spider) peuvent être trompeurs, reflétant davantage la mémorisation des données d'entraînement que la capacité à résoudre de nouveaux problèmes.

Pour la recherche : Il est impératif d'adopter des évaluations de robustesse syntaxique (comme SPENCE) en complément des métriques standard pour obtenir une vision fidèle des capacités de généralisation.
Pour l'industrie : Les benchmarks récents comme BIRD semblent plus fiables pour le déploiement en conditions réelles, car ils résistent mieux aux variations linguistiques.
Futur : Les auteurs suggèrent d'étendre cette approche aux tâches de "Text-to-Code" et de Question-Réponse, et d'intégrer des contrôles de qualité automatisés pour des audits de robustesse à grande échelle.

En résumé, SPENCE fournit un outil essentiel pour "nettoyer" la vision que nous avons des capacités des LLMs, en révélant que la performance apparente sur les benchmarks historiques est souvent une illusion due à la contamination des données.