💬 NLP

Quantifying the Effect of Test Set Contamination on Generative Evaluations

Cet article démontre quantitativement que la contamination de l'ensemble de test gonfle de manière significative la performance de l'évaluation générative en permettant aux modèles de dépasser l'erreur irréductible par la mémorisation, tout en révélant que des facteurs tels que la taille du modèle, la durée d'entraînement et la température d'inférence modulent ces effets de manière critique et distincte des évaluations discriminatives.

Auteurs originaux : Rylan Schaeffer, Joshua Kazdan, Baber Abbasi, Ken Ziyu Liu, Brando Miranda, Ahmed Ahmed, Fazl Berez, Abhay Puri, Stella Biderman, Niloofar Mireshghallah, Sanmi Koyejo

Publié 2026-02-09

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Rylan Schaeffer, Joshua Kazdan, Baber Abbasi, Ken Ziyu Liu, Brando Miranda, Ahmed Ahmed, Fazl Berez, Abhay Puri, Stella Biderman, Niloofar Mireshghallah, Sanmi Koyejo

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

La vue d'ensemble : Tricher à l'examen final

Imaginez que vous êtes un professeur donnant un examen final à une classe d'élèves (les modèles d'IA). Le but est de voir s'ils comprennent vraiment la matière ou s'ils ne font que deviner.

La contamination de l'ensemble de test est comme un élève qui glisserait une copie des questions de l'examen dans son sac à dos avant le début du test. Il n'a pas réellement appris les mathématiques ; il a simplement mémorisé les réponses aux questions spécifiques qu'il a vues.

Cet article pose la question suivante : Que se passe-t-il lorsque les modèles d'IA « trichent » en mémorisant les questions du test pendant leur entraînement ? Est-ce que cela les fait paraître intelligents, ou est-ce une fausse forme d'intelligence ?

1. La mise en place : Donner les réponses aux élèves

Les chercheurs ont créé une expérience contrôlée. Ils ont pris un test de mathématiques standard (appelé le benchmark MATH) et ont secrètement injecté différentes quantités de ce test aux modèles d'IA pendant que les modèles apprenaient.

Faible contamination : Le modèle a vu les questions du test quelques fois.
Forte contamination : Le modèle a vu les questions du test des centaines ou des milliers de fois.

Ils ont ensuite testé les modèles pour voir leurs performances.

2. Les résultats : L'« illusion de compétence »

La bonne nouvelle (pour les tricheurs) :
Lorsque les modèles ont mémorisé les questions du test, leurs scores ont augmenté de manière spectaculaire. S'ils voyaient les questions du test suffisamment de fois, ils pouvaient obtenir presque 100 % au test.

Analogie : C'est comme un élève qui mémorise le corrigé. Sur le test exact qu'il a étudié, il obtient un A+.

La mauvaise nouvelle (pour la vérité) :
Lorsque les chercheurs ont légèrement modifié les questions — comme en changeant les nombres dans un problème de mathématiques ou en reformulant la phrase — les modèles ont échoué immédiatement.

Analogie : Si vous donnez à l'élève un nouveau problème de mathématiques qui utilise la même logique mais des nombres différents, il est incapable de le résoudre. Il connaissait seulement les réponses spécifiques qu'il avait mémorisées, pas les mathématiques réelles.
Conclusion : Les scores élevés n'étaient pas dus au fait que l'IA devenait plus intelligente en mathématiques ; c'était simplement parce qu'elle possédait une « antisèche » pour ces questions spécifiques.

3. La surprise de la « copie unique »

L'article a découvert quelque chose de choquant : Il suffit de montrer les questions du test au modèle une seule fois pour briser les règles de l'apprentissage.

Habituellement, pour s'améliorer dans une tâche, il faut beaucoup pratiquer. Mais ici, voir l'ensemble de test une seule fois a permis au modèle de performer mieux qu'il ne l'aurait jamais pu en apprenant uniquement à partir de données normales, peu importe l'entraînement.

Analogie : Imaginez un élève qui, en voyant les questions de l'examen une seule fois, réussit soudainement mieux qu'un élève qui a étudié pendant 10 ans sans jamais avoir vu l'examen. Cela ressemble à de la magie, mais c'est en réalité un bug du système.

4. Le « sérum de vérité » (Température)

Les chercheurs ont découvert un moyen de démasquer les tricheurs. En IA, il existe un paramètre appelé Température qui contrôle à quel point les réponses sont « créatives » ou « aléatoires ».

Basse Température (Strict) : L'IA donne la réponse la plus confiante et directe. C'est là que la mémorisation fonctionne le mieux.
Haute Température (Créatif) : L'IA prend des risques et essaie différents chemins.

La découverte : Lorsqu'ils ont augmenté la « Température » (rendant l'IA plus créative), les réponses mémorisées se sont effondrées. Les modèles qui avaient mémorisé le test ont soudainement obtenu de très mauvais scores, retombant au niveau d'un élève qui n'avait pas vu le test.

Analogie : Pensez à la réponse mémorisée comme à un script rigide. Si vous demandez à l'acteur d'improviser (Haute Température), il oublie immédiatement son script. La « température » agit comme un sérum de vérité qui révèle qu'ils n'ont jamais vraiment compris la pièce ; ils ont juste mémorisé les répliques.

5. Le problème de la longueur

L'article a également examiné la longueur des réponses.

Réponses courtes : Les modèles peuvent mémoriser facilement des réponses courtes et simples.
Réponses longues : À mesure que les réponses devenaient plus longues (des milliers de mots), la mémorisation échouait. Les modèles pouvaient donner les premiers mots correctement, mais perdent ensuite le fil et commencent à faire des erreurs.
Analogie : Il est facile de mémoriser un numéro de téléphone de 5 chiffres. Il est beaucoup plus difficile de mémoriser parfaitement un discours de 500 mots. Si l'IA essaie de réciter un long discours mémorisé, elle finit par s'y perdre et commence à halluciner.

6. Une solution surprenante : Surapprentissage et Fine-tuning

Les chercheurs ont tenté de « guérir » la triche en faisant étudier aux modèles davantage de données fraîches (des données qui n'étaient pas le test).

Surapprentissage (Overtraining) : Si l'on force le modèle à étudier beaucoup de nouvelles choses après avoir vu le test, il finit par oublier les réponses du test. Les données fraîches « diluent » l'antisèche.
Fine-tuning (Ajustement fin) : Si vous enseignez au modèle la version d'entraînement des problèmes mathématiques (et non le test), il devient en fait moins bon au test s'il avait trop mémorisé le test. Il semble que le modèle soit confus en essayant d'apprendre la véritable logique après avoir déjà mémorisé les réponses spécifiques.

7. Correction d'un bug critique

Enfin, les auteurs ont découvert une erreur dans un outil populaire utilisé pour noter ces tests de mathématiques. L'outil supprimait accidentellement le formatage important des réponses, ce qui faisait que des réponses correctes étaient marquées comme fausses.

La correction : Ils ont réparé l'outil. Désormais, lorsqu'un modèle donne la bonne réponse, l'outil lui accorde effectivement le crédit. Cela signifie que certaines études précédentes pourraient avoir sous-estimé les performances des modèles (ou la qualité de leur triche).

Résumé

Cet article nous avertit que lorsque les modèles d'IA obtiennent des scores parfaits aux tests de mathématiques, cela ne signifie pas forcément qu'ils sont des génies. Cela peut simplement signifier qu'ils ont mémorisé les questions du test.

Intelligence réelle : Résoudre de nouveaux problèmes que l'on n'a jamais vus.
Intelligence factice : Mémoriser les réponses aux problèmes spécifiques sur lesquels on est testé.

L'article fournit des outils pour faire la distinction : si l'IA échoue lorsque vous changez les nombres, ou si elle échoue lorsque vous lui demandez d'être plus créative, c'est qu'elle était probablement en train de tricher.

Résumé technique : Quantification de l'effet de la contamination des ensembles de test sur les évaluations génératives

Énoncé du problème

La contamination des ensembles de test — l'inclusion involontaire de données de référence dans les corpus de pré-entraînement — constitue une menace critique pour la fiabilité de l'évaluation des systèmes d'IA de pointe. Si l'impact de la contamination sur les évaluations discriminatives (ex: questions à choix multiples, classification) est bien documenté, ses effets sur les évaluations génératives (où les modèles doivent produire des solutions de longue forme) restent sous-explorés. Les tâches génératives introduisent des complexités uniques, notamment la longueur de la solution, la température d'échantillonnage et l'exigence de chaînes de tokens cohérentes, qui peuvent interagir avec la mémorisation différemment des tâches à choix courts. Ce document cherche à évaluer quantitativement ces effets à travers le cycle de vie du modèle de langage afin de déterminer si la contamination dans les contextes génératifs conduit à une généralisation robuste ou simplement à une mémorisation fragile.

Méthodologie

Les auteurs ont mené une étude contrôlée à grande échelle se concentrant sur le benchmark MATH (Hendrycks et al., 2021b), un ensemble de données de problèmes mathématiques de compétition nécessitant la génération de solutions.

Configuration du pré-entraînement :
- Modèles : Des dizaines de modèles de langage causaux basés sur l'architecture Qwen 3 ont été pré-entraînés à partir de zéro. La taille des modèles variait de 34M à 344M de paramètres.
- Protocole de contamination : Les corpus de pré-entraînement ont été construits en mélangeant un crawl web de haute qualité (FineWeb-Edu-Dedup) avec des nombres variables ( $R$ ) de répliques de l'ensemble de test MATH. Le nombre de répliques variait de manière logarithmique de 0 (non contaminé) à 3 162.
- Contrôle du calcul : L'entraînement a été réalisé à des échelles de calcul optimales (20 tokens par paramètre) et s'est étendu dans des régimes de "sur-entraînement" (jusqu'à 16x le calcul optimal) en utilisant des données fraîches et non répétées.
- Fine-tuning : Certains modèles ont subi un ajustement fin supervisé (SFT) sur l'ensemble d'entraînement de MATH pour observer les interactions avec la contamination du pré-entraînement.
Métriques d'évaluation :
- Math Verify : La fraction de problèmes où la solution générée est mathématiquement équivalente à la réponse de référence. Les auteurs ont identifié et corrigé un bug critique dans l'EleutherAI LM Evaluation Harness qui sous-rapportait auparavant ces scores (faisant passer les scores de référence de ~70% à 100%).
- Perte de cross-entropie : La perte sur les solutions de référence, utilisée pour analyser les lois d'échelle (scaling laws).
- Tests de robustesse : Les modèles ont été testés sur des versions reformulées (même logique, formulation différente) et perturbées (même formulation, nombres différents) de l'ensemble de test pour distinguer la mémorisation de la généralisation.
Variables d'inférence :
- Les expériences ont balayé différentes températures d'échantillonnage (0 à 1,5) et ont analysé la performance par rapport à la longueur de la solution en tokens.

Contributions clés et résultats

1. Lois d'échelle et violation de l'« erreur irréductible »

L'étude confirme que la performance (scores Math Verify) augmente avec le niveau de contamination et la taille du modèle. Cependant, une violation fondamentale des lois d'échelle a été découverte :

Effet d'une seule réplique : L'inclusion d'une seule réplique du jeu de test permet aux modèles d'atteindre une perte de cross-entropie inférieure à l'erreur irréductible estimée de l'entraînement sur le corpus non contaminé.
Implication économique : Sous les hypothèses standards des lois d'échelle, une seule réplique du jeu de test simule efficacement une quantité "infinie" de calcul de pré-entraînement par rapport à un corpus non contaminé, permettant aux modèles de contourner le plafond de performance théorique des données propres.

2. Mémorisation vs Généralisation

La performance induite par la contamination n'est pas de la généralisation.

Mémorisation verbatim : Lorsqu'ils sont testés sur des problèmes reformulés ou perturbés, les performances s'effondrent pour revenir aux niveaux de base, quel que soit la taille du modèle ou le niveau de contamination.
Conclusion : Les gains reposent presque exclusivement sur la mémorisation verbatim de séquences spécifiques du jeu de test, et non sur l'acquisition d'un raisonnement mathématique sous-jacent.

3. Interaction avec l'entraînement ultérieur

Le document identifie un effet de « dose-réponse » concernant l'entraînement ultérieur :

Sur-entraînement : L'entraînement sur des données fraîches au-delà du point de calcul optimal dilue les effets de contamination. Pour les modèles hautement contaminés, le sur-entraînement augmente en réalité la perte sur le jeu de test, car les données fraîches réduisent la proportion de tokens contaminés, affaiblissant le signal mémorisé.
Ajustement fin supervisé (SFT) : Le SFT sur l'ensemble d'entraînement a des effets opposés selon les niveaux de contamination :
- Faible contamination : Le SFT améliore la performance sur le jeu de test.
- Forte contamination : Le SFT dégrade la performance sur le jeu de test. Les auteurs conjecturent que le SFT force le modèle à généraliser, provoquant un "oubli" des échantillons de test mémorisés. Puisque le signal mémorisé était le principal moteur de la performance dans les modèles hautement contaminés, cet oubli entraîne une perte nette.

4. Régimes d'inférence de la mémorisation

Les auteurs caractérisent comment la température d'échantillonnage et la longueur de la solution modulent la mémorisation, identifiant trois régimes distincts :

Décohérence exponentiellement rapide ( $E > 0$ ) : En l'absence de contamination significative, la probabilité de générer une séquence longue et correcte décroît exponentiellement.
Mémorisation fragile ( $E \approx 0, \alpha \le 1$ ) : À une contamination intermédiaire, le modèle peut générer des séquences, mais la probabilité cumulative de succès finit par s'annuler à mesure que la longueur augmente.
Verrouillage déterministe ( $E \approx 0, \alpha > 1$ ) : À forte contamination, le modèle entre dans un régime où la certitude du prochain token croît plus vite que l'accumulation du risque, permettant la génération déterministe de solutions longues.
L'effet « sérum de vérité » : L'échantillonnage à haute température ( $\tau > 1$ ) agit comme un « sérum de vérité », découplant les gains de contamination de la généralisation robuste. Il peut instantanément faire passer un modèle du régime de « Verrouillage déterministe » au régime de « Mémorisation fragile », provoquant l'effondrement des performances vers les niveaux de base.

5. Correction d'implémentation

Les auteurs ont identifié un bug critique dans l'EleutherAI LM Evaluation Harness (avant la v0.4.8) où la fonction de score Math Verify supprimait la notation \boxed{} avant l'analyse, entraînant une sous-estimation systématique des performances mathématiques. La correction de ce bug a fait passer les scores de référence de ~70% à 100%.

Signification et affirmations

Le document affirme fournir la première quantification complète des mécanismes de contamination dans le régime génératif. Sa principale importance réside dans :

Redéfinition de la menace : Bien que la contamination générative gonfle les scores de manière similaire à la contamination discriminative, le mécanisme sous-jacent est distinct : il repose sur une mémorisation verbatim fragile de longues chaînes de tokens plutôt que sur un raisonnement robuste.
Magnitude économique : La découverte qu'une seule réplique du jeu de test permet aux modèles de contourner la barrière de l'« erreur irréductible » suggère que la contamination peut simuler un calcul infini, brisant fondamentalement le jeu de test comme proxy de la capacité réelle.
Leviers pratiques : L'étude identifie la température d'échantillonnage et la longueur de la solution comme des leviers critiques qui différencient la mémorisation de la généralisation. L'échantillonnage à haute température et les solutions plus longues exposent la fragilité des modèles contaminés.
Dynamiques d'entraînement contre-intuitives : Le fait que le SFT puisse nuire aux performances des modèles hautement contaminés suggère qu'une baisse de précision sur le jeu de test après l'entraînement à l'alignement peut être un signal positif de décontamination (oubli du jeu de test) plutôt qu'une taxe d'alignement négative.

Les auteurs concluent que si la contamination crée une « illusion de compétence », il s'agit d'une illusion fragile qui peut être démantelée par des paramètres d'inférence spécifiques et un entraînement ultérieur sur des données fraîches.