BenchMarker: An Education-Inspired Toolkit for Highlighting Flaws in Multiple-Choice Benchmarks

Titre : BenchMarker : Une boîte à outils inspirée de l'éducation pour mettre en évidence les défauts des benchmarks à choix multiples

1. Problématique

L'évaluation des modèles de langage (LLM) repose massivement sur des tâches de réponse à des questions à choix multiples (MCQA). Cependant, les benchmarks actuels souffrent d'un manque de contrôle qualité rigoureux, ce qui compromet leur validité de construction. Les auteurs identifient trois types majeurs de défauts qui introduisent du bruit et faussent les résultats :

1. Contamination : Les questions apparaissent exactement dans les données d'entraînement des modèles (via Internet), permettant aux LLM de "tricher" par mémorisation plutôt que par raisonnement.
2. Raccourcis (Shortcuts) : Des indices superficiels dans les choix de réponse permettent aux modèles de deviner la bonne réponse sans comprendre la question (ex: le choix correct est le seul à être un liquide, ou les distracteurs sont grammaticalement incohérents).
3. Erreurs de rédaction : Des problèmes structurels, grammaticaux ou sémantiques (ambiguïté, distracteurs non plausibles, incohérences) rendent les questions mal formulées, trompeuses ou impossibles à résoudre correctement.

Contrairement au domaine de l'éducation où ces erreurs sont systématiquement corrigées, la recherche en NLP les tolère souvent, menant à des évaluations peu fiables.

2. Méthodologie : BenchMarker

Les auteurs proposent BenchMarker, une boîte à outils automatisée qui utilise des juges basés sur des LLM (LLM-as-a-judge) pour auditer les benchmarks selon une rubrique éducative de 19 règles. L'outil est intégré dans la bibliothèque InspectAI.

Le processus d'audit repose sur trois axes :

• Détection de la contamination :
  • L'outil interroge des API de recherche web (Google, Bing, etc.) avec la question et la réponse correcte.
  • Un LLM juge détermine si la question (ou une version quasi identique) apparaît dans les résultats, indiquant une fuite de données potentielle.
• Détection des raccourcis (Shortcuts) :
  • Une approche en deux étapes : d'abord, plusieurs LLM forts tentent de répondre à la question en utilisant uniquement les choix (sans la question).
  • Ensuite, le LLM doit inférer quelle était la question originale basée uniquement sur ces choix.
  • Si le LLM trouve la bonne réponse mais que la question inférée ne correspond pas sémantiquement à la question originale, cela indique un raccourci exploitable (le modèle a deviné la logique des choix sans comprendre le contexte).
• Détection des erreurs de rédaction :
  • BenchMarker applique une rubrique de 19 règles issues de la recherche éducative (Tarrant et al., 2006).
  • Ces règles couvrent la clarté de l'énoncé, la cohérence grammaticale, l'absence de termes vagues, la plausibilité des distracteurs, et l'interdiction de certaines structures (ex: "toutes les réponses ci-dessus").
  • Des juges LLM spécialisés évaluent chaque règle individuellement pour chaque item.

Validation :
L'équipe a collecté 8 042 jugements humains (experts en éducation et chercheurs en NLP) sur 12 benchmarks variés pour valider la fiabilité des juges LLM. Les résultats montrent que des modèles comme GPT-5, Gemini 2.5 Pro et Claude 4.5 Sonnet atteignent un accord significatif avec les experts humains (mesuré par le coefficient Kappa de Cohen), surpassant les outils existants comme SAQUET.

3. Résultats Clés

L'application de BenchMarker sur 12 benchmarks populaires (incluant MMLU, TruthfulQA, HellaSwag, etc.) révèle des problèmes systémiques :

• Prévalence des défauts :
  • Contamination : 47 % des questions de TruthfulQA apparaissent en ligne.
  • Raccourcis : 23 % des questions de SocialIQA contiennent des raccourcis exploitables.
  • Erreurs de rédaction : HellaSwag viole systématiquement au moins deux règles de rédaction par item (en moyenne 44 % des règles violées). Les benchmarks générés par des modèles ou des travailleurs crowdsourcés sont nettement plus affectés que ceux conçus par des éducateurs.
• Impact sur l'évaluation des LLM :
  • Contamination : Les splits contaminés gonflent artificiellement la précision des modèles.
  • Erreurs de rédaction : Les items comportant des erreurs de rédaction (surtout 2+ règles violées) entraînent une baisse significative de la précision des modèles.
  • Changement de classement : Le filtrage des erreurs de rédaction modifie le classement des modèles au-delà de la variation aléatoire, ce qui peut conduire les chercheurs à sélectionner ou rejeter des modèles pour des mauvaises raisons.
• Limites des corrections précédentes :
  • Les tentatives antérieures de réparation de benchmarks (ex: MMLU-Pro, GoldenSwag) résolvent souvent le problème ciblé (ex: réduire la contamination ou améliorer les distracteurs) mais introduisent involontairement de nouveaux défauts (ex: nouveaux raccourcis, distracteurs implausibles, ou erreurs grammaticales accrues).

4. Contributions Principales

1. BenchMarker : Un toolkit open-source (disponible sur GitHub) intégrant des juges LLM pour détecter automatiquement la contamination, les raccourcis et les erreurs de rédaction, avec une interface utilisateur via InspectAI.
2. Audit à grande échelle : La première évaluation systématique de 12 benchmarks majeurs révélant la persistance et l'impact des défauts sur l'évaluation des LLM.
3. Validation rigoureuse : Un jeu de données de 8 042 annotations humaines pour valider la fiabilité des juges LLM dans la détection de défauts éducatifs.
4. Analyse des compromis : Une démonstration que la correction d'un type de défaut peut en créer d'autres, soulignant la nécessité d'une approche itérative et holistique.

5. Signification et Perspectives

Ce travail établit un pont crucial entre la recherche en éducation et le NLP. Il démontre que les standards de qualité des tests éducatifs (validité de construction, absence de biais de rédaction) sont essentiels pour évaluer correctement les capacités de raisonnement des LLM.

• Pour la communauté NLP : BenchMarker offre un moyen standardisé de nettoyer les données avant l'évaluation, évitant les conclusions erronées sur les capacités des modèles.
• Pour l'avenir : Les auteurs suggèrent que la simple suppression des items défectueux ne suffit pas ; il faut développer des méthodes itératives pour réécrire les questions (en utilisant des LLM comme vérificateurs) et intégrer ces outils dans les pipelines de création de benchmarks.
• Conclusion : La qualité des benchmarks est le maillon faible de l'évaluation actuelle des LLM. En adoptant les rigueurs de l'éducation, BenchMarker propose une voie pour restaurer la crédibilité des évaluations en NLP.

Le code et les données sont disponibles publiquement pour permettre à la communauté d'auditer et d'améliorer les benchmarks existants.