💬 NLP

Benchmark Illusion: Disagreement among LLMs and Its Scientific Consequences

Cette étude révèle l'« illusion des benchmarks » selon laquelle des modèles de langage ayant des performances similaires peuvent diverger profondément dans leurs réponses, entraînant des conséquences critiques sur la reproductibilité scientifique lorsque ces modèles sont utilisés pour l'annotation de données.

Auteurs originaux : Eddie Yang, Dashun Wang

Publié 2026-02-13

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Eddie Yang, Dashun Wang

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

🎭 L'Illusion du Miroir : Pourquoi deux IA « intelligentes » ne sont pas pareilles

Imaginez que vous êtes un scientifique cherchant à mesurer le progrès de l'humanité. Pour cela, vous utilisez des Intelligences Artificielles (IA) pour lire des milliers de documents, corriger des copies d'élèves ou analyser des nouvelles politiques.

Jusqu'à présent, la règle était simple : « Si l'IA a une bonne note à l'examen, elle est fiable. »
C'est ce que les chercheurs appellent le benchmark (une sorte de test standardisé). Si deux IA obtiennent toutes les deux 90/100 à ce test, on suppose qu'elles sont interchangeables, comme deux voitures de même modèle qui ont la même vitesse de pointe.

Le problème ? Cet article révèle que c'est une illusion.

1. Le Test de la Vérité : Deux élèves, deux stratégies

Les auteurs (Eddie Yang et Dashun Wang) ont regardé de plus près deux grands examens pour IA (MMLU-Pro et GPQA). Ils ont découvert quelque chose de troublant :

Imaginez deux élèves, Thomas et Marie.
Ils obtiennent tous les deux 85 % à un examen de 100 questions.

Thomas a raté les questions 1, 5, 12 et 99.

Marie a raté les questions 2, 6, 13 et 100.

Ils ont la même note, mais ils ne connaissent pas les mêmes choses ! Ils ont des « trous » différents dans leur cerveau.

Dans l'article, les chercheurs montrent que même les IA les plus performantes (les « champions ») ne sont pas d'accord entre elles sur 16 % à 66 % des questions. Elles ne font pas les mêmes erreurs. Elles ne « pensent » pas de la même façon.

2. Pourquoi c'est dangereux pour la science ?

C'est là que ça devient critique. En science, on ne cherche pas juste une bonne note moyenne, on cherche la vérité précise.

L'analogie du détective :
Imaginez que vous enquêtez sur un crime. Vous avez deux détectives IA pour analyser les preuves.

Le Détective A est très bon, mais il a un défaut : il oublie souvent de noter les indices quand il fait chaud.
Le Détective B est aussi bon, mais il oublie de noter les indices quand il pleut.

Si vous utilisez le Détective A pour un crime commis en été, vous allez rater des preuves cruciales. Si vous utilisez le Détective B pour un crime en hiver, vous ferez la même erreur.
Résultat : Même si les deux détectives sont « excellents » en moyenne, ils vont vous donner des conclusions totalement différentes sur le coupable, selon la météo du jour.

3. Les expériences réelles : Quand le choix de l'IA change tout

Les auteurs ont testé cette théorie sur deux études réelles :

Cas 1 : L'école (Éducation)
Ils ont demandé à 8 IA différentes de corriger des copies d'élèves sur un programme d'enseignement.
- Résultat : Toutes les IA ont dit que le programme fonctionnait (c'est positif).
- Mais : L'efficacité estimée variait énormément ! Selon l'IA choisie, l'amélioration des élèves semblait être de 0,19 ou de 0,35. C'est une différence de 80 % ! Le choix de l'IA a faussé la mesure du succès de l'école.
Cas 2 : La politique (Russie)
Ils ont demandé aux IA de lire des nouvelles russes pour voir si les officiels étaient accusés ou félicités.
- Résultat : Certaines IA ont confirmé la théorie originale (les officiels sont félicités pour les bonnes nouvelles).
- Mais : D'autres IA ont dit exactement le contraire ! Elles ont conclu que les officiels étaient blâmés pour les mauvaises nouvelles.
- Le choc : En changeant simplement l'IA, on a inversé la conclusion scientifique.

4. La leçon à retenir

L'article nous dit qu'il faut arrêter de regarder uniquement la « note globale » d'une IA.

L'illusion : « Cette IA a 95 % de réussite, donc je peux l'utiliser n'importe où. »
La réalité : « Cette IA a 95 % de réussite, mais elle fait des erreurs spécifiques qui vont fausser mes résultats si je ne fais pas attention. »

En résumé :
Utiliser une IA pour la science, ce n'est pas comme changer de stylo. C'est comme changer de lunettes. Si vous portez des lunettes vertes, tout vous paraîtra vert. Si vous portez des lunettes rouges, tout sera rouge. Même si les deux lunettes sont « de haute qualité », elles ne vous montrent pas le même monde.

Ce qu'il faut faire ?
Les scientifiques doivent maintenant vérifier plusieurs IA, comparer leurs résultats et comprendre où elles se trompent, pas juste combien de fois elles se trompent. C'est la seule façon de s'assurer que la science reste vraie, même à l'ère de l'intelligence artificielle.

1. Problématique : L'illusion du benchmark

L'article remet en question une prémisse fondamentale de l'utilisation des Grands Modèles de Langage (LLM) dans la recherche scientifique : l'hypothèse selon laquelle deux modèles obtenant des scores de précision (accuracy) similaires sur des benchmarks standards (comme MMLU-Pro ou GPQA) sont fonctionnellement interchangeables.

Les auteurs identifient ce phénomène comme une "illusion de benchmark". Ils soutiennent que la convergence des scores de précision masque une divergence épistémique profonde. En d'autres termes, des modèles qui semblent équivalents en termes de performance globale peuvent commettre des erreurs systématiquement différentes sur des items spécifiques. Pour la science, où la reproductibilité et la validité des inférences sont cruciales, cette divergence cachée pose un risque majeur : le choix d'un modèle spécifique devient une variable cachée mais déterminante qui peut altérer les résultats d'une étude.

2. Méthodologie

L'étude adopte une approche mixte combinant l'analyse de données de benchmarks, la simulation statistique et la réanalyse empirique de études publiées.

Analyse de désaccord sur les benchmarks :
- Les auteurs utilisent deux benchmarks majeurs de raisonnement : MMLU-Pro (12 032 questions, 14 disciplines) et GPQA (448 questions d'experts en sciences).
- Ils calculent le taux de désaccord pair-à-pair entre différents modèles (y compris les modèles de pointe "frontier" avec une précision > 60%).
- Les prompts et le décodage sont maintenus fixes pour isoler les différences de représentation et de raisonnement inhérentes aux modèles.
Cadre théorique et Simulation :
- Les auteurs modélisent l'impact des erreurs de prédiction dans un cadre de régression linéaire/logistique. Ils démontrent théoriquement que si les erreurs de prédiction ( $e = \hat{Y} - Y$ ) sont corrélées avec les variables indépendantes ( $X$ ), les estimateurs de traitement ( $\beta$ ) seront biaisés.
- Une simulation est menée avec trois types d'annotateurs sur un jeu de données de 10 000 observations (scénario de sécurité médicamenteuse) :
  1. Un annotateur à faible performance avec des erreurs aléatoires.
  2. Un annotateur à haute performance avec un biais systématique (erreurs corrélées au groupe de traitement).
  3. Un autre annotateur à haute performance avec un biais systématique inverse.
Réanalyses Empiriques :
- Étude 1 (Éducation) : Réanalyse de l'essai randomisé de Kim et al. (2021) sur une intervention de littératie. Huit LLMs différents sont utilisés pour noter des essais d'étudiants selon une grille humaine originale, puis les effets de traitement sont réestimés.
- Étude 2 (Science Politique) : Réanalyse de Rozenas et Stukal (2019) sur l'attribution sélective dans les médias d'État russes. Huit LLMs classifient des fragments de nouvelles pour déterminer si les responsables politiques sont blâmés ou crédités, et les résultats sont comparés à l'étude originale.

3. Résultats Clés

Désaccord massif malgré une précision similaire :
- Même parmi les modèles les plus performants (précision > 60%), le taux de désaccord pair-à-pair est élevé : 16-38% sur MMLU-Pro et 16-38% sur GPQA.
- Cela signifie que des modèles qui "répondent correctement à 7 questions sur 10" ne répondent pas correctement aux mêmes 7 questions.
Impact sur l'inférence statistique (Simulation) :
- La simulation montre que des annotateurs avec une précision globale très élevée (93-94%) mais des erreurs systématiques corrélées aux variables d'intérêt produisent des biais beaucoup plus importants et dans des directions opposées que des annotateurs moins précis mais avec des erreurs aléatoires.
- L'annotateur 2 a sous-estimé l'effet de traitement (coefficient 0,37 vs 1,0 réel), tandis que l'annotateur 3 l'a surestimé (coefficient 1,43), bien que tous deux aient une précision supérieure à celle de l'annotateur aléatoire.
Réanalyses Empiriques :
- Cas Éducation : Bien que tous les LLMs aient trouvé un effet de traitement positif, la magnitude de l'effet estimé variait de 0,19 à 0,35 (contre 0,44 dans l'étude originale). Cela représente une différence de 84% dans l'estimation de l'impact de l'intervention.
- Cas Science Politique : Le choix du modèle a inversé la conclusion scientifique. Alors que l'étude originale et certains LLMs trouvaient que les responsables étaient plus souvent crédités pour les bonnes nouvelles, d'autres modèles (Gemma-3-27B, Qwen-2.5-72B) ont conclu l'inverse (les responsables sont plus souvent blâmés pour les mauvaises nouvelles).
- Le taux de désaccord entre les annotateurs LLM dans ce cas était de 29% à 66%.

4. Contributions Principales

Preuve de la divergence épistémique : L'article démontre que la précision sur les benchmarks ne garantit pas l'équivalence fonctionnelle des modèles. Les modèles ont des profils d'erreur distincts et systématiques.
Nouveau degré de liberté du chercheur : Le choix du modèle LLM est présenté comme une nouvelle forme de "degré de liberté du chercheur" (researcher degrees of freedom), analogue au choix d'une spécification statistique, capable de créer des "chemins fourchus" (forking paths) menant à des conclusions contradictoires.
Critique des régimes d'évaluation actuels : Les auteurs soutiennent que les benchmarks actuels, axés sur la précision agrégée, sont mal alignés avec les besoins scientifiques. Ils proposent une nouvelle notion d'"alignement scientifique", qui privilégierait la stabilité, la calibration de l'incertitude et la structure des erreurs plutôt que la seule performance moyenne.

5. Signification et Implications

Pour la reproductibilité scientifique : L'illusion du benchmark menace la reproductibilité des études utilisant l'IA. Deux chercheurs utilisant des modèles "de pointe" différents sur les mêmes données peuvent obtenir des conclusions quantitatives et qualitativement opposées.
Pour la pratique de la recherche :
- Le choix du modèle doit être traité comme une partie intégrante de la conception de l'étude et spécifié à l'avance.
- Les analyses de sensibilité (répéter l'analyse avec plusieurs modèles forts mais distincts) doivent devenir une norme, similaire aux vérifications de robustesse traditionnelles.
- Des flux de travail hybrides (LLM pour l'annotation de masse + humains pour la calibration sur des sous-ensembles stratégiques) sont recommandés.
Pour le développement de l'IA : Il est nécessaire de développer de nouveaux benchmarks et métriques qui évaluent non seulement la justesse, mais aussi la stabilité des modèles, leur accord inter-modèle et la nature de leurs erreurs par rapport aux variables de traitement.

En conclusion, l'article met en garde contre l'acceptation aveugle des LLMs comme outils "plug-and-play" dans la science. La puissance de ces modèles doit être canalisée par une compréhension rigoureuse de leurs désaccords systématiques pour préserver l'intégrité des fondements factuels de la science.