💻 computer science

State-of-the-Art Claims Require State-of-the-Art Evidence

Cet article soutient que les affirmations d'État de l'Art dans la recherche en intelligence artificielle sont souvent dépourvues de preuves issues des benchmarks, car les améliorations des scores agrégés reposent fréquemment sur des valeurs aberrantes plutôt que sur une supériorité cohérente et robuste, ce qui rend nécessaire un rapport plus honnête et précis des performances des modèles.

Auteurs originaux : YongKyung Oh

Publié 2026-05-19

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : YongKyung Oh

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Le Grand Problème : L'Illusion du « Président de Classe »

Imaginez un lycée où des élèves se présentent à l'élection du Président de Classe. Pour désigner le vainqueur, le principal prend les notes de chaque matière (Mathématiques, Histoire, Art, Éducation Physique, Sciences) et les additionne pour obtenir un unique « Score Total ».

Dans le monde de l'Intelligence Artificielle (IA), les chercheurs font exactement la même chose. Ils testent leurs modèles d'IA sur de nombreuses tâches différentes (comme écrire du code, répondre à des questions d'histoire ou reconnaître des chats sur des photos), additionnent les scores et déclarent le modèle ayant le score total le plus élevé comme le champion « State-of-the-Art » (SOTA).

Le papier soutient que c'est un piège. Le fait qu'un élève ait le score total le plus élevé ne signifie pas qu'il est le meilleur dans tout. Il peut être un génie en Mathématiques mais nul en Éducation Physique, tandis qu'un autre élève est « moyen » partout. Le papier affirme que qualifier le vainqueur du score total de « meilleur » revient à remettre un trophée à quelqu'un qui a gagné uniquement parce qu'il a obtenu des notes parfaites dans quelques matières faciles, même s'il a échoué dans les matières difficiles.

Les Trois Façons Dont le « Vainqueur » Peut Être un Hasard

Les auteurs ont examiné 10 différents « classements » d'IA (comme le tableau d'affichage du Président de Classe) et ont constaté que dans plus de la moitié des cas, le vainqueur déclaré n'était pas réellement le champion incontesté. Ils ont utilisé trois tests simples pour vérifier si la victoire était réelle ou simplement un coup de chance :

1. Le Test de la « Marge de Victoire » (Magnitude)

L'Analogie : Imaginez deux coureurs. Le Coureur A termine en 10,00 secondes et le Coureur B en 10,01 secondes. Le Coureur A est-il significativement plus rapide ? Ou la différence est-elle simplement due au vent, à une lacette desserrée ou à un mauvais départ ?
La Découverte du Papier : Souvent, le modèle d'IA « gagnant » est seulement légèrement meilleur que le deuxième. La différence est si minuscule qu'elle pourrait être due au simple bruit aléatoire. Pourtant, les chercheurs continuent d'affirmer que le vainqueur est « supérieur », ignorant que l'écart est pratiquement invisible.

2. Le Test de la « Cohérence » (Taux de Victoire)

L'Analogie : Imaginez un joueur de basket qui marque 100 points lors d'un match mais rate tous ses tirs lors des cinq matchs suivants. Si vous faites la moyenne de ses points, il a l'air d'une star. Mais si vous demandez : « A-t-il gagné la plupart des matchs ? », la réponse est non.
La Découverte du Papier : De nombreux modèles d'IA « gagnants » perdent en réalité sur plus de la moitié des tâches spécifiques sur lesquelles ils sont testés. Ils ne remportent le classement général que parce qu'ils ont obtenu un score massif sur une ou deux tâches spécifiques qui ont tiré leur moyenne vers le haut. Ils ne sont pas des vainqueurs cohérents ; ce sont des spécialistes qui ont eu de la chance avec le calendrier.

3. Le Test de la « Fragilité » (Stabilité)

L'Analogie : Imaginez une tour de Jenga. Si vous pouvez retirer un seul bloc et que toute la tour s'effondre, la tour est fragile.
La Découverte du Papier : Le papier a constaté que pour de nombreux modèles d'IA, si vous retirez une ou deux questions de test spécifiques (ensembles de données) du classement, le « vainqueur » chute soudainement à la dernière place. Cela signifie que son statut de « champion » dépend entièrement de quelques questions spécifiques. Si vous modifiez légèrement le test, le classement s'inverse complètement.

Le « Fossé entre l'Affirmation et la Preuve »

Les auteurs appellent cela le Fossé entre l'Affirmation et la Preuve.

La Preuve : Les données montrent qu'un modèle est « premier en moyenne ».
L'Affirmation : Le papier déclare : « Ce modèle est le State-of-the-Art (le meilleur de tous les temps) ».

Le papier soutient que « State-of-the-Art » implique qu'un modèle est robuste, cohérent et significativement meilleur. Mais les preuves ne soutiennent souvent que : « Ce modèle a le score moyen le plus élevé sur cette liste spécifique de tests aujourd'hui ».

Pourquoi Cela Continue-t-il d'Arriver ?

Le papier suggère que ce n'est pas parce que les chercheurs sont mauvais en mathématiques. C'est un problème institutionnel.

La Pression : Les conférences et les journaux adorent les titres audacieux. Un papier intitulé « Notre modèle est premier en moyenne » semble ennuyeux. « Notre modèle est le nouveau State-of-the-Art ! » semble excitant et génère plus de citations.
Le Statu Quo : Tout le monde le fait, donc personne ne s'arrête. C'est comme un jeu où tout le monde court sur un tapis roulant ; si vous vous arrêtez pour vérifier votre vitesse, vous vous faites dépasser.

La Solution : Un Rapport Honnête (Aucune Nouvelle Expérience Nécessaire)

La bonne nouvelle est que nous n'avons pas besoin d'inventer de nouveaux modèles d'IA ou de lancer de nouveaux tests coûteux pour résoudre ce problème. Nous devons simplement changer la façon dont nous parlons des résultats.

Au lieu de dire :

« Notre modèle est le State-of-the-Art ! »

Les auteurs suggèrent de dire :

« Notre modèle a obtenu le score moyen le plus élevé sur cette référence, mais il n'a gagné que sur 60 % des tâches, et son avance disparaît si nous retirons deux ensembles de données spécifiques. »

L'Essentiel :
Le papier exhorte la communauté de l'IA à cesser de traiter un nombre moyen unique comme une preuve de supériorité totale. Tout comme vous ne qualifieriez pas un élève de « le plus intelligent de l'école » simplement parce qu'il a réussi un test facile, nous ne devrions pas qualifier une IA de « meilleure » simplement parce qu'elle a le score moyen le plus élevé sur un classement fragile. Nous devons assortir nos affirmations audacieuses à des preuves honnêtes et détaillées.

Résumé technique : Les affirmations de l'état de l'art nécessitent des preuves de l'état de l'art

Énoncé du problème

L'article identifie un « écart affirmation-preuve » omniprésent dans la recherche en Intelligence Artificielle (IA) et en Apprentissage Automatique (ML). Bien que les affirmations « État de l'Art » (SOTA) soient omniprésentes — apparaissant dans plus de 30 % des résumés des grandes conférences —, elles reposent généralement sur des preuves minimales : une seule moyenne agrégée sur plusieurs tâches ou ensembles de données. Les auteurs soutiennent qu'affirmer qu'un modèle est « SOTA » suggère implicitement une supériorité robuste (amélioration significative, cohérence à travers les tâches et stabilité face aux perturbations), alors que la preuve standard (supériorité du score moyen) établit uniquement que le modèle se classe premier en moyenne.

Le problème central est que les scores agrégés masquent des modes d'échec critiques. Un modèle peut obtenir un score moyen plus élevé grâce à des gains marginaux sur quelques ensembles de données aberrants tout en sous-performant sur la majorité des tâches, ou son classement peut être fragile face à de minimes changements dans la composition de l'ensemble de données. Malgré une prise de conscience généralisée de la fragilité des benchmarks (par exemple, sensibilité au formatage des invites, biais de sélection des ensembles de données et dérifts de distribution), la communauté continue d'utiliser un langage réservé à une supériorité robuste pour décrire des résultats soutenus uniquement par des estimations ponctuelles.

Méthodologie

Les auteurs proposent un cadre diagnostique pour tester si les classements observés soutiennent les hypothèses implicites des affirmations SOTA. Ils ne proposent pas de nouveaux tests statistiques mais appliquent trois concepts bien établis en statistique aux données de benchmark existantes :

Magnitude (Taille de l'effet) : En utilisant la d de Cohen, les auteurs mesurent si l'écart de performance entre deux modèles est significatif par rapport à la variance à travers les tâches. Un seuil de $\tau_d = 0,2$ (petite taille d'effet) est utilisé pour déterminer si l'amélioration est distinguable du bruit.
Cohérence (Taux de victoire) : Les auteurs calculent la fraction de tâches où le « gagnant » (le modèle avec le score moyen le plus élevé) surpasse réellement le concurrent. Un seuil de $\tau_w = 0,6$ est utilisé pour tester si le modèle gagne sur la majorité des tâches, et non pas seulement en moyenne.
Stabilité (Point de rupture) : En utilisant le concept de point de rupture issu des statistiques robustes, les auteurs déterminent la proportion minimale d'ensembles de données qui doivent être supprimés pour inverser le classement. Un seuil de $\tau_b = 0,2$ indique si le classement repose sur un petit sous-ensemble d'ensembles de données favorables.

Le Taux de fragilité est défini comme la proportion de comparaisons par paires où le gagnant du score moyen échoue à au moins l'un de ces trois tests élémentaires.

L'étude analyse dix classements publics couvrant six domaines (NLP/LLM, Parole, Vision-Langage, Vidéo, Données tabulaires et Séries temporelles), en reconstruisant les comparaisons par paires pour les 20 meilleurs modèles de chaque domaine.

Résultats clés

L'analyse empirique révèle que l'écart affirmation-preuve est omniprésent à travers les domaines :

Taux de fragilité élevés : Sur plus de 1 000 comparaisons par paires, une fraction substantielle des comparaisons de modèles de premier plan manque de soutien pour au moins une propriété supposée de supériorité. Le taux de fragilité global varie d'environ 39 % (HELM MMLU) à plus de 74 % (TSFM-Bench avec la métrique MSE).
Modes d'échec distincts : Les trois diagnostics capturent différents modes d'échec. Par exemple, dans les benchmarks tabulaires, la fragilité est souvent due à des problèmes de cohérence (taux de victoire < 60 %), tandis que dans les prévisions de séries temporelles, la stabilité est le principal goulot d'étranglement (les points de rupture sont faibles).
Concentration des modèles de premier plan : La fragilité est la plus prononcée parmi les 10 meilleurs modèles, précisément là où les affirmations SOTA sont les plus concentrées. À mesure que l'analyse s'étend pour inclure des modèles moins bien classés (par exemple, les 60 premiers), le taux de fragilité diminue, suggérant que les distinctions entre les meilleurs performeurs sont moins robustes que les distinctions entre les modèles de premier plan et ceux de niveau intermédiaire.
Robustesse aux seuils : Les résultats sont robustes au choix des seuils. Même lorsque les seuils sont assouplis (par exemple, en abaissant le seuil de taux de victoire à 0,5), le taux de fragilité global reste élevé (supérieur à 35 % dans tous les cas).
Le nombre de tâches ne résout pas le problème : Des expériences de sous-échantillonnage sur HELM MMLU montrent que l'augmentation du nombre de tâches ne résout pas l'instabilité si les tâches partagent des caractéristiques similaires ou si le benchmark agrège des signaux hétérogènes.

Contributions clés

L'article apporte trois contributions principales :

Identification de l'écart : Les auteurs définissent et testent explicitement les hypothèses implicites derrière les affirmations SOTA (magnitude, cohérence, stabilité), démontrant que la supériorité du score moyen ne garantit pas ces propriétés.
Preuve empirique de l'omniprésence : En appliquant des diagnostics statistiques élémentaires à dix classements publics diversifiés, l'article quantifie que plus de la moitié des comparaisons de modèles de premier plan échouent à au moins un test, confirmant que l'écart est une caractéristique structurelle des pratiques actuelles de benchmarking plutôt qu'une anomalie.
Diagnostic institutionnel : L'article soutient que combler cet écart nécessite des normes institutionnelles plutôt que de nouvelles expériences. Puisque les diagnostics ne nécessitent aucune donnée supplémentaire ni ressources de calcul, la persistance du problème est attribuée à des barrières institutionnelles (pression de publication, manque de normes standardisées de rapport) plutôt qu'à des limitations techniques.

Importance et affirmations

L'importance de l'article réside dans son appel à un rapport honnête et à un calibrage des affirmations. Les auteurs soutiennent que la communauté possède déjà les outils pour diagnostiquer ces problèmes (par exemple, intervalles de confiance, taux de victoire, tailles d'effet), comme en témoignent des exemples rares tels que Chatbot Arena et FEV-Bench.

L'article ne prétend pas que les scores moyens sont inutiles pour la prise de décision pratique, ni qu'il exige que les modèles passent des tests statistiques spécifiques pour être publiés. Il soutient plutôt que :

Le langage doit correspondre aux preuves : Les auteurs doivent éviter les affirmations larges de « SOTA » lorsque les preuves sont étroites. Des phrases comme « obtient l'erreur moyenne la plus faible » ou « se classe premier sur ce benchmark » sont plus précises lorsque le modèle ne gagne pas de manière cohérente ou robuste.
Un changement institutionnel est nécessaire : Les auteurs individuels ne peuvent pas déplacer l'équilibre seuls. L'article appelle à des directives au niveau des lieux de publication (similaires à CONSORT en médecine clinique) qui encouragent les auteurs à rapporter l'incertitude (par exemple, taux de victoire, tailles d'effet) et les réviseurs à vérifier que le langage des affirmations s'aligne sur les statistiques rapportées.
Transparence plutôt que nouveauté : L'objectif n'est pas de créer de plus grands benchmarks, mais de rapporter avec précision les limites des résultats existants, permettant des comparaisons plus précises et interprétables entre les modèles.

En conclusion, l'article affirme que « des affirmations extraordinaires nécessitent des preuves extraordinaires », et actuellement, la communauté ML fait des affirmations extraordinaires (SOTA) basées sur des preuves ordinaires et fragiles. La solution réside dans l'alignement du langage des affirmations avec la force réelle des données sous-jacentes.