📊 statistics

Statistical Methods for Multiple Language Model Comparison on a Shared Evaluation

Cet article propose un modèle à effets aléatoires unifié qui étend les méthodes statistiques appariées standards pour comparer rigoureusement plusieurs modèles de langage sur des évaluations partagées et regroupées, démontrant, par des simulations et des données réelles, que l'exactitude des classements par paires dépend d'une prise en compte appropriée à la fois des corrélations au niveau des questions et des comparaisons multiples.

Auteurs originaux : Juan Francisco Mandujano Reyes

Publié 2026-08-25

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Juan Francisco Mandujano Reyes

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Dans le monde de l'intelligence artificielle en évolution rapide, les chercheurs construisent constamment de nouveaux programmes informatiques conçus pour comprendre et générer le langage humain. Pour déterminer quel programme est le plus intelligent, ils les soumettent à une série de tests, un peu comme un examen standardisé pour les étudiants. Ces tests consistent en des milliers de questions couvrant des sujets allant de l'histoire et les sciences à la logique et aux mathématiques. Pendant des années, la manière standard de comparer ces programmes a été d'examiner leurs scores moyens. Si un programme obtient un pourcentage de bonnes réponses plus élevé qu'un autre, il est déclaré vainqueur. Cependant, cette approche simple omet souvent un détail crucial : les questions elles-mêmes ne sont pas toutes identiques. Certaines questions sont intrinsèquement plus difficiles que d'autres, et les questions appartenant au même sujet, comme un ensemble de problèmes mathématiques, ont tendance à être corrélées. Si deux programmes peinent tous deux sur les mêmes questions mathématiques difficiles, leurs scores sont liés, et non indépendants. Ignorer ces connexions peut faire paraître un programme meilleur ou moins bon qu'il ne l'est réellement, menant à des classements confus ou incorrects sur les tableaux de bord qui guident le domaine.

Un chercheur s'est donné pour mission de résoudre ce problème en développant une manière plus rigoureuse de comparer plusieurs modèles de langage à la fois. Au lieu de traiter chaque question comme un événement isolé, il a proposé un cadre statistique qui reconnaît la structure du test lui-même. Il a traité les différents programmes informatiques comme les principaux sujets d'intérêt, tout en considérant les questions et les groupes de questions auxquels elles appartiennent comme des variations aléatoires qui affectent tout le monde. En utilisant un modèle statistique unique et unifié, il pouvait rendre compte du fait que le même ensemble de questions était utilisé pour chaque programme. Cette approche lui a permis de séparer la véritable compétence du modèle de la difficulté des questions spécifiques et du regroupement naturel de ces questions en catégories comme la compréhension de lecture ou la traduction.

Le chercheur a testé sa méthode en utilisant des données réelles provenant d'un benchmark majeur appelé MMLU-Pro, qui contient plus de 12 000 questions réparties dans 14 domaines thématiques différents. Il a sélectionné six modèles de langage populaires de taille similaire et leur a fait répondre exactement les mêmes 1 497 questions. Lorsqu'il a analysé les résultats à l'aide de sa nouvelle méthode, il a constaté que la manière standard de comparer les modèles menait souvent à des conclusions erronées. Dans ses études de simulation, il a montré que si vous comparez simplement les modèles deux par deux sans corriger le fait que vous effectuez de nombreuses comparaisons à la fois, vous avez une forte probabilité de déclarer qu'une différence existe alors qu'il ne s'agit que de bruit aléatoire. Dans son test en conditions réelles, il a découvert que plusieurs affirmations selon lesquelles un modèle était meilleur qu'un autre disparaissaient une fois qu'il appliquait les corrections statistiques appropriées. Par exemple, un modèle semblait battre un autre par une faible marge, mais après avoir pris en compte les comparaisons multiples et la structure des questions, cette différence n'était plus statistiquement significative.

L'étude a également souligné l'importance de la manière dont les questions sont regroupées. Lorsque les questions sont regroupées par sujet, comme un bloc de problèmes mathématiques, la performance des modèles sur ces questions est corrélée. Le chercheur a constaté qu'ignorer ce regroupement peut sous-estimer l'incertitude des scores d'un facteur allant jusqu'à près de trois fois. En utilisant son modèle à effets mixtes, qui traite ces groupes comme des facteurs aléatoires, il a pu mesurer avec précision quelle part de la variation des scores provenait du sujet traité par rapport à la capacité réelle du modèle. Cela a révélé que, bien que le regroupement par sujet joue un rôle, le principal moteur des différences était les modèles eux-mêmes, mais seulement lorsque le bruit statistique était correctement contrôlé.

Enfin, l'article fournit un ensemble clair de recommandations sur la manière dont le domaine doit progresser. Le chercheur soutient qu'avant de déclarer un classement entre plusieurs modèles, les scientifiques devraient d'abord effectuer un test large pour voir s'il existe des différences au sein du groupe. Si ce test montre une différence, ils devraient ensuite utiliser des méthodes spécifiques et corrigées pour comparer les modèles deux par deux, garantissant ainsi que la probabilité d'une fausse alerte reste faible. Il conseille également que lorsque les questions sont regroupées par sujet, ces groupes doivent être inclus dans le modèle statistique plutôt que d'essayer d'ajuster manuellement les chiffres. En suivant ces étapes, la communauté peut s'assurer que les tableaux de bord sur lesquels elle s'appuie reflètent de véritables améliorations de l'intelligence artificielle plutôt que des artefacts de la manière dont les données ont été analysées. Ce travail ne prétend pas avoir résolu tous les problèmes d'évaluation, mais il offre une base solide et éprouvée pour établir des comparaisons justes et précises dans un domaine où les enjeux sont élevés et la marge d'erreur est faible.

Résumé technique : Méthodes statistiques pour la comparaison de multiples modèles de langage sur une évaluation partagée

Énoncé du problème

Les pratiques d'évaluation actuelles dans la recherche sur les grands modèles de langage (LLM) impliquent fréquemment la comparaison simultanée de $K > 2$ modèles sur un ensemble de questions partagées, comme dans les classements (leaderboards), les études d'ablation ou les balayages d'hyperparamètres. Bien que la littérature existante (par exemple, Miller [7]) fournisse des cadres statistiques rigoureux pour comparer exactement deux modèles à l'aide de tests t appariés et d'erreurs types groupées (clustered standard errors), ces outils ne se transposent pas naturellement à plusieurs modèles.

Le principal défi statistique survient lorsque les chercheurs effectuent des comparaisons par paires sur l'ensemble des $K(K-1)/2$ paires de modèles sans correction. Cette approche ignore le problème des comparaisons multiples, ce qui entraîne une inflation du taux de fausses découvertes. Par exemple, avec $K=4$ modèles et un seuil de signification $\alpha=0,05$ , la probabilité de faire au moins une affirmation de faux positif dépasse 25 %. De plus, les tests non appariés standards ne parviennent pas à rendre compte de la corrélation entre les modèles répondant aux mêmes questions, et les approches qui négligent la structure hiérarchique des questions (par exemple, le regroupement par sujet ou par passage) peuvent conduire à une sous-estimation des erreurs types.

Méthodologie

L'article propose un modèle à effets aléatoires unifié pour traiter les scores de $K$ modèles sur un ensemble d'évaluation partagé, en traitant les modèles comme des effets fixes et les questions (ou groupes de questions) comme des effets aléatoires.

1. Le modèle général

Pour $K$ modèles répondant à $n$ questions, le score $s_{i,m}$ du modèle $m$ sur la question $i$ est décomposé comme suit :
$s_{i,m} = \mu + \alpha_m + \delta_i + \gamma_{i,m}$
Où :

$\alpha_m$ est l'effet fixe du modèle $m$ (la quantité d'intérêt).
$\delta_i$ est un effet aléatoire au niveau de la question partagé par tous les modèles.
$\gamma_{i,m}$ est le bruit résiduel.

Cette formulation permet de partitionner la somme totale des carrés en composantes de modèle, de question et de résidu.

2. Procédure de test en deux étapes

L'auteur recommande une logique en deux étapes pour contrôler le taux d'erreur global (FWER) :

Test omnibus : Dans un premier temps, ajuster le modèle à l'aide d'une ANOVA à mesures répétées à un facteur (ou un modèle linéaire mixte pour les données groupées) pour tester l'hypothèse nulle $H_0: \alpha_1 = \dots = \alpha_K = 0$ . Ce test unique contrôle le FWER.
Analyse post-hoc : Uniquement si le test omnibus est significatif, procéder aux contrastes par paires.
- Pour les plans équilibrés et non groupés, le test de Tukey est utilisé.
- Pour les plans déséquilibrés ou groupés, l'article préconise l'utilisation des moyennes marginales estimées (EMM) avec des ajustements de multiplicité explicites (par exemple, Holm ou Bonferroni pour des garanties exactes, ou de type Tukey comme approximation).

3. Extension aux données groupées (clustered data)

Pour traiter les groupes de questions corrélés (par exemple, des passages de compréhension de lecture, des catégories de sujets), le modèle est étendu à un modèle linéaire mixte :
$s_{i,c,m} = \mu + \alpha_m + u_c + \delta_{i,c} + \epsilon_{i,c,m}$
Où $u_c$ représente l'effet aléatoire du groupe $c$ et $\delta_{i,c}$ est l'effet aléatoire de la question $i$ imbriqué dans le groupe $c$ . Cette approche estime directement les composantes de variance ( $\tau^2$ pour les groupes, $\sigma^2_q$ pour les questions), généralisant les formules d'erreurs types groupées de Miller à n'importe quel $K$ .

Principales contributions

Cadre unifié : L'article établit que les estimateurs appariés et groupés de Miller pour $K=2$ sont des cas particuliers d'un modèle général à effets aléatoires. Ce cadre étend ces résultats à n'importe quel $K > 2$ et gère les conceptions déséquilibrées ou groupées sans nécessier de nouvelles dérivations pour chaque scénario.
Récupération des estimateurs existants : L'auteur démontre qu'en ajustant ce modèle via l'ANOVA ou des modèles linéaires mixtes, on retrouve les propriétés statistiques exactes des tests t appariés et des erreurs types groupées lorsque $K=2$ .
Correction de la multiplicité et du regroupement : Le travail souligne que l'ignorance des comparaisons multiples conduit à des classements instables et que l'ignorance du regroupement des questions sous-estime les erreurs types (par des facteurs de 1,4 à 2,7× dans les simulations).
Implémentation pratique : L'article fournit du code R concret (utilisant lme4 et lmerTest) ainsi qu'un flux de travail reproductible pour permettre aux chercheurs d'implémenter ces corrections.

Résultats empiriques

La méthodologie a été validée par une simulation et une application sur des données réelles.

Étude de simulation

Extension de l'exemple « Galleon/Dreadnought » de Miller à quatre modèles ( $K=4$ ) avec 400 questions partagées :

Taux de fausses découvertes : Les tests z par paires non corrigés ont produit un taux d'erreur globale d'environ 0,26 à $\alpha=0,05$ , tandis que l'ANOVA à mesures répétées omnibus a maintenu le taux à environ 0,05.
Impact du regroupement : Ignorer le regroupement lorsqu'il est présent a sous-estimé les erreurs types par un facteur de 1,4 à 2,7×.

Application sur des données réelles (MMLU-Pro)

Le cadre a été appliqué à six modèles d'environ 7 milliards de paramètres évalués sur un sous-échantillon stratifié de 1 497 questions MMLU-Pro réparties en 14 clusters de sujets.

Impact de la multiplicité : Alors que les tests appariés non corrigés identifiaient 5 différences significatives par paires, seules 3 ont survécu aux corrections de Bonferroni ou de Holm. Plus précisément, les affirmations selon lesquelles Mistral-7B-v0.1 surpassait Qwen1.5-7B-Chat et que Yi-6B-Chat battait Mistral-7B-Instruct-v0.1 se sont révélées indiscernables du bruit une fois la multiplicité prise en compte.
Impact du blocage : L'ANOVA à mesures répétées correctement bloquée ( $F=4,45, p=4,8 \times 10^{-4}$ ) a démontré une puissance significativement plus élevée par rapport à une ANOVA à un facteur ignorant l'identité des questions ( $F=2,90, p=0,013$ ).
Composantes de variance : Le modèle à effets mixtes a estimé que le regroupement par catégorie de sujet expliquait une partie modeste mais réelle de la variance résiduelle ( $\hat{\tau}^2 \approx 0,011$ ), éclairant la décision d'inclure ou non des corrections de regroupement pour des benchmarks spécifiques.

Signification et recommandations

L'article soutient que les affirmations de classement dans les évaluations de LLM sont fragiles et dépendent fortement de la procédure statistique utilisée. L'auteur conclut qu'un modèle unique à effets aléatoires généralise efficacement les techniques de comparaison de deux modèles aux contextes de comparaison multi-modèles, en modélisant explicitement les structures de corrélation et en contrôlant les taux d'erreur.

Recommandations centrales pour les chercheurs :

Omnibus d'abord : Effectuez toujours une ANOVA à mesures répétées (ou un test de Friedman) omnibus avant de formuler des affirmations par paires.
Ajustez la multiplicité : Suivez les tests omnibus significatifs par des procédures post-hoc ajustées pour la multiplicité (Holm/Bonferroni pour des garanties exactes dans des conceptions complexes).
Modélisez le regroupement : Utilisez des modèles à effets mixtes avec des effets aléatoires pour les groupes et les questions plutôt que de dériver manuellement des erreurs types groupées.
Transparence : Rapportez à la fois les statistiques de test standard et celles correctement bloquées pour illustrer l'impact de la structure de l'évaluation.
Stabilité de la température : N'ajustez pas la température d'échantillonnage pour réduire la variance ; le modèle suppose une estimation à la température de déploiement.

L'article souligne que ces méthodes peuvent fondamentalement modifier les classements de modèles que les lecteurs doivent considérer comme crédibles, faisant progresser le domaine vers des standards d'évaluation plus rigoureux et reproductibles.