Resolution Diagnostics for Paired LLM Evaluation

Résumé Technique : Diagnostics de Résolution pour l'Évaluation Appariée des LLM

Énoncé du Problème
Les classements modernes des modèles de langage de grande taille (LLM) rangent fréquemment les modèles sur la base de différences en points de pourcentage dérivées de benchmarks à prompts partagés. Bien qu'un écart phare (par exemple, 78,3 % contre 77,5 %) oriente les décisions produits et les récits, l'affirmation statistique qu'un modèle est significativement meilleur qu'un autre dépend de la taille du benchmark et de la structure des données fournissant une résolution suffisante pour distinguer l'écart du bruit d'échantillonnage.

L'article identifie une lacune critique dans les pratiques d'évaluation actuelles : de nombreux classements appariés affichés sur les tableaux de bord publics ne satisfont pas les objectifs de résolution des tests appariés conventionnels (spécifiquement $\alpha=0,05$ et une puissance $1-\beta=0,8$). Les auteurs soutiennent que les calculateurs de puissance standards et les protocoles d'évaluation ignorent souvent la nature appariée des benchmarks à prompts partagés, conduisant à des comparaisons sous-puissantes. Plus précisément, l'article met en évidence que :

1. Sur le tableau de bord Open LLM Leaderboard (OLL) v1, 11 comparaisons appariées sur 40 sont non résolues.
2. Sur le top-10 du MMLU-Pro, 4 paires de rangs adjacents sur 9 sont non résolues à la taille réelle du benchmark ($N=12\,032$).
3. Les « raccourcis » courants pour calculer les tailles d'échantillon requises dans des contextes appariés (par exemple, appliquer une correction $(1-\rho)$ à la $h$ de Cohen non appariée) sous-estiment systématiquement la taille d'échantillon requise par un facteur d'environ deux dans les régimes de comparaison serrée.

Méthodologie
Les auteurs formulent l'évaluation appariée des LLM comme un problème de test d'hypothèse et dérivent un cadre de rapport de résolution en inversant les tests de niveau-$\alpha$ et de puissance-$(1-\beta)$.

• Ratio de Résolution ($q$) : Le diagnostic principal est défini comme $q = N / N^\star$, où $N$ est la taille réelle du benchmark et $N^\star$ est la taille d'échantillon requise pour détecter un écart observé $\hat{\delta}$ avec la puissance cible. Un écart est considéré « résolu » si $q \ge 1$.
• Variance Appariée : Pour la précision binaire, la taille d'échantillon requise $N^\star$ est dérivée en utilisant la formule de McNemar-Connor, qui prend en compte la variance de la différence appariée $\sigma_D^2 = p_A q_A + p_B q_B - 2\rho\sqrt{p_A q_A p_B q_B}$. Cela contraste avec les formules non appariées qui gonflent le $N$ requis en ignorant la covariance $\rho$.
• Le Lemme du Raccourci (Lemme 1) : L'article fournit un développement d'effet faible précis caractérisant l'échec du raccourci largement utilisé « $h$ de Cohen non apparié plus $(1-\rho)$ ». Les auteurs prouvent que pour de petits effets $\delta$, le rapport entre l'estimation par raccourci ($n_h$) et l'estimation appariée correcte ($N^\star$) converge vers $1/2$ avec une constante explicite d'ordre deux $C(p, \rho)$. Cela explique pourquoi les outils appliquant $(1-\rho)$ à une sortie non appariée par bras sous-estiment systématiquement $N^\star$ d'environ la moitié dans les régimes de comparaison serrée.
• Extensions : Le cadre intègre :
  • Correction de Multiplicité : Ajustement pour les taux d'erreur par famille (Bonferroni/Holm) ou les taux de fausses découvertes (BH) lors de l'évaluation de multiples paires.
  • Sensibilité aux Clusters : Mise à l'échelle de $N^\star$ par un effet de conception ($DE$) pour tenir compte de la corrélation intra-cluster (par exemple, les catégories de sujets dans MMLU-Pro).
  • Tests Valides à Tout Moment : Remplacement des seuils à $N$ fixe par des limites uniformes dans le temps dérivées de processus-e pour gérer les mises à jour continues des tableaux de bord.

Contributions Clés

1. Caractérisation Théorique d'un Schéma d'Abus : L'article fournit un nouveau lemme (Lemme 1) avec une constante explicite qui quantifie l'écart du raccourci « non apparié + $(1-\rho)$ » par rapport à la taille d'échantillon appariée correcte. Il démontre que ce raccourci sous-estime la taille d'échantillon requise par un facteur de deux dans le régime de comparaison serrée, un schéma hérité silencieusement par trois des cinq calculateurs de puissance courants (Cohen 1988, G*Power, R pwr).
2. Diagnostics Empiriques de Résolution : Les auteurs appliquent leur cadre à des données réelles de tableaux de bord (OLL v1 et MMLU-Pro). Ils démontrent qu'une part significative des écarts de rangs adjacents affichés sont non résolus aux objectifs de puissance standards.
   • Sur OLL v1, 11 paires sur 40 sont non résolues.
   • Sur MMLU-Pro, le nombre de paires adjacentes non résolues passe de 4/9 (sous hypothèse IID) à 6/9 lors de la prise en compte du regroupement réel au niveau des sujets.
3. Protocole de Rapport et Outils : L'article introduit un protocole packagé (llm-power) qui expose les diagnostics de résolution sous forme d'appel en une ligne, permettant aux concepteurs de benchmarks de rapporter l'effet détectable minimum (MDE) et le ratio de résolution $q$ parallèlement aux écarts phares.

Résultats

• Abus de Calculatrice : Dans un exemple traité avec les paramètres $(p_A, p_B, \rho) = (0,65, 0,60, 0,30)$, trois outils populaires ont renvoyé une taille d'échantillon requise d'environ 515 alors que le $N^\star$ apparié correct était de 1 028. Les outils ont appliqué la correction $(1-\rho)$ à une variance par bras unique plutôt qu'à la variance de la différence appariée.
• Impact Réel :
  • OLL v1 : 28 % des comparaisons appariées (11/40) ont échoué à l'objectif de résolution. Toutes les paires avec des écarts $\le 2\%$ étaient non résolues.
  • MMLU-Pro : Sous l'hypothèse d'éléments indépendants, 4 paires adjacentes sur 9 étaient non résolues. Lors de l'application d'une correction par cluster basée sur les 14 catégories de sujets, le nombre de paires non résolues est passé à 6/9. Deux paires (Rang 4 vs 5 et Rang 5 vs 6) sont passées de « confortablement résolues » à nécessitant des tailles d'échantillon $>3N$.
  • Tests Valides à Tout Moment : L'application de seuils uniformes dans le temps pour la surveillance continue a encore resserré les verdicts, rendant 5 paires sur 9 du MMLU-Pro non résolues (une paire supplémentaire par rapport aux tests à $N$ fixe).
• Calibration : Les prescriptions de $N^\star$ du cadre ont été validées par sous-échantillonnage bootstrap sur des données réelles, confirmant que les tailles d'échantillon dérivées atteignent la puissance cible ($\approx 0,80$) empiriquement.

Signification et Revendications
L'article affirme que l'affirmation selon laquelle un modèle est « meilleur » qu'un autre est une revendication statistique concernant l'écart, et non l'écart lui-même. La signification de ce travail réside dans le déplacement du focus du simple rapport d'un écart et d'une valeur-p vers le rapport de la résolution du benchmark.

Les auteurs soutiennent que de nombreuses revendications actuelles des tableaux de bord ne sont pas étayées par la puissance statistique des données, en particulier dans le « régime de comparaison serrée » où les modèles adjacents sont classés. En exposant la sous-estimation d'un facteur deux dans les outils courants et en démontrant que le regroupement et la multiplicité dégradent davantage la résolution, l'article fournit un cadre diagnostique pour prévenir des conclusions trop confiantes. Le travail ne revendique pas que les modèles sont égaux, mais plutôt que les tailles de benchmark actuelles sont insuffisantes pour distinguer les écarts observés du bruit selon des normes statistiques rigoureuses. L'article conclut qu'un benchmark peut avoir une haute validité de construction et pourtant être trop petit pour le test d'hypothèse spécifique en question, nécessitant un nouveau standard de rapport pour les évaluations de LLM.