There Is No Neutral Harness: Modern LLM Leaderboards Are Manufactured by Config-Fragile Items
Cet article démontre que les classements modernes des LLM sont fondamentalement peu fiables car les configurations des bancs d'essai (telles que la formulation des prompts et les méthodes de notation) sont les principaux moteurs de la variance de performance, déterminant souvent le classement des modèles plus que leurs capacités réelles.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Dans le monde de l'intelligence artificielle en évolution rapide, les chercheurs s'appuient sur des tests standardisés pour mesurer la capacité des programmes informatiques à comprendre le langage. Ces tests, souvent appelés benchmarks, présentent une série de questions à choix multiples à un modèle et enregistrent le nombre de bonnes réponses obtenues. Le score résultant est traité comme un fait définitif sur l'intelligence de la machine, permettant aux scientifiques de classer différents modèles les uns par rapport aux autres et de déclarer un vainqueur. Pendant des années, la communauté a opéré sous l'hypothèse que, bien que la performance d'un modèle puisse fluctuer légèrement en raison du hasard, le classement global reflète une vérité stable sur les capacités de la technologie. La question de savoir si un modèle est véritablement plus intelligent qu'un autre a été tranchée en observant un chiffre unique : le pourcentage de bonnes réponses.
Cependant, une nouvelle enquête suggère que ce chiffre unique raconte une histoire beaucoup plus complexe. L'étude révèle que le score reçu par un modèle n'est pas seulement une mesure de son intelligence, mais aussi le produit des règles spécifiques utilisées pour l'évaluer. Ces règles, connues sous le nom de harnais d'évaluation (evaluation harness), incluent des choix qui semblent triviaux en surface : l'ordre dans lequel les options de réponse sont listées, la formulation exacte des instructions données à la machine, et la méthode utilisée pour décider si une réponse est correcte. Bien que ces choix soient souvent faits de manière arbitraire ou par commodité, le chercheur a découvert que les modifier peut réécrire complètement le classement, transformant un modèle classé dernier en premier, ou inversement. Les conclusions impliquent que la façon actuelle dont nous classons l'intelligence artificielle est bien moins stable qu'on ne le croyait auparavant, et que le « meilleur » modèle dépend entièrement de la manière dont le test est administré.
Pour découvrir cette instabilité cachée, un cherchenaire de l'Université de Californie à San Diego a conçu une expérience massive qui traitait les règles de test elles-mêmes comme une variable. Au lieu de lancer un seul test et d'accepter le résultat, il a créé une grille de vingt-six façons différentes d'administrer le même examen. Il a pris douze modèles de langage issus de quatre grandes familles et leur a demandé de répondre aux mêmes 3 679 questions à choix multiples. Pour chaque question, il a soumis les modèles à toutes les combinaisons possibles de règles de test. Cela incluait le mélange de l'ordre des choix de réponses, le changement de la formulation des questions, et le passage entre deux méthodes de notation des réponses : une où le modèle génère une réponse textuelle, et une autre où l'ordinateur calcule la probabilité mathématique de chaque option d'être correcte.
Les résultats ont été saisissants. Lorsque le chercheur a examiné les scores d'un seul modèle, il n'a pas trouvé un point unique de précision. Au lieu de cela, il a trouvé une large bande de scores possibles. Pour l'un des modèles les plus performants, le score variait d'un bas de 31 % à un haut de 89 %, selon l'ensemble de règles utilisé parmi les vingt-six. Cela signifie que la même machine, avec le même code interne et les mêmes connaissances, pouvait se voir créditer d'avoir presque toutes les bonnes réponses ou d'avoir échoué à obtenir un tiers d'entre elles, simplement parce que l'administrateur du test a changé l'ordre des lettres ou le style de l'instruction. En moyenne, 85 % des réponses pour lesquelles un modèle était crédité de réussite selon les règles standards pouvaient être marquées comme fausses sous un autre ensemble de règles, tout aussi valide.
La découverte la plus critique était que ces fluctuations n'étaient pas un bruit aléatoire réparti uniformément sur le test. L'instabilité était concentrée précisément sur les questions qui séparaient les modèles les uns des autres. Lorsque le chercheur a examiné les questions auxquelles deux modèles voisins répondaient correctement ou incorrectement quel que soit les règles, les modèles étaient essentiellement à égalité. Les différences qui créaient les classements existaient uniquement sur les questions où les modèles étaient incertains. En fait, pour les paires de modèles classées côte à côte, la quasi-totalité de l'écart entre leurs scores — environ 96 % en moyenne — était portée par ces questions instables. Si l'on supprimait les questions qui basculaient d'un côté ou de l'autre, les classements disparaissaient et les modèles devenaient indiscernables.
Cette fragilité signifiait que l'identité du « vainqueur » n'était pas une propriété fixe des modèles, mais un choix fait par l'évaluateur. Sous un ensemble de règles, un modèle spécifique pouvait prendre la première place, tandis que sous un autre ensemble de règles, un modèle complètement différent pouvait gagner. Dans cette étude, quatre modèles différents ont pu atteindre la première place selon la configuration utilisée. Un modèle qui terminait onzième sur douze selon les règles standards est passé à la première place sous une méthode de notation différente. Le chercheur a noté que le choix de la manière de noter la réponse — que ce soit lire le texte écrit par le modèle ou calculer les probabilités — était le facteur le plus puissant, provoquant plus de changements dans les classements que l'ordre des options ou la formulation de la consigne.
L'étude a également examiné une tendance populaire dans le domaine : compresser ces tests volumineux en un ensemble plus restreint de questions les plus « informatives » pour gagner du temps. La logique était que quelques centaines de questions bien choisies pourraient représenter l'ensemble du test. Le chercheur a découvert que cette pratique aggrave en réalité le problème. Les questions sélectionnées pour être les plus informatives sont précisément celles qui sont les plus sensibles aux règles de test. En ne conservant que ces questions difficiles et à enjeux élevés, les benchmarks compressés deviennent encore plus volatils que les tests complets qu'ils remplacent. Un test plus petit ne fournit pas une image plus claire ; il fournit une image plus fragile, où le classement est encore plus susceptible de changer en fonction de petits ajustements de la configuration.
En fin de compte, l'article soutient que la pratique actuelle consistant à rapporter un chiffre unique comme étant la vérité sur la capacité d'un modèle est trompeuse. Le score n'est pas une propriété du modèle seul ; c'est une propriété de l'interaction entre le modèle et un ensemble spécifique de règles. Le chercheur suggère que les futurs rapports devraient cesser de traiter le classement comme une hiérarchie fixe et commencer à présenter la plage de scores possibles. Il propose que, lors de la comparaison de modèles, les scientifiques se concentrent sur les questions où les modèles sont stables et s'accordent, plutôt que sur celles où les règles dictent le résultat. Tant que la communauté ne s'accorde pas sur une manière unique et immuable de mener ces tests, les classements resteront un reflet des choix de l'évaluateur plutôt qu'une mesure définitive de l'intelligence artificielle.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.