🤖 AI

Who Thinks Best Depends on How Long You Let Them: Budget-Dependent Rankings in LLM Evaluation

Cet article remet en question l'hypothèse de la stabilité des classements des grands modèles de langage en démontrant que la variation des budgets de jetons d'inférence modifie considérablement les performances et l'ordre des modèles, révélant des comportements non monotones, des inversions de classement et une complémentarité entre modèles qui nécessitent des protocoles d'évaluation conditionnés par le budget.

Auteurs originaux : Rodrigo Guedes de Souza, Alison R. Panisson

Publié 2026-08-13

📖 7 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Rodrigo Guedes de Souza, Alison R. Panisson

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous soyez dans une bibliothèque géante où les livres sont écrits par des robots super intelligents appelés Modèles de Langage Étendus (LLM). Ces robots peuvent lire presque tout et répondre à des questions sur les mathématiques, les sciences et l'histoire. Pendant longtemps, les gens qui essayaient de choisir le "meilleur" robot se contentaient de lui poser une question et regardaient qui obtenait la bonne réponse en premier. Ils supposaient que si le Robot A était meilleur que le Robot B sur un test, il serait toujours meilleur, peu importe la situation. C'était comme juger une course en regardant seulement qui franchissait la ligne d'arrivée en premier, sans se soucier du temps qu'on lui laissait pour courir.

Mais voici le rebondissement : ces robots ne "pensent" pas instantanément. Ils écrivent leurs réponses mot après mot, comme une longue chaîne de pensée. Cette limite sur le nombre de mots qu'ils peuvent écrire est appelée un "budget de jetons" (token budget). Considérez cela comme le fait de donner un temps différent à un élève pour passer un examen. Certains élèves peuvent avoir besoin de beaucoup de temps pour résoudre un puzzle difficile, tandis que d'autres pourraient être confus s'ils ont trop de temps et commencent à trop réfléchir. La grande question pour les scientifiques est la suivante : le "meilleur" robot reste-t-il le meilleur si nous changeons la limite de temps ? Ou le gagnant change-t-il en fonction du temps qu'on le laisse réfléchir ? C'est exactement ce que les chercheurs voulaient découvrir.

Le problème de la "sur-réflexion" : Pourquoi plus de temps n'est pas toujours mieux

Dans cette étude, les chercheurs ont mis en place une expérience massive pour voir comment quatre modèles d'IA différents se comportaient sur trois tests difficiles : les mathématiques de niveau primaire, les mathématiques de niveau compétition et les questions de sciences de niveau master. Ils ne se sont pas contentés de laisser les modèles tourner ; ils les ont forcés à s'arrêter après des quantités spécifiques de "réflexion" (mesurée en jetons). Ils ont testé sept limites différentes, allant d'un minuscule 64 jetons (très peu de temps de réflexion) jusqu'à un énorme 4 096 jetons (beaucoup de temps de réflexion).

Ce qu'ils ont découvert, c'est que l'idée d'un modèle unique "meilleur" est un mythe. Les classements des modèles ont basculé et ont changé en fonction de la quantité de temps qui leur était donnée.

La surprise de la "sur-réflexion"
Vous pourriez penser que donner plus de temps à un robot l'aiderait toujours à trouver la bonne réponse. Mais les chercheurs ont découvert quelque chose de bizarre : parfois, donner plus de jetons à un modèle en fait en réalité une erreur. Ils appellent cela la "sur-réflexion" (overthinking).

Imaginez un élève qui connaît la réponse à un problème de mathématiques. Si vous lui donnez 10 minutes, il l'écrit correctement. Mais si vous lui donnez 30 minutes, il pourrait commencer à douter de lui-même, changer sa réponse et finir par se tromper. L'étude a révélé que cela s'est produit pour environ 3 % à 19 % des questions. Pire encore, ce n'était pas un problème avec les questions elles-mêmes ; c'était spécifique à chaque robot. Une question qui faisait "sur-réfléchir" un modèle et le faisait échouer pouvait être parfaitement gérée par un autre. C'est comme le fait qu'une personne puisse devenir nerveuse si elle a trop de temps pour préparer un discours, alors qu'une autre peut s'épanouir grâce à cela.

Les grands changements de classement
À cause de cela, le "gagnant" de la course changeait constamment.

Sur le test de mathématiques plus facile (GSM8K), un modèle énorme (LLaMA-3.3 70B) était le champion lorsqu'on lui donnait un temps moyen (256 jetons). Mais dès qu'ils ont donné plus de temps aux modèles (jusqu'à 4 096 jetons), un modèle plus petit (GPT-OSS 20B) a pris la tête et l'a conservée.
Sur le test de sciences le plus difficile (GPQA), le plus petit modèle (LLaMA-3 8B) était en fait le meilleur lorsque le temps était court (256–512 jetons). Mais à mesure que le temps augmentait, les modèles plus gros ont rattrapé leur retard et ont fini par ex æquo en tête.

Cela signifie que si vous regardez un classement aujourd'hui qui dit "Le Modèle X est le meilleur", cette affirmation n'est vraie que pour une durée spécifique. Si vous changez la limite de temps, le Modèle X pourrait soudainement devenir le pire de tous.

L'écart de l'"Oracle" : Pourquoi nous avons besoin d'un commutateur intelligent
Les chercheurs se sont également demandé : "Si nous pouvions magiquement choisir le modèle parfait pour chaque question, ferions-nous mieux ?" Ils ont construit un "Oracle" théorique (un sélecteur parfait) qui choisissait le meilleur modèle pour chaque question et limite de temps spécifique.

Les résultats ont été choquants. Sur le test de sciences difficile, ce sélecteur parfait pouvait obtenir 27,8 points de pourcentage de réponses correctes de plus que le meilleur modèle fonctionnant seul. Même sur les tests de mathématiques plus faciles, l'écart était significatif (jusqu'à 16,9 points). Cela prouve qu'aucun robot n'est bon en tout. Parfois, le petit robot est le meilleur, parfois le gros l'est, et parfois, ils ont tous tort.

Pouvons-nous construire un commutateur intelligent ?
L'équipe a tenté de construire un "routeur" — un système intelligent qui regarde une question et la limite de temps, puis décide quel robot doit répondre.

À l'intérieur d'un même type de test : Lorsqu'ils ont entraîné le routeur sur des problèmes de mathématiques et l'ont testé sur des problèmes de mathématiques, cela a très bien fonctionné. Utiliser la "limite de temps" comme indice a aidé à choisir le bon robot, améliorant la précision de 1,6 à 5,7 points.
À travers différents tests : Mais lorsqu'ils ont essayé d'utiliser le même routeur pour passer de questions de mathématiques à des questions de sciences, il s'est confondu. Les indices de "limite de temps" qui fonctionnaient pour les mathématiques ne fonctionnaient pas pour les sciences. En fait, utiliser ces indices a en fait fait perdre 1,2 point au routeur lors du passage d'un domaine à l'autre. Cela suggère que la relation entre "combien de temps vous avez" et "obtenir la bonne réponse" est différente pour chaque sujet.

Ce qu'il faut retenir

La leçon principale de ce document est simple mais puissante : il n'existe pas de modèle d'IA unique qui soit "le meilleur". La réponse à la question "quel modèle est le meilleur ?" dépend entièrement de "combien de temps vous le laissez réfléchir".

Si vous construisez une application pour un téléphone où vous ne pouvez donner qu'un tout petit peu de temps à l'IA, un petit modèle rapide pourrait être votre champion. Si vous gérez un serveur où vous pouvez donner des heures de réflexion à l'IA, un autre modèle, plus grand, pourrait gagner. L'ancienne méthode de classement des modèles — simplement choisir un vainqueur pour tout le monde — est brisée. Au lieu de cela, nous devons dire : "Le Modèle A est le meilleur pour les réponses courtes, le Modèle B est le meilleur pour les réponses longues, et parfois, si vous leur donnez trop de temps, ils pourraient simplement tout gâcher."

Les chercheurs suggèrent qu'à l'avenir, nous devrions cesser de demander un score unique et commencer à rapporter la performance des modèles à différentes limites de temps. Et si nous voulons utiliser ces modèles efficacement, nous avons besoin de systèmes intelligents qui savent quand appeler le petit penseur rapide et quand appeler le grand penseur lent — car le gagnant change dès que le chronomètre commence à tourner.

Résumé technique : Classements dépendants du budget dans l'évaluation des LLM

Énoncé du problème

L'évaluation standard des grands modèles de langage (LLM) suppose que les classements des modèles sont stables et invariants aux conditions d'inférence. Plus précisément, elle présume qu'un modèle déclaré comme étant à la pointe de l'art sur un benchmark (par exemple, GSM8K, GPQA) conserve sa supériorité quel que soit le budget de génération de jetons — le nombre maximal de jetons qu'un modèle est autorisé à produire avant d'être tronqué.

Cet article remet en question cette hypothèse. Il postule que le paysage de l'évaluation est fondamentalement dépendant du budget. La littérature récente sur le passage à l'échelle du calcul au moment du test suggère qu'une augmentation de l'allocation de jetons peut améliorer les performances, tandis que la littérature sur l'« overthinking » (sur-réflexion) suggère que des jetons supplémentaires peuvent dégrader la précision. Cependant, l'interaction entre ces effets à travers différents modèles et tâches reste non quantifiée. Le problème central est de savoir si les classements des modèles, la difficulté des items et la complémentarité des modèles sont des propriétés statiques ou des fonctions du budget de jetons.

Méthodologie

Les auteurs ont mené une investigation systématique impliquant quatre modèles de raisonnement en poids ouverts et trois benchmarks de raisonnement à travers sept budgets de jetons distincts.

Modèles : Quatre modèles couvrant un ordre de grandeur en nombre de paramètres : LLaMA-3 8B, Qwen-3 32B, LLaMA-3.3 70B et GPT-OSS 20B.
Benchmarks : Trois jeux de données de difficulté croissante :
- GSM8K (1 319 problèmes de mathématiques de niveau primaire).
- MATH-500 (500 problèmes de mathématiques de niveau compétition).
- GPQA-Diamond (198 questions de sciences de niveau doctorat).
Budgets de jetons : Sept niveaux allant de 64 à 4 096 jetons ( $b \in \{64, 128, 256, 512, 1024, 2048, 4096\}$ ).
Configuration expérimentale : Un total de 56 476 inférences individuelles ont été générées à une température $T=0$ pour le déterminisme.
Protocole d'évaluation :
- Gestion de la troncature : L'étude emploie une analyse à trois niveaux pour distinguer les échecs de raisonnement réels des artefacts de troncature :
  1. Tous les items : Score standard où les sorties tronquées sont marquées comme incorrectes.
  2. Stop-only : Restriction de l'analyse aux items où un modèle spécifique a terminé sa génération.
  3. Commun non tronqué : Restriction aux items où les quatre modèles ont terminé leur génération, permettant des comparaisons par paires.
- Métriques : Exactitude binaire (correspondance exacte), test de McNemar pour la signification du classement, similitude de Jaccard pour l'accord entre modèles, et analyse de l'écart de l'Oracle (différence entre un ensemble oracle par item et le meilleur modèle individuel).

Contributions clés et résultats

1. Taxonomie comportementale au niveau de l'item

Les auteurs classent les trajectoires modèle-item en quatre catégories : toujours-correct, croissance-monotone, non-monotone et toujours-faux.

Comportement non monotone : Contrairement à l'hypothèse selon laquelle plus de jetons aident toujours, 3,6 à 25,8 % des items présentent un comportement non monotone (l'exactitude diminue à mesure que le budget augmente), représentant l'« overthinking ».
Spécificité du modèle : Ce phénomène est largement spécifique au modèle. Le chevauchement inter-modèles des items non monotones est faible (6 à 14 %), ce qui signifie qu'un item déclenchant l'overthinking dans un modèle ne le fait que rarement dans un autre. Cela implique que les items « problématiques » ne peuvent pas être simplement supprimés des benchmarks pour corriger le problème.
Validation : Même après avoir filtré les artefacts de troncature (en utilisant les trajectoires stop-only), les taux non monotones restent substantiels (par exemple, 19,1 % pour LLaMA-3 8B sur GPQA), confirmant que l'overthinking est un véritable échec de raisonnement.

2. Renversements de classement statistiquement significatifs

Les classements des modèles ne sont pas stables ; le « meilleur » modèle change en fonction du budget.

GSM8K : LLaMA-3.3 70B mène à $b=256$ (62,4 %), mais GPT-OSS 20B le dépasse à $b=512$ et maintient une avance significative à $b=4096$ (94,9 % contre 91,7 %).
GPQA : Le plus petit modèle (LLaMA-3 8B) arrive en tête à de faibles budgets ( $b=256, 512$ ), est dépassé par LLaMA-3.3 70B à $b=1024$ , et finit par être égalé par GPT-OSS 20B à $b=4096$ .
Signification : Ces renversements sont statistiquement significatifs ( $p < 0,01$ via le test de McNemar) à travers tous les benchmarks, même en contrôlant la troncature sur les ensembles communs non tronqués.

3. Dynamique de l'écart de l'Oracle

Un ensemble oracle (sélectionnant le modèle correct par item) révèle un potentiel d'amélioration significatif via la sélection de modèles.

Magnitude : L'écart de l'oracle (exactitude de l'oracle moins le meilleur modèle unique) varie de +3,5 pp à +27,8 pp.
Dépendance au budget :
- Sur GSM8K, l'écart est non monotone, culminant à $b=256$ (+16,9 pp) car les modèles résolvent des items différents, puis déclinant à mesure qu'ils convergent vers des items plus faciles à des budgets plus élevés.
- Sur les benchmarks plus difficiles (MATH-500, GPQA), l'écart croît de manière monotone, atteignant respectivement +12,8 pp et +27,8 pp à $b=4096$ .
Complémentarité : Même à des budgets élevés, les modèles résolvent des sous-ensembles d'items sensiblement différents (similitude de Jaccard $\approx 0,74$ à $b=4096$ ), indiquant une complémentarité persistante.

4. Preuve de concept de routage conscient du budget

Les auteurs ont entraîné des classificateurs XGBoost pour router les items vers le meilleur modèle en fonction des caractéristiques textuelles et du budget de jetons.

Performance cross-domaine : Entraîné sur GSM8K+MATH-500 et testé sur GPQA, le routeur a obtenu +2,67 pp par rapport à la ligne de base « Best-Per-Budget », capturant 14,1 % de l'écart de l'oracle.
Importance des caractéristiques : L'analyse SHAP montre que le budget de jetons est la caractéristique dominante (6,1 $\times$ plus importante que les caractéristiques textuelles comme la présence de LaTeX).
Spécificité du domaine : Bien que les caractéristiques de budget améliorent la performance au sein d'un domaine (+1,6 à +5,7 pp), elles nuisent au transfert cross-domaine (−1,2 pp). Cela indique que la relation entre budget et exactitude est spécifique au domaine et ne se généralise pas directement des mathématiques vers les sciences.

Signification et implications

L'article soutient que la question « quel modèle est le meilleur ? » n'a pas de réponse unique ; elle dépend du budget de génération de jetons. Les auteurs proposent trois implications exploitables :

Protocoles d'évaluation : Les benchmarks devraient adopter une évaluation conditionnée au budget, en rapportant les classements à plusieurs niveaux de budget plutôt qu'un score statique unique. Ceci est crucial pour les scénarios de déploiement contraints (ex: mobile, edge) où des budgets généreux sont irréalisables.
Systèmes de routage : Les systèmes de sélection et de routage de modèles doivent traiter le budget de jetons comme un signal de premier rang. Cependant, comme les relations budget-exactitude sont spécifiques au domaine, les systèmes de routage devraient combiner les signaux de budget avec des caractéristiques agnostiques au domaine ou des techniques d'adaptation.
Opportunités d'ensemble : Les écarts d'oracle substantiels documentés représentent une opportunité concrète pour les méthodes d'ensemble et de routage afin d'exploiter la complémentarité des modèles, ce qui pourrait générer des gains de performance significatifs par rapport aux déploiements à modèle unique.

L'étude conclut que le paysage d'évaluation des LLM est fondamentalement dépendant du budget, les classements des modèles, la difficulté des items et la complémentarité variant tous en fonction de la limite de jetons lors de l'inférence.