Résumé Technique : ReasonBench : Évaluer la (In)Stabilité du Raisonnement des LLM

Problématique

Les benchmarks actuels pour les systèmes de raisonnement des modèles de langage étendus (LLM) rapportent les performances sous forme d'estimations ponctuelles (par exemple, un score de précision unique). Cependant, l'article soutient que la génération par LLM est un processus intrinsèquement stochastique. Même sous un décodage glouton ($T=0$), des configurations identiques modèle–stratégie–tâche peuvent produire des réponses, des chemins de raisonnement et des coûts sensiblement différents lors de répétitions successives.

Réduire ces résultats par exécution en une moyenne unique revient à ignorer la variance qui distingue un système de manière fiable correct d'un système qui n'est correct qu'en espérance. Cette variance n'est pas un simple désagrément statistique ; l'article démontre que la stratégie la plus performante ne l'emporte que dans 77 % des confrontations directes contre son concurrent le plus proche, et que le meilleur modèle ne l'emporte que dans 88 % des cas. Par conséquent, un score observé unique peut fausser le classement des systèmes, conduissant à des décisions de sélection et de déploiement de modèles sous-optimales. De plus, la littérature existante traite souvent le biais (erreur systématique) et la variance (stochasticité) comme des propriétés coéquivalentes, alors que l'évaluation des LLM n'a largement rapporté que le premier.

Méthodologie : REASONBENCH

Pour y remédier, les auteurs introduisent REASONBENCH, une suite de benchmarks et une bibliothèque open-source conçues pour une évaluation contrôlée sur plusieurs exécutions. Le cadre découple la méthode de raisonnement, l'environnement de la tâche, l'interface du modèle et l'état d'évaluation, permettant aux stratégies d'être réexécutées sur diverses tâches et modèles sans modifier le dispositif expérimental.

Configuration Expérimentale :

• Portée : L'étude évalue 12 modèles de raisonnement contemporains (provenant de fournisseurs tels qu'OpenAI, Anthropic, Google, DeepSeek, etc.) et 10 stratégies de raisonnement représentatives (incluant IO, CoT, ReAct, Tree of Thoughts, Graph of Thoughts, etc.) à travers 6 tâches diverses (Jeu du 24, HumanEval, HotpotQA, Humanity's Last Exam, SciBench, et Écriture de sonnets shakespeariens).
• Protocole : Chaque configuration est exécutée 30 fois de manière indépendante. Cette taille d'échantillon est justifiée par une analyse de puissance en deux étapes afin de garantir la détection d'une variance significative et des intervalles de confiance fiables.
• Métriques : L'étude traite la qualité et le coût comme des distributions empiriques plutôt que comme des estimations ponctuelles. Elle introduit deux métriques de bruit primaires :
  1. Bruit Global : Capture l'irrégularité inter-benchmarks (variabilité structurelle) après normalisation par score z.
  2. Bruit de Run (Exécution) : Capture la stochasticité intra-benchmark (instabilité lors des répétitions).
• Décomposition de la Variance : Une décomposition hiérarchique attribue la variance du score au benchmark, au système, à la structure de l'item et à l'usage, isolant ainsi la variance résiduelle inexpliquée.

Contributions Clés

1. L'instabilité est structurée, non aléatoire

L'article établit que la variance est substantielle, dépendante du benchmark et de l'axe considéré. À travers une taxonomie à deux composantes (Bruit Global vs Bruit de Run), les auteurs montrent que :

• L'architecture de la stratégie prédit la stabilité : L'exécution déterministe supprime le Bruit de Run, tandis que l'exécution basée sur la recherche l'amplifie. Le quadrant qu'occupe une stratégie dans l'espace de bruit est prévisible par son architecture.
• Attribution hiérarchique : Environ trois quarts de la variance des scores sont structurés (attribuables aux interactions entre benchmark, système et item), tandis qu'un résidu persistant reste inexpliqué par les facteurs de conception.

2. Modèles et stratégies sont des axes non substituables

L'étude traite les modèles et les stratégies comme des axes orthogonaux qui déplacent différentes parties de la distribution de performance :

• Les modèles déplacent le plafond : Le choix du modèle détermine la performance maximale atteignable (capacité).
• Les stratégies déplacent la procédure : Le choix de la stratégie détermine la variance d'exécution et la sensibilité au niveau de la tâche.
• Découplage Coût-Qualité : Le coût et la qualité se découplent de manière asymétrique. Les méthodes peu coûteuses sont structurellement immunisées contre l'échec conjoint "coût-qualité" (coût élevé et faible qualité simultanés), tandis que les méthodes coûteuses restent exposées à ce risque, quelle que soit leur précision moyenne.

3. Élimination contrôlée des sources de confusion

Les auteurs testent systématiquement les sources potentielles d'instabilité :

• Température de décodage : La variance persiste même à $T=0$, excluant l'échantillonnage par jetons (token) comme explication dominante.
• Prompts et Parsers : Le raffinement des prompts et des parseurs corrige le biais (améliore la qualité moyenne) mais ne réduit pas la variance entre les exécutions.
• Qualité de l'évaluateur : Remplacer les évaluateurs heuristiques par des oracles de vérité terrain dans les stratégies de recherche réduit à la fois la qualité moyenne et la variance, identifiant l'évaluateur comme un levier direct de stabilité.
• Effort de raisonnement : Augmenter le calcul au moment du test (effort) augmente le coût de manière monotone mais n'améliore pas de manière fiable la qualité ou ne réduit pas la variance.

4. Infrastructure Ouverte

REASONBENCH fournit une bibliothèque modulaire avec des abstractions découplées (Méthode, Agent, Modèle, État, Environnement) pour faciliter une évaluation reproductible et sensible aux distributions.

Résultats Clés

• Distributions Superposées : Les distributions par exécution pour les stratégies et les modèles se chevauchent substantiellement. Par exemple, sur le benchmark HotpotQA, la meilleure stratégie (FOA) et son concurrent le plus proche (TOT-BFS) ont des intervalles de confiance qui se chevauchent, et la meilleure stratégie ne surpasse sa dauphine que dans 77 % des exécutions.
• Taxonomie du Bruit : Le traçage des systèmes dans l'espace (Bruit Global, Bruit de Run) révèle des quadrants distincts. Les modèles ont tendance à se concentrer sur l'anti-diagonale (l'irrégularité structurelle et l'instabilité stochastique sont anti-corrélées), tandis que les stratégies occupent les quatre quadrants selon leur architecture.
• Décomposition de la Variance : Dans l'axe des stratégies, 75,2 % de la variance est structurée ; dans l'axe des modèles, 73,3 % est structurée. Les effets de répétition pure ne représentent que ~1 % de la variance, tandis que les interactions benchmark-système et la difficulté des items dominent.
• Asymétrie Coût-Qualité : Les méthodes coûteuses (ex: DeepSeek R1, qui est le modèle le plus cher testé) présentent souvent des taux d'échec conjoints élevés. À l'inverse, les méthodes peu coûteuses (ex: IO, COT) ne dépassent jamais le seuil de coût, ce qui les rend immunisées contre l'échec conjoint, même si leur qualité est inférieure.
• Inefficacité des Correctifs Courants : L'étude montre que les "correctifs" standards comme la baisse de température, le raffinement des prompts ou l'augmentation de l'effort de raisonnement ne réduisent pas la variance. Seul l'amélioration de la fidélité de l'évaluateur et l'augmentation de l'échelle du modèle (au sein d'une même famille) montrent des effets stabilisateurs.

Signification et Revendications

L'article affirme que l'instabilité est une propriété inhérente aux systèmes de raisonnement, et non un artefact d'une mauvaise conception expérimentale. Les auteurs soutiennent que :

1. La stabilité fait partie de la capacité : Un système qui résout une tâche de manière constante possède un profil de capacité différent d'un système qui la résout uniquement en espérance, même si leurs moyennes concordent.
2. L'évaluation doit évoluer : Les benchmarks à chiffre unique sont insuffisants. Les pratiques d'évaluation devraient évoluer vers le rapport de distributions, d'intervalles de confiance et de métriques de bruit (Bruit Global et Bruit de Run).
3. Orthogonalité des axes : Les modèles et les stratégies doivent être co-développés plutôt que traités comme des substituts. Un benchmark qui discrimine les modèles peut ne pas discriminer les stratégies, et vice versa.
4. Déploiement axé sur le risque : Les praticiens doivent budgéter pour le "risque conjoint coût-qualité". Une méthode nominalement meilleure mais coûteuse peut dominer sur la qualité moyenne tout en étant substantiellement pire en termes de risque de simultanéité d'un coût élevé et d'une faible qualité.

L'article conclut en appelant à des "leaderboards sensibles aux distributions" comme standard communautaire et suggère que les recherches futures devraient se concentrer sur le routage sensible à la stabilité et sur des systèmes de raisonnement co-développés qui adaptent les problèmes aux couples modèle-stratégie appropriés.