Ranking Reasoning LLMs under Test-Time Scaling

Ce papier introduit Scorio, une bibliothèque open-source qui formalise et évalue des méthodes statistiques pour classer les modèles de langage de raisonnement dans des régimes d'extension au moment du test, en identifiant des approches fiables pour les budgets de calcul élevés et faibles sur des benchmarks mathématiques de haut niveau.

L'essentiel

Imaginez que vous êtes un juge dans un grand concours de cuisine. Vous avez 20 chefs (les modèles d'intelligence artificielle) et vous devez les classer du meilleur au moins bon.

Dans le passé, on demandait à chaque chef de préparer un seul plat. S'il réussissait, il gagnait un point. Mais les chefs modernes sont comme des cuisiniers un peu nerveux : parfois ils font un chef-d'œuvre, parfois ils brûlent la sauce, même avec la même recette. C'est ce qu'on appelle le "bruit" ou la variabilité.

Pour être plus justes, les chercheurs ont décidé de demander à chaque chef de préparer 80 plats différents pour la même question. C'est ce qu'on appelle le "Test-Time Scaling" (faire plus d'efforts au moment du test).

Le problème ? Avec 80 plats par chef, comment les classer ?

• Doit-on compter combien de plats sont réussis au total ?
• Doit-on regarder qui a gagné le plus de duels (plat contre plat) ?
• Doit-on utiliser une formule mathématique complexe pour estimer leur "vrai talent" ?

C'est là que cette recherche intervient. Les auteurs ont créé une boîte à outils appelée Scorio (comme un "scoring" ou un système de points) pour tester toutes ces méthodes de classement.

Voici les grandes découvertes, expliquées simplement :

1. Le "Juge en Or" (La référence)

Pour savoir quelle méthode de classement est la meilleure, il faut un étalon-or. Les chercheurs ont décidé que le meilleur juge est celui qui regarde la moyenne de tous les 80 plats.

• L'analogie : C'est comme si vous goûtiez tous les plats de tous les chefs et que vous faisiez une moyenne. C'est la vérité la plus fiable.
• Résultat : Quand on a beaucoup de données (les 80 plats), presque toutes les méthodes de classement arrivent au même résultat. Elles s'accordent très bien avec ce "Juge en Or".

2. Le problème du "Budget Serré" (Quand on n'a qu'un seul essai)

Parfois, on n'a pas le temps ou l'argent de faire 80 plats. On doit se contenter d'un seul essai par chef (N=1). C'est là que ça devient difficile !

• L'analogie : C'est comme demander à un joueur de tennis de prouver son talent en ne jouant qu'un seul point. S'il a de la chance, il gagne. S'il a un mauvais jour, il perd, même s'il est champion.
• La découverte : Certaines méthodes sont très stables (elles ne changent pas d'avis si on change le plat), mais d'autres sont très instables.
  • Le gagnant : Une méthode qui utilise un "préjugé intelligent" (une intuition basée sur une première épreuve rapide) s'en sort très bien. C'est comme si le juge disait : "J'ai vu ce chef faire un plat rapide avant, il a l'air compétent, donc je vais lui donner un petit avantage de départ." Cela rend le classement plus stable même avec peu de données.

3. Le piège de l'Intuition (Le "Greedy Prior")

L'idée d'utiliser une première épreuve rapide (le "Greedy") pour aider au classement est puissante, mais elle a un revers.

• L'analogie : Imaginez que vous évaluez des conducteurs. Vous les observez d'abord en conduisant prudemment sur un chemin plat (le mode "rapide/sûr"). Ensuite, vous les faites conduire sur une route de montagne pleine de virages (le mode "aléatoire/complexes").
  • Si le conducteur est bon sur les deux, votre intuition initiale vous aide à le classer rapidement.
  • MAIS, si le conducteur est excellent sur la route de montagne mais mauvais sur le chemin plat (parce qu'il a besoin de prendre des risques pour réussir), votre intuition initiale va vous tromper ! Vous allez le classer trop bas parce qu'il a échoué sur le chemin plat.
• Conclusion : Utiliser cette intuition est super si les deux modes de conduite sont similaires. Sinon, cela fausse le résultat.

4. La bibliothèque Scorio

Les auteurs ont créé une bibliothèque logicielle gratuite (Scorio) qui contient toutes ces méthodes de classement (comme des recettes de cuisine différentes pour évaluer les chefs).

• Ils ont testé 72 méthodes différentes sur des problèmes de mathématiques très difficiles (comme des Olympiades).
• Ils ont découvert que pour les problèmes très durs, certaines méthodes (comme les votes ou les graphes) fonctionnent aussi bien que les méthodes statistiques complexes.

En résumé

Cette recherche nous dit :

1. Si vous avez beaucoup de temps (beaucoup d'essais), n'importe quelle méthode raisonnable fonctionne bien.
2. Si vous êtes pressé (un seul essai), utilisez des méthodes qui prennent en compte l'incertitude ou qui utilisent une "intuition" préalable, mais attention : assurez-vous que cette intuition ne vous trompe pas si le comportement du modèle change radicalement entre l'essai rapide et l'essai complexe.

C'est un guide pour ne pas se faire avoir par la chance ou la malchance d'un seul essai lorsqu'on essaie de classer les intelligences artificielles les plus performantes.

Résumé technique

Voici un résumé technique détaillé de l'article "Ranking Reasoning LLMs under Test-Time Scaling" en français.

1. Problématique

L'évaluation des grands modèles de langage (LLMs) axés sur le raisonnement (comme la résolution de problèmes mathématiques) a évolué avec le concept de mise à l'échelle au moment du test (test-time scaling). Cette approche consiste à générer plusieurs réponses (échantillons) pour un même prompt afin d'agréger les résultats et d'améliorer la performance.

Cependant, une question méthodologique critique reste sous-explorée : comment classer (ranker) ces modèles de manière fiable dans ce régime de mise à l'échelle ?

• Les métriques traditionnelles (comme Pass@k) sont souvent utilisées, mais elles ne constituent pas nécessairement un standard de vérité pour le classement.
• Différentes méthodes de classement (modèles de comparaison par paires, théorie de la réponse à l'item, règles de vote, etc.) peuvent produire des ordonnancements très différents, surtout lorsque le budget de calcul (nombre d'essais $N$) est faible.
• Il n'existe pas de "vérité terrain" universelle pour comparer ces méthodes de classement entre elles.

L'objectif de l'article est de formaliser ce problème de classement dense sous mise à l'échelle du temps de test, d'évaluer la stabilité des différentes méthodes de classement à faible budget, et d'identifier les approches les plus robustes.

2. Méthodologie

Formalisation du problème

Les auteurs définissent le cadre d'évaluation par un tenseur de réponse $R \in \{0, 1\}^{L \times M \times N}$ :

• $L$ : Nombre de modèles.
• $M$ : Nombre de questions (benchmark).
• $N$ : Nombre d'essais indépendants (échantillons) par paire modèle-question.
• $R_{lmn} = 1$ si le modèle $l$ résout la question $m$ lors de l'essai $n$.

Contrairement aux plateformes de comparaison par paires (comme Chatbot Arena) où les données sont rares et évolutives, ce cadre produit des données denses (chaque modèle est évalué sur chaque question).

Protocole d'évaluation

Pour évaluer les méthodes de classement, les auteurs utilisent deux critères principaux :

1. Accord avec le standard de référence (Gold Standard) : Ils définissent un standard empirique basé sur la performance moyenne sur un grand nombre d'essais ($N=80$), spécifiquement l'estimateur bayésien BayesU@80 (moyenne de précision avec une prior uniforme). La stabilité d'une méthode à faible budget ($N=1$) est mesurée par sa corrélation de rang (Kendall's $\tau_b$) avec ce standard.
2. Auto-cohérence (Self-consistency) : Mesure de la stabilité d'une méthode lorsqu'elle passe d'un petit nombre d'essais à un grand nombre (convergence vers son propre classement complet).

Outils et Implémentation

Les auteurs ont développé Scorio, une bibliothèque open-source Python qui implémente une large gamme de méthodes de classement, notamment :

• Méthodes ponctuelles : Précision moyenne, Pass@k, pondération par difficulté inverse.
• Modèles probabilistes de comparaison par paires : Bradley-Terry, Elo, TrueSkill, Rao-Kupper, Davidson.
• Théorie de la réponse à l'item (IRT) : Rasch (1PL, 2PL, 3PL), estimation MML (Marginal Maximum Likelihood).
• Règles de vote : Borda, Copeland, Schulze, Nanson, Kemeny-Young.
• Méthodes spectrales et graphiques : PageRank, Rank Centrality, HodgeRank, $\alpha$-Rank.
• Approches bayésiennes : Estimation a posteriori (EAP), intervalles de crédibilité, et utilisation de priors empiriques.

3. Contributions Clés

1. Formalisation du classement dense : Introduction du tenseur $R$ comme objet primitif pour le classement sous mise à l'échelle du temps de test, reliant les familles de méthodes existantes via des transformations ponctuelles, par paires ou par ensembles.
2. Évaluation systématique : Comparaison de 72 méthodes de classement sur 20 modèles de raisonnement à travers 4 benchmarks de mathématiques de niveau olympique (AIME'24, AIME'25, HMMT'25, BrUMO'25) avec jusqu'à $N=80$ essais.
3. Analyse du compromis biais-variance des priors : Étude de l'utilisation d'un prior empirique (un seul décodage glouton/greedy par question, noté $R_0$) pour stabiliser les classements à faible budget ($N=1$).
4. Extension aux résultats catégoriels : Analyse de classements basés sur des scores catégoriels (ex: format de réponse, confiance, vérificateurs externes) au-delà de la simple binaire (correct/incorrect).
5. Librairie Scorio : Mise à disposition d'un outil reproductible pour la communauté.

4. Résultats Principaux

Accord à budget élevé ($N=80$)

• La plupart des méthodes de classement raisonnables convergent vers le même ordre de grandeur lorsque le nombre d'essais est élevé.
• Le BayesU@80 (moyenne de précision bayésienne) sert de référence robuste. La corrélation de Kendall ($\tau_b$) entre ce standard et la plupart des autres méthodes est très élevée (0.93 – 0.95).
• 19 à 34 méthodes retrouvent exactement le même ordre que le standard.

Stabilité à faible budget ($N=1$)

• C'est ici que les méthodes divergent.
• Meilleures méthodes :
  • Sur les benchmarks "faciles" ou "moyens" (AIME, BrUMO), BayesR0@N (Bayes avec prior empirique glouton) est la méthode la plus stable, atteignant un $\tau_b \approx 0.86$ avec le standard.
  • Sur le benchmark le plus difficile (HMMT'25), où l'alignement entre le décodage glouton et l'échantillonnage stochastique est faible, BayesR0 devient biaisé. Dans ce cas, des méthodes comme Rasch MML (avec score conservateur par borne inférieure de crédibilité) ou des règles de vote spécifiques (Nanson) montrent une meilleure auto-cohérence.
• Rôle des priors empiriques : L'utilisation d'un prior glouton ($R_0$) réduit la variance des classements à $N=1$ de 16 % à 52 %. Cependant, cela introduit un biais si le décodage glouton ne reflète pas fidèlement la distribution stochastique (alignement faible).

Résultats sur les classements catégoriels

• Les schémas riches en signaux (utilisant des vérificateurs externes ou la confiance) offrent une meilleure auto-cohérence mais s'éloignent souvent du standard de vérité basé sur la simple exactitude (binaire).
• Il existe un compromis : les méthodes les plus stables (auto-cohérentes) ne sont pas nécessairement celles qui se rapprochent le plus de la vérité terrain.

5. Signification et Implications

• Recommandation pratique :
  • Pour un budget élevé, BayesU@N (ou la moyenne de précision simple) est un choix par défaut robuste et interprétable.
  • Pour un budget très faible ($N=1$), l'utilisation de BayesR0@N (avec un prior glouton) est recommandée uniquement si l'alignement entre le décodage glouton et l'échantillonnage stochastique a été vérifié sur un petit échantillon pilote. Sinon, cela risque de biaiser le classement.
  • Pour les benchmarks très difficiles où l'alignement glouton est faible, les méthodes bayésiennes conservatrices (basées sur les bornes inférieures de crédibilité) ou les modèles IRT (Rasch MML) sont préférables.
• Apport théorique : L'article démontre que les méthodes de classement ne convergent pas toutes vers le même ordre asymptotique (contrairement aux métriques d'évaluation simples). Le choix de la méthode de classement définit implicitement l'objectif d'évaluation (ex: maximiser la probabilité de victoire par paires vs maximiser la précision marginale).
• Outil reproductible : La librairie Scorio permet aux chercheurs de comparer facilement ces méthodes et d'appliquer les meilleures pratiques pour l'évaluation des LLMs en régime de mise à l'échelle du temps de test.

En résumé, ce travail fournit un cadre rigoureux pour transformer l'évaluation des LLMs d'un problème de "score unique" en un problème de "classement statistique robuste", en identifiant les méthodes qui résistent le mieux au bruit inhérent aux échantillons limités.