Résumé Technique : Mise à l'échelle du calcul au moment de l'évaluation avec des modèles de raisonnement en tant qu'évaluateurs

Énoncé du Problème

L'article comble une lacune dans le paradigme actuel du développement des grands modèles de langage (LM). Bien qu'il soit bien établi que la mise à l'échelle du « calcul au moment du test » (par exemple, générer de longues chaînes de pensée, CoT, ou échantillonner plusieurs candidats) améliore considérablement les capacités de résolution de problèmes des générateurs, il reste incertain que ce principe de mise à l'échelle s'applique aux évaluateurs. Les évaluateurs actuels reposent souvent sur un score direct (Modèles de Récompense de Résultat, ORM) ou un raisonnement CoT court (Modèles de Récompense de Processus, PRM) sans exploiter pleinement la puissance de calcul disponible au moment de l'inférence. Les auteurs se demandent : la capacité d'évaluation d'un LM peut-elle être améliorée en mettant à l'échelle le calcul au moment du test, et cette évaluation améliorée peut-elle ensuite améliorer les performances du générateur ?

Méthodologie

Les auteurs proposent un cadre pour la Mise à l'échelle au moment de l'évaluation utilisant des Évaluateurs de Raisonnement. Contrairement aux évaluateurs directs traditionnels qui prédisent des scores sans raisonnement ou aux évaluateurs génératifs affinés avec de courts CoT, les évaluateurs de raisonnement sont des modèles de raisonnement prêts à l'emploi (entraînés par RL ou distillation pour produire de longs CoT) sollicités pour agir en tant que juges.

La méthodologie implique trois composantes principales :

1. Évaluateurs de Résultat de Raisonnement : Le modèle génère un long CoT pour analyser l'ensemble de la réponse avant de prédire un score de justesse (0 ou 1). Le score est dérivé des logits des tokens de prédiction.
2. Évaluateurs de Processus de Raisonnement : Le modèle évalue la réponse étape par étape.
   • Évaluation Multi-étapes : Au lieu de générer un seul CoT pour l'ensemble de la réponse, l'évaluateur évalue chaque étape de raisonnement individuellement, générant un CoT et un jugement distincts pour chacune.
   • Découpage basé sur le Modèle : Pour gérer des sorties non structurées (par exemple, du code), les auteurs utilisent un LM pour insérer des marqueurs [SPLIT] entre les étapes, plutôt que de s'appuyer sur un découpage heuristique par saut de ligne.
   • Agrégation : Les scores étape par étape sont agrégés à l'aide d'une fonction mean_logit plutôt que d'un simple minimum, ce qui s'est avéré plus efficace dans les expériences.
3. Évaluation Combinée : Le score final est une interpolation pondérée du score de résultat et du score de processus agrégé ($s_{final} = \alpha \cdot s_{outcome} + (1-\alpha) \cdot s_{process}$), avec $\alpha=0.5$ utilisé pour équilibrer les deux signaux.

Les auteurs comparent ces évaluateurs de raisonnement à :

• Évaluateurs Directs : PRM et ORM standards qui prédisent des scores directement sans CoT.
• Évaluateurs de Raisonnement en Une Étape : Modèles qui génèrent un CoT pour juger toutes les étapes simultanément (une ablation de leur méthode proposée).

Contributions Clés

1. Démonstration de la Mise à l'échelle au moment de l'Évaluation : L'article établit que forcer les évaluateurs à générer plus de tokens de raisonnement (mise à l'échelle du calcul au moment de l'évaluation) conduit à des améliorations monotones des performances d'évaluation.
2. Supériorité de l'Évaluation de Processus Multi-étapes : Les auteurs montrent que l'évaluation de chaque étape individuellement (multi-étapes) est nettement plus efficace que l'évaluation en une seule étape ou la cohérence de soi (générer plusieurs CoT pour la même tâche) sous des budgets de calcul fixes.
3. Performance en Zero-Shot : Les évaluateurs de raisonnement, qui ne sont pas explicitement entraînés comme évaluateurs, surpassent les PRM affinés de pointe (par exemple, un évaluateur de raisonnement de 32B surpasse un PRM de 72B sur ProcessBench) uniquement grâce à la mise à l'échelle au moment du test.
4. Amélioration du Générateur via l'Évaluation : L'article démontre qu'allouer plus de calcul à l'évaluation (en utilisant Best-of-8 avec des évaluateurs de raisonnement) produit de meilleures performances de générateur que d'allouer ce même calcul à la génération de plus de candidats (Best-of-64 avec des évaluateurs directs). Cela suggère qu'un évaluateur plus fort et plus coûteux en calcul atténue la « sur-optimisation du modèle de récompense ».

Résultats Expérimentaux

Évaluation de Processus (ProcessBench)

• Métrique : Score F1 dans l'identification de la première étape erronée d'une solution.
• Résultats :
  • Les modèles de raisonnement (par exemple, DeepSeek-R1-Distill-Qwen-32B) surpassent nettement les modèles entraînés par instruction de tailles similaires ou plus grandes.
  • Multi-étapes vs Une Étape : L'évaluation de processus multi-étapes apporte des gains substantiels par rapport aux méthodes en une seule étape. Par exemple, le modèle de raisonnement de 32B a obtenu un F1 de 78,6 avec une évaluation multi-étapes, surpassant le Qwen2.5-Math-PRM de 72B (78,3), qui était l'état de l'art précédent.
  • Cohérence de Soi : Bien que la cohérence de soi soit utile, l'évaluation multi-étapes apporte des bénéfices complémentaires. La combinaison des deux produit les scores les plus élevés (par exemple, 82,8 pour le modèle de 32B).

Résolution de Problèmes (Échantillonnage Best-of-N)

• Configuration : Les générateurs (Eurus-2, Llama-3.1-70B, Qwen2.5-7B) génèrent $N$ réponses. Les évaluateurs les classent.
• Comparaison : Évaluateurs de raisonnement (Best-of-8) vs Évaluateurs directs (Best-of-64) sous un budget de calcul total fixe.
• Résultats :
  • Les évaluateurs de raisonnement utilisant Best-of-8 surpassent les évaluateurs directs utilisant Best-of-64 de 4,30 % à 6,63 % sur les benchmarks (AIME, MATH, LeetCode, etc.).
  • Performance en Code : Les évaluateurs de raisonnement montrent des gains particulièrement forts sur les tâches de codage (LeetCode), où les PRM directs souffrent souvent de sur-optimisation et d'un mauvais transfert de domaine.
  • Scores Combinés : L'intégration des scores de processus et de résultat booste encore les performances, agissant comme un départageur pour les réponses que les évaluateurs de résultat ne peuvent pas distinguer.

Auto-évaluation

• L'article explore également l'utilisation d'un modèle de raisonnement pour générer et évaluer ses propres sorties. Les résultats indiquent que les modèles de raisonnement peuvent s'auto-évaluer efficacement, récupérant une part significative de l'écart entre leurs performances Best-of-1 et oracle, surpassant souvent les générateurs entraînés par instruction évalués par le même modèle de raisonnement.

Importance et Revendications

L'article revendique que la mise à l'échelle au moment de l'évaluation est une stratégie viable et puissante qui fait écho à la mise à l'échelle du calcul au moment du test pour les générateurs. L'importance principale réside dans la découverte que dépenser plus de calcul pour l'évaluation peut être plus efficace que de le dépenser pour la génération pour un budget fixe.

Les auteurs soutiennent que :

1. Transfert de la Capacité de Raisonnement : La capacité à raisonner (via de longs CoT) ne sert pas seulement à résoudre des problèmes, mais est intrinsèque à une évaluation de haute qualité.
2. Robustesse : Les évaluateurs de raisonnement sont moins sujets à la sur-optimisation du modèle de récompense, fournissant des signaux plus robustes pour sélectionner le meilleur candidat.
3. Généralisation : Cette approche fonctionne dans les domaines des mathématiques et du code, et s'étend même aux modèles non de raisonnement lorsqu'ils sont sollicités pour évaluer étape par étape.

L'article conclut que si les évaluateurs de raisonnement actuels ne sont pas explicitement entraînés pour l'évaluation, leurs patterns de raisonnement natifs (auto-vérification, retour en arrière) en font des juges supérieurs. Des travaux futurs sont suggérés pour explorer l'entraînement de ces modèles spécifiquement en tant qu'évaluateurs et l'extension de la méthodologie à des tâches non vérifiables comme l'écriture créative.