Résumé Technique : Les LLM prêts à l'emploi comme scoreurs de processus

Énoncé du Problème

Les stratégies actuelles pour améliorer le raisonnement mathématique des grands modèles de langage (LLM) font face à un compromis entre coût et efficacité. Utiliser un modèle massif pour chaque requête d'inférence est coûteux en termes de calcul. Une alternative courante consiste à échantillonner plusieurs solutions à partir d'un modèle plus petit et moins coûteux, puis à sélectionner la meilleure a posteriori (après la génération) via des méthodes telles que le Vote Majoritaire ou le Best-of-N. Cependant, l'article soutient que la sélection a posteriori est fondamentalement limitée : si le petit modèle diverge vers un chemin de raisonnement incorrect tôt dans la génération, aucun scoreur ne peut corriger la trajectoire une fois que l'erreur s'est propagée.

À l'inverse, la recherche guidée par un Modèle de Récompense de Processus (PRM) traite ce problème de synchronisation en scorant les étapes de raisonnement candidates pendant la génération. Bien qu'efficace, les PRM nécessitent un modèle de récompense entraîné sur des étiquettes au niveau de l'étape (par exemple, Qwen2.5-Math-PRM-72B), ce qui représente une charge de travail et un coût de ressources considérables pour l'entraînement.

Le problème central que cet article traite est le suivant : Pouvons-nous obtenir les avantages d'un guidage pendant la génération (orienter le modèle avant que les erreurs ne se propagent) sans entraîner de modèle de récompense dédié ?

Méthodologie : Génération Guidée par Blocs (Chunks)

Les auteurs proposent la Génération Guidée par Bloc (Chunk-Level Guided Generation), un cadre de travail sans entraînement qui utilise un grand modèle de langage (LLM) prêt à l'emploi uniquement comme scoreur, et non comme générateur.

Le Cadre

1. Génération : Un petit modèle ($\pi_s$) génère la solution. À chaque étape, au lieu de générer un seul jeton ou une étape de raisonnement de longueur variable, le petit modèle échantillonne $k$ continuations candidates (blocs ou "chunks") de longueur fixe $L$.
2. Scoring : Un modèle de langage plus grand et pré-entraîné ($\pi_l$) évalue ces $k$ candidats. Crucialement, le grand modèle ne génère pas de texte ; il calcule uniquement les probabilités (log-probabilités) des blocs candidats fournis par le petit modèle.
3. Sélection : Le bloc ayant le score le plus élevé est ajouté au contexte, et le processus se répète jusqu'à ce qu'un jeton de fin de séquence soit atteint.

Règles de Scoring

L'article introduit deux règles de sélection basées sur les log-probabilités du grand modèle :

• Sélection Guidée par la Vraisemblance (LGS) : Sélectionne le bloc ayant la log-probabilité normalisée par la longueur la plus élevée sous le grand modèle :
  $$S_{LGS}(c_i) = \ell_{\pi_l}(c_i | h)$$
• Sélection Guidée par Contraste (CGS) : Sélectionne le bloc où la préférence du grand modèle diverge le plus de celle du petit modèle. Il soustrait la log-probabilité du petit modèle de celle du grand modèle :
  $$S_{CGS}(c_i) = \ell_{\pi_l}(c_i | h) - \ell_{\pi_s}(c_i | h)$$
  Cette règle favorise les continuations que le grand modèle juge plausibles mais que le petit modèle ne juge pas ainsi, exploitant ainsi efficacement les "connaissances supplémentaires" du grand modèle.

Choix de Conception Clé : Blocs de Longueur Fixe

Une contribution critique de la méthodologie est l'utilisation de blocs de longueur fixe plutôt que d'étapes de raisonnement délimitées naturellement. Les auteurs démontrent que les log-probabilités des grands modèles présentent un biais de longueur systématique : même après normalisation par la longueur, le grand modèle a tendance à attribuer des probabilités plus élevées aux étapes de raisonnement plus longues. En fixant la longueur $L$ pour tous les candidats à un point de décision, les scores deviennent directement comparables, éliminant ainsi ce biais.

Contributions Clés

1. Scoring de Processus Sans Entraînement : L'article démontre qu'un LLM prêt à l'emploi, utilisé exclusivement comme scoreur de vraisemblance, est un substitut efficace à un PRM entraîné pour guider la recherche pendant la génération.
2. Résolution du Biais de Longueur : Les auteurs identifient et résolvent un biais de longueur systématique dans les log-probabilités des grands modèles, montrant que des blocs de longueur fixe sont nécessaires pour un scoring fiable, tandis que le scoring d'étapes de longueur variable est peu fiable.
3. Sélection Contrastive : L'introduction de la CGS, qui exploite la différence de préférence entre le grand et le petit modèle, apporte des gains constants par rapport à la simple maximisation de la vraisemblance.
4. Efficacité : La méthode produit des traces de raisonnement sensiblement plus courtes que la recherche guidée par PRM tout en atteignant une précision comparable ou supérieure.

Résultats Expérimentaux

Le cadre a été évalué sur cinq benchmarks de raisonnement mathématique : GSM8K, MATH, Minerva Math, AMC23 et AIME24. Les expériences ont utilisé trois paires de modèles :

• Qwen2.5-1.5B guidé par Qwen2.5-32B
• Llama-3.2-1B guidé par Llama-3.1-70B
• Qwen2.5-7B guidé par Qwen2.5-72B

Performance vs Baselines

• vs Sélection A Posteriori : La Génération Guidée par Bloc (spécifiquement la CGS) surpasse nettement les méthodes a posteriori comme le Vote Majoritaire, la Auto-Certitude (Self-Certainty) et le Best-of-N. Par exemple, sur GSM8K avec la paire Llama ($k=32$), la CGS a atteint 83,9 % de précision contre 56,0 % pour le Vote Majoritaire (un gain de 27,9 points de pourcentage).
• vs Recherche Guidée par PRM : Sous des budgets de guidage équivalents (en comparant le nombre d'interventions), la CGS égale ou surpasse la recherche guidée par PRM utilisant Qwen2.5-Math-PRM-72B sur la plupart des benchmarks sans aucun entraînement de modèle de récompense.
  • Sur Minerva Math (paire Qwen, $k=32$), la CGS a atteint 39,0 % contre 32,4 % pour le PRM.
  • Sur GSM8K (paire Llama, $k=32$), la CGS a atteint 83,9 % contre 77,3 % pour le PRM.
• Mise à l'échelle (Scaling) : Lorsque le générateur a été porté à Qwen2.5-7B (guidé par 72B), la CGS a atteint 81,8 % sur MATH et 63,6 % sur Minerva Math, dépassant le Vote Majoritaire de 4 à 6 points de pourcentage et se rapprochant à 1,5 point de la moyenne de la recherche guidée par PRM-72B.

Longueur de la Trace de Raisonnement

Contrairement à l'hypothion que de meilleures performances nécessitent un raisonnement plus long, l'article constate que la CGS produit des traces de raisonnement substantiellement plus courtes que la recherche guidée par PRM. Sur GSM8K, les réponses du PRM contenaient jusqu'à 80 % de jetons en plus que les réponses de la CGS. Cela suggère que le guidage par vraisemblance du grand modèle oriente le petit modèle vers des chemins de raisonnement plus concis et directs.

Signification et Revendications

L'article affirme que la Génération Guidée par Bloc offre une alternative pratique et sans entraînement à la recherche guidée par PRM. Sa signification réside dans :

1. Accessibilité : Elle lève la barrière de l'entraînement d'un modèle de récompense au niveau de l'étape, permettant aux praticiens d'utiliser des modèles existants et de grande taille pour améliorer des modèles plus petits.
2. Temporalité : Elle intervient avec succès pendant la génération pour empêcher la propagation des erreurs, une capacité auparavant considérée comme nécessitant un entraînement spécialisé.
3. Efficacité : Elle atteint une précision élevée avec des traces de raisonnement plus courtes, réduisant les coûts d'inférence par rapport aux méthodes PRM.

Les auteurs restent modestes quant à la généralisation, notant que les expériences sont actuellement limitées au raisonnement mathématique et aux paires de modèles de même famille (ex: Qwen-vers-Qwen, Llama-vers-Llama). Ils ne prétendent pas que la méthode se généralise au codage ou au raisonnement de bon sens sans investigation supplémentaire.