Résumé Technique : Modélisation de Récompense de Processus Supervisée par le Résultat via l'Assignation de Crédit Apprenable (LCA)

1. Énoncé du Problème

Les modèles de récompense de processus (PRM - Process Reward Models) améliorent les capacités de raisonnement des grands modèles de langage (LLM) en fournissant un retour d'information fin à l'échelle de chaque étape. Cependant, l'entraînement des PRM nécessite généralement des annotations humaines coûteuses pour chaque étape de raisonnement. Pour remédier à cela, les PRM supervisés par le résultat tentent d'apprendre uniquement à partir de la correction de la réponse finale, évitant ainsi les étiquettes au niveau des étapes.

Le défi central dans ce contexte est l'assignation de crédit : attribuer le résultat final (correct/incorrect) aux étapes de raisonnement spécifiques qui l'ont causé. Les approches existantes souffrent de déficiences fondamentales :

• Assignation Uniforme : Suppose que toutes les étapes contribuent de manière égale au résultat final (par exemple, via une agrégation additive). Cela échoue à distinguer les étapes précurseurs correctes de l'étape spécifique où une erreur s'est produite.
• Assignation Causale : Propage l'influence vers l'arrière à partir de la réponse finale en utilisant des rollouts de Monte Carlo (par exemple, en estimant la probabilité d'atteindre une réponse correcte à partir d'une étape donnée). Cela confond la correction logique d'une étape avec le succès attendu des complétions en aval, ce qui rend difficile la localisation de la première erreur réelle.

Les deux méthodes échouent à ancrer le crédit dans la correction réelle des étapes individuelles, entravant la capacité du modèle à identifier précisément les erreurs de processus.

2. Méthodologie : Cadre LCA

Les auteurs proposent la Modélisation de Récompense de Processus Supervisée par le Résultat via l'Assignation de Crédit Apprenable (LCA), un cadre qui apprend conjointement l'assignation de crédit et la modélisation de la récompense sans supervision au niveau des étapes.

2.1 Formulation Théorique : Assignation du Maillon Faible

LCA est fondé sur le principe de l'Assignation du Maillon Faible : une chaîne de raisonnement est aussi forte que son maillon le plus faible. Une trajectoire est correcte si et seulement si chaque étape est correcte ; elle est incorrecte si n'importe quelle étape est erronée.

• Ce principe transforme le problème du PRM supervisé par le résultat en un problème d'Apprentissage par Multi-Instances (MIL - Multiple Instance Learning).
• Sac (Bag) : La trajectoire de raisonnement complète.
• Instances : Les préfixes de raisonnement (étapes) au sein de la trajectoire.
• Étiquette (Label) : La correction au niveau de la trajectoire (positive si la trajectoire contient une erreur, négative sinon).
• Hypothèse : L'hypothèse standard de Multi-Instances est respectée : un sac est positif si et seulement s'il contient au moins une instance positive (une étape erronée).

2.2 Le Défi de la Dépendance

Les méthodes MIL standard supposent souvent que les instances sont indépendantes ou faiblement dépendantes. Cependant, les trajectoires de raisonnement présentent des propriétés autorégressives, imbriquées et monotones. Dans une trajectoire, le préfixe final détermine à lui seul l'étiquette du sac, ce qui fait dégénérer les techniques de pooling standard (comme le Max Pooling ou l'Attention Pooling). Le modèle a tendance à ignorer les étapes intermédiaires, devenant effectivement un Modèle de Récompense de Résultat (ORM) qui ne prédit que l'état final.

2.3 Pooling par Somme Pondérée par Softmax (SWS)

Pour résoudre la dépendance mutuelle entre l'assignation de crédit et la modélisation de la récompense, LCA introduit le pooling par Somme Pondérée par Softmax (SWS).

• Mécanisme : Étant donné les probabilités d'erreur par instance $p = (p_1, \dots, p_T)$, la prédiction au niveau du sac est une somme pondérée :
  $$\hat{p} = \sum_{t=1}^T w_t p_t, \quad \text{où } w_t = \frac{e^{p_t/\alpha}}{\sum_{j=1}^T e^{p_j/\alpha}}$$
• Rôle de la Température ($\alpha$) : Le paramètre $\alpha$ contrôle l'entropie de la distribution des poids.
  • Lorsque $\alpha \to 0$, SWS tend vers le Max Pooling (Maillon Faible strict).
  • Lorsque $\alpha \to \infty$, SWS tend vers l'Average Pooling (Assignation Uniforme).
• Avantages :
  1. Crédit Non-Négligeable : Contrairement au Max Pooling, SWS garantit que chaque instance reçoit un poids strictement positif, empêchant le modèle d'ignorer les étapes intermédiaires.
  2. Prior Structurel : La pondération softmax encode naturellement l'Hypothèse Standard de Multi-Instances, où les instances ayant des probabilités d'erreur prédites plus élevées (instances positives) dominent la prédiction du sac.
  3. Consistance Bayésienne : Les auteurs prouvent que, sous des hypothèses légères, la minimisation de la perte attendue avec le pooling SWS conduit à un classificateur d'instance optimal au sens de Bayes, même sans étiquettes au niveau des instances.

2.4 Objectif d'Entraînement

Le PRM est entraîné de bout en bout en utilisant une perte d'entropie croisée au niveau de la trajectoire. Le modèle produit des probabilités d'erreur par préfixe, qui sont agrégées via le pooling SWS pour correspondre à la vérité terrain de la trajectoire (correction de la réponse finale). Une opération de stop-gradient est appliquée aux poids softmax pour stabiliser l'entraînement.

3. Contributions Clés

1. Analyse Perspicace : Le papier identifie que les PRM supervisés par le résultat existants (Uniforme et Causal) échouent à ancrer le crédit dans la correction des étapes. Il propose l'Assignation du Maillon Faible comme une alternative fondée sur des principes qui s'aligne sur le critère de la "première erreur" utilisé pour l'évaluation des PRM.
2. Innovation Technique (LCA) :
   • Formalise le PRM supervisé par le résultat comme un problème de MIL sous le principe du Maillon Faible.
   • Introduit le pooling SWS, une technique de pooling MIL adaptée à la forte dépendance et à la redondance des états de raisonnement, intégrant un assignation de Maillon Faible lissé comme un prior structurel.
   • Fournit une preuve théorique de la consistance Bayésienne de l'objectif d'apprentissage au niveau de l'instance.
3. Performance Empirique : Démontre que LCA surpasse systématiquement les autres PRM supervisés par le résultat sur plusieurs tâches (identification d'erreurs, mise à l'échelle de Best-of-N) et sur différents modèles de base (Llama, Qwen).

4. Résultats Expérimentaux

Les auteurs ont évalué LCA sur des tâches de raisonnement mathématique en utilisant le jeu de données Math-Shepherd pour l'entraînement et ProcessBench pour l'évaluation.

• Identification d'Erreurs (RQ1) : Sur ProcessBench, LCA a atteint un nouvel état de l'art.
  • Avec un backbone de 7B, LCA a surpassé la deuxième meilleure méthode de 5,5 % en score F1.
  • Avec un backbone de 3B, il a surpassé tous les concurrents de 3B par une marge substantielle.
  • Notamment, LCA a obtenu ces résultats sans le coût de calcul élevé de l'échantillonnage de Monte Carlo requis par des bases comme MathShepherd, SCAN ou OmegaPRM.
• Mise à l'Échelle au Moment du Test (RQ2) : Dans les expériences d'échantillonnage Best-of-N sur MATH-500, LCA a systématiquement obtenu les scores moyens les plus élevés à travers différents modèles générateurs (Mistral, Llama, Qwen) et tailles d'échantillon ($N=8, 32, 64$).
• Études d'Ablation :
  • Température ($\alpha$) : La performance varie avec $\alpha$. Un $\alpha$ plus faible (proche du Max Pooling) bénéficie aux jeux de données simples (GSM8K), tandis qu'un $\alpha$ plus élevé aide les jeux de données complexes comportant de nombreuses erreurs de processus (OlympiadBench), soulignant un compromis entre consistance théorique et efficacité empirique.
  • Techniques de Pooling : Le pooling SWS avec $\alpha=0,2$ a nettement surpassé les autres techniques de pooling MIL (Instance, Embedding, Attention, Conjunctive) et s'est approché des performances des PRM entièrement supervisés entraînés sur des étiquettes d'étapes annotées par l'humain.

5. Signification et Revendications

Le papier affirme que LCA offre une alternative fondée sur des principes pour la supervision fine des processus dans des tâches de raisonnement complexes. En résolvant le dilemme de "l'œuf et de la poule" entre l'assignation de crédit et la modélisation de la récompense grâce au cadre MIL et au pooling SWS, LCA produit des PRM qui attribuent avec précision le crédit aux étapes qui déterminent le résultat.

Les auteurs soulignent que leur méthode :

• Réduit l'écart entre entraînement et test : En alignant l'objectif d'entraînement (Maillon Faible) avec la métrique d'évaluation (Détection de la Première Erreur).
• Réduit la surcharge de calcul : Elle évite les rollouts de Monte Carlo coûteux requis par d'autres méthodes supervisées par le résultat.
• Permet la généralisation : Les PRM appris montrent une forte généralisation à travers différents modèles de base et niveaux de difficulté de raisonnement.

Le papier conclut modestement, reconnaissant que bien que LCA surpasse les autres méthodes supervisées par le résultat, il reste en retrait par rapport aux PRM entraînés sur des étiquettes d'étapes annotées par l'humain. Ils identifient l'apprentissage avec des étiquettes bruitées (où des réponses correctes sont atteintes via un raisonnement défectueux) et l'intégration des PRM dans l'apprentissage par renforcement (RL) comme des directions importantes pour les travaux futurs.