Résumé Technique : Récompenses de Processus avec Fiabilité Apprise (BETAPRM)

1. Énoncé du Problème

Les Modèles de Récompense de Processus (PRM) fournissent un feedback au niveau des étapes pour les tâches de raisonnement, guidant la sélection des candidats et l'optimisation des politiques. Cependant, les PRM existants produisent généralement une seule estimation ponctuelle (par exemple, une probabilité scalaire) pour chaque étape de raisonnement. Cette interface présente deux limitations critiques :

1. Absence de Quantification de l'Incertitude : Un score scalaire unique ne peut pas distinguer une prédiction confiante d'une prédiction incertaine. Les méthodes en aval sont contraintes de traiter des prédictions imparfaites au niveau des étapes comme des signaux de décision fiables, même lorsque la confiance du modèle est faible.
2. Supervision Bruitée sur Échantillon Fini : L'entraînement standard des PRM repose souvent sur des continuations de Monte Carlo pour générer une supervision. Si $N$ continuations sont échantillonnées à partir d'un préfixe et que $K$ réussissent, le ratio empirique $\hat{q} = K/N$ est traité comme une cible ponctuelle pour la régression. Cependant, $\hat{q}$ n'est qu'une estimation bruitée de la vraie probabilité de succès du préfixe. Un échantillonnage répété à partir du même préfixe pourrait produire différentes valeurs de $K$ en raison du hasard, pourtant l'entraînement standard force le modèle à ajuster ce ratio bruité spécifique plutôt que la distribution sous-jacente des résultats possibles.

Par conséquent, les applications en aval ne peuvent pas distinguer les étapes à haute récompense qui sont correctement fiables de celles qui sont à haute récompense mais incertaines, conduisant à un sous-optimalisme dans la mise à l'échelle au moment du test et l'allocation du calcul.

2. Méthodologie : BETAPRM

Les auteurs proposent BETAPRM, un Modèle de Récompense de Processus distributionnel qui prédit à la fois la probabilité de succès au niveau de l'étape et la fiabilité de cette prédiction.

2.1 Modèle de Comptage Beta-Binomial

Au lieu de régresser vers une cible ponctuelle $\hat{q} = K/N$, BETAPRM modélise la probabilité de succès du préfixe $q_t$ comme une variable latente suivant une distribution Beta :
$$q_t \sim \text{Beta}(\alpha_t, \beta_t)$$
Le nombre observé de continuations réussies $K_t$ sur $N$ essais est modélisé comme un tirage Binomial conditionné par $q_t$ :
$$K_t | q_t \sim \text{Binomial}(N, q_t)$$
En marginalisant la variable latente $q_t$, le modèle apprend une distribution Beta-Binomial sur les comptes observés. Cela permet au modèle d'attribuer une vraisemblance au compte observé $K_t$ plutôt que de forcer un ajustement au ratio $K_t/N$.

2.2 Paramétrisation

La distribution Beta est reparamétrisée par sa moyenne $\mu_t$ et sa concentration $\kappa_t$ :

• Moyenne ($\mu_t$) : Représente la probabilité de succès attendue, servant de score scalaire standard de PRM.
• Concentration ($\kappa_t$) : Contrôle la netteté de la croyance. Un $\kappa_t$ élevé indique une croyance concentrée (fiable), tandis qu'un $\kappa_t$ faible indique une croyance aplatie (incertaine) capable d'expliquer une plus large gamme d'observations de Monte Carlo.

L'architecture du modèle utilise un socle de modèle de langage standard. La moyenne $\mu_t$ est dérivée de la probabilité softmax d'un token de récompense « Oui ». La concentration $\kappa_t$ est prédite par une tête linéaire légère séparée appliquée à l'état caché au marqueur de processus, garantissant que les canaux de récompense et de fiabilité sont distincts.

2.3 Objectif d'Entraînement

La fonction de perte d'entraînement se compose de deux composantes :

1. Vraisemblance Beta-Binomial ($L_{\text{Beta-Binomial}}$) : Maximise la vraisemblance du compte observé $K_t$ étant donné les paramètres Beta prédits. Cela encourage le modèle à expliquer la distribution des données de Monte Carlo observées.
2. Régularisation Auxiliaire ($L_{\text{reg}}$) : Pour empêcher le paramètre de concentration de devenir non calibré, une perte auxiliaire pénalise une concentration élevée ($\kappa_t$) lorsque la moyenne prédite $\mu_t$ est en désaccord avec le ratio observé $K_t/N$. Crucialement, une opération de stop-gradient est appliquée à $\mu_t$ dans ce terme pour garantir que le régularisateur calibre $\kappa_t$ sans tirer la moyenne de récompense vers le ratio bruité.

$$L = L_{\text{Beta-Binomial}} + \lambda_{\text{reg}} L_{\text{reg}}$$

3. Application : Allocation Adaptative du Calcul (ACA)

En exploitant le signal de fiabilité appris, les auteurs introduisent l'Allocation Adaptative du Calcul (ACA) pour le raisonnement Best-of-N guidé par PRM. Contrairement au Best-of-N à budget fixe, qui échantillonne un nombre constant de candidats indépendamment de la difficulté, l'ACA alloue dynamiquement le calcul :

• Notation Ajustée au Risque : Les candidats sont notés à l'aide d'une métrique ajustée au risque $S(y) = \frac{1}{T}\sum (\mu_t - \lambda \sigma_t)$, où $\sigma_t$ est l'écart-type dérivé de la distribution Beta. Cela pénalise les candidats présentant une forte incertitude.
• Arrêt Anticipé : L'ACA échantillonne les candidats par lots progressifs. Elle s'arrête prématurément si la borne inférieure de confiance (LCB) du meilleur candidat actuel dépasse la borne supérieure de confiance (UCB) de tous les concurrents, indiquant que le gagnant est fiablement en tête.
• Réparation Guidée par l'Incertitude : Si le critère d'arrêt n'est pas atteint, l'ACA alloue le prochain lot de calcul pour réparer le préfixe incertain le plus prometteur (le non-gagnant ayant la UCB la plus élevée), plutôt que de générer entièrement de nouveaux candidats à partir de zéro.

4. Résultats Expérimentaux

Les auteurs ont évalué BETAPRM sur quatre modèles socle (InternVL2.5-8B, InternVL3-8B, InternVL3-14B, Qwen2.5-VL-7B) et quatre benchmarks de raisonnement (MathVision, OlympiadBench, MathVerse, MathVista).

• Sélection Best-of-N : BETAPRM a amélioré la précision de la réponse finale par rapport aux PRM standards sur tous les socles. Par exemple, sur InternVL2.5-8B, BETAPRM a obtenu un gain moyen de +3,37 points par rapport au PRM standard.
• Détection d'Erreurs : BETAPRM a préservé les capacités standard de détection d'erreurs au niveau des étapes, obtenant des scores micro-F1 comparables ou légèrement supérieurs sur VisualProcessBench par rapport aux PRM standards.
• Compromis Précision-Token : Dans le cadre ACA (budget maximal fixe $N=16$), BETAPRM a considérablement amélioré l'efficacité de l'inférence.
  • Il a réduit l'utilisation des tokens jusqu'à 33,57 % (sur MathVerse avec InternVL2.5-8B) tout en améliorant simultanément la précision de la réponse finale par rapport au Best-of-16 à budget fixe.
  • Des études d'ablation ont confirmé que le signal d'incertitude appris de BETAPRM était supérieur à l'utilisation d'un PRM standard avec une incertitude proxy ou une allocation basée uniquement sur la récompense, car ces derniers échouaient à identifier les préfixes où un calcul supplémentaire était nécessaire malgré des scores élevés.

5. Importance et Revendications

L'article revendique que BETAPRM adresse un décalage fondamental dans les interfaces PRM actuelles : l'incapacité à distinguer les prédictions fiables des prédictions incertaines. En modélisant la probabilité de succès du préfixe comme une distribution plutôt qu'une estimation ponctuelle, BETAPRM :

1. Permet une Prise de Décision Fiable : Les algorithmes en aval peuvent désormais distinguer les récompenses confiantes des incertaines, empêchant des scores peu fiables de dicter les décisions.
2. Améliore l'Efficacité au Moment du Test : Le signal de fiabilité appris permet une allocation adaptative du calcul, réduisant les coûts d'inférence (tokens) sans sacrifier, et améliorant souvent, la précision.
3. Meilleure Utilisation de la Supervision : L'objectif Beta-Binomial utilise efficacement la nature d'échantillon fini de la supervision de Monte Carlo, traitant le compte $K$ comme une observation stochastique plutôt que comme une étiquette déterministe.

Les auteurs concluent que transformer les récompenses de processus scalaires en signaux conscients de la fiabilité est une étape cruciale pour mettre à l'échelle le calcul au moment du test et améliorer la robustesse des systèmes de raisonnement.