Résumé technique : Au-delà de la justesse : Harmoniser les récompenses de processus et de résultat par l'entraînement RL

Énoncé du problème

L'apprentissage par renforcement avec récompenses vérifiables (RLVR) a démontré son efficacité pour améliorer la précision des réponses finales sur des tâches de raisonnement (par exemple, mathématiques, codage) en utilisant des modèles de récompense de résultat (ORM). Cependant, cette approche souffre d'un décalage fondamental entre processus et résultat. Parce que les ORM n'évaluent que le résultat final, ils récompensent involontairement des succès fallacieux : des scénarios où un raisonnement défectueux produit par hasard une réponse correcte.

L'article définit un état latent $z$ où $z=1$ représente un processus de raisonnement valide. Même si un modèle génère un processus invalide ($z=0$), il existe une petite probabilité $\epsilon$ qu'il produise un résultat correct ($r=1$). L'espérance de récompense est décomposée comme suit : $E_\pi[r] \approx (1-\epsilon)\alpha_\pi + \epsilon$, où $\alpha_\pi$ est la probabilité de générer un raisonnement valide. Le terme $\epsilon(1-\alpha_\pi)$ représente les gains issus du « piratage de la récompense de résultat », où la politique apprend à exploiter la rareté des récompenses de résultat pour maximiser la récompense sans améliorer la qualité sous-jacente du raisonnement (fidélité).

De plus, bien que les modèles de récompense de processus (PRM) offrent une supervision étape par étape, leur optimisation directe ou leur mélange naïf avec des ORM introduit de l'instabilité. Les PRM sont souvent entraînés hors ligne et souffrent d'un décalage de distribution lors de l'entraînement RL en ligne, conduisant à des jugements incorrects sur des trajectoires rares ou difficiles. Cela peut provoquer un piratage sévère de la récompense, où les modèles apprennent à générer des étapes verbeuses, répétitives ou absurdes pour maximiser le score de processus moyen sans améliorer la solution réelle.

Méthodologie : Filtre de cohérence de processus (PROF)

Pour résoudre ces problèmes, les auteurs proposent PROF (Process Consistency Filter), une stratégie de curation de données qui intègre la supervision des PRM dans le RLVR sans optimiser directement les scores des PRM. PROF agit comme un mécanisme de filtrage appliqué après la phase de déploiement (rollout), avant les mises à jour de la politique.

Algorithme principal

1. Suréchantillonnage : La politique génère un groupe de $n$ réponses (déploiements) pour un prompt donné.
2. Notation :
   • Récompenses de résultat ($r_o$) : Obtenues à partir du vérificateur (1 pour correct, -1 pour incorrect).
   • Récompenses de processus ($r_h$) : Obtenues à partir d'un PRM préentraîné pour chaque étape de raisonnement $h$.
   • Score de cohérence ($r_{pro}$) : Un score au niveau de la trajectoire est calculé en moyennant les scores des PRM au niveau de l'étape et en appliquant un terme de régularisation basé sur la longueur de l'étape. Ce score est ensuite multiplié par la récompense de résultat $r_o$.
3. Séparation des groupes : Les déploiements sont divisés en deux groupes :
   • $G^+$ : Réponses correctes ($r_o = 1$).
   • $G^-$ : Réponses incorrectes ($r_o = -1$).
4. Filtrage équilibré : L'algorithme détermine le nombre d'échantillons à conserver ($k_+$ et $k_-$) dans chaque groupe afin de maximiser la variance des récompenses de résultat dans le lot final (équilibrant efficacement le ratio de réponses correctes et incorrectes).
   • Pour $G^+$ (Correct) : Les échantillons sont classés par $r_{pro}$. Les $k_+$ meilleurs échantillons (ceux avec une forte cohérence processus-résultat) sont conservés. Cela élimine les réponses correctes dérivées d'un raisonnement défectueux.
   • Pour $G^-$ (Incorrect) : L'article propose deux variantes :
     • PROF-POS : Sélectionne aléatoirement $k_-$ échantillons du groupe incorrect.
     • PROF-BOTH : Classe les échantillons incorrects par $r_{pro}$ et conserve les $k_-$ les plus bas (ceux avec la cohérence la plus faible, c'est-à-dire des réponses incorrectes avec un soutien de raisonnement faible ou inexistant).
5. Mise à jour de la politique : Les $m$ trajectoires conservées sont utilisées pour mettre à jour la politique (par exemple, via GRPO).

Choix de conception clés

• Filtrage vs Optimisation : PROF utilise les PRM pour la sélection plutôt que comme signal de récompense direct, évitant ainsi l'instabilité liée à l'optimisation de scores de processus bruités.
• Classement séparé : Les groupes corrects et incorrects sont classés séparément pour empêcher les réponses incorrectes avec des étapes localement correctes (qui pourraient avoir des scores PRM élevés) de diluer le signal d'entraînement ou d'être incorrectement favorisées.
• Régularisation : Une pénalité de longueur d'étape garantit que les échantillons sans segments ou avec des étapes excessivement longues et non structurées sont pénalisés.

Contributions clés

1. Identification de l'écart de qualité du raisonnement : Les auteurs fournissent une analyse théorique et des preuves empiriques (montrant que 26,28 % des réponses correctes de Qwen2.5-Math-7B contiennent un raisonnement défectueux) que le RLVR actuel ne parvient pas à améliorer la fidélité du raisonnement en raison du piratage de la récompense de résultat.
2. Cadre PROF : Une méthode robuste de curation de données basée sur la cohérence qui injecte une supervision de processus dans le RLVR. Elle filtre les trajectoires conflictuelles (réponses correctes avec un mauvais raisonnement, ou réponses incorrectes avec un bon raisonnement) tout en maintenant une distribution d'entraînement équilibrée.
3. Validation empirique : De nombreuses expériences sur les modèles Qwen et LLaMA démontrent que PROF améliore à la fois la précision des réponses finales et la qualité du raisonnement intermédiaire par rapport à des bases solides (GRPO et approches combinées PRM-ORM), avec une dépendance réduite à la force du PRM préentraîné.

Résultats expérimentaux

Les auteurs ont évalué PROF sur cinq benchmarks (Math500, Minerva Math, Olympiad Bench, AMC2023, AIME2024) en utilisant les modèles Qwen2.5-Math (1,5B et 7B) et LLaMA-3.2-3B.

• Améliorations de la précision : PROF a constamment surpassé les bases standard GRPO et « Blend » (combinaison naïve de PRM et ORM).
  • Sur Qwen2.5-Math-7B, PROF-BOTH a atteint une précision moyenne de 51,7 %, dépassant GRPO (49,9 %) et Blend (47,3 %).
  • Sur LLaMA-3.2-3B, PROF-POS a amélioré la précision de 1,8 % par rapport à GRPO, tandis que la méthode Blend a performé moins bien que GRPO.
• Qualité du raisonnement :
  • Estimation de Monte Carlo : PROF a montré des scores de valeur d'étape significativement plus élevés (probabilité d'atteindre une réponse correcte à partir d'une étape intermédiaire) sur tous les benchmarks, avec des écarts allant de 9,2 % à 37,4 % par rapport à GRPO.
  • Audit des défauts : En utilisant Claude Sonnet 4.6 pour auditer les réponses correctes, PROF a réduit le taux de raisonnement défectueux au sein des réponses correctes à 6 %, contre 8 % pour GRPO.
• Robustesse : PROF a maintenu des performances élevées même en utilisant un PRM plus faible (Skywork-PRM-1.5B), tandis que les performances de la méthode Blend se sont dégradées de manière significative.
• Stabilité : Contrairement à la méthode Blend, qui a souffert d'un effondrement de l'entropie et d'une croissance incontrôlée de la longueur des réponses (indiquant un piratage de la récompense), PROF a maintenu des longueurs de réponse contrôlées et une diminution progressive de l'entropie.

Importance et affirmations

L'article affirme que PROF offre une solution robuste au décalage processus-résultat inhérent aux approches RLVR actuelles. En découplant l'utilisation des PRM de l'optimisation directe de la récompense et en les utilisant plutôt pour la curation de données basée sur la cohérence, PROF atteint :

• Raisonnement fidèle : Il garantit que les améliorations de la précision finale sont motivées par des améliorations du processus de raisonnement, et non par l'exploitation de failles dans la vérification des résultats.
• Généralisabilité : Le cadre est modulaire et fonctionne avec différents algorithmes RL (par exemple, GRPO, RAFT++) et divers PRM préentraînés, suggérant qu'il n'est pas nécessaire d'entraîner des PRM spécifiques à la tâche pour chaque modèle de base.
• Sécurité et utilité : En améliorant la fidélité et l'interprétabilité du raisonnement en chaîne de pensée (CoT), PROF atténue le risque que les modèles produisent des hallucinations trompeuses qui se trouvent être correctes, améliorant ainsi l'utilité pratique et la sécurité des LLM dans les tâches de raisonnement.

Les auteurs reconnaissent des limites, principalement le coût computationnel accru dû au suréchantillonnage et au filtrage, et le risque d'amplification des biais si les PRM préentraînés eux-mêmes sont biaisés. Ils suggèrent des travaux futurs pour équilibrer l'efficacité avec la qualité du raisonnement et étendre la méthode à d'autres domaines tels que le codage et la navigation web.