Résumé Technique : GRPO est secrètement un Modèle de Récompense de Processus

Énoncé du Problème

L'apprentissage par renforcement (RL) pour les grands modèles de langage (LLM) repose souvent sur des modèles de récompense de résultat (ORM), qui attribuent une récompense scalaire unique à une trajectoire entière. Bien que les modèles de récompense de processus (PRM) offrent une attribution de crédit plus fine en récompensant les étapes intermédiaires, l'entraînement de PRM neuronaux explicites nécessite une annotation humaine coûteuse au niveau de l'étape et est susceptible de subir des piratages de récompense. Par conséquent, de nombreuses applications RL réussies, en particulier dans le raisonnement mathématique, utilisent l'optimisation de politique relative par groupes (GRPO), qui élimine le modèle critique et l'estimation d'avantage généralisé (GAE) utilisés dans le PPO traditionnel.

Cependant, un fossé critique existe dans la compréhension de la manière dont GRPO gère les signaux au niveau de l'étape. Bien que GRPO soit généralement considéré comme un algorithme au niveau du résultat, il est incertain qu'il effectue implicitement une attribution de crédit au niveau du processus. De plus, si une telle attribution implicite existe, il est inconnu si la fonction objectif standard de GRPO contient des défauts inhérents qui impactent négativement l'exploration et l'exploitation lorsque les étapes de processus ont des fréquences ou des récompenses déséquilibrées.

Méthodologie

Équivalence Théorique

Les auteurs fournissent une preuve théorique démontrant que le GRPO standard, lorsqu'il est équipé d'un ORM, est mathématiquement équivalent à un objectif RL conscient des PRM équipé d'un PRM non trivial basé sur Monte-Carlo.

• Étapes de processus implicites : Les auteurs définissent des « ensembles de processus » ($\lambda$) comme des sous-ensembles de trajectoires au sein d'un groupe d'entraînement $G$ partageant des préfixes identiques. Ces préfixes partagés définissent naturellement des étapes de processus (sous-trajectoires).
• Construction de PRM implicite : Ils construisent une fonction $f$ qui mappe chaque trajectoire à une séquence d'étapes de processus. La récompense attribuée à une étape de processus spécifique est la récompense de résultat moyenne de toutes les trajectoires du groupe partageant ce préfixe spécifique (une estimation de Monte-Carlo).
• Preuve d'équivalence : Sous des hypothèses légères (en utilisant spécifiquement l'objectif de gradient de politique au niveau du token et une seule itération de mise à jour par lot), les auteurs prouvent que la fonction de perte standard de GRPO ($L_{GRPO}$) est identique à une fonction de perte consciente des PRM ($L_{PRM}$) où les avantages sont calculés par rapport à ces récompenses implicites au niveau de l'étape.

Identification d'un Défaut

L'analyse révèle un défaut dans l'objectif standard de GRPO lié à la fréquence déséquilibrée des étapes de processus.

• Dans la formulation standard, la contribution d'une étape de processus à la perte totale est mise à l'échelle par le nombre de trajectoires ($|\lambda|$) partageant cette étape.
• Si une étape de processus a un avantage négatif (c'est-à-dire que sa récompense moyenne est inférieure à la moyenne du groupe) mais est partagée par de nombreuses trajectoires, la pénalité est multipliée par $|\lambda|$. Cela supprime de manière disproportionnée la probabilité de générer cette étape, entravant potentiellement l'exploration de trajectoires à haute récompense qui partagent accidentellement un préfixe à faible récompense avec d'autres trajectoires.
• Inversement, si une étape a un avantage positif, le signal de récompense est amplifié, entravant potentiellement l'exploration de chemins alternatifs.

Solution Proposée : $\lambda$-GRPO

Pour atténuer ce défaut, les auteurs proposent $\lambda$-GRPO, une modification simple de la fonction de perte de GRPO.

• Mécanisme : La perte au niveau du token pour un token $y^{(i)}_t$ est mise à l'échelle par l'inverse de la taille de son ensemble de processus, $|\lambda(i,t)|^{-1}$.
• Effet : Cette normalisation annule le facteur de mise à l'échelle de fréquence $|\lambda|$ présent dans l'objectif standard. Par conséquent, chaque ensemble de processus contribue de manière égale à la perte à un indice donné, indépendamment du nombre de trajectoires partageant ce préfixe. Cela empêche l'algorithme de sur-pénaliser ou de sur-récompenser des étapes simplement en raison de leur fréquence au sein du groupe.

Résultats Clés

Validation Empirique du PRM Implicite

Les auteurs ont vérifié empiriquement que la structure de PRM « cachée » est non triviale dans des contextes réels.

• En utilisant le jeu de données de raisonnement mathématique OpenRS, ils ont analysé les structures d'arbres ($B(G)$) formées par les préfixes de trajectoires pendant l'entraînement.
• Les résultats ont montré que pour des tailles de groupe de 6 et 36, plus de 99 % des groupes générés ont induit des récompenses de processus non triviales (c'est-à-dire que les préfixes se chevauchaient de manière significative).
• À mesure que l'entraînement progressait et que les modèles convergents, la complexité de ces structures de préfixes (profondeur du chemin) et la proportion de tokens impliqués dans les étapes intermédiaires ont augmenté de manière drastique.

Performance sur des Tâches Synthétiques

Sur un environnement d'arbre binaire synthétique conçu pour tester l'hypothèse de « l'anti-exploration » :

• Le GRPO standard a eu du mal à converger vers le chemin cible à récompense maximale lorsque ce chemin partageait un préfixe avec des chemins à récompense inférieure (en raison de l'avantage négatif cumulé).
• $\lambda$-GRPO a convergé de manière cohérente vers le chemin cible plus fréquemment à travers diverses configurations de longueur de préfixe et de valeurs de récompense négatives.

Benchmarks de Raisonnement en Aval

Les auteurs ont affiné les modèles DeepSeek-R1-Distill-Qwen-1.5B et Llama-3.2-1B-Instruct sur le jeu de données OpenRS et les ont évalués sur cinq benchmarks de raisonnement (AIME24, MATH-500, AMC23, Minerva, OlympiadBench).

• Précision : Les modèles $\lambda$-GRPO ont surpassé les modèles GRPO standard sur 15 configurations de tâches/modèles spécifiques sur 20.
• Efficacité : Les modèles $\lambda$-GRPO ont atteint leur précision de validation maximale en moins de la moitié du nombre d'étapes d'entraînement requises par le GRPO standard.
• Accélération : Les auteurs rapportent une accélération d'entraînement d'environ 2x en termes d'étapes jusqu'à la performance maximale, avec une surcharge computationnelle négligeable pour le calcul de normalisation.

Signification et Revendications

L'article revendique que l'algorithme GRPO standard possède déjà une structure de PRM riche et intégrée, dérivée des récompenses au niveau du résultat et des chevauchements de trajectoires. La signification de ce travail réside dans trois domaines principaux :

1. Insight Théorique : Il démystifie GRPO, prouvant qu'il n'est pas simplement un algorithme au niveau du résultat, mais qu'il optimise implicitement des récompenses structurées au niveau de l'étape via une estimation de Monte-Carlo.
2. Amélioration Algorithmique : Il identifie un défaut mathématique spécifique dans l'objectif standard concernant le déséquilibre de fréquence et propose une correction peu coûteuse en calcul ($\lambda$-GRPO) qui améliore considérablement les performances.
3. Impact Pratique : Il démontre qu'une attribution de crédit de haute qualité au niveau de l'étape peut être réalisée sans le coût de l'entraînement de PRM neuronaux explicites ou de la collecte d'annotations humaines au niveau de l'étape. En exploitant la structure implicite, les praticiens peuvent améliorer les capacités de raisonnement et l'efficacité de l'entraînement avec un coût additionnel négligeable.

Les auteurs concluent que les travaux futurs devraient exploiter ces signaux implicites au niveau de l'étape plutôt que de compter uniquement sur des PRM explicites et coûteux.