Résumé Technique : GRPO Prévisible : Un Modèle à Forme Fermée de la Dynamique d'Entraînement

Énoncé du Problème

Bien que l'optimisation de politique relative par groupe (GRPO) soit devenue un mécanisme standard pour améliorer les capacités de raisonnement des grands modèles de langage (LLM) via l'apprentissage par renforcement avec récompenses vérifiables (RLVR), la dynamique sous-jacente de l'entraînement reste largement empirique. La compréhension actuelle repose sur l'ajustement de trajectoires de récompense à des formes fonctionnelles à faible nombre de paramètres (par exemple, une saturation exponentielle simple) où les constantes manquent de signification mécaniste. Par conséquent, la sélection des hyperparamètres relève de l'essai et de l'erreur, et des modes de défaillance distincts — tels que le détournement de récompense (reward hacking), la dégénérescence de l'avantage et la concentration de la politique — sont souvent confondus dans l'analyse standard des courbes de récompense. Ce document traite de la nécessité d'un modèle mécaniste fondé sur les premiers principes, capable d'expliquer la dynamique d'entraînement de GRPO et de fournir des prédictions falsifiables liées à des quantités mesurables.

Méthodologie

Les auteurs développent un modèle d'ordre réduit de la dynamique d'entraînement de GRPO grâce à une combinaison de dérivation théorique et de validation empirique sur trois modèles (Nemotron-Mini-4B, DeepSeek-LLM-7B-Chat et DeepSeek-R1-Distill-Qwen-1.5B) et deux tailles de groupe ($G \in \{4, 16\}$).

Cadre Théorique

La principale contribution théorique est la réduction de la règle de mise à jour discrète de GRPO en un oscillateur amorti à force stochastique en temps continu. Cette dérivation repose sur deux étapes principales :

1. Hypothèse de Champ Moyen (Mean-Field) : La politique est résumée par un paramètre d'ordre scalaire $p(\theta) = \mathbb{E}_{o \sim \pi_\theta}[R]$, la récompense attendue. Cela suppose que la dynamique est dominée par l'évolution de cette espérance, important l'existence d'un point fixe stable $p^\star$ et des propriétés de contraction issues de travaux antérieurs (Mroueh, 2025).
2. Expansion de Second Ordre : La mise à jour discrète (incorporant le momentum $\mu$ et le décalage hors-politique $\tau = K_{ref}\delta$) est développée au second ordre en taille de pas $\delta$ et en décalage de rafraîchissement $\tau$.
   • Le momentum favorise le flux de gradient vers un système de second ordre, fournissant de l'inertie.
   • Le décalage hors-politique (rafraîchissement de politique retardé) introduit une inertie supplémentaire mais érode l'amortissement.
   • La taille du groupe ($G$) entre dans le système uniquement comme une température de bruit, mettant à l'échelle l'intensité du forçage stochastique.

L'équation du mouvement résultante pour l'erreur $e = p - p^\star$ est :
$$M_{eff} \ddot{e} + C_{eff} \dot{e} + K_{eff} e = \sqrt{D/G} \xi(t)$$
où la masse effective ($M_{eff}$), l'amortissement ($C_{eff}$) et la raideur ($K_{eff}$) sont donnés en forme fermée par les hyperparamètres de l'optimiseur ($\eta, \mu$), l'intervalle de rafraîchissement ($K_{ref}$) et l'échelle de courbure ($K$) du potentiel effectif.

Protocole Expérimental

Les auteurs valident leur modèle en utilisant :

• Entraînement : GRPO sur le jeu de données GSM8K avec des récompenses binaires vérifiables.
• Diagnostics : Journalisation des quantités internes (variance de l'avantage, entropie de la politique, divergence KL, normes de gradient, ratios d'échantillonnage d'importance) pour distinguer l'instabilité dynamique de l'érosion de la prémisse de champ moyen.
• Évaluation : Transfert en distribution (GSM8K) et hors distribution vers huit benchmarks mathématiques allant de problèmes de niveau primaire à des mathématiques de niveau Olympiades.
• Réduction Exacte : Une expérience contrôlée de bandit softmax où l'hypothèse de champ moyen est exactement vérifiée, utilisée pour tester les seuils de stabilité et les transitions oscillatoires sans erreurs d'approximation de réseau profond.

Contributions Clés

1. Un Modèle d'Ordre Réduit de la Dynamique de GRPO

Le document dérive une équation différentielle stochastique en forme fermée (Théorème 7) décrivant GRPO comme un oscillateur amorti. Les coefficients sont explicitement définis :

• Masse ($M_{eff}$) : Déterminée par le momentum et le décalage hors-politique.
• Amortissement ($C_{eff}$) : Déterminé par le momentum et l'érosion causée par le décalage hors-politique.
• Raideur ($K_{eff}$) : Déterminée par le poids d'ancrage KL et la courbure locale du paysage de récompense.

2. Réinterprétation Mécaniste des Lois Empiriques

Le modèle subsume la loi de saturation exponentielle simple observée empiriquement comme la limite suramortie de l'oscillateur dérivé.

• Le "plateau" empirique est identifié comme le point fixe $p^\star$.
• L' "échelle de temps" empirique est identifiée comme l'inverse de la raideur ($1/K_{eff}$).
• La phase de "démarrage lent" observée dans les courbes d'entraînement, que les modèles à exponentielle simple ne peuvent capturer, est expliquée par le terme d'inertie conservé (Proposition 14), prédisant une trajectoire en trois phases : démarrage lent, montée rapide et plateau.

3. Prédictions Falsifiables et Diagnostics

Le modèle produit des prédictions liées à des quantités mesurables de manière indépendante plutôt qu'à des constantes ajustées :

• Invariance de la Taille de Groupe : La trajectoire déterministe est indépendante de $G$ ; $G$ n'affecte que l'amplitude de la fluctuation stationnaire ($\propto 1/G$).
• Seuil de Stabilité : Une transition abrupte vers l'instabilité se produit lorsque $K \eta K_{ref} > 1 - \mu$.
• Transition Suramorti-Oscillatoire : Balayer l'intervalle de rafraîchissement $K_{ref}$ devrait induire une transition d'une convergence monotone vers des oscillations amorties.
• Séparation des Modes de Défaillance : Les auteurs opérationnalisent quatre diagnostics pour distinguer :
  • Découplage Entraînement-Évaluation (Détournement de Récompense) : Divergence entre les taux de saturation de l'entraînement et de l'évaluation.
  • Dégénérescence de l'Avantage : Effondrement de la variance de la récompense intra-groupe menant à des avantages $0/0$.
  • Concentration de la Politique : Chute rapide de l'entropie de la politique alors que la récompense continue de croître.
  • Instabilité Dynamique : Croissance non bornée des normes de gradient ou des ratios d'échantillonnage d'importance.

Résultats

Validation Empirique

• Ajustement de Courbe : À travers trois modèles et deux tailles de groupe, la loi en trois phases dérivée s'ajuste aux trajectoires de récompense d'entraînement avec un $R^2 \ge 0,91$. L'inclusion du terme d'inertie améliore significativement l'ajustement par rapport aux modèles exponentiels simples, particulièrement pour capturer la phase initiale de démarrage lent.
• Invariance de la Taille de Groupe : Augmenter $G$ de 4 à 16 a laissé la trajectoire moyenne et le plateau ajusté ($R_\infty$) essentiellement inchangés, tout en réduisant la dispersion entre les exécutions, confirmant la prédiction de mise à l'échelle du bruit en $1/G$.
• Transfert Hors Distribution : L'entraînement GRPO sur GSM8K a transféré positivement vers huit benchmarks externes. Les gains sont les plus importants sur les benchmarks proches de la distribution d'entraînement (ex: GSM-Plus) et diminuent pour les tâches plus éloignées et de plus haute difficulté (ex: AIME-2026), le modèle distillé par raisonnement montrant le transfert le plus robuste.
• Stabilité et Oscillations : Dans les exécutions standards de GSM8K (faible taux d'apprentissage), tous les modèles sont restés dans le régime stable et suramorti. Cependant, dans l'expérience de réduction exacte par bandit softmax, les auteurs ont réussi à induire la transition prédite de suramorti à oscillatoire en balayant $K_{ref}$. Le seuil de stabilité empirique s'est aligné sur la prédiction théorique $K \eta K_{ref} = 1 - \mu$ en utilisant une raideur $K$ mesurée indépendamment.

Résultats des Diagnostics

• Détournement de Récompense : Des modèles comme DeepSeek-LLM-7B-Chat à $G=4$ ont montré des signes de détournement de récompense (découplage entraînement-évaluation), tandis que le modèle de raisonnement distillé Qwen-1.5B à $G=16$ maintenait un couplage sain.
• Effondrement de Mode : Les diagnostics ont identifié avec succès les régimes où la construction de l'avantage a dégénéré (prompts effondrés) ou où la concentration de la politique a érodé l'hypothèse de champ moyen, les distinguant d'une simple instabilité dynamique.

Signification et Revendications

Le papier affirme fournir un compte mécaniste de l'entraînement GRPO qui transforme le domaine de "l'art à la science" concernant le réglage des hyperparamètres. En réduant la dynamique complexe de haute dimension à un système de second ordre en forme fermée, les auteurs soutiennent que :

1. Prévisibilité : Les trajectoires d'entraînement peuvent être prédites sur la base des hyperparamètres et d'une seule échelle de courbure mesurée, plutôt que d'être ajustées a posteriori.
2. Pouvoir Diagnostique : Le modèle fournit des indicateurs spécifiques pour séparer les différents modes de défaillance qui seraient autrement indiscernables sur une courbe de récompense standard.
3. Unification Théorique : Il unifie les lois de mise à l'échelle empiriques (Nimmaturi et al., 2025 ; Ghosh et al., 2026) comme étant des limites spécifiques d'un modèle physique plus général.

Les auteurs restent modestes quant à la portée du travail, notant que le modèle est une approximation d'ordre réduit conditionnée par l'hypothèse de champ moyen et l'expansion à petits pas. Ils reconnaissent que la démonstration par réseau profond du régime oscillatoire (augmenter $\eta$ ou $K_{ref}$ pour induire l'instabilité) est laissée aux travaux futurs, car leurs exécutions actuelles sur GSM8K étaient délibérément configurées pour rester dans le régime stable et suramorti. Les expériences de réduction exacte servent de preuve de concept que la physique prédite (seuils de stabilité et oscillations) est une propriété des dynamiques elles-mêmes, et non un artefact de l'approximation de réseau profond.