Résumé technique : Maîtrise des tokens extrêmes avec GRPO sensible à la covariance

Énoncé du problème

L'optimisation de politique relative par groupes (GRPO) est devenue une approche standard pour améliorer les capacités de raisonnement des grands modèles de langage (LLM), en particulier dans les tâches de mathématiques et de programmation. Cependant, la GRPO fait face à une limitation critique dans l'équilibre entre l'exploration (recherche de nouvelles stratégies de raisonnement) et l'exploitation (affinement de solutions bonnes connues).

L'article identifie que ce déséquilibre est fondamentalement lié à la dynamique de l'entropie de la politique durant l'entraînement. S'appuyant sur des insights théoriques de Cui et al. (2025a), les auteurs notent que les changements d'entropie de la politique sont régis par la covariance entre les log-probabilités des tokens et leurs estimations d'avantage correspondantes. L'analyse empirique révèle qu'une petite fraction de tokens présentant des valeurs de covariance extrêmes domine de manière disproportionnée les mises à jour de la politique. Ces valeurs aberrantes provoquent une instabilité de l'entropie, conduisant soit à une surconfiance dans des solutions sous-optimales (exploitation excessive), soit à une dynamique d'entraînement instable (exploration excessive), aboutissant in fine à des performances en aval sous-optimales.

Méthodologie

La solution proposée est le GRPO sensible à la covariance (CW-GRPO), une méthode d'optimisation sans hyperparamètre qui réaffecte dynamiquement les signaux d'avantage en fonction de la covariance au niveau des tokens.

1. Fondement théorique

La méthode repose sur l'observation que le changement d'entropie de la politique ($\Delta H$) sous des mises à jour de gradient de politique naturel est approximativement proportionnel à la covariance négative entre les log-probabilités des tokens et les avantages :
$$\Delta H \approx -\eta \cdot \text{Cov}_t(\log \pi_\theta(o_t|q, o_{<t}), \hat{A}_i)$$
Des valeurs extrêmes dans cette covariance éloignent l'entropie d'un état stable et équilibré.

2. Réaffectation des avantages par noyau gaussien

Pour atténuer l'effet déstabilisateur des tokens extrêmes, les auteurs introduisent un mécanisme de réaffectation :

• Calcul de la covariance : Pour chaque token $t$ dans la réponse $i$, la méthode calcule la covariance entre la log-probabilité centrée et l'avantage centré :
  $$c_{i,t} = (\log \pi_\theta(o_{i,t}|\dots) - \overline{\log \pi}) \cdot (\hat{A}_i - \overline{\hat{A}})$$
• Pondération gaussienne : Un noyau gaussien est appliqué pour supprimer les tokens présentant des covariances de forte amplitude. La bande passante est fixée à l'écart-type empirique ($\sigma$) de la distribution de covariance :
  $$w_{i,t} = \exp\left(-\frac{c_{i,t}^2}{2\sigma^2}\right)$$
  Cette fonction filtre en douceur les tokens « aberrants » qui autrement provoqueraient un effondrement ou une explosion de l'entropie, tout en préservant les signaux d'apprentissage des tokens à covariances modérées.
• Normalisation : Les poids sont normalisés pour maintenir l'ampleur attendue de la perte sur le lot.
• Objectif modifié : La perte au niveau du token est mise à jour en multipliant l'avantage $\hat{A}_i$ par le facteur de réaffectation $\tilde{w}_{i,t}$ avant d'appliquer l'objectif GRPO standard.

Contributions clés

1. Identification des tokens extrêmes : L'article démontre empiriquement qu'une petite fraction de tokens à valeurs de covariance extrêmes entraîne de manière disproportionnée les mises à jour de politique et l'instabilité de l'entropie dans la GRPO standard.
2. Optimisation sans hyperparamètre : La méthode CW-GRPO proposée réduit automatiquement le poids des mises à jour extrêmes en utilisant un noyau gaussien, sans nécessiter d'hyperparamètres ajustables supplémentaires.
3. Dynamique d'entropie stabilisée : En supprimant les mises à jour de covariance extrêmes, la méthode maintient l'entropie de la politique à un niveau raisonnable, équilibrant efficacement exploration et exploitation tout au long de l'entraînement.

Résultats expérimentaux

Les auteurs ont évalué le CW-GRPO sur deux échelles de modèles (1,5 Mds et 7 Mds) en utilisant le jeu de données d'entraînement Open-RS et cinq benchmarks de raisonnement mathématique (AIME24, MATH-500, AMC23, Minerva, OlympiadBench).

• Gains de performance :
  • Modèle 1,5 Mds (DeepSeek-R1-Distill-Qwen) : Le CW-GRPO a obtenu une amélioration moyenne de +6,4 % par rapport au modèle de base et de +2,7 % par rapport à la GRPO standard. Des gains notables ont été observés sur AMC23 et Minerva.
  • Modèle 7 Mds (Qwen2.5-Math) : Le CW-GRPO a obtenu une amélioration moyenne de +4,3 % par rapport au modèle de base et de +2,4 % par rapport à la GRPO standard, avec des gains significatifs sur AMC23 et OlympiadBench.
• Stabilité de l'entropie :
  • La GRPO standard a présenté une instabilité d'entropie significative, avec une dégradation des performances à mesure que l'entraînement progressait (par exemple, les scores MATH-500 sont passés de 85,0 % à 79,8 % alors que l'entropie fluctuait).
  • Le CW-GRPO a maintenu des performances constantes à travers les points de contrôle d'entraînement (86,2 %–87,0 % sur MATH-500), validant que le contrôle des valeurs de covariance extrêmes est corrélé à des performances de raisonnement stables et supérieures.

Importance et affirmations

L'article affirme que son approche fournit un mécanisme fondé sur des principes pour équilibrer exploration et exploitation dans la GRPO sans nécessiter de réglage manuel des hyperparamètres. En s'attaquant directement à la cause racine de l'instabilité de l'entropie — les mises à jour de covariance extrêmes au niveau des tokens — la méthode permet une optimisation de politique plus robuste.

Les auteurs positionnent ce travail comme une étape vers un apprentissage par renforcement plus stable pour le raisonnement, démontrant que la modération des mises à jour extrêmes conduit à des améliorations constantes en aval à travers différentes architectures de modèles et benchmarks mathématiques. Ils reconnaissent les limites, notant que les expériences ont été menées sur des modèles jusqu'à 7 Mds de paramètres et principalement axées sur le raisonnement mathématique, suggérant qu'une validation supplémentaire sur des modèles à plus grande échelle et des tâches diversifiées est nécessaire pour confirmer une applicabilité large.