Résumé Technique : EP-GRPO

Énoncé du Problème

L'article identifie trois défaillances fondamentales d'attribution de crédit inhérentes à l'Optimisation de Politique Relative par Groupe (GRPO), un algorithme de premier plan pour l'Apprentissage par Renforcement avec Récompenses Vérifiables (RLVR) dans les Grands Modèles de Langage (LLM). Ces limitations entravent l'efficacité et l'efficience des tâches de raisonnement :

1. Granularité Uniforme au Niveau des Tokens : Le GRPO standard attribue une valeur d'avantage uniforme à tous les tokens au sein d'une séquence générée. Cette granularité grossière ignore la valeur informationnelle hétérogène des tokens. L'analyse empirique montre que les tokens à haute entropie (représentant des pivots de décision) sont critiques pour le raisonnement, tandis que les tokens à faible entropie représentent souvent des déductions déterministes et redondantes. Les traiter de manière égale dilue le signal de gradient aux points de décision cruciaux.
2. Polarité Uniforme : Le GRPO attribue le même signe d'avantage (positif ou négatif) à chaque token d'une séquence, basé uniquement sur le résultat final. Cela conduit à un « désalignement de polarité », où des étapes intermédiaires correctes dans une trajectoire échouée sont pénalisées, et des étapes incorrectes dans une trajectoire réussie sont involontairement récompensées. Les solutions existantes comme les Modèles de Récompense de Processus (PRM) résolvent ce problème mais nécessitent des annotations externes coûteuses et peinent à généraliser.
3. Effondrement à Variance Nulle : Lorsque toutes les réponses échantillonnées dans un groupe reçoivent des récompenses identiques (fréquent en début d'entraînement ou sur des tâches difficiles), l'avantage normalisé devient nul pour tous les tokens. Cela provoque la disparition complète du signal de gradient piloté par le résultat, arrêtant l'apprentissage. Bien que l'augmentation de la taille du groupe atténue ce problème, cela est coûteux en calcul. Les correctifs existants reposent souvent sur un échantillonnage supplémentaire ou un remodelage heuristique qui ne s'aligne pas avec le progrès logique.

Méthodologie : EP-GRPO

Les auteurs proposent le GRPO Aligné sur l'Entropie et le Progrès (EP-GRPO), un cadre qui transforme des retours épars, basés uniquement sur le résultat, en signaux d'apprentissage denses, auto-supervisés et au niveau des tokens, sans modèles de récompense externes. La méthode se compose de trois composants principaux :

1. Avantage de Résultat à Porte Entropique

Pour résoudre le problème de granularité, l'EP-GRPO module l'avantage original au niveau de la séquence ($\hat{A}_i$) en utilisant un poids au niveau du token dérivé de l'entropie prédictive ($H_{i,t}$).

• Mécanisme : La méthode calcule l'entropie prédictive pour chaque token. Une porte sigmoïde mappe les valeurs d'entropie standardisées vers des poids ($W_{i,t}$).
• Effet : Les tokens à haute entropie (pivots de décision) reçoivent des poids amplifiés, tandis que les tokens à faible entropie (déductions déterministes) sont supprimés. L'avantage modulé est $\hat{A}^{outcome}_{i,t} = W_{i,t} \cdot \hat{A}_i$. Cela préserve la direction originale mais ajuste l'amplitude en fonction du contenu informationnel.

2. Avantage de Progrès Implicite

Pour résoudre les problèmes de polarité et d'effondrement à variance nulle, l'EP-GRPO introduit un signal directionnel dérivé de la divergence de politique.

• Génération du Signal : Il calcule la divergence de log-probabilité entre la politique actuelle ($\pi_\theta$) et une politique de référence figée ($\pi_{ref}$) : $s_{i,t} = \lambda (\log \pi_\theta - \log \pi_{ref})$. Cela sert de signal de processus auto-supervisé.
• Ancrage Directionnel : Puisque la divergence manque de directionnalité intrinsèque (la confiance peut être mal placée), elle est ancrée à l'avantage de résultat.
  • Si la variance de récompense du groupe est non nulle, l'ancre est $\text{sign}(\hat{A}_i)$.
  • Si la variance est nulle (effondrement), l'ancre se dégrade vers le signe brut de la récompense ($\text{sign}(r_i - \theta_{reward})$).
• Alignement du Progrès : Pour normaliser ces signaux à travers des trajectoires de raisonnement asynchrones, les tokens sont mappés vers des « buckets de progrès logique » basés sur l'entropie cumulative ($\tau_{i,t}$). La normalisation (score Z) est effectuée au sein de ces buckets plutôt que par position physique, assurant que les tokens à des étapes de raisonnement similaires sont comparés.
• Résultat : Cela produit une récompense directionnelle et dense ($\hat{A}^{progress}_{i,t}$) qui reste active même lorsque les avantages de résultat disparaissent.

3. Avantage Final au Niveau des Tokens

L'avantage final combine les deux signaux :
$$\hat{A}^{final}_{i,t} = \hat{A}^{outcome}_{i,t} + \hat{A}^{progress}_{i,t}$$
L'analyse théorique prouve que ce gradient est équivalent à un objectif GRPO régularisé avec un terme de rapport de log-carré pondéré par l'entropie, agissant efficacement comme une régularisation guidée par la précision qui stabilise l'exploration aux points de décision critiques.

Contributions Clés

1. Modulation à Porte Entropique : Un mécanisme pour transformer des avantages au niveau de la séquence grossiers en poids au niveau des tokens, priorisant les mises à jour de gradient aux pivots de décision à haute entropie.
2. Signaux de Processus Implicites Ancrés : Une méthode pour convertir la divergence de politique en récompenses de processus directionnelles en les ancrant aux avantages de résultat. Cela fournit un retour d'information fin sans PRM externes et maintient le flux de gradient pendant l'effondrement à variance nulle.
3. Alignement du Progrès Logique : Une stratégie de mappage par entropie cumulative qui projette les trajectoires asynchrones dans un système de coordonnées unifié, permettant une normalisation alignée sur le progrès et assurant des signaux significatifs même lorsque les gradients basés sur le résultat disparaissent.

Résultats Expérimentaux

Les auteurs ont évalué l'EP-GRPO sur les modèles Qwen2.5-3B et Qwen2.5-7B à travers cinq benchmarks de raisonnement mathématique : MATH500, AMC23, Minerva, AIME24 et AIME25.

• Gains de Performance : L'EP-GRPO a systématiquement surpassé le GRPO standard et ses variantes (par exemple, température plus élevée, plus de déroulements).
  • Sur Qwen2.5-3B, la précision moyenne est passée de 18,14 % (GRPO) à 22,93 % (+26,4 %).
  • Sur Qwen2.5-7B, la précision moyenne est passée de 27,11 % (GRPO) à 30,34 % (+11,9 %).
  • Notamment, le modèle EP-GRPO 3B a surpassé le DeepSeek-R1-671B commercial sur le benchmark AMC23.
• Performance Pass@k : L'EP-GRPO a montré des avantages significatifs sur les ensembles de données à haute difficulté (AIME24/25) à mesure que le nombre d'échantillons ($k$) augmentait, indiquant une capacité supérieure à découvrir des chemins de raisonnement corrects dans des scénarios complexes.
• Études d'Ablation : Le retrait d'un seul composant (Porte Entropique, Signaux de Progrès Implicites, ou Dégradation à Variance Nulle) a entraîné des baisses de performance, confirmant que les trois mécanismes sont non redondants et collectivement nécessaires.
• Efficacité : Le temps d'entraînement réel était comparable au GRPO standard, car les calculs supplémentaires (entropie, divergence) sont légers. Cependant, l'EP-GRPO a produit des chaînes de raisonnement environ 20 % plus longues, indiquant un raisonnement plus profond sans coût temporel.

Importance

L'article affirme que l'EP-GRPO comble les limitations fondamentales du GRPO en RLVR en introduisant un mécanisme d'attribution de crédit dense et auto-supervisé. En exploitant le flux informationnel intrinsèque du modèle (entropie) et la dynamique de la politique (divergence), il élimine le besoin de modèles de récompense de processus externes coûteux tout en résolvant l'effondrement à variance nulle qui affecte l'optimisation par groupe standard. Les résultats suggèrent qu'une attribution de crédit améliorée, plutôt que de simplement augmenter l'échelle du modèle ou le budget d'échantillonnage, est un levier critique pour améliorer les capacités de raisonnement des LLM.