Résumé Technique : GTPO et GRPO-S

1. Énoncé du Problème

Les algorithmes actuels d'apprentissage par renforcement (RL) pour les grands modèles de langage (LLM), particulièrement le Group Relative Policy Optimization (GRPO) et ses variantes comme DAPO, souffrent d'une attribution de crédit à grain grossier. Dans ces cadres, une récompense uniforme (par exemple, +1 pour une réponse finale correcte, 0 ou -1 pour une réponse incorrecte) est attribuée à chaque jeton (token) au sein d'une séquence générée. Ce paradigme crée deux limitations critiques :

1. Pénalisation du Raisonnement Correct : Une séquence contenant des dizaines d'étapes logiques correctes reçoit une récompense nulle si la réponse finale est incorrecte, écartant ainsi de manière inefficace un raisonnement intermédiaire précieux.
2. Récompense de Chemins Défectueux : Inversement, une séquence qui parvient à une réponse correcte grâce à des étapes intermédiaires devinées ou erronées reçoit le plein crédit, renforçant ainsi des schémas de raisonnement incorrects.
3. Biais de Longueur : Les conceptions standards de GRPO favorisent implicitement les séquences plus longues pour les réponses correctes en raison de l'agrégation d'avantages uniformes, ce qui est statistiquement sous-optimal.

Bien que des travaux récents aient utilisé l'entropie de la politique comme contrainte de régularisation ou comme un masque binaire pour filtrer les jetons, ils ne parviennent pas à remodeler activement le signal de récompense pour distinguer l'exploration de haute valeur dans les solutions correctes des erreurs de confiance dans les solutions incorrectes.

2. Méthodologie

Les auteurs proposent le Pondération Dynamique de l'Entropie (Dynamic Entropy Weighting), un cadre qui détourne l'entropie de la politique pour en faire un ancrage intrinsèque pour l'attribution de crédit à grain fin. L'hypothèse centrale est qu'une entropie de politique élevée au sein d'une séquence de raisonnement est corrélée à des points de décision pivots (effort cognitif). Le cadre redistribue les récompenses sur la base de cette entropie, en opérant via deux algorithmes complémentaires :

A. Group Token Policy Optimization (GTPO)

GTPO opère au niveau du jeton, en attribuant une récompense pondérée par l'entropie unique à chaque jeton.

• Séquences Réussies ($O^+$) : Les jetons présentant une entropie élevée (indiquant une exploration ou une incertitude précieuse) reçoivent un bonus de récompense. La récompense est façonnée ainsi :
  $$\tilde{r}^+_{i,t} = \alpha_1 r_i + \alpha_2 \frac{H_{i,t}}{\sum_{k} H_{k,t}} \cdot d_t$$
  où $H_{i,t}$ est l'entropie de génération du jeton, et $d_t$ est le nombre de séquences réussies actives à l'étape $t$. Cela renforce les étapes incertaines mais correctes.
• Séquences Infructueuses ($O^-$) : Les jetons présentant une faible entropie (indiquant une grande confiance) reçoivent des pénalités plus lourdes. La récompense est façonnée en utilisant l'entropie inverse :
  $$\tilde{r}^-_{j,t} = \alpha_1 (-1) + \alpha_2 \frac{1/H_{j,t}}{\sum_{k} (1/H_{k,t})} \cdot h_t \cdot (-1)$$
  Cela pénalise les erreurs de confiance, encourageant le modèle à sortir des modes de raisonnement incorrects.
• Calcul de l'Avantage : Des fonctions d'avantage distinctes sont calculées pour les ensembles positifs et négatifs, normalisées sur tous les jetons du lot pour assurer une mise à l'échelle cohérente.

B. Sequence-Level GRPO (GRPO-S)

GRPO-S est une variante légère, au niveau de la séquence, conçue pour la stabilité dans les tâches de longue chaîne de pensée (Chain-of-Thought - CoT).

• Au lieu de récompenses au niveau du jeton, elle module la récompense globale pour une séquence entière basée sur son entropie moyenne ($\hat{H}_k$).
• Les séquences réussies avec une exploration plus élevée reçoivent des bonus, tandis que les séquences incorrectes avec une grande confiance (faible entropie moyenne) reçoivent des pénalités.
• Cette approche offre un compromis entre la précision micro-niveau de GTPO et la stabilité macro-niveau de la séquence.

Garanties Théoriques

Le document fournit une analyse théorique prouvant :

1. Conservation de la Masse de Récompense : Sous des contraintes d'hyperparamètres spécifiques ($\alpha_1 + \alpha_2 = 1$), la somme des récompenses positives façonnées est égale à la somme des récompenses binaires originales, garantissant que le signal d'apprentissage total reste non biaisé par rapport à la vérité de terrain.
2. Cohérence Asymptotique : À mesure que l'entraînement progresse et que la variance de l'entropie parmi les séquences réussies diminue, le biais de gradient introduit par la pondération de l'entropie s'estompe, assurant la convergence vers le même optimum global que GRPO/DAPO standard.
3. Réduction de la Variance : La normalisation au niveau du jeton utilisée dans GTPO est statistiquement supérieure à la moyenne en deux étapes du GRPO standard, réduisant ainsi la variance du gradient.

3. Contributions Clés

1. Identification des Limitations à Grain Grossier : Le papier optimise fondamentalement le cadre GRPO en traitant son incapacité à attribuer du crédit à des étapes de raisonnement spécifiques.
2. Algorithme GTPO : Introduit la première véritable attribution de crédit par jeton à grain fin au sein du cadre efficace de GRPO en utilisant la pondération dynamique de l'entropie.
3. Algorithme GRPO-S : Propose une variante au niveau de la séquence qui capture la valeur exploratoire de séquences entières, offrant une stabilité supérieure pour le raisonnement CoT long.
4. Analyse Théorique : Fournit des preuves pour l'absence de biais et la convergence des fonctions d'objectif proposées.
5. Validation Empirique : Démontre des gains de performance significatifs sur des benchmarks de raisonnement mathématique exigeants.

4. Résultats Expérimentaux

Les expériences ont été menées sur les modèles Qwen2.5-7B et Qwen2.5-32B à travers les benchmarks AIME 2024, AIME 2025 et MATH 500.

• Performance : GTPO et GRPO-S ont établi de nouveaux records (SOTA), surpassant systématiquement GRPO, DAPO et la ligne de base avancée "DAPO w/ Forking Tokens".
  • Sur AIME 2024 (Qwen2.5-7B), GTPO a atteint un Pass@32 de 64,89 %, une amélioration massive par rapport aux 35,51 % de DAPO.
  • Sur AIME 2025, GRPO-S a atteint un Pass@32 de 23,33 % (7B) et 34,33 % (32B), surpassant toutes les lignes de base.
• Exploration vs Stabilité : Contrairement à DAPO, qui plafonne souvent en raison d'un effondrement prématuré de la politique (effondrement de l'entropie), GTPO et GRPO-S ont exhibited un phénomène de "rebond d'entropie". Les modèles ont maintenu une exploration plus élevée, menant à des chaînes de raisonnement plus longues, plus diverses et à des plafonds de récompense finale plus élevés.
• Efficacité de l'Échantillonnage : Les méthodes ont convergé en environ 210 étapes d'entraînement, indiquant que les gains de performance n'étaient pas dus à un entraînement plus long mais à des signaux d'apprentissage plus efficaces.

5. Signification et Revendications

Le papier affirme que l'exploitation et la direction de l'incertitude du modèle constituent une frontière prometteuse pour le développement de systèmes d'IA fiables. En traitant l'entropie de la politique non pas simplement comme un terme de régularisation mais comme un signal dynamique pour le façonnage actif de la récompense, les méthodes proposées permettent :

• Attribution de Crédit Précise : Distinguer l'exploration de valeur dans les chemins corrects des erreurs de confiance dans les chemins incorrects sans nécessiter de réseau de valeur explicite.
• Raisonnement Robuste : Faire passer les LLM de l'imitation de motifs vers un raisonnement vérifiable, étape par étape.
• Scalabilité : Fournir un compromis principled entre la précision granulaire (GTPO) et la stabilité de la séquence (GRPO-S) qui s'adapte efficacement à travers différentes tailles de modèles et difficultés de tâches.

Les auteurs concluent que leur cadre résout le compromis stabilité-exploration inhérent aux méthodes RLHF actuelles, permettant aux modèles d'explorer plus efficacement des espaces de raisonnement complexes tout en évitant les pièges d'un raisonnement incorrect et trop confiant.