💻 computer science

Selective-Advantage Entropy-Adaptive Horizon GRPO: Asymmetric Token-Level Discounting for Efficient Reinforcement Learning of Language Models

Cet article introduit le Selective-Advantage Entropy-Adaptive Horizon GRPO (SA-AH-GRPO), un algorithme d'apprentissage par renforcement qui applique de manière asymétrique une remise basée sur l'entropie aux déroulements à avantage négatif tout en préservant l'intégralité des signaux de gradient pour les trajectoires réussies, stabilisant ainsi de manière significative l'entraînement et améliorant les performances sur les tests de référence de raisonnement mathématique par rapport au GRPO standard.

Auteurs originaux : Chirag Chawla, Rohan Charudatt Salvi, Madhav S. Baidya

Publié 2026-06-05

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Chirag Chawla, Rohan Charudatt Salvi, Madhav S. Baidya

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous enseignez à un étudiant (un modèle de langage IA) comment résoudre des problèmes mathématiques. L'étudiant essaie d'apprendre en pratiquant, en recevant des commentaires et en ajustant ses méthodes d'étude. Ce document présente une manière plus intelligente de donner ces commentaires, rendant le processus d'apprentissage plus rapide, plus stable et moins déroutant.

Voici la décomposition des idées du document en utilisant des analogies simples :

Le Problème : Le Tuteur "Taille Unique"

La méthode standard actuelle pour enseigner à ces modèles d'IA est appelée GRPO. Considérez GRPO comme un tuteur strict qui traite chaque mot écrit par l'étudiant de la même manière.

Le Problème : Si l'étudiant est confiant et écrit une phrase claire et correcte, le tuteur lui donne un "high-five". Mais si l'étudiant est confus, bafouille ou devine de manière totalement aléatoire (haute "entropie" ou incertitude), le tutorat lui accorde exactement la même attention — parfois même en le punissant aussi durement que s'il avait été sûrement dans l'erreur.
Le Résultat : Cela déroute l'étudiant. Lorsqu'il est déjà en train de deviner, recevoir une punition sévère peut le faire paniquer et lui faire apprendre les mauvaises choses. Inversement, si l'étudiant réussit un problème, mais qu'il a fait quelques hésitations en chemin, le tuteur pourrait accidentellement punir ces hésitations, affaiblissant la leçon selon laquelle "ce chemin mène à la bonne réponse".

La Solution : Deux Nouvelles Stratégies d'Enseignement

Les auteurs proposent deux améliorations de ce système de tutorat, qu'ils appellent AH-GRPO et SA-AH-GRPO.

1. La "Réduction de l'Incertitude" (AH-GRPO)

Imaginez que le tuteur ait une règle spéciale : "Si l'étudiant est clairement confus, nous baissons le volume du feedback."

Comment cela fonctionne : Le tuteur vérifie à quel point l'étudiant est incertain à chaque mot. Si l'étudiant devine de manière totalement aléatoire (haute entropie), le tuteur dit : "D'accord, cette partie est désordonnée, donc je ne la compterai pas aussi lourdement contre vous."
Le Bénéfice : Cela empêche l'étudiant d'être submergé par le bruit lorsqu'il est en difficulté. Cela raccourcit l'"horizon de la leçon", en se concentrant uniquement sur les parties de la réponse qui sont claires.

2. La Règle de l' "Avantage Sélectif" (SA-AH-GRPO) — La Vedette du Spectacle

C'est l'innovation principale du document. Elle ajoute un tournant crucial à la règle ci-dessus : "Ne baissez le volume que si l'étudiant a échoué à toute la réponse."

Scénario A : L'Étudiant Réussit (Avantage Positif)
Même si l'étudiant a trébuché ou deviné quelques mots en cours de route, s'il finit par résoudre le problème correctement, le tuteur dit : "Beau travail ! Chaque mot que vous avez écrit, même les plus hésitants, vous a aidé à y parvenir. Nous comptons tout !"
- Pourquoi ? Parce que le résultat final est un succès. Nous voulons renforcer tout le chemin qui a mené à la victoire.
Scénario B : L'Étudiant Échoue (Avantage Négatif)
Si l'étudiant ne parvient pas à résoudre le problème, le tuteur dit : "Vous avez échoué. Maintenant, regardons où vous étiez confus. Nous allons ignorer les parties où vous ne faisiez que deviner de manière aléatoire, afin de ne pas vous apprendre accidentellement la mauvaise leçon à partir de ces suppositions. Nous nous concentrons uniquement sur les erreurs claires."
- Pourquoi ? Lorsque vous avez tort et que vous êtes aussi confus, vos suppositions ne sont que du bruit. Punir le bruit trop durement crée un signal d'apprentissage chaotique.

Les Résultats : Un Parcours Plus Fluide

Les auteurs ont testé cette nouvelle méthode sur des problèmes mathématiques en utilisant deux tailles différentes de modèles d'IA (un petit modèle de 1,5B et un plus grand de 3B).

Pour le Modèle Plus Grand (3B) : La nouvelle méthode n'a pas nécessairement rendu le modèle plus intelligent que l'ancienne (il était déjà assez intelligent), mais elle a rendu l'entraînement beaucoup plus stable. Imaginez conduire une voiture : l'ancienne méthode était comme conduire sur une route cahoteuse où la voiture zigzagait à gauche et à droite. La nouvelle méthode a lissé la route. Le "zigzag" (la variance) a été réduit de 3,6 fois. La voiture a atteint la même destination, mais avec un trajet beaucoup plus fluide.
Pour le Modèle Plus Petit (1,5B) : La nouvelle méthode a réellement aidé le modèle à mieux apprendre. Elle a amélioré le score final de près de 5 points de pourcentage par rapport à un départ de zéro. Il semble que le petit modèle avait besoin de cette stabilité supplémentaire pour apprendre efficacement.

La "Recette Secrète" : Pourquoi Cela Fonctionne

Le document soutient que cette approche respecte la différence entre l'exploration et l'exploitation :

Quand un modèle explore (devine), il est normal d'être incertain.
Quand un modèle réussit, nous devons récompenser tout le voyage, même les parties incertaines.
Quand un modèle échoue, nous devons faire attention à ne pas punir trop durement le "bruit" de l'incertitude, sous peine de confondre le signal d'apprentissage.

Résumé

Considérez SA-AH-GRPO comme un entraîneur sage qui sait quand être strict et quand être indulgent.

Si vous gagnez le match, l'entraîneur félicite chacun de vos mouvements, même les plus risqués.
Si vous perdez le match, l'entraîneur ignore les moments où vous ne faisiez que deviner et se concentre uniquement sur les erreurs claires, pour que vous ne soyez pas découragé ou confus.

Ce simple changement dans la façon dont le feedback est pondéré rend le processus d'entraînement de l'IA plus rapide, plus stable et plus efficace, surtout pour les petits modèles qui ont besoin d'une aide supplémentaire pour trouver leurs marques.

Résumé Technique : SA-AH-GRPO (Selective-Advantage Entropy-Adaptive Horizon GRPO)

Énoncé du Problème

L'optimisation de politique par groupe relatif (GRPO) est devenue un algorithme dominant pour l'apprentissage par renforcement à partir de récompenses vérifiables (RLVR) dans les modèles de langage, particulièrement pour les tâches de raisonnement. Cependant, le GRPO standard souffre de deux limitations principales concernant la pondération des gradients :

Pondération symétrique des jetons (tokens) : Il traite chaque position de jeton de manière égale, sans tenir compte de l'incertitude locale (entropie) du modèle. Aux positions de haute entropie, où le modèle explore plusieurs continuations plausibles, le signal de gradient est intrinsèquement bruité. Appliquer des poids uniformes à ces positions peut déstabiliser l'entraînement en traitant des mises à jour bruitées avec la même magnitude que des mises à jour confiantes et à faible entropie.
Traitement symétrique des rollouts : Il applique une pondération de gradient identique aux trajectoires réussies (avantage positif) et aux trajectières échouées (avantage négatif). Pénaliser les positions de jetons incertaines dans une trajectoire réussie est contre-productif, car ces jetons ont contribué à une solution correcte et devraient recevoir tout le crédit. Inversement, une pénalisation agressive des positions incertaines dans les trajectoires échouées peut introduire des signaux de gradient conflictuels.

Les approches existantes de pondération au niveau du jeton reposent souvent sur des modèles de récompense auxiliaires ou des heuristiques fixes. Ce document propose une méthode qui dérive les poids directement de l'incertitude prédictive du propre modèle sans supervision supplémentaire.

Méthodologie

Les auteurs introduisent deux extensions hiérarchiques au GRPO : l'AH-GRPO (Adaptive-Horizon GRPO) et le SA-AH-GRPO (Selective-Advantage AH-GRPO).

1. Horizon à décompte adaptatif à l'entropie (Entropy-Adaptive Horizon Discount)

Le mécanisme central est un poids par jeton dérivé de l'entropie normalisée cumulative de la trajectoire jusqu'à ce point.

Entropie normalisée : Pour un jeton $t$ dans un rollout $i$ , l'entropie normalisée $\tilde{H}^{(i)}_t$ est calculée comme l'entropie de Shannon de la distribution de la politique divisée par $\log V$ (taille du vocabulaire), estimée à l'aide des top- $K$ logits ( $K=500$ ) pour plus d'efficacité.
Facteur de décompte : Un décompte par étape $\gamma^{(i)}_t = \exp(-\alpha \tilde{H}^{(i)}_t)$ est appliqué.
Poids cumulatif : Le poids pour le jeton $t$ est le produit de tous les décomptes précédents : $w^{(i)}_t = \prod_{s=1}^t \gamma^{(i)}_s = \exp(-\alpha \sum_{s=1}^t \tilde{H}^{(i)}_s)$ .
Effet : Lorsque $\alpha > 0$ , les préfixes à haute entropie entraînent un décompte plus fort, réduisant ainsi l'« horizon effectif » sur lequel les gradients se propagent à travers les séquences incertaines.

2. AH-GRPO (Application uniforme)

Dans l'AH-GRPO, le poids basé sur l'entropie $w^{(i)}_t$ est appliqué uniformément à tous les jetons dans tous les rollouts, qu'il s'agisse de trajectoires réussies ou échouées. Cela réduit l'influence des gradients bruités aux positions incertaines mais risque d'atténuer le signal sur les solutions correctes qui contiennent des étapes incertaines.

3. SA-AH-GRPO (Application sélective)

Le SA-AH-GRPO introduit une asymétrie basée sur l'avantage normalisé par groupe $\hat{A}_i$ :

Avantage positif ( $\hat{A}_i \geq 0$ ) : La trajectoire est considérée comme réussie. Tous les jetons, y compris ceux situés dans des positions de haute entropie, reçoivent un poids de $1$ (pas de décompte). Cela préserve le signal de gradient complet pour les solutions correctes.
Avantage négatif ( $\hat{A}_i < 0$ ) : La trajectoire est considérée comme échouée. Le poids adaptatif à l'entropie $w^{(i)}_t$ est appliqué. Cela supprime les mises à jour de gradient aux positions structurellement ambiguës (haute entropie) au sein des trajectoires échouées, empêchant le modèle de sur-corriger sur la base de signaux bruités.

La fonction de perte est modifiée pour être normalisée par le nombre de jetons effectifs (pondérés) plutôt que par le nombre brut de jetons.

Configuration Expérimentale

Modèles : Qwen 2.5-1.5B-Instruct et Qwen 2.5-3B-Instruct.
Jeu de données : GSM8K (raisonnement mathématique), utilisant 800 exemples d'entraînement et 500 exemples d'évaluation.
Fine-tuning : Low-Rank Adaptation (LoRA) avec un rang $r=16$ .
Fonction de récompense : Une récompense composite ( $r_{max}=7.5$ ) combinant la correction, l'adhérence au format (balises XML spécifiques), la présence de balises de solution et la densité des étapes de raisonnement.
Baselines : GRPO standard ( $\alpha=0$ ) et AH-GRPO ( $\alpha=0.5$ ).
Ablation : Un balayage de $\alpha \in \{-0.25, 0.0, 0.10, 0.25, 0.50\}$ sur le modèle 1.5B.

Résultats Clés

1. Précision et Stabilité (Modèle 3B)

Sur le modèle Qwen 2.5-3B-Instruct, la baseline zero-shot est forte (Pass@1 $\approx 0.831$ ).

Précision de pointe : Le SA-AH-GRPO a atteint un Pass@1 de pointe de 0.858 (étape 30), égalant la performance de pointe du GRPO standard (0.852) et de l'AH-GRPO (0.862).
Variance de l'entraînement : Le SA-AH-GRPO a considérablement réduit la variance de l'entraînement à 0.0246, ce qui représente une réduction de 3,6 $\times$ par rapport au GRPO standard (0.0885) et de 2,6 $\times$ par rapport à l'AH-GRPO (0.0630).
Conclusion : À l'échelle 3B, le principal avantage est une stabilisation substantielle de l'entraînement sans sacrifier la précision de pointe.

2. Précision et Stabilité (Modèle 1.5B)

Sur le modèle Qwen 2.5-1.5B-Instruct, la baseline zero-shot est plus faible (Pass@1 $\approx 0.637$ ).

Précision de pointe : Le SA-AH-GRPO a atteint un Pass@1 de pointe et final de 0.686, soit une amélioration de +4,9 points de pourcentage par rapport à la baseline zero-shot. Il a surpassé le GRPO standard (pic de 0.668) et l'AH-GRPO (pic de 0.676).
Variance : Curieusement, le modèle 1.5B a montré une variance d'entraînement plus élevée (0.1718) avec le SA-AH-GRPO par rapport aux autres méthodes. Les auteurs attribuent cela au fait que le modèle possède plus de « marge de progression », entraînant une plus grande variation de la récompense pendant le processus d'apprentissage, tout en bénéficiant du signal de gradient non restreint sur les rollouts positifs.

3. Étude d'Ablation ( $\alpha$ )

Le balayage sur le modèle 1.5B a confirmé que les valeurs positives de $\alpha$ (décompte d'entropie) surpassent systématiquement les valeurs négatives de $\alpha$ (amplification d'entropie).

$\alpha = -0.25$ a dégradé la performance sous la baseline.
Parmi les valeurs positives, $\alpha=0.10$ a produit le pic le plus élevé mais une stabilité finale plus faible, tandis que $\alpha=0.50$ offrait un meilleur équilibre.
Crucialement, le SA-AH-GRPO à $\alpha=0.50$ (0.686) a nettement surpassé l'AH-GRPO symétrique au même $\alpha$ (0.676), validant la stratégie d'application sélective.

4. Dynamique d'Entraînement

Curriculum Implicite : À mesure que l'entraînement progresse, l'entropie normalisée moyenne diminue (de ~0.029 à ~0.009 sur le modèle 3B). Par conséquent, le facteur de décompte se rapproche naturellement de 1, agissant comme un programme d'amortissement (annealing) implicite où le modèle dépend moins du filtre d'entropie à mesure qu'il gagne en confiance.
Longueur de Réponse : La longueur moyenne de génération a diminué au cours de l'entraînement (par exemple, de 243 à 171 jetons sur le 3B), suggérant que la méthode encourage des chaînes de raisonnement plus concises.

Signification et Revendications

Le papier affirme être le premier travail à introduire un décompte adaptatif à l'entropie par jeton et par rollout dans un contexte de RLVR, et le premier à l'appliquer de manière asymétrique selon le signe de l'avantage.

Les auteurs soutiennent que le SA-AH-GRPO fournit un biais inductif principled pour le RLVR sur les tâches de génération structurée en :

Préservant les signaux de gradient : Il garantit que les solutions correctes, même celles contenant des étapes incertaines, reçoivent le plein crédit, évitant ainsi la suppression de signaux d'apprentissage valides.
Stabilisant l'entraînement : En atténuant sélectivement les gradients uniquement sur les trajectoires échouées aux positions incertaines, il réduit les directions de gradient conflictuelles et la variance de l'entraînement.
Éliminant les modèles auxiliaires : Le mécanisme de pondération repose uniquement sur l'incertitude prédictive de la propre politique, ne nécessissant aucun modèle de récompense supplémentaire ou heuristique fixe.

Les résultats suggèrent que le décompte d'entropie asymétrique est une amélioration pratique pour le fine-tuning basé sur GRPO, offrant une stabilité supérieure sur les modèles plus grands et des gains de précision constants sur les modèles plus petits. Des travaux futurs sont proposés pour évaluer ces méthodes à des échelles plus importantes (7B, 70B) et sur différents domaines de tâches.