Résumé Technique : Optimisation de Politique Relative de Groupe Guidée par la Netteté via le Façonnage de Probabilités

Énoncé du Problème

L'apprentissage par renforcement avec récompenses vérifiables (RLVR) est devenu un moteur principal pour améliorer les capacités de raisonnement des grands modèles de langage (LLM) dans des domaines tels que les mathématiques, la logique et la réponse aux questions augmentée par des outils. L'optimisation de politique relative de groupe (GRPO) est l'optimiseur dominant dans ce contexte en raison de sa simplicité et de son absence de dépendance à une fonction de valeur explicite. Cependant, les implémentations actuelles de RLVR manquent souvent d'un contrôle robuste de la généralisation. Les auteurs identifient que l'entraînement peut conduire à des mises à jour « nettes » — des étapes de gradient grandes et instables — ce qui, théoriquement, se corrèle avec une performance de généralisation médiocre. Le problème central abordé est de savoir comment stabiliser l'entraînement GRPO et améliorer la généralisation sans sacrifier le signal d'apprentissage ni introduire de changements architecturaux complexes.

Méthodologie : GRPO-SG

L'article propose GRPO Guidé par la Netteté (GRPO-SG), une variante pondérée au niveau des tokens de GRPO conçue pour réduire la netteté des mises à jour d'optimisation. La méthodologie repose sur une vue théorique de la généralisation et est mise en œuvre via un mécanisme de façonnage de probabilités basé sur la confiance.

Fondement Théorique

Les auteurs réexaminent GRPO à travers une lentille de généralisation basée sur la robustesse. Ils établissent que la perte de généralisation est bornée supérieurement par la somme de la perte d'entraînement empirique et d'un substitut de netteté mesuré par la norme du gradient (Théorème 3.3).

• Insight Clé : Des normes de gradient plus faibles correspondent à des mises à jour moins nettes, impliquant une meilleure généralisation.
• Dérivation : En analysant le gradient de la perte empirique, les auteurs montrent que la norme du gradient est influencée par des poids au niveau des tokens. Plus précisément, le produit d'un poids de token ($w_{i,t}$) et du terme $(1 - \pi_\theta(o_{i,t}))$ (représentant l'incertitude) impacte directement l'amplitude du gradient.

Implémentation Algorithmique

GRPO-SG modifie l'objectif GRPO standard en introduisant un poids de token $w_{i,t}$ qui agit comme un signal de confiance.

1. Signal de Confiance : Le poids est dérivé du logit du token sélectionné ($h_{i,t}$) produit par la politique actuelle. Ce logit sert de proxy pour la confiance du modèle dans le token qu'il a sélectionné.
2. Façonnage de Probabilités : Une fonction de mappage monotone et consciente de la confiance $\omega(\cdot)$ est appliquée au logit pour générer le poids. La formulation spécifique (Éq. 20) est :
   $$w_{i,t} = \text{clip}\left(\alpha \cdot \left[\sigma\left(\frac{\text{sg}[h_{i,t}]}{\tau}\right) - \mu\right], L, U\right)$$
   • $\text{sg}[\cdot]$ est un opérateur stop-gradient pour empêcher le modèle de manipuler les poids.
   • $\sigma$ est une fonction sigmoïde, et $\tau, \mu, \alpha, L, U$ sont des hyperparamètres contrôlant la régularité et les bornes.
3. Mécanisme :
   • Tokens à Haute Confiance : Les tokens avec des logits élevés (haute confiance) reçoivent des poids plus élevés, préservant le signal d'apprentissage sur les étapes de raisonnement critiques.
   • Tokens à Faible Confiance : Les tokens avec des logits faibles reçoivent des poids plus faibles. Étant donné que les tokens à faible confiance induisent souvent des gradients plus grands (en raison du terme $(1-\pi)$), leur sous-pesage supprime les mises à jour « nettes » qui pourraient déstabiliser l'entraînement.
4. Intégration : Ces poids sont intégrés directement dans l'objectif substitut GRPO, sous-pesant efficacement les tokens susceptibles de causer des gradients excessivement grands tout en maintenant le clipping de style PPO standard et la normalisation de l'avantage.

Contributions Clés

1. Vue de Généralisation de GRPO : L'article établit un lien théorique entre l'entraînement RLVR et un objectif de généralisation robuste, caractérisant la généralisation via un substitut de netteté (norme du gradient).
2. Algorithme GRPO-SG : Il introduit une modification simple et efficace de GRPO qui utilise la confiance des tokens (logits des tokens sélectionnés) pour façonner les amplitudes des mises à jour, réduisant la netteté sans nécessiter de modèles auxiliaires ni de façonnage de récompense complexe.
3. Validation Empirique : La méthode est validée sur divers benchmarks RLVR, démontrant des améliorations constantes par rapport au GRPO standard et à d'autres bases de contrôle au niveau des tokens (par exemple, 80/20, AR, Lopti).

Résultats Expérimentaux

Des expériences ont été menées sur trois configurations RLVR distinctes : Raisonnement Mathématique, Réponse aux Questions Agentique (augmentée par des outils) et Énigmes Logiques (Chevaliers et Knave).

• Raisonnement Mathématique : Sur des benchmarks incluant OlympiadBench, Minerva et MATH-500, GRPO-SG a réalisé des améliorations moyennes de +2,7 % à +6,0 % par rapport au GRPO standard. Par exemple, sur la recette d'entraînement DSR avec Qwen2.5-7B, le gain moyen était de 6,0 %.
• Réponse aux Questions Agentique : Dans des tâches de réponse aux questions augmentées par la connaissance (utilisant VT-Search), GRPO-SG a presque doublé la précision d'exact-match pour le modèle Qwen2.5-3B (passant de 13,84 à 27,29) et a fourni des gains significatifs sur le modèle Qwen3-4B.
• Énigmes Logiques : Sur le benchmark K&K Logic Puzzles, GRPO-SG a amélioré la précision moyenne de Qwen2.5-3B de 0,42 à 0,63 (un gain relatif de 50 %) et de Qwen2.5-7B de 0,75 à 0,91.
• Dynamiques d'Entraînement : Au-delà de la précision, GRPO-SG a présenté des trajectoires de norme de gradient plus lisses et moins de pics aberrants par rapport au GRPO (Figure 1), cohérent avec l'objectif théorique de réduire la netteté. Les récompenses d'entraînement étaient également plus élevées et plus stables.

Signification et Revendications

L'article revendique que GRPO-SG est une mise à niveau simple et efficace orientée vers la généralisation de GRPO pour le RLVR.

• Simplicité : La méthode ne nécessite pas de modèles de valeur supplémentaires, d'étiquettes humaines ni de changements architecturaux complexes ; elle modifie uniquement le pesage des tokens au sein de l'objectif GRPO existant.
• Stabilité : En contrôlant explicitement la netteté des mises à jour via la confiance des tokens, la méthode stabilise le processus d'entraînement, conduisant à des capacités de raisonnement plus robustes.
• Généralité : Les améliorations sont constantes à travers différentes tailles de modèles (de 3B à 7B+), différentes familles de modèles (Qwen, Mistral, LLaMA) et divers domaines de raisonnement (mathématiques, logique, recherche agentique).

Les auteurs concluent que le contrôle explicite de la netteté des mises à jour par le biais d'un pesage de tokens basé sur la confiance est une stratégie viable pour améliorer la stabilité et les performances des LLM entraînés par RL, offrant une voie pratique vers une meilleure généralisation dans des contextes de récompenses vérifiables.