Résumé Technique : Contrôle Flexible de l'Entropie en RLVR sous l'Angle de la Préservation du Gradient

Énoncé du Problème

L'apprentissage par renforcement avec récompenses vérifiables (RLVR), en particulier utilisant l'optimisation de politique relative par groupe (GRPO), est devenu une méthode pivot pour améliorer les capacités de raisonnement des grands modèles de langage (LLM). Cependant, l'entraînement continu dans ce paradigme conduit souvent à un effondrement de l'entropie de la politique. Ce phénomène se caractérise par une décroissance rapide de l'entropie de la politique vers des valeurs proches de zéro, entraînant une surconfiance prématurée, une diversité de sortie réduite et la disparition des normes de gradient, ce qui finit par inhiber l'apprentissage ultérieur et dégrader les performances du modèle.

Un facteur principal conduisant à ces dynamiques est le recadrage préservant le gradient, un mécanisme hérité de l'optimisation de politique proximale recadrée (PPO-Clip) qui contraint le ratio d'échantillonnage d'importance dans une région de confiance. Bien que les stratégies d'atténuation existantes, telles que l'approche « Clip-Higher », tentent de remédier à cela en ajustant statiquement les seuils de recadrage, elles manquent d'un cadre théorique reliant les mécanismes de recadrage à un contrôle précis de l'entropie. Par conséquent, les méthodes actuelles sont souvent statiques et échouent à fournir une régulation flexible et spécifique à l'étape de l'entropie nécessaire pour un entraînement RL efficace.

Méthodologie

Cet article propose une approche novatrice pour remodeler le contrôle de l'entropie en RLVR sous un angle de préservation du gradient. La méthodologie repose sur trois composantes principales :

1. Analyse Théorique et Empirique des Dynamiques d'Entropie

Les auteurs analysent théoriquement la relation entre les gradients de mise à jour de l'apprentissage par renforcement et les gradients d'entropie globale. En calculant le produit scalaire du gradient de l'objectif ($\nabla_z L$) et du gradient d'entropie ($\nabla_z H$), ils identifient quatre régions distinctes du ratio d'échantillonnage d'importance ($r_t$) qui dictent si l'entropie augmente ou diminue :

• E1 (Gain Élevé) : Les tokens à haute probabilité avec un avantage positif encouragent un affinement supplémentaire (diminution de l'entropie).
• E2 (Gain Faible) : Les tokens à faible probabilité avec un avantage positif encouragent un aplatissement (augmentation de l'entropie).
• E3 (Chute Élevée) : Les tokens à haute probabilité avec un avantage négatif encouragent un aplatissement (augmentation de l'entropie).
• E4 (Chute Faible) : Les tokens à faible probabilité avec un avantage négatif encouragent un affinement (diminution de l'entropie).

La vérification empirique confirme que l'application sélective du recadrage préservant le gradient à ces régions spécifiques influence directement la trajectoire de l'entropie de la politique.

2. Seuils de Recadrage Dynamiques pour la Régulation de l'Entropie

Sur la base des résultats théoriques, l'article introduit un mécanisme de seuil de recadrage dynamique. Au lieu d'utiliser des bornes scalaires fixes ($\epsilon$), les seuils de recadrage sont formulés comme des fonctions de la probabilité actuelle de la politique ($\pi_\theta$) avec une opération de stop-gradient :
$$\epsilon(\pi_\theta) := f(\bar{p}_t), \quad \bar{p}_t = \text{sg}[\pi_\theta(a_t|s_t)]$$
où $f(\bar{p}_t)$ est négativement corrélée à la probabilité.

• Pour un Avantage Positif : Le seuil de recadrage supérieur est augmenté pour les tokens à faible probabilité (pour encourager l'exploration/E2) et diminué pour les tokens à haute probabilité (pour prévenir la sur-concentration/E1).
• Pour un Avantage Négatif : Le seuil de recadrage inférieur est diminué pour les tokens à haute probabilité (pour maintenir la stabilité) et assoupli pour les tokens à faible probabilité (pour supprimer les régions sous-optimales/E4).

Ce mécanisme permet une modulation précise, dépendante de la probabilité, de la région de confiance afin de promouvoir ou de supprimer les changements d'entropie.

3. Stratégies de Contrôle de l'Entropie

En tirant parti du mécanisme de régulation dynamique, les auteurs conçoivent trois stratégies d'entraînement distinctes pour gérer l'évolution de l'entropie au cours du cycle de vie de l'entraînement :

• Augmentation puis Diminution (ID) : Conçu pour les modèles alignés SFT. Il commence par une phase d'augmentation de l'entropie (encourageant un raisonnement diversifié) suivie d'une phase de diminution de l'entropie (convergence vers des performances optimales).
• Diminution-Augmentation-Diminution (DID) : Adapté aux modèles de base ou à haute entropie. Il réduit initialement l'entropie pour stabiliser l'optimisation, permet une augmentation contrôlée pour prévenir l'effondrement, et diminue enfin l'entropie pour la convergence.
• Décroissance Oscillatoire (OD) : Conçu pour les entraînements de longue durée ou les scénarios sujets aux minima locaux. Il utilise une machine à états qui déclenche une augmentation ou une suppression de l'entropie en fonction du fait que l'entropie actuelle tombe en dessous d'une borne inférieure ou dépasse une borne supérieure décroissante, maintenant un équilibre dynamique tout au long de l'entraînement.

Contributions Clés

1. Insight Théorique : L'article fournit une dérivation théorique et une validation empirique de la manière dont des régions spécifiques du ratio d'échantillonnage d'importance contribuent à la croissance et à la réduction de l'entropie, établissant un lien clair entre le recadrage préservant le gradient et les dynamiques d'entropie.
2. Mécanisme de Régulation : Il propose un mécanisme de seuil de recadrage dynamique qui module les bornes supérieures et inférieures en fonction de la probabilité du token, permettant un contrôle flexible et précis des fluctuations d'entropie.
3. Conception de Stratégies : Il introduit et évalue trois stratégies spécifiques de contrôle de l'entropie (ID, DID, OD) qui adaptent le processus d'entraînement à différents états et objectifs de modèles, atténuant efficacement l'effondrement de l'entropie.

Résultats Expérimentaux

Les méthodes proposées ont été évaluées sur les modèles Qwen2.5-Math-7B, Qwen2.5-7B et Phi-4-14B en utilisant le jeu de données DAPO-MATH. Les performances ont été comparées sur plusieurs tâches de raisonnement mathématique (AIME24/25, AMC, MATH-500, GSM8k, Olympiades) et des domaines non mathématiques (GPQA-Diamond, LiveCodeBench, MMLU-Redux).

• Gains de Performance : Les trois stratégies (ID, DID, OD) ont systématiquement surpassé le GRPO de base et d'autres méthodes de l'état de l'art (par exemple, Clip-Higher, Régularisation par Entropie, GSPO) sur plusieurs benchmarks. Par exemple, sur Qwen2.5-Math-7B, la stratégie Ours-ID a obtenu un score de 33,1 sur AIME24 contre 24,4 pour GRPO, et 48,3 sur Olympiades contre 46,2.
• Contrôle de l'Entropie : Les courbes d'entraînement ont démontré que les méthodes proposées ont réussi à prévenir l'effondrement de l'entropie. La stratégie ID a montré une hausse initiale claire de l'entropie suivie d'une décroissance contrôlée, tandis que OD a maintenu un comportement oscillatoire empêchant une convergence prématurée.
• Généralisation : Les méthodes ont démontré une évolutivité vers des modèles plus grands (Phi-4-14B) et une généralisation à des domaines non mathématiques, montrant des améliorations constantes dans les métriques Pass@K et les scores de récompense.
• Efficacité : Le mécanisme de recadrage dynamique a introduit une surcharge computationnelle minimale, avec des temps d'entraînement comparables au GRPO de base.

Importance et Revendications

L'article revendique que, en déplaçant la perspective du contrôle de l'entropie du réglage statique des seuils vers une modulation dynamique préservant le gradient et dépendante de la probabilité, il est possible de gérer précisément le compromis entre exploration et exploitation en RLVR.

Les auteurs affirment que leur travail aborde la question critique de l'effondrement de l'entropie, identifié comme un goulot d'étranglement dans la mise à l'échelle du RL pour le raisonnement des LLM. En fournissant un cadre théorique et des stratégies pratiques (ID, DID, OD), l'article offre une solution robuste pour maintenir la diversité de sortie et le flux de gradient pendant l'entraînement continu. Les résultats suggèrent que le contrôle flexible de l'entropie n'est pas simplement une technique de régularisation, mais un composant fondamental pour atteindre des performances de raisonnement supérieures dans les grands modèles de langage. Le travail souligne que l'efficacité de ces stratégies réside dans leur capacité à adapter les contraintes de la région de confiance selon les états de probabilité spécifiques des tokens, plutôt que d'appliquer des ajustements uniformes.