Rethinking Entropy Interventions in RLVR: An Entropy Change Perspective

1. Énoncé du problème

L'Apprentissage par Renforcement avec Récompenses Vérifiables (RLVR) est une technique fondamentale pour améliorer les capacités de raisonnement des Grands Modèles de Langage (LLM) dans des tâches telles que les mathématiques et la programmation. Cependant, l'entraînement en RLVR est fréquemment affecté par un effondrement de l'entropie, un phénomène où l'entropie de la politique chute rapidement durant l'entraînement.

Cet effondrement provoque deux défaillances critiques :

1. Exploration restreinte : Le modèle génère des trajectoires de raisonnement (déroulés) homogènes, échouant à découvrir des solutions diverses ou correctes.
2. Perturbation de l'optimisation : Dans les algorithmes basés sur des groupes comme GRPO (Group Relative Policy Optimization), des déroulés homogènes conduisent à des scores d'avantage non discriminants, provoquant une stagnation de l'entraînement.

Bien que des travaux récents tentent d'atténuer ce problème via des interventions heuristiques (par exemple, ajuster les bornes de clipping, rééquilibrer les échantillons positifs, ou utiliser des avantages sensibles à l'entropie), ces méthodes manquent d'une compréhension théorique unifiée de pourquoi elles fonctionnent ou échouent. Leur efficacité est souvent limitée car elles reposent sur des ajustements grossiers sans mécanisme principiel pour contrôler la dynamique de l'entropie au niveau des tokens.

2. Méthodologie et analyse théorique

Les auteurs proposent un passage d'une surveillance globale de l'entropie à une analyse fine de l'entropie au niveau des tokens.

A. Déduction théorique (Théorème 1)

Le papier dérive une approximation analytique serrée pour le changement d'entropie au niveau des tokens ($\Omega(s)$) à chaque étape de mise à jour. Ce changement est montré comme étant régi par quatre facteurs clés :

1. Indicateur de clipping ($I_{clip}$) : Si le ratio d'échantillonnage d'importance est clipé.
2. Avantage ($A$) et ancienne politique ($\pi_{old}$) : Facteurs de pondération pour la mise à jour.
3. Probabilité du token ($\pi_\theta$) : La probabilité actuelle du token.
4. Entropie conditionnelle ($H(s)$) : L'entropie de l'état actuel.

La formule dérivée pour le changement d'entropie est :
$$\Omega(s) \approx -\frac{\eta}{L} \mathbb{E}_{\pi_\theta} \left[ I_{clip} \cdot A \cdot \frac{\pi_{old}}{\pi_\theta} (1 - \pi_\theta) (\log \pi_\theta + H(s)) \right]$$

B. Cadre des quatre quadrants

Basé sur l'effet conjoint de l'Avantage ($A$) et de la Probabilité du token ($\pi_\theta$), les auteurs catégorisent les mises à jour de tokens en quatre quadrants :

• Quadrant I (Exploitation) : Probabilité élevée, Correct ($A>0$). L'entropie diminue (concentre la masse).
• Quadrant II (Exploration) : Probabilité faible, Correct ($A>0$). L'entropie augmente (diversifie la politique).
• Quadrant III (Suppression) : Probabilité faible, Incorrect ($A<0$). L'entropie diminue (pénalise les erreurs rares).
• Quadrant IV (Correction d'erreur) : Probabilité élevée, Incorrect ($A<0$). L'entropie augmente (aplatit la distribution pour chercher des alternatives).

L'Effondrement de l'entropie est identifié comme un état où les forces réduisant l'entropie (Quadrants I et III) surpassent systématiquement les forces augmentant l'entropie (Quadrants II et IV).

C. Critique des méthodes existantes

Le papier analyse les heuristiques existantes (par exemple, Clip-Higher, Unlikeliness, Entropy-Aware Advantage) et constate qu'elles sont limitées car :

• Elles n'ajustent qu'un ou deux des quatre facteurs régissants.
• Elles appliquent des ajustements grossiers (par exemple, un clipping global) plutôt qu'un contrôle au niveau des tokens.
• Certaines méthodes (comme l'Avantage Sensible à l'Entropie) peuvent involontairement accélérer l'effondrement en amplifiant le changement d'entropie des tokens qui subissent déjà des changements drastiques.

3. Solution proposée : STEER

Pour pallier ces limitations, les auteurs introduisent STEER (Stabilizing Token-level Entropy-changE via Reweighting).

• Mécanisme central : STEER calcule le changement d'entropie théoriquement estimé $\Omega(s)$ pour chaque token.
• Répondage adaptatif : Il applique un poids d'échelle $\lambda(s)$ au gradient du token. Les tokens présentant des changements d'entropie excessivement grands (en augmentation ou en diminution) sont sous-pondérés pour stabiliser la dynamique.
• Fonction de poids :
  $$\lambda(s) = \exp\left(-\alpha \frac{|\Omega(s)|}{\max_{s' \in B} |\Omega(s')|}\right)$$
  Cela garantit que les tokens entraînant une dynamique d'entropie instable contribuent moins au gradient, tandis que les tokens stables sont préservés.
• Avantages :
  • Principiel : Basé sur l'approximation théorique dérivée, et non sur des heuristiques.
  • Granulaire : Opère au niveau des tokens.
  • Efficace : Ajoute un coût de calcul négligeable (nécessite uniquement le calcul de $\Omega(s)$).
  • Universel : Compatible avec divers algorithmes RL (GRPO, RLOO, OPO) et familles de modèles.

4. Résultats expérimentaux

Les auteurs ont évalué STEER sur six benchmarks de raisonnement mathématique (AIME, AMC, MATH, etc.) et trois benchmarks de programmation (LiveCodeBench, Zeta, Internal).

• Performance : STEER a constamment surpassé les références de l'état de l'art (incluant GRPO, OPO, Clip-High, Entro. Adv., etc.).
  • Sur Qwen2.5-Math-7B, STEER a obtenu un score moyen de 48,6 %, dépassant la deuxième meilleure méthode (OPO à 46,4 %) avec une marge significative.
  • Sur Qwen2.5-14B, il a obtenu 45,2 % en moyenne, surpassant les concurrents.
• Contrôle de l'entropie : STEER a réussi à maintenir une dynamique d'entropie stable tout au long de l'entraînement, empêchant l'effondrement rapide observé dans les références. Dans des scénarios extrêmes (où le clipping était désactivé), STEER est resté stable tandis que d'autres méthodes échouaient.
• Généralisation :
  • Échelle du modèle : Efficace sur les modèles de 1,5B, 7B et 14B.
  • Familles de modèles : Fonctionne sur les architectures Qwen, Llama et Mistral.
  • Algorithmes : Appliqué avec succès à GRPO, RLOO et OPO.
• Tâches de programmation : STEER a amélioré les performances sur les tâches de génération et d'édition de code, démontrant une robustesse au-delà du pur raisonnement mathématique.

5. Signification et contributions

1. Avancée théorique : Le papier fournit la première approximation analytique serrée du changement d'entropie au niveau des tokens en RLVR, démystifiant les mécanismes derrière les heuristiques existantes et révélant leurs limitations inhérentes.
2. Cadre unifié : Il introduit une vue en quatre quadrants de la dynamique de l'entropie, offrant une carte conceptuelle claire pour comprendre comment différents types de tokens contribuent à l'exploration par rapport à l'exploitation.
3. Algorithme efficace (STEER) : Il propose une méthode simple et théoriquement fondée qui répond de manière adaptative les tokens pour stabiliser l'entraînement. STEER atteint des performances supérieures sans nécessiter de changements architecturaux complexes ni une surcharge de calcul importante.
4. Impact pratique : En résolvant le problème de l'effondrement de l'entropie, STEER permet une mise à l'échelle plus stable et efficace du RLVR pour des tâches de raisonnement avancées, ce qui est crucial pour le développement de modèles de raisonnement de nouvelle génération.

En résumé, ce travail fait passer le domaine des heuristiques d'essai et d'erreur à une compréhension théorique et principielle de la dynamique de l'entropie en RLVR, offrant une solution robuste (STEER) qui fait progresser significativement l'état de l'art du raisonnement des LLM.