Résumé Technique : Ne laissez pas les gains s'estomper (FADE) : Analyse de la décomposition des poids du gradient de politique en RL

1. Énoncé du problème

L'apprentissage par renforcement avec récompenses vérifiables (RLVR) a considérablement amélioré les capacités de raisonnement des grands modèles de langage (LLM) dans des domaines tels que la génération de code et les mathématiques. Cependant, cette progression est entravée par l'instabilité de l'entraînement et l'effondrement de la diversité, où les modèles convergent vers des modes de solution étroits, sacrifiant la largeur des stratégies de raisonnement nécessaires à une performance robuste.

Bien que les fonctions d'avantage (ou poids de politique) soient largement utilisées pour remodeler les objectifs d'entraînement et repondérer les trajectoires (rollouts), le domaine souffre d'une prolifération de méthodes (par exemple, GRPO, DAPO, DR-GRPO, objectifs pass@k) qui manquent d'un cadre théorique unifié. Il reste difficile de savoir quel avantage utiliser et quand, car les méthodes existantes diffèrent simultanément selon plusieurs axes, rendant l'analyse comparative difficile. Plus précisément, l'interaction entre le renforcement des succès, la suppression des échecs et la focalisation sur la difficulté des problèmes n'est pas bien comprise, ce qui conduit à des compromis sous-optimaux entre la vitesse d'apprentissage et la diversité des solutions.

2. Méthodologie : Un cadre unificateur

Les auteurs proposent un cadre qui décompose toute politique de poids en masses de gradient positives ($m_S$) et négatives ($m_F$) le long de deux axes orthogonaux : l'Axe des Signes et l'Axe de la Difficulté.

2.1 La Décomposition

Pour un lot de trajectoires avec un taux de résolution $p$, le gradient de la politique est approximé par :
$$\nabla_\theta J \approx m_S \cdot \bar{\nabla}_S - m_F \cdot \bar{\nabla}_F$$
où $\bar{\nabla}_S$ et $\bar{\nabla}_F$ sont les gradients moyens sur les trajectoires réussies et échouées, respectivement.

Le cadre identifie trois axes de conception critiques :

1. Axe des Signes : Détermine l'équilibre entre $m_S$ et $m_F$.
2. Axe de la Difficulté : Détermine si la masse de gradient culmine sur les prompts faciles (haut $p$) ou les prompts difficiles (bas $p$).
3. Axe de l'Échelle : La magnitude globale du gradient (redimensionnement implicite du taux d'apprentissage).

2.2 Compromis Identifiés

À travers l'analyse théorique et l'observation empirique, l'article identifie trois compromis fondamentaux dictés par l'asymétrie de représentation entre les trajectoires correctes et incorrectes :

• Renforcement des Succès vs Effondrement de l'Entropie : Les solutions correctes sont souvent regroupées et similaires. Les amplifier ($m_S \gg m_F$) concentre la politique sur un mode étroit, menant à un effondrement de l'entropie. Le taux de cet effondrement est prévisible à partir du seul ratio de signe.
• Suppression des Échecs vs Effondrement de Mise à Jour de Rang 1 : Les échecs sont divers et décorrélés. Les amplifier ($m_F \gg m_S$) dirige la mise à jour des poids vers une direction de suppression unique. Cela induit un effondrement de mise à jour de rang 1, où le modèle n'apprend que selon un seul axe (l'entonnoir de rang 1), bloquant l'apprentissage multidimensionnel et réduisant la généralisation hors distribution.
• Focus sur les Problèmes Difficiles vs Variance : Focaliser la masse de gradient sur les prompts à faible taux de résolution produit des mises à jour plus informatives mais induit une variance plus élevée en raison de la rareté des échantillons réussis.

2.3 FADE : Avantage Focal avec Entropie Dynamique

Pour remédier aux limites des fonctions d'avantage statiques, les auteurs proposent FADE, une fonction d'avantage auto-adaptative qui planifie automatiquement les poids de gradient en fonction de la dynamique d'entraînement. FADE combine deux mécanismes :

1. Équilibrage Dynamique des Signes ($\delta$) : Ajuste le ratio de la masse négative par rapport à la masse positive en fonction de l'entropie actuelle de la politique ($\hat{H}$).
   • Phase d'Exploration : Lorsque l'entropie est élevée, $\delta \approx 1$ (signes équilibrés) pour éviter un effondrement de rang 1 prématuré.
   • Phase d'Exploitation : Lorsque l'entropie descend en dessous d'une cible $H^*$, $\delta < 1$ (biais vers l'échec) pour accélérer l'apprentissage en supprimant les échecs.
2. Focus Dynamique sur la Difficulté ($\alpha$) : Ajuste le focus sur les problèmes difficiles en fonction du taux de résolution ($\hat{p}$).
   • Au début de l'entraînement, $\alpha$ est élevé pour se concentrer sur les problèmes difficiles (apprentissage de la frontière).
   • À mesure que les taux de résolution augmentent, $\alpha$ décroît pour éviter le surapprentissage sur des problèmes de plus en plus faciles et maintenir l'efficacité de l'échantillonnage.

La règle de mise à jour est définie comme :
$$A_i = (1 - \bar{r})^{\alpha-1} \cdot \begin{cases} r_i - \bar{r} & \text{si } r_i \ge \bar{r} \\ \frac{r_i - \bar{r}}{\delta} & \text{si } r_i < \bar{r} \end{cases}$$
où $\alpha$ et $\delta$ sont des fonctions tronquées du taux de résolution et de l'entropie estimés.

3. Contributions Clés

1. Cadre Unifié : Une décomposition des poids de politique en masses de gradient positives/négatives le long des axes de signe et de difficulté, clarifiant les différences structurelles des méthodes existantes.
2. Aperçus Théoriques : Identification des mécanismes derrière l'effondrement de l'entropie (causé par le déséquilibre des signes) et l'effondrement de mise à jour de rang 1 (causé par le biais d'échec), liant ces pathologies au spectre des valeurs singulières des mises à jour de poids.
3. Algorithme FADE : Un planificateur dynamique qui s'adapte aux états d'entraînement, équilibrant l'exploration (signes équilibrés, focus difficile) et l'exploitation (suppression des échecs, focus moyen) sans réglage manuel.
4. Validation Empirique : Expériences exhaustives sur les modèles Qwen 2.5 7B et CWM 32B à travers les benchmarks LiveCodeBench et AIME.

4. Résultats

• Vitesse d'Entraînement : FADE atteint la performance maximale de pass@1 20 000 étapes plus tôt que la meilleure base statique (Puissance $\alpha=2$) sur le modèle 7B et 2 000 étapes plus tôt sur le modèle 32B.
• Compromis Précision-Diversité : FADE atteint le meilleur équilibre entre précision (pass@1) et diversité (pass@10, pass@100) sur toutes les échelles de modèles et tous les benchmarks. Il maintient des scores pass@100 élevés là où les méthodes statiques se dégradent souvent à cause de l'effondrement de la diversité.
• Généralisation : Les modèles entraînés avec FADE montrent une meilleure généralisation sur AIME 2024/2025 (compétitions mathématiques inédites) par rapport aux méthodes statiques biaisées vers l'échec, qui souffrent de l'effondrement de rang 1.
• Études d'Ablation : Supprimer la composante dynamique $\delta$ conduit à l'effondrement de l'entropie, tandis que supprimer $\alpha$ réduit la diversité. Les deux composantes sont nécessaires pour équilibrer efficacement le compromis exploration-exploitation.

5. Signification et Revendications

L'article affirme que la confusion dans le domaine du RLVR provient de la confusion entre des axes de conception orthogonaux. En séparant explicitement l'équilibre des signes (qui régit l'entropie et l'effondrement de rang) du focus de difficulté (qui régit le rapport signal/bruit), les auteurs fournissent un moyen rigoureux de concevoir des fonctions d'avantage.

La signification de FADE réside dans sa capacité à naviguer automatiquement la trajectoire d'entraînement :

• Il commence par un mode exploratoire (signes équilibrés, focus difficile) pour construire des stratégies de raisonnement diverses et éviter le surapprentissage précoce.
• Il transitionne vers un mode exploitateur (suppression des échecs, focus moyen) une fois que la politique s'est stabilisée, accélérant la convergence sans sacrifier l'apprentissage multidimensionnel requis pour la généralisation.

Les auteurs concluent que bien que leur cadre suppose des récompenses binaires et terminales, la décomposition de $m_S$ et $m_F$ offre une lentille générale pour comprendre la dynamique d'entraînement en RL, suggérant que les travaux futurs devraient explorer ces compromis dans des contextes multi-tours et agentiques.