Résumé technique : Hypothèse du gradient de valeur pour l'apprentissage par renforcement des LLM

Énoncé du problème

L'apprentissage par renforcement (RL) est devenu une technique standard pour le post-entraînement des grands modèles de langage (LLM), les méthodes telles que l'optimisation de politique relative par groupes (GRPO) et l'optimisation de politique proximale (PPO) ayant atteint des capacités de raisonnement de pointe. Un puzzle théorique central demeure : la théorie classique du RL suggère que les méthodes sans critique (qui manquent d'une fonction de valeur apprise pour amorcer l'attribution du crédit) devraient échouer dans l'attribution du crédit à long terme. Pourtant, dans la pratique, elles fonctionnent exceptionnellement bien. Cet article étudie pourquoi le RL sans critique fonctionne dans les LLM et cherche à déterminer les conditions spécifiques dans lesquelles ces méthodes produisent les plus grands gains de performance.

Méthodologie et cadre théorique

Les auteurs développent une perspective du gradient de valeur du RL sans critique, soutenant que la mise à jour de l'acteur dans ces méthodes n'est pas « sans valeur », mais porte plutôt un signal approchant le gradient de la fonction de valeur.

1. Relaxation continue et coétats

L'article établit d'abord une base théorique en utilisant un cadre de déroulement différentiable (Fairbank & Alonso, 2012).

• Déroulement différentiable : En supposant une relaxation continue où les actions sont générées via une paramétrisation par bruit additif ($\pi_\theta(a|s) = \nu(a - \bar{a}_\theta(s))$), les auteurs montrent que l'estimateur de gradient standard par fonction de score (SF) est équivalent en espérance à un estimateur par dérivée de trajectoire (PD).
• Coétats comme gradients de valeur : Dans ce cadre continu, la rétropropagation propage les coétats ($\lambda_t = \partial R_t / \partial s_t$). Les auteurs prouvent que l'espérance conditionnelle de ces coétats est égale au gradient de valeur ($\partial V^\pi_t(s) / \partial s$). Ainsi, même sans critique ajusté, la rétropropagation dans un déroulement différentiable porte intrinsèquement un estimateur de Monte Carlo du gradient de valeur.

2. Transformers discrets et attention

L'article aborde ensuite la réalité des LLM, qui utilisent un échantillonnage de tokens discrets.

• Coétats empiriques : Les auteurs analysent l'autodifférentiation de la perte GRPO à travers un transformer. Ils définissent un coétat empirique ($\hat{\lambda}_t$) comme le gradient de la perte pondérée par l'avantage par rapport aux états cachés.
• L'écart d'échantillonnage : Dans les contextes discrets, la transition de l'état caché au token ($h_t \to z_t \to o_t$) est non différentiable, brisant la chaîne exacte de la rétropropagation à travers le temps (BPTT). Le Jacobien BPTT exact est décomposé en la voie d'attention (qui est différentiable) et la voie d'échantillonnage (qui ne l'est pas).
• L'attention comme contournement : Les auteurs démontrent que le mécanisme d'attention du transformer fournit une voie directe et différentiable pour le transport du crédit entre les positions ($h_t \to h_{t+1}$), contournant le goulot d'étranglement de l'échantillonnage discret.
• Bornes d'erreur : Ils prouvent que l'erreur entre le coétat empirique (calculé par autodifférentiation) et le coétat BPTT exact est contrôlée par l'entropie de la politique et l'écart d'échantillonnage. Plus précisément, lorsque la politique est quasi-déterministe (faible entropie), le gradient manquant à travers l'étape d'échantillonnage est négligeable.

3. Décomposition de l'impact du RL

Sur la base de ces découvertes, les auteurs proposent une théorie prédictive de l'efficacité du RL. Ils décomposent le gain potentiel du RL en deux facteurs :

1. Signal de gradient de valeur utilisable ($S_m(\theta)$) : L'ampleur du signal de gradient de valeur effectivement transmis par la mise à jour de l'acteur, ajustée pour l'erreur d'approximation (écart) entre les coétats empiriques et idéaux.
2. Marge de récompense accessible ($H_\alpha(\theta)$) : Le potentiel d'amélioration de la récompense en réattribuant la distribution de trajectoires existante. Cela n'est élevé que lorsque de meilleures trajectoires existent dans le support mais ne sont pas encore pleinement exploitées.

L'article postule que l'impact du RL $\propto$ Signal utilisable $\times$ Marge accessible.

Contributions clés

1. Équivalence gradient de valeur : L'article démontre que, sous un déroulement différentiable et une politique de décalage/bruit additif, la mise à jour locale de l'acteur GRPO/PPO est de type gradient de valeur en espérance.
2. Approximation discrète : Il montre que dans les transformers discrets, le coétat empirique calculé par l'autodifférentiation standard approxime le coétat BPTT continu. L'erreur d'approximation est bornée par l'entropie de la politique et les propriétés spectrales des Jacobiens d'attention.
3. Critère prédictif : Les auteurs dérivent une formule de décomposition (Éq. 29) qui prédit quand le RL devrait être le plus efficace. Ils soutiennent que le RL est le plus bénéfique aux points de contrôle de préentraînement qui sont simultanément :
   • Assez proches du régime du gradient de valeur pour transmettre des signaux de crédit utiles (faible entropie, attention efficace).
   • Assez loin de la saturation pour conserver des trajectoires améliorant la récompense (marge non nulle).

Résultats expérimentaux

Les auteurs valident leur théorie en utilisant des points de contrôle OLMo-2 1B dans une tâche contrôlée de copie d'étiquettes avec une récompense différentiable.

• Vérification de la borne d'entropie : Les expériences confirment que l'erreur d'approximation entre le coétat empirique et le coétat BPTT idéal est bien contrôlée par l'entropie de la politique, soutenant la borne théorique de la Proposition 2.
• Précision prédictive : Le « score d'impact » proposé (Signal $\times$ Marge) prédit avec succès l'ampleur des gains du RL à travers différents points de contrôle de préentraînement.
  • Le score d'impact est corrélé au gain de RL observé (corrélation de Spearman $\approx 0,60$).
  • Un prédicteur combiné utilisant à la fois la compétence de préentraînement (récompense actuelle) et le score d'impact prédit atteint une corrélation plus élevée ($\approx 0,73$) avec la performance finale post-RL, suggérant que tant la capacité actuelle que la « préparation au RL » sont nécessaires au succès.

Signification et affirmations

L'article prétend fournir une explication théorique concrète du succès du RL sans critique dans les LLM, résolvant la contradiction apparente avec la théorie classique du RL.

• Mécanisme : Le succès ne est pas dû à l'absence d'information de valeur, mais parce que la rétropropagation de l'acteur elle-même propage un signal de type gradient de valeur via les mécanismes d'attention du transformer.
• Utilité pratique : La décomposition d'impact dérivée offre un critère pratique pour la sélection de points de contrôle. Elle suggère que les praticiens ne devraient pas appliquer le RL immédiatement après le préentraînement (où la marge peut être faible ou les signaux bruyants) ni trop tard (où la saturation se produit), mais plutôt au point où le modèle possède une fidélité d'attribution du crédit suffisante et un potentiel de récompense restant.
• Unification théorique : Le travail cadre le succès de méthodes comme le GRPO non pas comme une exception à la théorie de l'attribution du crédit, mais comme une conséquence du calcul d'état caché dans l'espace continu, où l'attention agit comme un conduit différentiable pour le crédit temporel.

Les auteurs restent modestes, notant que leur configuration est contrôlée et que l'implémentation spécifique du RL (taux d'apprentissage, tailles de lots, etc.) affecte la correspondance observée. Cependant, ils affirment que le mécanisme central — la propagation du gradient de valeur médiée par l'attention — explique l'efficacité empirique des méthodes sans critique dans le domaine des LLM.