Résumé Technique : Sur la Dynamique d'Optimisation de l'Apprentissage par Renforcement avec Récompenses Vérifiables (RLVR)

Énoncé du Problème

L'Apprentissage par Renforcement avec Récompenses Vérifiables (RLVR) est devenu un paradigme dominant pour l'entraînement postérieur des Grands Modèles de Langage (LLM) sur des tâches aux résultats automatiquement vérifiables, tels que le raisonnement mathématique et la génération de code. Contrairement à l'Apprentissage par Renforcement à partir de Feedback Humain (RLHF) traditionnel, le RLVR repose sur des signaux de succès/échec binaires et épars, plutôt que sur des modèles de récompense appris ou des préférences humaines. Bien que des algorithmes comme l'Optimisation de Politique Relative par Groupes (GRPO) et ses variantes (par exemple, DAPO, Dr. GRPO) aient démontré un succès empirique significatif, la compréhension théorique de leurs dynamiques d'optimisation reste limitée. Les praticiens s'appuient souvent sur des heuristiques — telles que la normalisation par longueur ou la mise à l'échelle des récompenses basée sur la variance — pour stabiliser l'entraînement, pourtant les conditions dans lesquelles ces méthodes convergent, stagnent ou échouent de manière catastrophique ne sont pas rigoureusement caractérisées. Cet article comble le fossé entre la performance empirique et la compréhension théorique en analysant les garanties de convergence des méthodes de gradient de politique sous des récompenses binaires.

Méthodologie

Les auteurs développent un cadre théorique pour analyser la dynamique d'entraînement du RLVR à deux niveaux de granularité : le niveau trajectoire (traitant l'ensemble de la réponse comme une unité unique) et le niveau token (prenant en compte le processus de génération auto-régressive).

Concepts Clés

1. Écart de Gradient : L'article introduit une nouvelle quantité, l'Écart de Gradient ($g^+_q - g^-_q$), défini comme la différence entre les fonctions de score attendues (gradients du logarithme de probabilité) sur l'espace des réponses correctes ($O^+_q$) et des réponses incorrectes ($O^-_q$). Cet écart formalise la véritable direction d'amélioration requise pour déplacer la politique des régions à faible récompense vers les régions à haute récompense.
2. Alignement de l'Écart : Les auteurs définissent l'Alignement de l'Écart ($\Delta\mu_q$) comme le produit scalaire entre la direction de mise à jour réelle ($w_k$) et l'Écart de Gradient. Cette métrique quantifie dans quelle mesure la mise à jour de l'algorithme s'aligne avec l'objectif réel.
3. Alignement Cumulé de l'Écart : Pour caractériser le comportement à long terme, l'article définit une métrique cumulative ($M_q(K)$) qui agrège le signal d'alignement au fil des itérations d'entraînement, pondéré par la taille de pas.

Analyse Théorique

L'analyse repose sur des hypothèses de régularité standard concernant la régularité et la bornitude de la fonction de score de la politique (Hypothèses 1 et 2) et la nature sous-exponentielle des longueurs de réponse (Hypothèse 3).

• Analyse au Niveau Trajectoire : Les auteurs dérivent des bornes sur la variation du log-odds du taux de succès ($J_q$) par étape de mise à jour. Ils établissent que l'amélioration du premier ordre est pilotée par l'Alignement de l'Écart, tandis que les termes de variance du second ordre (spécifiquement la variance de l'espace négatif) peuvent causer une instabilité si la taille de pas est trop grande.
• Analyse au Niveau Token : En décomposant le gradient en contributions token par token, les auteurs affinent les bornes de convergence. Cette analyse intègre explicitement la longueur de la réponse ($T_\infty, T_{\psi_1}$), révélant que la taille de pas effective doit être inversement proportionnelle à la longueur de la séquence pour éviter la divergence.

Contributions Clés

1. Cadre Théorique Unifié pour le RLVR

L'article fournit un cadre principiel applicable à toute méthode basée sur le gradient de politique (incluant REINFORCE, GRPO et Dr. GRPO) opérant sous des récompenses binaires. Il unifie l'analyse de ces algorithmes en caractérisant leurs dynamiques à travers le prisme de l'Écart de Gradient et de l'Alignement de l'Écart.

2. Seuils de Taille de Pas Précis

Une contribution théorique centrale est la dérivation d'un seuil de taille de pas précis qui sépare la convergence de la divergence.

• Convergence : L'article prouve que si la taille de pas ($\eta_k$) est mise à l'échelle de manière adaptative pour être proportionnelle à l'Alignement de l'Écart et inversement proportionnelle à la variance et à la longueur de réponse, la politique converge vers la solution optimale ($J_q \to 1$).
• Échec Catastrophique : À l'inverse, les auteurs prouvent que si la taille de pas dépasse un seuil spécifique (même si la direction de mise à jour est parfaitement alignée), le processus d'optimation dépassera la cible, entraînant une diminution stricte du taux de succès et une convergence vers zéro. Cela explique les phénomènes de « collapse » observés en pratique.

3. Explication des Heuristiques Pratiques

La théorie offre une justification rigoureuse pour les pratiques d'ingénierie courantes :

• Normalisation par Longueur : L'analyse au niveau token démontre que le taux d'apprentissage effectif doit diminuer à mesure que la longueur de réponse augmente. Cela fournit une base théorique expliquant pourquoi la normalisation par longueur (utilisée dans GRPO) stabilise l'entraînement, tandis que les méthodes dépourvues de cette normalisation (comme certaines formulations de Dr. GRPO) peuvent éprouver des difficultés avec des séquences plus longues.
• Stagnation : L'article explique pourquoi des taux d'apprentissage fixes peuvent conduire à une stagnation à des taux de succès strictement inférieurs à 100 %. À mesure que la politique s'améliore, la structure de variance change, et une taille de pas fixe peut éventuellement violer le seuil de convergence, provoquant un arrêt ou des oscillations de l'algorithme.

4. Validation Empirique

Les prédictions théoriques sont validées par :

• Simulations de Bandits Contextuels : Des expériences sur des problèmes de bandits synthétiques démontrent la relation logistique entre l'Alignement Cumulé de l'Écart et la précision, confirmant l'existence de régimes distincts de convergence et de stagnation.
• Expériences sur les LLM : Les auteurs ont affiné le modèle Qwen2.5-Math-7B sur les ensembles de données GSM8K, DeepScaleR et DAPO-17k en utilisant GRPO. Les données empiriques montrent une forte corrélation entre l'Alignement Cumulé de l'Écart et la précision du modèle, s'alignant étroitement avec les bornes inférieures théoriques.

Résultats

• Garanties de Convergence : L'article établit que la convergence vers une performance parfaite est garantie si l'Alignement Cumulé de l'Écart diverge vers l'infini ($M_q(K) \to \infty$).
• Bornes de Stagnation : Si le signal d'alignement est faible ou si la taille de pas est trop grande, la performance est bornée strictement en dessous de 1, empêchant le modèle d'atteindre une précision de 100 %.
• Modes d'Échec : Les auteurs construisent des instances de problèmes spécifiques où une taille de pas constante, malgré un alignement positif, conduit à un déclin monotone des performances vers zéro, confirmant l'existence d'un régime d'« échec catastrophique ».
• Normes de Gradient vs Récompense : L'article note que la somme des normes des gradients de politique peut converger même lorsque la récompense ne le fait pas, suggérant que les critères de convergence standard basés sur le gradient sont insuffisants pour le RLVR ; la métrique d'Alignement de l'Écart est un indicateur plus précis de l'amélioration de la récompense.

Importance

L'article prétend fournir la première fondation théorique rigoureuse pour la dynamique d'optimisation du RLVR. En allant au-delà des observations empiriques de type boîte noire, il identifie l'Écart de Gradient comme le moteur fondamental de l'apprentissage et le seuil de taille de pas comme le paramètre de contrôle critique pour la stabilité.

L'importance réside dans sa capacité à :

1. Démystifier le RLVR : Il explique pourquoi certains algorithmes (comme GRPO avec normalisation par longueur) fonctionnent tandis que d'autres échouent, faisant passer le domaine d'un réglage basé sur l'intuition à une conception guidée par la théorie.
2. Guider le Réglage des Hyperparamètres : Il fournit des conditions concrètes et mathématiquement dérivées pour la sélection de la taille de pas, offrant une voie pour éviter l'effondrement catastrophique et la stagnation.
3. Caractériser le Comportement des Algorithmes : Il clarifie les limites des taux d'apprentissage fixes et la nécessité d'une mise à l'échelle adaptative par rapport à la longueur de réponse et à la difficulté de la tâche, offrant une explication théorique à la stagnation observée des taux de correction dans les pipelines RLVR actuels.

Les auteurs concluent que leur cadre caractérise la dynamique des approches populaires et suggère des orientations futures, telles que des mises à jour adaptatives aux invites et un entraînement basé sur le curriculum, pour améliorer davantage la stabilité et la convergence dans des distributions d'invites diverses.