Résumé Technique : Énergie de la Zone d'Apprentissage (LZE) pour un Post-entraînement RL Efficace

1. Énoncé du Problème

Le post-entraînement par Apprentissage par Renforcement (RL) est devenu le paradigme dominant pour susciter le raisonnement mathématique dans les grands modèles de langage (LLM), en utilisant des algorithmes tels que l'optimisation de politique relative par groupes (GRPO) et DAPO. Cependant, les techniques prévalentes distribuent les budgets de déploiement et de gradient de manière presque uniforme sur l'ensemble des invites. Cette approche souffre d'une inefficacité fondamentale :

• Invites Maîtrisées : Les échantillons que le modèle résout déjà de manière fiable contribuent à des signaux d'apprentissage négligeables, car les termes d'avantage s'annulent.
• Invites Hors de Portée : Les échantillons bien au-delà des capacités actuelles du modèle produisent presque aucune information de gradient exploitable.
• Inefficacités : Une partie significative du budget computationnel est gaspillée sur ces groupes « non informatifs », tandis que la « zone d'apprentissage » du modèle — où les résultats sont mitigés et les gradients les plus informatifs — est sous-exploitée.

Les solutions existantes, telles que l'apprentissage par curriculum statique ou le rejet binaire en ligne (conserver/supprimer basé sur des résultats entièrement corrects ou entièrement incorrects), sont soit trop rigides, soit incapables de s'adapter à la politique évolutive, soit dépendent de modèles auxiliaires coûteux (par exemple, les modèles de Markov cachés) pour prédire la solvabilité.

2. Méthodologie : Énergie de la Zone d'Apprentissage (LZE)

Les auteurs proposent l'Énergie de la Zone d'Apprentissage (LZE), un cadre de sélection de données entièrement en ligne et léger qui concentre le calcul sur la frontière d'apprentissage active du modèle. Le cœur de LZE est un Score d'Énergie de la Zone d'Apprentissage ($E_i^{(t)}$) sous forme fermée, calculé pour chaque groupe d'invites à chaque étape d'entraînement.

Le Score d'Énergie

Le score fusionne trois signaux complémentaires en un seul scalaire :
$$E_i^{(t)} = \underbrace{D_i^{(0)}}_{\text{Ancre de Difficulté}} \cdot \underbrace{4p_i^{(t)}(1 - p_i^{(t)})}_{\text{Incertitude du Résultat}} \cdot \underbrace{(1 + \alpha m_i^{(t)})}_{\text{Momentum}}$$

1. Incertitude du Résultat ($4p(1-p)$) : Basée sur le taux de réussite actuel du groupe $p_i^{(t)}$. Ce terme atteint son maximum à $p=0.5$ et s'annule à $p=0$ ou $p=1$. Il cible directement la « zone d'apprentissage » où le modèle échoue ni ne réussit de manière constante. Théoriquement, ce terme s'aligne sur la variance de l'estimateur de gradient GRPO.
2. Ancre de Difficulté ($D_i^{(0)}$) : Une a priori fixe définie comme $1 - p_i^{(0)}$, où $p_i^{(0)}$ est le taux de réussite initial. Cela empêche le curriculum de s'effondrer sur des invites initialement faciles mais qui se situent temporairement près de $p=0.5$ en raison du bruit de la politique, garantissant que le modèle se concentre sur des problèmes historiquement difficiles.
3. Momentum du Taux de Réussite ($m_i^{(t)}$) : Défini comme $p_i^{(t)} - \mu_i^{(t-1)}$, où $\mu$ est une Moyenne Mobile Exponentielle (EMA) des taux de réussite passés. Ce terme agit comme un filtre passe-haut causal, amplifiant les invites où la politique s'améliore activement et supprimant celles où l'apprentissage a stagné.

Algorithme d'Entraînement

LZE emploie un processus de sélection en deux étapes :

• Sélection Rétroactive (Top-K) : À chaque étape, le système calcule les Scores d'Énergie pour toutes les invites actives. Il conserve la fraction supérieure de $\kappa$ (par exemple, 40 %) pour les mises à jour du gradient de politique. Pour équilibrer l'exploration, du bruit de Gumbel est ajouté avant le classement.
• Élagage Prospectif avec Rejeu : Au niveau de l'époque, les invites qui atteignent 100 % de justesse pendant $T_{prune}$ époques consécutives sont déplacées vers un « pool d'élagage » et ignorées lors de la génération de déploiements. Périodiquement, une fraction de ces invites élaguées est réévaluée (rejouée) pour détecter et récupérer de l'oubli.

3. Contributions Théoriques

L'article fournit un fondement théorique pour les choix de conception :

• Informativité du Gradient : Les auteurs prouvent (Théorème 1) que, sous une approximation de base fixe standard, la variance de l'estimateur de gradient GRPO pour une invite est approximativement proportionnelle à la variance de Bernoulli $p(1-p)$. Cela confirme que le terme d'incertitude dans le Score d'Énergie est le principal moteur de l'informativité du gradient.
• Interprétation par Traitement du Signal : Le terme de momentum est montré (Proposition 2) comme étant équivalent à la sortie d'un filtre passe-haut causal appliqué à la séquence des taux de réussite, justifiant mathématiquement son rôle dans la capture des changements rapides de politique.
• Analogie avec l'Attention : Le Score d'Énergie est interprété comme un mécanisme d'attention au niveau de l'échantillon, où l'ancre de difficulté agit comme une clé, l'état actuel comme une requête, et le score comme le poids d'attention.

4. Résultats Expérimentaux

LZE a été évalué sur des modèles de la famille Qwen (de 1,5B à 8B) sur les ensembles de données GSM8K, MATH et DAPO-MATH, avec des tests hors distribution (OOD) sur AMC23 et AIME25.

• Performance : Malgré l'utilisation de seulement 40 % des données d'entraînement par étape, LZE égale ou dépasse les références sur données complètes dans toutes les configurations.
• Généralisation OOD : La méthode produit des gains marqués sur les benchmarks OOD, avec des améliorations de +45,9 % sur AIME25 et +18,2 % sur AMC23 pour des combinaisons spécifiques de modèles/ensembles de données.
• Efficacité : En restreignant la rétropropagation aux 40 % supérieurs des invites tout en maintenant une couverture de déploiement complète pour les mises à jour de score, LZE réalise une réduction estimée de 36 % des FLOPs d'entraînement.
• Temps Réel : La méthode réduit considérablement le temps d'entraînement, atteignant une convergence 1,40 à 1,65 fois plus rapide que les références, avec des accélérations supplémentaires (jusqu'à 1,91 fois) lorsque l'élagage prospectif est actif.
• Études d'Ablation : La suppression du terme d'incertitude entraîne la plus forte baisse de performance, validant l'hypothèse de la zone d'apprentissage. Le terme de momentum est crucial pour la généralisation OOD, et l'ancre de difficulté empêche la sélection de s'effondrer sur des invites initialement faciles.

5. Signification et Revendications

L'article revendique que LZE offre une solution fondée sur des principes, légère et entièrement en ligne à l'inefficacité du post-entraînement RL. Sa signification réside dans :

1. Élimination des Frais Auxiliaires : Contrairement aux méthodes précédentes nécessitant des modèles d'état génératifs appris ou un prétraitement hors ligne, LZE utilise un score sous forme fermée ne nécessitant aucun modèle supplémentaire.
2. Adaptation Dynamique : Il s'adapte continuellement à la politique évolutive, contrairement aux méthodes de curriculum statique.
3. Alignement Théorique : Le critère de sélection est mathématiquement aligné sur l'amplitude attendue des mises à jour de gradient de politique, garantissant que les ressources computationnelles sont dépensées là où elles produisent le signal d'apprentissage le plus élevé.
4. Évolutivité : L'approche est compatible avec tout algorithme RL basé sur des groupes (par exemple, GRPO, DAPO) et ne nécessite aucune modification de l'optimiseur sous-jacent, la rendant largement applicable à toutes les échelles de modèles.

Les auteurs notent que leurs expériences sont actuellement limitées aux tâches de raisonnement mathématique avec des récompenses binaires vérifiables, et que la transférabilité vers des contextes ouverts ou à récompenses bruyantes reste une direction ouverte pour les travaux futurs.