Résumé Technique : Distillation de Politique de Région Extrême (ERPD)

Énoncé du Problème

L'apprentissage par renforcement (RL) pour les grands modèles de langage (LLM) fait face à un compromis fondamental entre l'efficacité des échantillons et la performance asymptotique.

• Les méthodes on-policy (par exemple, PPO, GRPO) rejettent les trajectoires après une seule mise à jour pour garantir la stabilité, ce qui entraîne une faible efficacité des échantillons.
• Les méthodes off-policy réutilisent les trajectoires pour améliorer l'efficacité mais introduisent un décalage de distribution. Les techniques de stabilisation existantes (par exemple, contraintes KL, clipping) imposent une optimisation conservatrice pour prévenir l'instabilité.
• Le Problème Central : L'enquête empirique révèle que les contraintes conservatrices entraînent une sous-utilisation des signaux d'entraînement. À l'inverse, une optimisation off-policy multi-étapes agressive sur des données fixes produit des gains initiaux rapides mais finit par provoquer une déviation de probabilité de trajectoire et un effondrement de l'entropie. Cette divergence excessive consomme le budget KL dans une « dérive inutile » plutôt que dans une amélioration réelle de la tâche, conduisant à des plafonds de performance précoces. Le simple resserrement des contraintes KL réduit le plafond de performance sans résoudre l'inefficacité sous-jacente.

Méthodologie : Distillation de Politique de Région Extrême (ERPD)

L'article propose ERPD, un cadre en deux étapes qui découple l'efficacité des échantillons de l'efficacité KL.

Étape 1 : Optimisation Off-Policy Agressive (Efficacité des Échantillons)

• Objectif : Maximiser l'extraction des signaux d'entraînement à partir d'un lot fixe de déroulements, indépendamment de la divergence de la politique.
• Processus : Effectuer des mises à jour off-policy étendues (par exemple, 80+ étapes) sur un jeu de données statique en utilisant une optimisation faiblement contrainte ou non contrainte.
• Résultat : Cela produit une politique de « Région Extrême » ($\pi_{\theta_e}$). Bien que cette politique puisse souffrir d'une divergence KL élevée et d'un effondrement de l'entropie, elle contient des signaux d'entraînement riches et maximisés.
• Fonctions de Perte : L'article évalue diverses pertes pour cette étape, notamment SAPO (clipping doux), CE (Entropie Croisée), et une nouvelle perte MSE qui pousse les probabilités d'action vers la saturation (0 ou 1) pour créer une politique dégénérée « désapprise ».

Étape 2 : Distillation Contrainte par Région de Confiance (Efficacité KL)

• Objectif : Distiller les signaux utiles de la politique extrême vers la politique de base tout en filtrant la dérive spurious.
• Processus : La politique de base ($\pi_{\theta_{old}}$) est mise à jour pour approximer la politique extrême ($\pi_{\theta_e}$) sous des contraintes strictes de région de confiance (limitant la divergence KL).
• Construction de Signal au Niveau des Tokens :
  • Stratégie Enseignant Fort : Utilise le rapport logarithmique $\log \frac{\pi_{\theta_e}(a|s)}{\pi_{\theta_{old}}(a|s)}$ comme signal de récompense. Le dénominateur est fixé à la politique de référence originale pour maintenir une direction d'amélioration cohérente.
  • Stratégie Enseignant Faible : Lorsque la politique extrême est dégénérée (pire que la base), l'article introduit des constructions de signal alternatives. Spécifiquement, il utilise un rapport logarithmique contre une politique intermédiaire « désapprise » ($\pi_{\theta_{un}}$) obtenue durant la phase précoce de l'optimisation agressive : $\log \frac{\pi_{\theta_e}(a|s)}{\pi_{\theta_{un}}(a|s)}$. Cela permet même aux enseignants plus faibles de fournir des signaux de supervision efficaces.
• Optimisation : L'étape de distillation utilise un objectif de substitution tronqué de style PPO avec les récompenses au niveau des tokens construites, nécessitant généralement moins d'étapes (par exemple, 10–32) que l'entraînement de l'enseignant.

Contributions Clés

1. Cadre Découplé : Introduction d'un pipeline d'entraînement en deux étapes qui sépare l'extraction agressive de signaux de la mise à jour stable de la politique, atteignant une haute efficacité des échantillons sans sacrifier la performance asymptotique ni l'efficacité KL.
2. Distillation Faible vers Fort : Démonstration que même des politiques enseignantes dégénérées ou plus faibles (entraînées avec MSE ou dans des conditions spécifiques de désapprentissage) peuvent fournir une supervision efficace. L'article fournit des caractérisations empiriques systématiques et des études d'ablation sur les stratégies de construction de signal (utilisation de politiques désapprises vs politiques anciennes).
3. Analyse du Signal au Niveau des Tokens : Investigation détaillée de la manière dont les récompenses au niveau des tokens dérivées de politiques extrêmes interagissent avec l'apprentissage de l'élève, montrant que les élèves peuvent surpasser les enseignants lorsqu'ils utilisent des formulations spécifiques de rapports logarithmiques (par exemple, fixer le dénominateur à la politique ancienne).
4. Validation Empirique sur le Raisonnement : Évaluation complète sur des benchmarks de raisonnement mathématique (AIME, HMMT, IMO) et des tâches de codage (LiveCodeBench), montrant des gains substantiels pour les modèles de base forts où l'entraînement on-policy standard atteint un plateau.

Résultats Expérimentaux

• Gains de Performance : Sur les tâches de raisonnement mathématique, ERPD surpasse significativement les bases on-policy standard (PPO, GRPO) et les méthodes off-policy à étape unique. Par exemple, sur le benchmark HMMT Feb 25, ERPD appliqué à Qwen3.5-27B a atteint une performance comparable à celle des modèles de pointe.
• Efficacité KL : Les politiques distillées atteignent une performance comparable ou supérieure avec une divergence KL substantiellement plus faible par rapport aux politiques enseignantes agressives. Cela confirme que la divergence de la première étape a été largement dépensée dans une dérive non productive.
• Efficacité de l'Enseignant Faible : Dans des scénarios où l'optimisation agressive échoue à produire un enseignant plus fort (par exemple, en utilisant une perte MSE), la stratégie « désappris » produit toujours des améliorations. Les méthodes d'ensemble combinant des enseignants forts et faibles améliorent encore davantage les performances.
• Amélioration Itérative : Les expériences de commutation en ligne-hors ligne démontrent que l'alternance entre distillation hors ligne et échantillonnage en ligne permet des améliorations de performance soutenues, tandis que les approches purement en ligne ou purement hors ligne stagnent souvent ou se dégradent.
• Constats d'Ablation :
  • Construction de Signal : Le choix spécifique du dénominateur dans le rapport logarithmique (politique ancienne vs politique actuelle) est critique. Fixer le dénominateur à la politique ancienne permet à l'élève de surpasser l'enseignant.
  • Valeurs Aberrantes : L'analyse préliminaire suggère que les tokens « aberrants » (rapports logarithmiques négatifs) dans la politique extrême encodent des signaux correctifs informatifs ; leur masquage dégrade les performances.
  • Entropie : Contrairement aux hypothèses typiques, les gains de performance dans la distillation ne reposent pas nécessairement sur une réduction de l'entropie ; dans certains cas, une entropie accrue est corrélée à une performance améliorée.

Signification et Revendications

L'article revendique que le compromis entre l'efficacité des données et la stabilité de l'optimisation n'est pas inhérent mais résulte plutôt de la contrainte d'une politique unique pour équilibrer des objectifs conflictuels. En découplant ces objectifs :

1. ERPD débloque des signaux d'entraînement latents dans des jeux de données fixes que les méthodes conservatrices rejettent.
2. Il valide l'hypothèse « Faible vers Fort » en RL, montrant que même des politiques qui ont « désappris » ou se sont dégradées peuvent servir d'enseignants efficaces si la construction du signal est adaptée (par exemple, en utilisant la politique désapprisée comme référence).
3. Il offre une voie pratique pour améliorer les modèles de raisonnement de pointe sans nécessiter d'augmentations massives de la collecte de données, en exploitant plus efficacement les données existantes grâce à une optimisation agressive suivie d'une distillation prudente.

Les auteurs maintiennent une modestie concernant les explications théoriques, notant que si le succès empirique de la distillation faible vers fort est clair, les conditions théoriques précises selon lesquelles les enseignants dégénérés fournissent des signaux utiles nécessitent une investigation supplémentaire. De même, le rôle de l'entropie et des valeurs aberrantes est identifié comme un domaine pour une analyse systématique future.