Résumé Technique : AdaPrefix-GRPO

Énoncé du Problème

L'optimisation de politique relative par groupe (GRPO - Group Relative Policy Optimization) est une méthode d'apprentissage par renforcement (RL) on-policy dominante pour l'amélioration du raisonnement des grands modèles de langage (LLM). Cependant, elle souffre d'une « zone morte » structurelle sur les problèmes les plus difficiles de la distribution d'entraînement. Lorsqu'un modèle échoue à résoudre un problème difficile sur l'ensemble des $G$ rollouts d'un groupe, les avantages relatifs au groupe s'annulent (toutes les récompenses sont identiques), ce qui entraîne une contribution de gradient nulle. Par conséquent, le modèle gaspille la puissance de calcul d'échantillonnage sur des problèmes de frontière qu'il ne peut pas encore résoudre, n'apprenant rien de ces derniers.

Les remèdes existants, tels que le filtrage dynamique (éliminer les groupes où tous ont échoué) ou le pré-apprentissage par ajustement fin supervisé (SFT), sont insuffisants. Le filtrage rejette les données mêmes nécessaires à l'amélioration, tandis que le SFT peut induire un effondrement de l'entropie qui entrave l'exploration ultérieure. Bien que des travaux concomitants suggèrent de prépendre des préfixes de solutions correctes pour rendre les problèmes difficiles temporairement plus faciles, ces méthodes fixent généralement la longueur du préfixe de manière statique en fonction de la précision du modèle de base. Cette approche statique ne parvient pas à suivre l'amélioration de la politique pendant l'entraînement, provoquant une dérive des problèmes hors de l'optimum de régime d'apprentissage (où le taux de réussite est non nul mais non saturé).

Méthodologie : AdaPrefix-GRPO

Le papier introduit AdaPrefix-GRPO, une méthode qui traite la longueur d'un préfixe de solution prépendu comme un contrôleur à boucle fermée continu pour maximiser le signal d'apprentissage de GRPO.

Mécanisme Central

1. Le Préfixe comme Molette de Difficulté : Prépendre un préfixe de solution correct de longueur $\rho \in [0, 1]$ à un problème augmente la réussite conditionnelle $\kappa(\rho)$ de manière quasi-monotone. Cela permet au système de régler la difficulté de n'importe quel problème pour atteindre un taux de réussite cible spécifique.
2. Le Point de Consigne Intermédiaire : S'appuyant sur la littérature préalable en RL, la méthode vise un taux de réussite par groupe intermédiaire de $k/G \approx 0,5$. À ce taux, le signal de gradient positif agrégé ($p(1-p)$) et le nombre de paires contrastives (correct/incorrect) sont maximisés. Les taux proches de 0 ou 1 produisent un signal négligeable.
3. Contrôle en Boucle Fermée : Contrairement aux méthodes statiques, AdaPrefix-GRPO ajuste dynamiquement la longueur du préfixe tout au long de l'entraînement :
   • Ajustement de Base Global : Un ratio de préfixe de base unique $\rho_b$ est mis à jour tous les $N$ pas à l'aide d'un algorithme de recherche de racine (méthode de la sécante avec repli sur la dichotomie) pour conduire le taux de réussite moyen du batch vers la cible $\tau = 0,5$.
   • Décalages par Échantillon : Pour éviter que le batch ne devienne bimodal (certains problèmes trop faciles, d'autres trop difficiles), un décalage de difficulté statique $\delta(d_x)$ est appliqué à chaque échantillon basé sur une estimation de difficulté de démarrage à froid. Les problèmes plus difficiles reçoivent des préfixes légèrement plus longs ; les plus faciles en reçoivent de plus courts.
   • Recuit (Annealing) : Pour garantir que le modèle déployé puisse résoudre les problèmes sans assistance, les longueurs de préfixe sont réduites progressivement vers zéro sur la dernière fraction de l'entraînement. Une enveloppe supérieure décroissante force $\rho \to 0$, faisant passer le modèle d'une pratique guidée à une inférence non assistée.

Implémentation

La méthode nécessite des modifications minimales du trainer de RL. Les préfixes sont injectés comme des messages d'assistant dans le pipeline de données. Les gradients sont masqués sur les tokens du préfixe (empêchant l'imitation de la référence), tandis que les récompenses sont calculées sur la séquence complète (préfixe + génération). Le trainer reste par ailleurs « standard ».

Contributions Clés

• Contrôle en Boucle Fermée : Le papier cadre la longueur du préfixe non pas comme une heuristique fixe, mais comme un contrôleur de point de consigne suivi, ajustant dynamiquement la difficulté pour maintenir le ratio optimal $k/G$ à mesure que la politique s'améliore.
• Maximisation du Signal : Il opérationnalise la découverte théorique que les taux de réussite intermédiaires maximisent les signaux de RL, garantissant que les problèmes difficiles restent dans le régime « apprenable » plutôt que de tomber dans la zone morte.
• Stratégie de Recuit : Il introduit un mécanisme pour supprimer le décalage de distribution entre entraînement et test, garantissant que la politique finale résout les problèmes sans assistance tout en ayant appris grâce à l'échafaudage.
• Efficacité : La méthode est implémentée purement dans la préparation des données et le masquage de perte, ne nécessant aucun changement architectural du trainer de RL.

Résultats Expérimentaux

Les expériences ont été menées sur des tâches de raisonnement mathématique difficiles en utilisant des modèles Qwen3 (0.6B, 1.7B, 4B) et une validation croisée sur les familles Qwen3.5 et Gemma 4. Toutes les méthodes ont été comparées à FLOPs d'entraînement équivalents pour assurer l'équité.

• Gains de Performance : Sur l'ensemble de test de DeepMath, AdaPrefix-GRPO a nettement surpassé le vanilla GRPO et les bases à préfixe fixe (PrefixRL).
  • Qwen3-0.6B : Amélioration du pass@1 de 19,6 % à 41,8 % (+22,2 pp).
  • Qwen3-1.7B : Amélioration du pass@1 de 30,1 % à 48,2 % (+18,1 pp).
  • Qwen3-4B : Amélioration du pass@1 de 54,9 % à 64,1 % (+9,2 pp).
  • Les gains ont été plus prononcés pour les petits modèles, qui résident plus profondément dans la « zone morte ».
• Efficacité et Longueur de Trace : Malgré le préfixage, les modèles finaux déployés (évalués à $\rho=0$) produisaient des traces significativement plus courtes (ex: 4,4k tokens contre 8,0k pour PrefixRL) tout en atteignant une meilleure précision. Cela suggère que la méthode encourage un raisonnement efficace plutôt que de longues explorations chanceuses.
• Généralisation : La méthode s'est transférée avec succès à différentes familles de modèles (Qwen3.5, Gemma 4) et a maintenu ses performances sur les tâches faciles (GSM8K) sans régression, confirmant que le contrôleur ne préfixe pas excessivement les problèmes faciles.
• Ablations : Le retrait du contrôle en boucle fermée (en utilisant des longueurs fixes ou une décroissance globale) a entraîné des baisses de performance significatives, confirmant que l'adaptation dynamique est le principal moteur du succès.

Signification et Revendications

Le papier affirme que AdaPrefix-GRPO modifie fondamentalement la dynamique d'entraînement des problèmes de raisonnement difficiles en supprimant la « barrière d'échantillonnage » de la zone morte. En contrôlant la longueur du préfixe en boucle fermée, la méthode garantit que même les problèmes les plus difficiles contribuent un signal de gradient maximal tout au long de l'entraînement.

Les auteurs soulignent que la méthode ne dépasse pas le plafond de capacité inhérent du modèle ; elle déplace plutôt la contrainte de « le modèle peut-il résoudre cela sans aide ? » vers « le modèle peut-il compléter cela avec un échafaudage suffisant ? ». Le processus de recuit garantit que les compétences apprises sous échafaudage se généralisent vers une résolution sans aide. Le papier conclut que pour les tâches de raisonnement difficiles, le contrôle adaptatif de la difficulté via la longueur du préfixe est un mécanisme critique pour extraire du signal là où le GRPO standard échoue, les plus grands bénéfices profitant aux modèles plus petits.