Résumé technique : F-GRPO : Ne laissez pas votre politique apprendre l'évident et oublier le rare

Énoncé du problème

L'apprentissage par renforcement avec récompenses vérifiables (RLVR) est devenu un paradigme standard pour le post-entraînement des grands modèles de langage (LLM) sur des tâches de raisonnement. Cependant, un corpus croissant de preuves suggère que le RLVR affine souvent la distribution de sortie vers des solutions déjà accessibles au modèle de base, dégradant potentiellement les performances sur des métriques comme le pass@k (où k est grand) en réduisant la diversité des solutions.

La plupart des systèmes RLVR modernes, tels que l'optimisation de politique relative par groupe (GRPO), reposent sur un échantillonnage par groupe (génération de $N$ réponses par invite) pour estimer les avantages. Bien que de petits groupes ($N=2$) soient efficaces sur le plan computationnel et que de grands groupes offrent une couverture étendue, les contraintes pratiques limitent souvent $N$ à des tailles intermédiaires (par exemple, $N=8$). L'article identifie un vide critique dans la compréhension de la manière dont ces tailles de groupes finies affectent la dynamique d'optimisation. Plus précisément, il postule que les tailles de groupes intermédiaires peuvent créer un régime de « manque de queue » (tail-miss) où les mises à jour sont actives (récompenses mixtes) mais échouent à échantillonner des trajectoires correctes rares, conduisant à une concentration de la masse de probabilité sur des solutions communes échantillonnées tout en supprimant les comportements corrects non échantillonnés.

Méthodologie

Analyse théorique

Les auteurs dérivent la probabilité d'un événement de manque de queue ($B_{E,N}(x)$), défini comme une mise à jour active (où le groupe contient à la fois des déployements corrects et incorrects) qui échoue à échantillonner un sous-ensemble spécifique de faible masse correcte $E_x$.

• Comportement non monotone : La probabilité de cet événement est non monotone par rapport à la taille du groupe $N$. Un petit $N$ entraîne souvent des mises à jour inactives (tous corrects ou tous incorrects), préservant la diversité par l'inactivité. Un grand $N$ assure la couverture des modes rares. Cependant, un $N$ intermédiaire maximise la probabilité de mises à jour actives qui manquent les régions correctes rares.
• Mécanisme de redistribution : En utilisant un cadre de politique catégorielle, les auteurs analysent comment la masse de probabilité est redistribuée. Ils montrent que même lorsque la masse correcte totale ($Q_{pos}$) augmente, la masse correcte non échantillonnée ($Q_{u,pos}$) peut diminuer. Cela se produit parce que les lots positifs en récompense repoussent les logits non échantillonnés vers le bas par la soustraction de la ligne de base et la normalisation softmax, effaçant ainsi « l'oubli » des solutions correctes qui n'ont pas été échantillonnées dans le groupe actuel.

Solution proposée : F-GRPO

Pour atténuer ce problème sans augmenter le coût computationnel (taille du déploiement), les auteurs proposent F-GRPO (Optimisation de politique relative par groupe focale).

• Pondération focale : Inspirée par la perte focale (Focal Loss), la méthode introduit un coefficient d'échelle conscient de la difficulté $g(x)$ appliqué à l'avantage relatif au groupe.
• Mécanisme : Le poids est défini par $g(x) = (1 - \hat{\mu}_{pos}(x))^\gamma$, où $\hat{\mu}_{pos}(x)$ est le taux de succès empirique du groupe échantillonné (nombre de déployements corrects $X$ divisé par $N$).
• Effet : Cela réduit le poids des mises à jour provenant de groupes avec des taux de succès empiriques élevés (où le modèle a déjà « appris l'évident » pour cette invite) et préserve le signal des groupes à succès mixte où les comportements corrects rares pourraient encore être sous-représentés. Il s'agit d'une modification légère qui met à l'échelle le signal d'avantage uniformément pour tous les déployements d'une invite, sans nécessiter de réseaux supplémentaires ni modifier les valeurs de récompense.

Contributions clés

1. Dérivation de la probabilité de manque de queue : L'article caractérise explicitement la probabilité que les mises à jour actives manquent des sous-ensembles corrects rares, démontrant sa dépendance non monotone à la taille du groupe. Cela aide à réconcilier des résultats antérieurs contradictoires concernant les tailles de groupes optimales.
2. Analyse de la masse correcte non échantillonnée : Les auteurs montrent théoriquement et empiriquement que la masse correcte totale peut croître tandis que la masse correcte non échantillonnée rétrécit, expliquant le mécanisme derrière l'affinement de la distribution dans les paramètres de groupes finis.
3. Validation à solution unique : En utilisant un environnement de labyrinthe où chaque invite a exactement une trajectoire correcte, l'article démontre que la dégradation du pass@K peut survenir même sans plusieurs solutions correctes par invite, isolant l'effet à la couverture de la séquence cible plutôt qu'à la diversité intra-invite.
4. Algorithme F-GRPO : Un schéma de repondération simple et plug-in applicable à GRPO, DAPO et CISPO qui améliore le pass@256 tout en maintenant ou en améliorant le pass@1, sans augmenter les coûts de déploiement.

Résultats expérimentaux

Les auteurs ont évalué F-GRPO sur Qwen2.5-7B, Qwen3-4B-Base et Llama-3.2-3B-Instruct à travers divers benchmarks (MATH500, AIME, AMC, GPQA, IFEval, SynLogic).

• Simulation catégorielle : A confirmé que les tailles de groupes intermédiaires entraînent la masse positive retenue la plus faible ($M_{ret}$), tandis que la pondération focale ($\gamma=1$) améliore considérablement la rétention de masse dans cette « zone de concentration ».
• Expériences sur labyrinthe : Dans un cadre à solution unique, F-GRPO a réduit la baisse précoce du pass@K lors de l'entraînement et a amélioré le pass@1 et le pass@256 finaux pour toutes les tailles de groupes testées ($N \in \{4, \dots, 128\}$).
• Benchmarks LLM (N=8) :
  • Performance en mathématiques : Sur Qwen2.5-7B, F-GRPO a amélioré le pass@256 moyen en mathématiques de 64,1 (GRPO) à 70,3, et de 69,3 (DAPO) à 72,5.
  • Performance hors domaine (OOD) : Le pass@256 hors domaine (OOD) s'est également amélioré de manière cohérente pour toutes les méthodes (par exemple, GRPO : 55,9 $\to$ 63,3 ; DAPO : 58,4 $\to$ 63,6).
  • Efficacité : F-GRPO à $N=8$ a atteint des performances comparables au GRPO standard à $N=32$ sur le pass@256, récupérant efficacement les avantages des groupes plus grands avec 4 fois moins de calcul.
  • Généralisation : La méthode s'est transférée efficacement à travers différents optimiseurs (GRPO, DAPO, CISPO) et échelles de modèles.
• Ablation : Les gains n'ont pas été reproduits par une simple réduction du taux d'apprentissage ou une régularisation standard (entropie/KL), suggérant que l'amélioration provient spécifiquement du mécanisme de repondération basé sur le succès.

Importance et revendications

L'article revendique fournir une résolution théorique et pratique au problème d'« affinement » dans le RLVR relatif aux groupes. En identifiant que les tailles de groupes intermédiaires maximisent le risque de manquer des trajectoires correctes rares, les auteurs soutiennent que l'augmentation simple de $N$ n'est pas toujours réalisable en raison des contraintes computationnelles.

F-GRPO offre une stratégie d'atténuation à faible coût qui :

1. Récupère les performances pass@256 généralement perdues lors de l'utilisation de tailles de groupes intermédiaires.
2. Préserve ou améliore le pass@1 (précision à échantillon unique).
3. Fonctionne à travers différentes variantes RLVR et architectures de modèles.
4. Ne nécessite pas d'augmenter le budget de déploiement ni d'ajouter des réseaux auxiliaires.

Les auteurs positionnent F-GRPO comme un ajustement nécessaire au pipeline RLVR standard, garantissant que les mises à jour de politique ne renforcent pas involontairement uniquement les solutions « évidentes » exposées dans un échantillon fini tout en oubliant les comportements corrects « rares » nécessaires à un raisonnement robuste.