Résumé technique : Comprendre l'effondrement de la diversité dans le RLVR à travers le prisme du surapprentissage

Énoncé du problème

L'apprentissage par renforcement avec récompenses vérifiables (RLVR - Reinforcement Learning with Verifiable Rewards) est devenu une méthode primaire pour améliorer les capacités de raisonnement des grands modèles de langage (LLM) sur des tâches aux résultats objectivement vérifiables. Cependant, un problème persistant connu sous le nom d'effondrement de la diversité (diversity collapse) affecte ce paradigme : alors que l'exactitude à échantillon unique du modèle (Pass@1) s'améliore, sa capacité à trouver une solution correcte à travers de multiples tentatives (high-k Pass@k) se dégrade fréquemment au fil de l'entraînement.

Les explications précédentes attribuent cela à la nature auto-renforçante des mises à jour on-policy, où les trajectoires déjà susceptibles de réussir sont échantillonnées et renforcées plus souvent, concentrant la distribution de la politique sur un sous-ensemble de solutions de plus en plus restreint. Cet article soutient que ce « biais d'aiguisage » (sharpening bias) est une propriété universelle des mises à jour RLVR, mais qu'il n'explique pas pleinement quand une mise à jour étend la frontière de raisonnement du modèle versus quand elle se contente de remodeler la masse de probabilité parmi des solutions déjà atteignables. Les auteurs proposent de voir l'effondrement de la diversité à travers le prisme du surapprentissage (overtraining) : une fois que la contribution d'un problème à une métrique de référence (spécifiquement le high-k Pass@k) a saturé, les mises à jour ultérieures ne peuvent plus étendre la frontière de raisonnement mais continuent de concentrer la masse de probabilité, provoquant ainsi l'effondrement.

Méthodologie

Analyse théorique : Surapprentissage et saturation

Les auteurs formalisent la frontière de raisonnement en utilisant le Pass@k, défini par $1 - (1-p)^k$ pour un problème avec une probabilité de succès $p$. Ils démontrent que sous des configurations RLVR standards (typiquement $n=8$ rollouts par problème), le taux de succès empirique $\hat{p}$ est quantifié (ex: $0/8, 1/8, \dots$).

• Saturation agressive : Pour un $k$ élevé (ex: $k=256$), un seul succès observé ($\hat{p}=1/8$) produit une valeur Pass@256 $\approx 1$.
• Régime de surapprentissage : Par conséquent, tout problème ayant produit au moins un déroulement (rollout) correct est effectivement dans un régime de « saturation » concernant la frontière de raisonnement. Les mises à jour sur ces problèmes (qu'elles renforcent les trajectoires correctes ou suppriment les incorrectes) apportent un gain marginal négligeable au high-k Pass@k mais continuent d'aiguiser la politique, causant l'effondrement de la diversité.
• Le compartiment à succès nul : Le seul compartiment où les mises à jour peuvent significativement étendre la frontière de raisonnement est $B_{0/n}$, où aucun déroulement correct n'a été observé.

Investigation empirique

L'étude emploie deux approches complémentaires pour valider que le RLVR étend bien la frontière de raisonnement, même si les métriques agrégées suggèrent le contraire :

1. Suivi observationnel : Suivi des problèmes initialement insolubles (Pass@256 = 0) sous le modèle de base. Les auteurs constatent qu'une fraction non négligeable de ces problèmes devient soluble durant l'entraînement standard, même si un plus grand nombre de problèmes auparavant solubles sortent de la frontière.
2. Restriction interventionnelle : Variantes d'entraînement où les mises à jour sont restreintes à des compartiments spécifiques de succès de déroulement ($B_{m/8}$). Restreindre les mises à jour à $B_{0/8}$ (le seul compartiment non saturé) entraîne des améliorations du Pass@256 par rapport au modèle de base sur des benchmarks difficiles, tandis que les mises à jour sur les compartiments à succès plus élevés entraînent un déclin.

Solution proposée : Le Gating Bayésien de la Frontière (BBG - Bayesian Boundary Gating)

Pour atténuer le surapprentissage, les auteurs proposent le Bayesian Boundary Gating (BBG), une méthode au niveau du problème qui redirige l'optimisation loin des problèmes saturés.

• Mécanisme : Le BBG estime la contribution marginale attendue d'un problème à la frontière de raisonnement en utilisant un modèle bayésien Beta-Binomial. Étant donné $m$ succès dans $n$ déroulements, la distribution postérieure de la véritable probabilité de succès $p$ est $Beta(m+1, n-m+1)$.
• Calcul de l'utilité : L'utilité marginale attendue $u(m; n, k)$ est calculée comme l'espérance de la dérivée de l'objectif Pass@k : $E[k(1-p)^{k-1}]$.
• Stratégie de gating : Les problèmes ayant une utilité de frontière négligeable (où la contribution marginale estimée tombe sous un seuil $\tau$) sont soumis à un filtrage strict (hard-gating) et exclus de la rétropropagation. Seuls les problèmes ayant une utilité estimée significative (principalement ceux dans les compartiments à faible succès) reçoivent des mises à jour.
• Implémentation : Le BBG est appliqué comme un coefficient sur la perte au niveau du problème, compatible avec les conceptions d'objectifs existantes comme le W-RF (Weighted Reinforcement with Negative Reinforcement).

Résultats clés

Les expériences ont été menées sur Qwen2.5-Math-7B entraîné sur le jeu de données MATH, évalué sur quatre benchmarks : MATH-500, OlympiadBench, MinervaMath et AIME 2025.

• Performance de base : Les méthodes RLVR standards (REINFORCE, GRPO, W-RF) améliorent systématiquement le Pass@1 mais souffrent d'une dégradation significative du high-k Pass@k (ex: Pass@256) sur les benchmarks de difficulté intermédiaire, confirmant le phénomène d'effondrement de la diversité.
• Performance du BBG :
  • Le BBG atteint le Pass@k moyen le plus élevé pour toute la plage $k \in [1, 256]$ sur tous les benchmarks.
  • Crucialement, le BBG est la seule méthode qui maintient ou améliore le Pass@256 par rapport au modèle de base sur les quatre benchmarks, évitant efficacement l'effondrement observé avec les autres méthodes.
  • Sur le benchmark le plus difficile (AIME 2025), le BBG montre des gains substantiels sur toute la plage évaluée, alors que les autres méthodes déclinent à haut $k$.
• Insights d'ablation : Les auteurs montrent que des interventions simples comme l'arrêt précoce (early stopping — s'arrêter quand le Pass@1 de validation sature) ou le masquage par compartiment (bucket masking — exclure les compartiments à succès élevé) peuvent partiellement récupérer la performance high-k, validant l'hypothèse de surapprentissage. Cependant, le BBG offre une solution plus principielle et efficace en pondérant dynamiquement les mises à jour selon l'utilité de la frontière estimée.

Signification et revendications

L'article revendique trois contributions principales :

1. Formalisation de l'effondrement de la diversité : Il recadre l'effondrement de la diversité non pas simplement comme un problème de biais d'échantillonnage, mais comme une conséquence du surapprentissage par rapport à la frontière de raisonnement. Il démontre que, sous des budgets de déroulement standards, la vaste majorité des mises à jour RLVR constituent un surapprentissage pour le high-k Pass@k.
2. Réinterprétation du déclin agrégé : Le papier fournit la preuve que le déclin agrégé largement rapporté du high-k Pass@k n'implique pas un échec de l'acquisition de nouvelles capacités de raisonnement. Au contraire, il reflète un résultat net où les gains sur les problèmes initialement insolubles sont masqués par les pertes sur les problèmes déjà solubles dues au surapprentissage.
3. Atténuation efficace via le BBG : En redirigeant l'optimisation vers les problèmes ayant des contributions de frontière non saturées, le BBG parvient à découpler l'amélioration du Pass@1 de la dégradation du high-k Pass@k, améliorant ainsi la diversité globale du raisonnement du modèle.

Les auteurs conservent un ton modeste concernant les limites, notant que leurs expériences sont limitées à des modèles d'échelle 7B et un seul ensemble d'entraînement. Ils reconnaissent que l'effondrement de la diversité peut avoir d'autres causes (ex: l'assignation de crédit au niveau des tokens) et que la suppression des mises à jour sur les problèmes à succès élevé par le BBG peut réduire le Pass@1 dans les scénarios où l'exactitude à échantillon unique est la seule priorité. Cependant, ce travail établit une nouvelle perspective sur la dynamique d'entraînement du RLVR, suggérant que l'« aiguisage » de la politique est souvent un sous-produit de l'optimisation d'une métrique qui a déjà été maximisée pour certains problèmes spécifiques.