Résumé technique : Apprendre à résoudre, oublier pour retenir : le renouvellement de l'ensemble des solutions correctes dans le RLVR

1. Définition du problème : Le renouvellement de l'ensemble des solutions correctes (Correct-Set Turnover)

L'article identifie une limitation systématique de l'apprentissage par renforcement avec récompenses vérifiables (RLVR) pour les grands modèles de langage (LLM). Bien que les méthodes RLVR telles que GRPO et DAPO atteignent des gains de précision impressionnants, elles cachent souvent un coût invisible : le renouvellement de l'ensemble des solutions correctes (correct-set turnover).

Ce phénomène est défini comme la dynamique couplée de l'acquisition (nouveaux problèmes résolus) et de la régression (problèmes précédemment résolus qui deviennent insolubles). Les auteurs soutiennent que les pipelines RLVR standards traitent l'oubli simplement comme un effet secondaire à minimiser. Cependant, ils proposent de le considérer de manière symétrique : à mesure que l'entraînement progresse, les mises à jour de la politique concentrent la masse de probabilité sur les nouvelles solutions renforcées, provoquant une dérive à la baisse de la probabilité de succès des prompts précédemment maîtrisés en raison de l'interférence des gradients.

Les observations clés incluent :

• Asymétrie du coût de réparation : S'appuyant sur la recherche sur la répétition espacée (Ebbinghaus, 1885), l'article établit que le coût de restauration d'un prompt régressé augmente brusquement avec le délai d'intervention. Il existe une « fenêtre de réparation » où un prompt est encore partiellement maîtrisé ; le réviser à ce stade est peu coûteux. Une fois que le prompt a totalement régressé, le réapprendre nécessite un effort comparable à un premier apprentissage.
• Limites des méthodes existantes : Les pipelines standards revisitent les prompts de manière uniquement passive à travers les époques sans suivre l'état de maîtrise. Les méthodes de rejeu existantes (ex: ExGRPO, RLEP) réutilisent des trajectoires historiques fixes mais ne peuvent pas détecter si un échantillon précédemment maîtrisé a régressé, ce qui les rend inefficaces contre ce type spécifique d'oubli intra-tâche.

2. Méthodologie : ReMind

Pour répondre au renouvellement de l'ensemble des solutions correctes, les auteurs proposent ReMind, un mécanisme de révision sensible à la rétention conçu pour fonctionner au sein de la boucle d'entraînement RLVR standard sans surcoût de déploiement (rollout).

Composants principaux

1. Métrique de maîtrise graduée : Contraã l'indicateur binaire « correct/incorrect », ReMind utilise le taux de succès par prompt ($\hat{q}_t(p)$) dérivé de $K$ déploiements (déjà calculés pour l'estimation de l'avantage dans GRPO). Un échantillon est considéré comme « maîtrisé » si $\hat{q}_t(p) = 1$.
2. File d'attente de révision (FIFO) :
   • Lorsqu'un échantillon du flux d'entraînement standard atteint la maîtrise, il est ajouté à une file d'attente de révision FIFO avec une probabilité $p_{add}$.
   • La file ne stocke que les identifiants d'échantillons ; des déploiements frais sont générés à partir de la politique actuelle lors de la révision, évitant ainsi le stockage de trajectoires obsolètes.
3. Remplacement de lot pré-déploiement :
   • Lors d'étapes de révision désignées (tous les $f$ pas), une fraction $r$ du lot d'entraînement est remplacée par des échantillons tirés de la file de révision.
   • Cela garantit que le modèle se rappelle des solutions précédentes avant qu'elles ne quittent la fenêtre de réparation à faible coût.
   • Comme les échantillons de révision remplacent plutôt qu'ils n'augmentent le lot, le budget total de déploiement reste identique à celui de la référence (baseline).
4. Règle de mise à jour auto-correctrice :
   • Nouvellement maîtrisé : Ajouté à la file.
   • Retenu : Si un échantillon révisé reste entièrement correct, il est retiré de la file (rétention confirmée).
   • Régressé : Si un échantillon révisé échoue ($\hat{q}_t(p) < 1$), il est réinséré à la queue de la file pour une réparation future.

3. Contributions clés

L'article apporte trois contributions principales :

1. Formalisation du renouvellement de l'ensemble des solutions correctes : Les auteurs définissent la dynamique conjointe d'acquisition et de régression dans le RLVR et établissent le principe de la fenêtre de réparation : le coût de la réparation des prompts régressés augmente de manière non linéaire avec le délai d'intervention.
2. Algorithme ReMind : Un mécanisme léger, sans surcoût, qui maintient une mémoire de révision indexée sur la maîtrise et utilise le remplacement pré-déploiement pour détecter et réparer la régression sans augmenter le budget de déploiement.
3. Validation empirique : Démonstration que ReMind améliore la précision tardive et la rétention par rapport aux bases de référence RLVR standards (GRPO, DAPO) et aux méthodes de rejeu sur 20 benchmarks couvrant le raisonnement image-texte, vidéo et texte seul.

4. Résultats expérimentaux

Les auteurs ont évalué ReMind en utilisant Qwen3-VL-8B-Instruct (multimodal) et Qwen2.5-7B-Math (texte seul) sur 20 benchmarks.

• Gains de performance : ReMind surpasse systématiquement GRPO, DAPO et les bases de référence de rejeu (ExGRPO, RLEP, RePO).
  • Sur le raisonnement image-texte, ReMind a amélioré la précision moyenne de +3,81 % par rapport à GRPO et de +3,44 % par rapport à DAPO.
  • Les gains sont plus prononcés sur les benchmarks riches en mathématiques (ex: +5,67 % en moyenne sur le raisonnement mathématique), soutenant l'hypothèse que les chaînes de raisonnement plus longues sont plus fragiles à la dérive de la politique.
• Mécanisme d'amélioration : L'analyse de la dynamique d'entraînement (Figure 5) révèle que ReMind ne fait pas accélérer l'acquisition de nouvelles solutions (GRPO et ReMind résolvent de nouveaux échantillons à des taux similaires). Au lieu de cela, l'amélioration est entièrement pilotée par une réduction de l'oubli. ReMind a réduit l'accumulation d'échantillons oubliés d'environ 35 par rapport au GRPO standard.
• Stabilité de l'entropie : ReMind atténue l'effondrement de l'entropie observé dans le GRPO standard, où la politique concentre la masse de probabilité sur un nombre restreint de chemins de génération. La révision périodique soutient l'entropie de la politique, préservant la diversité des stratégies de solution.
• Sensibilité au budget : La méthode est robuste sur une large gamme de budgets de révision. Même un budget de révision de 1 % est suffisant pour briser l'impasse acquisition-régression, tandis que la performance diminue légèrement à des budgets très élevés (>4 %) en raison du déplacement des signaux d'entraînement frais.
• Généralisation cross-modale : Les bénéfices s'étendent à la compréhension vidéo et au raisonnement mathématique pur, confirmant que le mécanisme traite un mode de défaillance indépendant de la modalité.

5. Signification et affirmations

L'article conclut qu'une part importante du potentiel du RLVR ne réside pas seulement dans le fait d'« apprendre plus », mais dans le fait de « perdre moins ».

• Cause systématique des plateaux : Les auteurs identent le renouvellement de l'ensemble des solutions correctes comme une cause systématique des plateaux de précision dans le RLVR, distincte de l'oubli catastrophique inter-tâches dans l'apprentissage continu.
• Changement de paradigme de conception : Ce travail plaide pour le traitement de la rétention au niveau de l'échantillon comme un axe de conception primaire dans le RL de raisonnement, aux côtés de la conception de la récompense et de l'exploration.
• Efficacité : ReMind atteint ces gains avec un surcoût de calcul négligeable (environ 3 % du temps d'exécution), ne nécessitant ni répliques de modèle supplémentaires ni buffers complexes.
• Nature intrinsèque de la régression : Les auteurs notent modestement que si ReMind réduit la régression, il ne l'élimine pas entièrement. Un certain degré de renouvellement de l'ensemble des solutions semble intrinsèque au processus d'optimisation du RLVR, suggérant qu'une régression résiduelle est une caractéristique fondamentale de la méthode plutôt qu'un artefact transitoire.

L'article ne prétend pas résoudre tous les problèmes d'oubli ou éliminer le besoin d'une conception de récompense soignée ; il fournit plutôt un mécanisme ciblé et à faible coût pour stabiliser l'« ensemble des solutions correctes » pendant l'entraînement.