Résumé Technique : Au-delà des gains de raisonnement : Atténuer l'oubli des capacités générales dans les grands modèles de raisonnement

Énoncé du problème

L'apprentissage par renforcement avec récompenses vérifiables (RLVR - Reinforcement Learning with Verifiable Rewards) est devenu un paradigme de post-entraînement standard pour améliorer les capacités de raisonnement des grands modèles de langage (LLM) et des modèles vision-langage (VLM). Cependant, les auteurs identent un mode de défaillance critique : l'oubli des capacités générales. Bien que le RLVR améliore efficacement les performances sur des tâches de raisonnement spécifiques (ex. mathématiques, déduction logique), il entraîne souvent une régression significative des compétences fondamentales acquises lors du pré-entraînement, telles que la perception visuelle, l'ancrage factuel et la robustesse.

Les observations empiriques de l'article confirment que les modèles de raisonnement open-source sous-performent fréquemment leurs modèles de base sur des benchmarks non liés au raisonnement (ex. esthétique d'image, raisonnement spatio-temporel, OCR et robustesse aux changements de distribution). Les auteurs notent que les stratégies d'atténuation existantes, telles que la régularisation par divergence KL, sont insuffisantes car elles sont calculées sur la tâche actuelle et ne garantissent pas la préservation de connaissances plus larges et hétérogènes. De plus, le replay d'expérience standard à travers des domaines hétérogènes fait face au défi du déséquilibre des objectifs : il n'est pas trivial de déterminer le pondération optimale entre les récompenses de raisonnement et les pertes de capacités générales, car différents objectifs convergent à des rythmes très disparates.

Méthodologie : RECAP

Pour répondre à ces problèmes, les auteurs proposent RECAP (Replay-Enhanced CApability Preservation), une stratégie d'entraînement de bout en bout qui intègre des données de capacités générales dans le pipeline RLVR avec un mécanisme de repondération dynamique des objectifs.

Composants clés

1. Stratégie de Replay : RECAP entrelace des données de domaines généraux (ex. détection d'objets, segmentation, OCR) avec les données de raisonnement cibles pendant le fine-tuning. Cela garantit que le modèle est continuellement exposé à des tâches de non-raisonnement pour prévenir l'oubli catastrophique.
2. Mécanisme de Repondération Dynamique : Au lieu d'utiliser des poids statiques ou ajustés manuellement, RECAP adapte les coefficients de perte en ligne en fonction du comportement de convergence et de l'instabilité des objectifs individuels.
   • Taux de convergence ($c_k$) : Mesuré en comparant la perte moyenne de la fenêtre glissante actuelle par rapport à la fenêtre précédente. Un ratio proche de 1 indique une saturation (l'objectif a été appris), tandis qu'un ratio $>1$ indique une amélioration récente.
   • Instabilité ($i_k$) : Mesurée comme le coefficient de variation (écart type relatif à la moyenne) au sein de la fenêtre glissante. Une instabilité élevée suggère que l'objectif est volatil et nécessite plus d'attention.
   • Score de priorité : Le score de priorité pour l'objectif $k$ est défini par $s_k = c_k + i_k$.
   • Repondération Softmax : Les poids $\lambda_k$ sont calculés à l'aide d'un softmax contrôlé par température sur les scores de priorité :
     $$\lambda_k = \frac{K \exp(s_k / T)}{\sum_{j=1}^K \exp(s_j / T)}$$
     Cette formulation, dérivée d'un problème d'allocation de priorité régularisé par l'entropie, réduit naturellement les objectifs saturés et à faible variance (comme la conformité de format) et déplace la capacité vers les objectifs sous-performants ou à haute variance (comme la précision du raisonnement ou la perception).

Fondement théorique

L'article établit que la règle de repondération RECAP est la solution en forme close d'un problème d'allocation de priorité régularisé par l'entropie. Cela fournit une justification théorique pour la pondération par softmax, garantissant que l'allocation évite les solutions dégénérées (se concentrer sur un seul objectif) tout en priorisant les objectifs ayant des scores de priorité élevés.

Contributions clés

1. Réévaluation systématique : Les auteurs démontrent systématiquement que le fine-tuning axé sur le raisonnement provoque systématiquement une régression des capacités générales (perception, robustesse) sur plusieurs familles de modèles open-source (familles Qwen2.5-VL).
2. Algorithme RECAP : Ils introduisent un scheduler plug-in qui repondère dynamiquement les objectifs en fonction des signaux de convergence et d'instabilité. Cette méthode ne nécessite aucun modèle auxiliaire, est agnostique à la magnitude et s'intègre de manière transparente dans les pipelines RLVR existants (spécifiquement GRPO) avec un surcoût négligeable.
3. Gains de performance : La méthode préserve non seulement les capacités générales mais améliore également les performances de raisonnement en permettant des compromis plus flexibles entre les récompenses intra-tâches, évitant la sur-optimisation de signaux faciles (comme le format) au détriment de signaux plus difficiles (comme la précision).

Résultats expérimentaux

Les auteurs ont évalué RECAP sur Qwen2.5-VL-3B et Qwen2.5-VL-7B selon deux configurations : une configuration "RLVR-only" et une configuration "Hybride" (combinant RLVR avec un entraînement de type SFT).

• Préservation des capacités générales : Dans la configuration RLVR-only, RECAP a préservé ou amélioré les performances sur les benchmarks de perception et de robustesse (ex. A-OKVQA, VisOnly, OCRBench) où les baselines de raisonnement pur montraient une dégradation significative. Par exemple, sur le benchmark de segmentation LISA, le fine-tuning de raisonnement pur a fait chuter la performance de 65,13 à 57,58, tandis que RECAP a maintenu un score de 67,24 (surpassant le modèle de base).
• Performance de raisonnement : RECAP a égalé ou dépassé la performance de raisonnement du fine-tuning axé uniquement sur le raisonnement. Sur le benchmark ScienceQA, RECAP a atteint un score de 71,59, surpassant le modèle de base (6,20) et plusieurs baselines de raisonnement open-source.
• Efficacité et concision : La repondération dynamique a conduit à un raisonnement plus efficace. Les modèles entraînés avec RECAP génèrent des rationales significativement plus courtes (réduisant la longueur moyenne du raisonnement d'environ 67 mots à environ 27 mots sur les tâches de raisonnement) sans compromettre la précision, réduisant ainsi la latence d'inférence et les coûts de calcul.
• Comparaison aux baselines : RECAP a systématiquement surpassé les baselines fortes, notamment :
  • Raisonnement seul (Reasoning-only) : Qui a souffert d'un oubli sévère.
  • Uniform/PropMix : Qui utilisait une pondération statique et n'a pas réussi à s'adapter aux taux de convergence.
  • LwF (Learning without Forgetting) : Qui utilisait la régularisation KL mais obtenait des scores de raisonnement inférieurs à RECAP.
  • MoDoMoDo : Une baseline complexe et coûteuse en calcul nécessitant des modèles proxys et un réglage manuel.

Signification et affirmations

L'article affirme que RECAP offre une solution fondée sur des principes et à faible surcoût au compromis "raisonnement vs capacité générale". En déplaçant l'accent de l'entraînement post-traitement des objectifs saturés (comme la conformité de format) vers les objectifs volatils ou sous-performants (comme la précision et la perception), RECAP permet aux modèles d'apprendre à raisonner sans "désapprendre" à percevoir.

Les auteurs soulignent que leur méthode est de bout en bout et ne nécessite pas l'entraînement de modèles de récompense supplémentaires ni un réglage intensif des hyperparamètres. Ils positionnent RECAP comme une évolution nécessaire des pipelines de post-entraînement, arguant que l'optimisation pour des récompenses de raisonnement étroites sans régularisation dynamique conduit à des modèles fragiles qui échouent dans des scénarios réels et hétérogènes. Le travail suggère que "l'oubli" observé dans les modèles de raisonnement actuels n'est pas un effet secondaire inévitable du RLVR, mais un problème d'optimisation soluble via la gestion dynamique des objectifs.