🤖 machine learning

RL Fine-Tuning Heals OOD Forgetting in SFT

Ce papier remet en cause la notion selon laquelle « le SFT mémorise et le RL généralise » en démontrant, grâce à des analyses par points de contrôle et spectrales, que le SFT provoque souvent un oubli hors distribution qui est ensuite restauré par le RL, un processus de récupération lié à la rotation des vecteurs singuliers plutôt qu'à des changements de leurs valeurs singulières.

Auteurs originaux : Hangzhan Jin, Sitao Luan, Tianwei Ni, Sicheng Lyu, Guillaume Rabusseau, Reihaneh Rabbany, Doina Precup, Mohammad Hamdaqa

Publié 2026-05-12

📖 6 min de lecture🧠 Analyse approfondie

CC0 1.0

Auteurs originaux : Hangzhan Jin, Sitao Luan, Tianwei Ni, Sicheng Lyu, Guillaume Rabusseau, Reihaneh Rabbany, Doina Precup, Mohammad Hamdaqa

Article original placé dans le domaine public sous CC0 1.0 (http://creativecommons.org/publicdomain/zero/1.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

La Vue d'Ensemble : La Danse en « Deux Temps » de l'Entraînement de l'IA

Imaginez que vous enseignez à un étudiant brillant mais inexpérimenté (un grand modèle de langage) comment résoudre des énigmes complexes. La recette standard pour faire de cet étudiant un expert en raisonnement comporte deux étapes :

Étape 1 : Affinement Supervisé (SFT) – Vous donnez à l'étudiant un manuel avec les réponses et vous dites : « Mémorise ces motifs et copie le style. »
Étape 2 : Apprentissage par Renforcement (RL) – Vous placez l'étudiant dans un jeu où il gagne des points pour les bonnes réponses et en perd pour les mauvaises, en disant : « Maintenant, trouve la logique toi-même pour gagner. »

Pendant longtemps, la communauté de l'IA a cru à une histoire simple : « Le SFT fait mémoriser le manuel à l'étudiant (bon pour les problèmes connus), et le RL fait généraliser et penser de manière créative à l'étudiant (bon pour les nouveaux problèmes). »

Ce papier affirme que cette histoire est incomplète. Les auteurs ont découvert que, bien que le SFT soit excellent au début, il commence en réalité à nuire à la capacité de l'étudiant à résoudre de nouveaux types d'énigmes si vous laissez l'étudiant étudier le manuel trop longtemps. Ensuite, le RL ne lui enseigne pas nécessairement de nouvelles super-pouvoirs ; il sert surtout à réparer les dégâts causés par le SFT.

La Découverte : Le « Pic et l'Effondrement »

Les chercheurs ont observé les progrès de l'étudiant chaque jour pendant le processus d'entraînement. Ils ont découvert un schéma surprenant :

La Victoire Précoce : Tout au début de l'« étude du manuel » (SFT), l'étudiant devient très bon pour résoudre de nouveaux types d'énigmes (tâches hors distribution ou OOD). C'est comme si l'étudiant comprenait soudainement la logique sous-jacente des mathématiques.
L'Effondrement : Alors que l'étudiant continue d'étudier le manuel, il commence à devenir moins bon sur les nouvelles énigmes, même s'il devient meilleur sur les problèmes spécifiques du manuel. Il devient si obsédé par le format exact des réponses du manuel qu'il oublie comment appliquer la logique à des situations légèrement différentes.
La Réparation : Lorsqu'ils passent enfin à la phase de « jeu » (RL), la performance de l'étudiant sur les nouvelles énigmes remonte.

L'Analogie :
Imaginez un chef apprenant à cuisiner.

SFT Précoce : Le chef apprend les règles de base des saveurs. Il peut préparer un excellent repas avec n'importe quels ingrédients.
SFT Tardif : Le chef est forcé de mémoriser un livre de recettes spécifique. Il devient incroyable pour préparer ce plat exact, mais oublie comment ajuster les saveurs si on lui donne des ingrédients différents. Il a « oublié » son intuition générale de la cuisine.
RL : Le chef est placé dans une compétition où il gagne des points pour de la nourriture savoureuse, indépendamment de la recette. Cela l'oblige à arrêter de suivre aveuglément le livre et à réutiliser son intuition. Il retrouve ses compétences générales en cuisine, mais il ne devient pas soudainement un meilleur chef qu'il ne l'était au tout début de son entraînement.

La Découverte Clé : Le RL est un « Restaurateur », pas un « Créateur »

Le papier remet en question l'idée que le RL crée de nouvelles capacités de raisonnement à partir de zéro. Au contraire, les auteurs ont constaté :

Le SFT Oublie : Si vous entraînez trop longtemps sur des données spécifiques, le modèle « oublie » sa capacité à gérer des situations étranges ou nouvelles.
Le RL Récupère : Le RL agit comme un pansement. Il rebouche les trous que le SFT a creusés, restaurant le modèle au niveau de performance qu'il avait au pic de la phase SFT.
Le Plafond : Le RL rend rarement le modèle meilleur que ce pic précoce. Il le ramène simplement à ce qu'il était avant de devenir trop spécialisé.

La Zone « Boucle d'Or » :
Les chercheurs ont découvert que le RL ne fonctionne que si vous le lancez au bon moment.

Si vous commencez le RL trop tôt (avant que le modèle ne connaisse les bases), il échoue car le modèle est trop confus.
Si vous commencez le RL trop tard (après que le modèle ait tout oublié), les signaux du « jeu » sont trop désordonnés pour que le modèle puisse en apprendre.
Il existe un « point idéal » spécifique (une plage de points de contrôle) où le RL peut réussir à guérir l'oubli.

Le Mécanisme Secret : La « Boussole qui Tourne »

Pour comprendre pourquoi cela se produit, les auteurs ont regardé à l'intérieur du cerveau du modèle en utilisant un outil mathématique appelé Décomposition en Valeurs Singulières (SVD). Imaginez les connaissances du modèle comme une grande boussole avec de nombreuses aiguilles pointant dans différentes directions.

La Taille des Aiguilles (Valeurs Singulières) : Les chercheurs ont constaté que la force de ces aiguilles (la quantité de connaissances stockées) change à peine pendant l'entraînement. Elles restent stables.
La Direction des Aiguilles (Vecteurs Singuliers) : Cependant, la direction vers laquelle pointent les aiguilles change radicalement.

L'Analogie :
Imaginez que les connaissances du modèle sont une carte.

Le SFT n'efface pas la carte (la taille des données reste la même), mais il fait tourner la carte. Il tourne la boussole de sorte que le « Nord » pointe vers les exemples spécifiques du manuel, rendant difficile de trouver le « Nord » pour de nouveaux endroits différents.
Le RL fait tourner la boussole en sens inverse. Il n'ajoute pas de nouvelles terres à la carte ; il réaligne simplement la boussole pour que le « Nord » pointe à nouveau vers la logique générale, permettant au modèle de naviguer sur de nouveaux terrains.

Résumé pour le Lecteur Quotidien

Ancienne Croyance : « Le SFT mémorise, le RL généralise. »
Nouvelle Réalité : « Le SFT oublie (en se spécialisant excessivement), et le RL récupère (en réalignant). »
La Leçon : Ne continuez pas à entraîner votre IA sur les mêmes données spécifiques indéfiniment. Elle perdra sa capacité à penser de manière flexible. Si vous voulez qu'elle soit intelligente face à de nouvelles choses, vous devez arrêter la phase de « mémorisation » au bon moment et utiliser la phase de « jeu » pour corriger le focus, plutôt que de s'attendre à ce que le jeu lui enseigne entièrement de nouvelles compétences à partir de zéro.

Le papier conclut que la meilleure performance pour résoudre de nouveaux problèmes délicats se produit souvent tôt dans le processus d'entraînement, et que la deuxième étape (RL) est surtout là pour nous sauver des erreurs que nous avons commises en entraînant trop longtemps lors de la première étape.

Résumé technique : Le fine-tuning par RL guérit l'oubli hors distribution (OOD) induit par le SFT

Énoncé du problème

Le pipeline de post-entraînement standard pour les grands modèles de langage (LLM) implique généralement un fine-tuning supervisé (SFT) suivi d'un fine-tuning par apprentissage par renforcement (RLFT). Une hypothèse prédominante dans le domaine est que « le SFT mémorise, le RL généralise », suggérant que le SFT conduit à un surajustement sur la distribution d'entraînement tandis que le RL améliore la généralisation hors distribution (OOD). Cependant, les dynamiques sous-jacentes de l'évolution des performances OOD au cours de ces deux étapes restent floues. Plus précisément, il n'est pas bien compris si le RL crée de nouvelles capacités de raisonnement ou se contente de récupérer celles qui ont été perdues, ni quel est le mécanisme derrière la dégradation OOD durant le SFT.

Méthodologie

Les auteurs mènent une analyse complète, point par point (checkpoint-wise), du processus de fine-tuning en deux étapes en utilisant deux modèles open-source : LLaMA-3.2-11B-Vision et Qwen-2.5-7B.

Configuration expérimentale :
- Tâches : L'étude utilise des environnements de raisonnement contrôlés pour définir explicitement les splits In-Distribution (ID) et OOD : GeneralPoints (raisonnement arithmétique avec des règles de cartes modifiées), Navigation (raisonnement spatial avec des changements de direction) et Calcul du déterminant de rang (algèbre linéaire).
- Protocole : Les modèles subissent un SFT à paramètres complets, suivi d'un RL (utilisant PPO ou GRPO). Crucialement, les auteurs ne comparent pas seulement le checkpoint final du SFT au checkpoint final du RL. À la place, ils appliquent le RL en partant de divers checkpoints intermédiaires du SFT pour cartographier l'évolution des performances.
- Évaluation : Les performances sont suivies sur les tâches ID et OOD tout au long de la trajectoire d'entraînement.
Analyse mécanistique :
- Analyse SVD : Les auteurs effectuent une décomposition en valeurs singulières (SVD) sur les matrices de paramètres clés (Self-Attention $W_Q, W_K, W_V$ et couches MLP). Ils mènent des études d'ablation où ils restaurent des valeurs singulières ou des vecteurs singuliers à partir de checkpoints spécifiques (par exemple, en échangeant les vecteurs singuliers d'un checkpoint tardif du SFT avec ceux d'un checkpoint « pic » précoce) pour isoler l'impact des changements spectraux sur les performances.
- Analyse de la distribution des avantages : Ils analysent la distribution des estimations d'avantage lors des rollouts RL pour comprendre les conditions dans lesquelles le RL récupère avec succès les performances OOD.

Résultats clés

1. Le phénomène « Le SFT oublie, le RL récupère »

Contrairement au récit simpliste « le SFT mémorise, le RL généralise », les auteurs observent une dynamique plus nuancée :

Pic précoce du SFT : Les performances de raisonnement OOD atteignent souvent leur pic très tôt dans le processus de SFT (désigné comme $SFT_{MaxOOD}$ ).
Oubli OOD : À mesure que le SFT se poursuit au-delà de ce pic, les performances OOD se dégradent considérablement, même si les performances ID (perte d'entraînement/test) continuent de s'améliorer. Cela indique que le modèle se spécialise excessivement sur le format ou les règles spécifiques des données d'entraînement, « oubliant » efficacement la capacité de raisonnement général requise pour les tâches OOD.
Le RL comme restaurateur : Le RL ne dépasse généralement pas la meilleure performance OOD atteinte par le SFT précoce. Au lieu de cela, le RL agit comme un mécanisme de récupération, restaurant la capacité OOD perdue au cours des étapes ultérieures du SFT. Cette récupération n'est efficace que dans une plage bornée de checkpoints SFT (par exemple, là où la précision ID est approximativement comprise entre 40 % et 80 %).

2. Mécanisme : Rotation des vecteurs singuliers

L'analyse spectrale révèle la cause racine de ces dynamiques :

Valeurs singulières stables : Les valeurs singulières des matrices de paramètres restent largement stables tout au long des étapes SFT et RL. Le fine-tuning n'amplifie ni ne diminue significativement l'amplitude de ces valeurs.
Vecteurs singuliers en rotation : La dégradation et la récupération des performances OOD sont fortement corrélées à la rotation des vecteurs singuliers.
- Pendant la phase d'« oubli » du SFT, les vecteurs singuliers tournent loin des directions associées à la robustesse OOD.
- Pendant le RL, les vecteurs singuliers tournent en retour, restaurant partiellement l'alignement du sous-espace original.
Preuve par ablation : La restauration des vecteurs singuliers d'un checkpoint SFT précoce (lorsque OOD était élevé) vers un checkpoint SFT tardif (lorsque OOD était faible) récupère les performances OOD, confirmant que la rotation des vecteurs est le moteur principal de l'oubli.

3. Contraintes de la distribution des avantages

L'efficacité du RL dans la récupération des performances OOD dépend de la distribution des signaux d'avantage. Le RL est plus efficace lorsque la distribution des avantages est équilibrée (faible asymétrie, haute entropie et faible divergence KL par rapport à une distribution normale). Si le checkpoint SFT est trop avancé (effondrement de l'entropie de la politique) ou trop précoce (manque de compétence dans la tâche), les signaux d'avantage deviennent biaisés ou instables, empêchant une récupération efficace.

Importance et revendications

L'article prétend fournir une compréhension plus précise et mécanistique des dynamiques de post-entraînement :

Affinement du paradigme : Il remet en question la vision binaire du SFT versus le RL, proposant que le SFT peut oublier et le RL peut récupérer. La meilleure performance OOD se trouve souvent dans les checkpoints précoces du SFT, pas nécessairement après le RL.
Valeur diagnostique : L'étude souligne que les méthodes traditionnelles de détection du surajustement (surveillance de la perte ID) échouent à capturer l'oubli OOD, car la perte ID peut continuer à diminuer tandis que les performances OOD chutent.
Implication algorithmique : Les résultats suggèrent une direction potentielle pour le SFT protégé, où les mises à jour sont orthogonalisées par rapport aux directions des vecteurs singuliers de rang supérieur associées aux capacités OOD pour empêcher leur rotation et leur oubli subséquent. Des expériences préliminaires avec cette approche montrent des promesses pour préserver la précision OOD tout en maintenant les performances ID.
Généralisabilité : Le motif d'« oubli et récupération » est observé à travers différents modèles (LLaMA, Qwen), différentes tâches de raisonnement et différents algorithmes RL (PPO, GRPO, DAPO), suggérant qu'il s'agit d'une propriété fondamentale du processus de fine-tuning en deux étapes.

En conclusion, les auteurs soutiennent que le RL n'est pas un générateur universel de nouvelles capacités de raisonnement, mais plutôt un outil puissant pour atténuer l'oubli OOD induit par un SFT prolongé, à condition qu'il soit initialisé à partir d'un checkpoint possédant une distribution d'avantages équilibrée.