A Quantitative Characterization of Forgetting in Post-Training

Ce papier propose une caractérisation quantitative du phénomène d'oubli lors du post-entraînement continu de modèles génératifs en démontrant théoriquement comment la direction de la divergence (KL direct ou inverse), le chevauchement géométrique des modes et les stratégies d'échantillonnage déterminent respectivement l'effondrement des poids des anciennes tâches ou leur dérive contrôlée.

L'essentiel

Imaginez que vous êtes un chef cuisinier très talentueux. Vous avez déjà maîtrisé une recette parfaite pour faire des gâteaux au chocolat (c'est votre "ancien savoir"). Maintenant, vous voulez apprendre à faire des gâteaux aux fraises (c'est le "nouveau savoir").

Le problème ? Si vous vous concentrez trop sur les fraises, vous risquez d'oublier comment faire le chocolat. C'est ce qu'on appelle en informatique l'"oubli catastrophique".

Cette recherche scientifique, écrite par des experts d'Amazon et de l'Université de Californie, essaie de comprendre pourquoi et quand ce chef oublie ses anciennes recettes, et comment l'éviter. Ils utilisent une métaphore mathématique appelée "mélange de deux modes" (deux types de gâteaux) pour expliquer leur théorie.

Voici les grandes idées, expliquées simplement :

1. Les deux façons d'oublier

Les chercheurs distinguent deux types de pertes de mémoire :

• L'effacement total (Mass Forgetting) : C'est comme si le chef décidait soudainement : "Oubliez le chocolat, je ne fais plus que des fraises !" La recette du chocolat disparaît complètement de son esprit.
• La dérive (Drift) : C'est plus subtil. Le chef garde la recette du chocolat, mais il commence à ajouter un peu de vanille ou à changer la température du four. Le gâteau ressemble encore au chocolat, mais ce n'est plus exactement le même. Il s'éloigne doucement de la perfection originale.

2. Le grand duel : "Forward-KL" vs "Reverse-KL"

Le cœur de l'article compare deux méthodes d'apprentissage, comme deux manières différentes d'enseigner au chef.

Méthode A : L'approche "Forward-KL" (L'apprentissage par l'exemple pur)

Imaginez que vous donnez au chef uniquement des fraises et des recettes de fraises. Vous lui dites : "Apprends ça !"

• Ce qui se passe : Comme il ne voit jamais de chocolat, son cerveau se dit : "Le chocolat n'existe plus." Il efface la recette du chocolat pour faire de la place aux fraises.
• Le résultat : Il oublie totalement le chocolat. C'est ce qu'on appelle l'oubli catastrophique.
• La solution ? Pour l'empêcher d'oublier, vous devez forcer le chef à voir des fraises ET du chocolat dans son assiette pendant qu'il apprend. Si vous ne mélangez pas les deux dans l'assiette, il oubliera.

Méthode B : L'approche "Reverse-KL" (L'apprentissage par la comparaison)

Imaginez maintenant que vous dites au chef : "Tu as déjà une recette de chocolat parfaite. Maintenant, apprends les fraises, mais garde ta recette de chocolat intacte." Vous lui montrez le résultat idéal : un mélange de 50% chocolat et 50% fraises.

• Ce qui se passe : Le chef ajuste sa recette de fraises. Mais pour la recette de chocolat ? Il ne la touche presque pas.
• Pourquoi ? Parce que le chocolat et les fraises sont très différents (ils ne se mélangent pas bien). Le cerveau du chef sait que s'il touche à la recette du chocolat, il risque de gâcher les fraises. Il y a une "barrière naturelle" entre les deux.
• Le résultat : Il apprend les fraises sans abîmer le chocolat. L'oubli est très faible et contrôlé par la différence entre les deux saveurs.

3. Le rôle du "Replay" (La répétition)

Dans le monde réel, on utilise souvent un système de "répétition" (replay) : on montre au chef quelques vieux gâteaux au chocolat pendant qu'il apprend les fraises.

• Pour la Méthode A (Forward-KL) : La répétition est cruciale. Si vous ne mettez pas de chocolat dans l'assiette, il oublie. La répétition change la "réalité" de ce qu'il apprend.
• Pour la Méthode B (Reverse-KL) : La répétition n'est pas nécessaire pour changer la recette, mais elle aide à éviter les petits bugs. Parfois, si le chef n'a pas vu de chocolat depuis longtemps, il peut avoir un doute et commencer à modifier la recette par erreur. La répétition lui rappelle : "Non, c'est comme ça !" Cela stabilise son apprentissage.

4. Les nouvelles méthodes (SDFT, TTT-Discover, OAPL)

L'article examine aussi trois nouvelles techniques récentes utilisées par les IA modernes.

• SDFT : C'est comme si le chef avait un "maître" qui le guide. Si le maître est fort et montre bien les deux recettes, le chef n'oubliera rien.
• TTT-Discover : C'est une méthode qui cherche la "meilleure" recette (celle qui rapporte le plus). Attention : si la récompense pour les fraises est trop forte, le chef pourrait abandonner le chocolat, à moins qu'on ne lui impose une règle stricte (un ancrage) pour garder le chocolat.
• OAPL : Cette méthode utilise une "référence gelée". Elle ne peut créer de nouvelles saveurs que si elles existent déjà dans la référence. C'est très stable, mais elle ne peut pas inventer de nouvelles choses qui n'étaient pas là au début.

En résumé

Cette recherche nous apprend que :

1. Si vous apprenez une nouvelle chose en ignorant complètement l'ancienne, vous allez l'oublier (c'est inévitable).
2. Si vous utilisez une méthode qui compare votre nouveau savoir à un objectif précis (comme un mélange équilibré), vous pouvez apprendre sans oublier.
3. La "distance" entre l'ancien et le nouveau savoir est importante : plus ils sont différents (comme le chocolat et les fraises), plus il est facile de les garder séparés dans votre tête sans les mélanger.

C'est une victoire pour la théorie : nous savons maintenant exactement quels ingrédients (méthodes d'apprentissage, répétition, distance entre les tâches) permettent de construire des IA qui apprennent tout au long de leur vie sans perdre leur mémoire.

Résumé technique

1. Problématique

L'apprentissage continu (Continual Learning) vise à permettre aux modèles génératifs d'acquérir de nouvelles capacités sans effacer les connaissances antérieures. Cependant, le phénomène de catastrophic forgetting (oubli catastrophique) reste un défi majeur, en particulier dans les pipelines de post-entraînement des grands modèles génératifs (LLMs).

Les auteurs identifient un manque de compréhension théorique unifiée sur quand et pourquoi l'oubli se produit. Ils se concentrent sur deux formes distinctes d'oubli dans un cadre d'apprentissage continu :

1. L'oubli de masse (Mass Forgetting) : L'effondrement du poids du mélange sur l'ancien mode (le modèle attribue une probabilité nulle à l'ancien comportement).
2. La dérive du composant ancien (Old-Component Drift) : Le modèle conserve une masse non nulle sur l'ancien mode, mais les paramètres de ce composant (par exemple, la moyenne) s'éloignent de la distribution originale sous l'effet des mises à jour.

L'objectif est de quantifier précisément ces phénomènes en fonction de la direction de la divergence utilisée pour l'entraînement (Forward-KL vs Reverse-KL) et du régime d'échantillonnage (données nouvelles uniquement vs replay).

2. Méthodologie et Cadre Théorique

Les auteurs adoptent une abstraction théorique minimaliste basée sur un mélange de deux modes gaussiens, proposé par Chen et al. (2025) :

• Distributions : Une distribution "ancienne" $p_o = \mathcal{N}(\mu_o, \Sigma)$ et une distribution "nouvelle" $p_n = \mathcal{N}(\mu_n, \Sigma)$.
• Cible : Un mélange cible $p_\alpha = \alpha p_o + (1-\alpha)p_n$ représentant l'objectif idéal (conserver une fraction $\alpha$ de l'ancien).
• Modèle : Un modèle apprenant $q_\beta = \beta q_o + (1-\beta)q_n$ avec des paramètres à apprendre (le poids $\beta$ et les moyennes $m_o, m_n$).

L'analyse compare deux objectifs d'entraînement fondamentaux :

1. Forward-KL (SFT) : Minimiser $KL(p_{data} \parallel q_\theta)$. Correspond au Supervised Fine-Tuning (SFT) sur des données nouvelles uniquement.
2. Reverse-KL (RL) : Minimiser $KL(q_\theta \parallel p_{target})$. Correspond aux mises à jour de type RL (Reinforcement Learning) ou à l'alignement sur une politique cible, souvent avec échantillonnage on-policy.

Les auteurs utilisent des outils probabilistes avancés, notamment le coefficient de Bhattacharyya pour quantifier le chevauchement (overlap) entre les modes, et des analyses de géométrie locale (conditions Polyak-Lojasiewicz) pour étudier la convergence.

3. Contributions et Résultats Clés

A. Comportement du Forward-KL (SFT)

• Oubli de masse inévitable : Si l'entraînement Forward-KL est effectué uniquement sur des données nouvelles ($p = p_n$), la solution optimale de population force le poids de l'ancien mode à zéro ($\beta^\star = 0$), même si le modèle contient la forme exacte de l'ancien mode.
• Mécanisme : Le gradient de la fonction de perte est strictement croissant par rapport à $\beta$. La probabilité qu'une donnée nouvelle soit assignée à l'ancien composant (responsabilité) est exponentiellement faible lorsque les modes sont séparés, ce qui pousse le poids $\beta$ vers 0.
• Rôle du Replay (Replay) :
  • Le replay sur le modèle (ajout de l'ancien mode dans la distribution du modèle) ne prévient pas l'oubli de masse ; il impose seulement un "plancher" artificiel.
  • Le replay sur les données (ajout de l'ancien mode dans la distribution d'entraînement) est nécessaire pour changer l'optimum de population et permettre la rétention.

B. Comportement du Reverse-KL (RL)

• Évitement de l'oubli de masse : L'objectif Reverse-KL aligné sur une cible explicite $p_\alpha$ a un minimum global aux paramètres corrects ($\beta^\star = \alpha, m_n = \mu_n$). Il ne force pas l'effondrement de la masse.
• Contrôle de la dérive (Drift) : Lorsque le composant ancien est déjà correct ($m_o = \mu_o$), le gradient qui le déplace est contrôlé par les probabilités de mauvaise attribution (misassignment probabilities).
• Décroissance exponentielle : Ces probabilités d'erreur sont bornées par le coefficient de Bhattacharyya, qui décroît exponentiellement avec la distance de Mahalanobis $\delta$ entre les moyennes. Ainsi, dans les régimes bien séparés, la dérive des paramètres anciens est négligeable.
• Convergence : L'analyse locale montre que l'objectif Reverse-KL possède une géométrie bien conditionnée (condition PL locale), garantissant une convergence exponentielle vers l'optimum.

C. Interaction du Replay avec les Objectifs

• Pour le Forward-KL : Le replay doit modifier la distribution d'entraînement (numérateur) pour changer l'optimum.
• Pour le Reverse-KL : Le replay ne modifie pas l'objectif de population, mais résout un problème d'"famine du mode ancien" (old-mode starvation) dans les mini-lots finis. En injectant un faible pourcentage de données anciennes et en utilisant des poids d'importance bornés, on garantit que les gradients stochastiques ne se comportent pas comme des mises à jour "nouvelles uniquement".

D. Analyse de Méthodes Récentes (Near-on-policy)

Les auteurs appliquent leur cadre à trois méthodes récentes :

1. SDFT (Self-Distillation Fine-Tuning) : Se comporte comme une mise à jour Reverse-KL vers un enseignant évolutif. Elle évite l'oubli de masse si le démonstrateur est fort et contrôle la dérive grâce à la localité géométrique.
2. TTT-Discover : Utilise un objectif entropique. Sans ancrage KL suffisant, il peut provoquer un effondrement de masse vers le mode à haute récompense. Cependant, la dérive des paramètres corrects reste contrôlée par le chevauchement.
3. OAPL (Optimal Advantage Policy Learning) : Basé sur une politique de référence figée. Il ne peut réattribuer que les modes déjà présents dans la référence. Il est géométriquement local, limitant l'influence croisée entre modes.

4. Signification et Implications

Ce travail fournit une caractérisation théorique rigoureuse de l'oubli dans les modèles génératifs, dépassant les observations empiriques pour offrir des garanties mathématiques.

• Distinction fondamentale : Il établit clairement que le Forward-KL (SFT) est intrinsèquement sujet à l'oubli de masse par effondrement, tandis que le Reverse-KL (RL) est naturellement aligné avec la rétention, à condition que la cible soit bien définie.
• Rôle du chevauchement : L'oubli (sous forme de dérive) n'est pas un phénomène binaire mais est quantifiable et contrôlé par la séparation géométrique des modes (coefficient de Bhattacharyya). Plus les tâches sont distinctes, moins l'apprentissage de la nouvelle tâche perturbe l'ancienne.
• Guidage pratique :
  • Pour le SFT, le replay doit être intégré dans les données d'entraînement, pas seulement dans le modèle.
  • Pour le RL, le replay sert à stabiliser l'optimisation stochastique et éviter la famine des modes anciens dans les mini-lots.
  • Les méthodes modernes (SDFT, TTT, OAPL) héritent de la stabilité du RL mais nécessitent des ancrages (démonstrations, références) pour éviter l'effondrement de masse.

En résumé, l'article démontre que l'oubli peut être précisément quantifié et atténué en choisissant judicieusement la direction de la divergence, en gérant le chevauchement géométrique et en adaptant le régime d'échantillonnage (replay) à l'objectif d'optimisation.