🤖 machine learning

Mechanistic origins of catastrophic forgetting: why RL preserves circuits better than SFT?

Ce papier introduit une métrique au niveau des têtes appelée vulnérabilité différentielle des circuits pour démontrer que, bien que l'affinement supervisé adapte plus rapidement les modèles à de nouvelles tâches, l'apprentissage par renforcement préserve mieux les circuits de calcul internes, offrant ainsi une explication mécaniste de sa résistance supérieure à l'oubli catastrophique.

Auteurs originaux : Jeanmely Rojas Nunez, Viraj Sawant, Nathan Allen, Nomgondalai Amgalanbaatar, Yannis Zongo, Vasu Sharma, Maheep Chaudhary

Publié 2026-05-29

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Jeanmely Rojas Nunez, Viraj Sawant, Nathan Allen, Nomgondalai Amgalanbaatar, Yannis Zongo, Vasu Sharma, Maheep Chaudhary

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

La Grande Question : Pourquoi les modèles d'IA « oublient-ils » ?

Imaginez que vous avez un étudiant brillant (le modèle d'IA) qui sait déjà écrire de la poésie, résoudre des problèmes de mathématiques et raconter des blagues. Vous voulez lui enseigner une nouvelle compétence : la Science.

Vous avez deux façons de lui apprendre :

SFT (Ajustement fin supervisé) : Vous lui donnez un manuel et dites : « Mémorisez ces réponses exactement. »
RL (Apprentissage par renforcement) : Vous le laissez essayer de répondre à des questions de science, et vous lui donnez un « pouce en l'air » ou un « pouce vers le bas » en fonction de la qualité de la réponse, lui permettant de trouver la meilleure façon d'apprendre.

Le Problème : Lorsque vous enseignez cette nouvelle compétence à l'étudiant, il commence souvent à oublier ses anciennes compétences (comme la poésie ou les mathématiques). C'est ce qu'on appelle l'oubli catastrophique.

La Découverte : Des études récentes ont montré que la méthode « Pouce en l'air/Pouce vers le bas » (RL) est meilleure pour maintenir les anciennes compétences en vie que la méthode « Mémorisez le manuel » (SFT). Mais pourquoi ? Ce papier plonge dans le cerveau de l'IA pour trouver la raison mécanique.

L'Analogie : La Bibliothèque des Circuits de Pensée

Imaginez le cerveau de l'IA non pas comme un bloc unique de mémoire, mais comme une immense bibliothèque de minuscules travailleurs spécialisés (appelés « circuits » ou « têtes d'attention »).

Certains travailleurs sont excellents en mathématiques.
D'autres sont excellents en grammaire.
D'autres sont excellents pour raconter des blagues.

Lorsque l'IA apprend quelque chose de nouveau, elle doit réorganiser ces travailleurs. La question est : Licencie-t-elle tout le monde et embauche-t-elle de nouveaux, ou garde-t-elle l'ancienne équipe et leur donne-t-elle simplement de nouvelles instructions ?

L'Expérience : Qu'est-il arrivé ?

Les chercheurs ont pris une IA spécifique (Qwen2.5-3B) et lui ont appris à répondre à des questions de science en utilisant les deux méthodes. Ensuite, ils ont regardé à l'intérieur de la « bibliothèque » pour voir quels travailleurs étaient toujours actifs et comment ils se comportaient.

1. La méthode « Manuel » (SFT) = Le Sur-Optimiseur

Ce qu'elle fait : Elle apprend la nouvelle tâche scientifique très vite. Elle obtient rapidement de bons scores.
Le Coût : Pour obtenir ces scores élevés, elle licencie agressivement les anciens travailleurs et les remplace par une petite équipe spécialisée de « Experts en Science ».
Le Résultat : La bibliothèque rétrécit. Elle ne conserve qu'environ 52 % des travailleurs d'origine. Les anciens travailleurs (poésie, mathématiques, blagues) sont évincés. L'IA devient un excellent scientifique mais un terrible poète.
Analogie : C'est comme un entrepreneur général qui, pour construire une nouvelle cuisine, arrache tout le câblage et la plomberie de la maison pour qu'elle s'adapte parfaitement au nouveau design. La cuisine est parfaite, mais les lumières de la chambre ne fonctionnent plus.

2. La méthode « Pouce en l'air/Pouce vers le bas » (RL) = Le Rénovateur Prudent

Ce qu'elle fait : Elle apprend la nouvelle tâche scientifique plus lentement. Il lui faut plus de temps pour atteindre le même score élevé.
Le Bénéfice : Au lieu de licencier l'ancienne équipe, elle les guide doucement. Elle conserve presque tous les travailleurs d'origine (environ 72 %) et leur apprend simplement à appliquer leurs compétences existantes à la science.
Le Résultat : La bibliothèque reste grande et diversifiée. L'IA apprend la science, mais elle se souvient aussi de comment raconter des blagues et faire des mathématiques.
Analogie : C'est comme un entrepreneur qui construit la nouvelle cuisine en réorganisant soigneusement les meubles et le câblage existants. Cela prend plus de temps pour finir, mais les lumières de la chambre fonctionnent toujours et la maison conserve son ambiance.

Les Résultats Clés (La Preuve « Mécaniste »)

Le papier a introduit une nouvelle façon de mesurer cela appelée « Vulnérabilité Différentielle des Circuits ». Voici ce qu'ils ont découvert :

SFT est un « Compresseur » : Il comprime le cerveau de l'IA en une forme petite et spécialisée. Il crée quelques « Super-Travailleurs » qui font tout pour la nouvelle tâche, mais ce faisant, il brise les réseaux délicats qui géraient les anciennes tâches.
RL est un « Adaptateur Distribué » : Il répartit l'apprentissage nouveau sur tout le cerveau. Aucun travailleur unique n'est submergé. Les « circuits » d'origine (les voies que l'IA utilisait pour ses anciennes compétences) restent intacts et continuent de fonctionner.
Le Compromis :
- SFT : Apprentissage rapide, mais vous perdez votre ancienne personnalité et vos compétences.
- RL : Apprentissage plus lent, mais vous conservez votre ancienne personnalité et vos compétences.

Pourquoi cela compte

Le papier conclut que RL est plus robuste contre l'oubli car il préserve la « machinerie » interne de l'IA.

Lorsque nous utilisons SFT, nous écrasons essentiellement le code interne de l'IA pour l'adapter à une nouvelle forme, ce qui fait que l'ancien code se brise. Lorsque nous utilisons RL, nous ajustons le code existant, permettant à l'IA de développer de nouvelles compétences sans supprimer les anciennes.

En bref : Si vous voulez une IA qui apprend vite mais oublie tout le reste, utilisez la méthode « Manuel ». Si vous voulez une IA qui apprend régulièrement et conserve sa personnalité et ses compétences d'origine, utilisez la méthode « Pouce en l'air/Pouce vers le bas ».

Résumé technique : Origines mécanistiques de l'oubli catastrophique

Énoncé du problème
Le réglage fin (fine-tuning) des grands modèles de langage (LLM) pour de nouvelles tâches en aval induit fréquemment un oubli catastrophique, où les gains sur un nouvel objectif se font au détriment des capacités antérieures. Alors que des études comportementales récentes suggèrent que l'apprentissage par renforcement (RL) préserve mieux les capacités antérieures que le réglage fin supervisé (SFT) — attribuant cela au fait que les mises à jour par gradient de politique restent plus proches de la politique de base en termes de dérive distributionnelle (mesurée par la divergence KL) — les raisons mécanistiques internes de cette différence restent inexplorées. La question centrale abordée est de savoir si l'avantage de rétention du RL est reflété par une préservation plus forte des circuits computationnels internes (têtes d'attention, couches MLP et voies résiduelles) qui implémentent les capacités du modèle.

Méthodologie
Les auteurs enquêtent sur cette question en utilisant Qwen2.5-3B-Instruct adapté à une tâche de réponse à des questions scientifiques. Le pipeline expérimental se compose de trois phases :

Reproduction comportementale : L'étude reproduit l'écart de rétention connu entre SFT et RL. Un modèle de base ( $\pi_{base}$ ) est réglé finement via une perte d'entropie croisée de complétion uniquement pour créer un modèle SFT ( $\pi_{SFT}$ ). Ce modèle SFT est ensuite affiné en utilisant Dr.GRPO (une variante de l'optimisation de politique relative de groupe) pour créer un modèle RL ( $\pi_{RL}$ ). La dérive comportementale est quantifiée en utilisant la divergence KL attendue sur des benchmarks de rétention.
Identification de circuits : Les auteurs emploient le masquage binaire différentiel (DBM) pour identifier les circuits computationnels internes au niveau des têtes d'attention. Le DBM apprend un masque sur les têtes d'attention qui interpole entre les activations de base et les activations contrefactuelles. En optimisant ces masques pour augmenter la probabilité des réponses c tout en maintenant la parcimonie, la méthode isole des sous-réseaux causaux parcimonieux (circuits) responsables de comportements spécifiques.
Comparaison de circuits inter-modèles : L'étude introduit la vulnérabilité différentielle des circuits, une mesure au niveau des têtes comparant la dégradation d'un circuit sous différents objectifs d'entraînement. Les métriques clés incluent :
- Fidélité du circuit : Le rapport entre le comportement récupéré par le sous-graphe extrait et le comportement du modèle complet.
- Déplacements de masques au niveau des têtes ( $\Delta m_h$ ) : Comparaison des valeurs de masque des modèles réglés finement par rapport au modèle de base pour identifier les têtes préservées, amplifiées ou affaiblies.
- Nécessité et suffisance : Interventions mesurant la baisse de log-probabilité lorsqu'une tête est perturbée (nécessité) et le comportement récupéré lorsque seule cette tête est active (suffisance).

Contributions clés

Vulnérabilité différentielle des circuits : L'article introduit une nouvelle métrique pour quantifier la susceptibilité relative des sous-graphes computationnels internes à la dégradation sous différents objectifs d'entraînement (SFT vs RL).
Explication mécanistique de l'oubli : Le travail étend l'explication comportementale de la supériorité du RL sur le SFT au niveau mécanistique, démontrant que le RL préserve une plus grande fraction du circuit de base par rapport au SFT.
Caractérisation du compromis : L'étude caractérise un compromis fondamental dans l'adaptation post-entraînement : le SFT s'adapte plus rapidement à la tâche cible mais produit une perturbation substantielle des circuits, tandis que le RL préserve le circuit de base au prix d'une adaptation à la tâche plus lente.

Résultats

Trajectoires de rétention des circuits : Sur deux époques d'entraînement, le SFT et le RL divergent nettement. Le SFT ne retient que 63,5 % des têtes d'attention de base après l'époque 1, chutant à 59,0 % à l'époque 2. En revanche, le RL retient 69,8 % après l'époque 1 et se rétablit à 72,5 % à l'époque 2, maintenant un avantage de 13,5 points de pourcentage dans la rétention du circuit de base.
Compression structurelle vs adaptation distribuée : Le DBM identifie un circuit de base de 297 têtes. Le modèle SFT subit une compression structurelle à environ 265 têtes (46,0 % du total), tandis que le modèle RL conserve environ 296 têtes (51,4 %). Le SFT concentre le comportement de la nouvelle tâche dans un ensemble plus restreint de « spécialistes critiques » (nécessité et suffisance élevées), tandis que le RL maintient une architecture distribuée se superposant étroitement au modèle de base.
Engagement causal : Le RL maintient des scores de médiation causale différentielle (DCM) constamment plus élevés (par exemple, 15,8 contre 10,4 à l'époque 1), indiquant que le circuit préservé dans le RL porte un signal causal plus fort concernant le comportement du modèle par rapport au SFT.
Sortie vs métriques internes : Notamment, le modèle RL présente une plus grande divergence KL dans l'espace de sortie que le modèle SFT, tout en préservant davantage de capacités antérieures et de structure de circuit interne. Cela suggère que les métriques de l'espace de sortie ne peuvent pas prédire de manière fiable l'oubli interne.

Signification
L'article affirme que la préservation des circuits offre une explication mécanistique de la raison pour laquelle le RL est plus robuste à l'oubli catastrophique que le SFT. Les résultats suggèrent que l'adaptation continue doit être considérée non pas simplement comme une optimisation de paramètres, mais comme la préservation et la modification sélectives des circuits codant les compétences. Les résultats indiquent un compromis où le SFT agit comme un « compresseur » qui reconfigure agressivement les circuits pour une spécialisation rapide, tandis que le RL agit comme un « adaptateur distribué » qui réutilise de manière conservatrice les représentations existantes. Cette perspective fournit une base pour comprendre les causes internes de l'oubli et suggère que les méthodes d'adaptation futures pourraient bénéficier de la combinaison d'un apprentissage efficace avec une préservation sélective des circuits.

Limites
Les auteurs notent que l'étude est limitée à une seule architecture de modèle (Qwen2.5-3B-Instruct) et à un ensemble de tâches spécifique (réponse à des questions scientifiques). L'analyse des circuits se concentre principalement sur les têtes d'attention, excluant les couches MLP et les caractéristiques du flux résiduel. La généralisabilité à d'autres architectures (par exemple, Gemma, Mistral, Llama) et à des domaines de capacités plus larges reste à valider.