🤖 machine learning

Unforgettable Generalization in Language Models

Cet article étudie comment les modèles de langage se comportent lorsqu'ils « désapprennent » des compétences via un ajustement fin sur des étiquettes aléatoires, révélant que la généralisation de l'oubli est hautement imprévisible et dépendante de la tâche, échouant souvent à s'étendre au-delà d'exemples d'entraînement spécifiques malgré des sorties superficiellement aléatoires, tandis que les capacités sous-jacentes à la tâche restent intactes comme en témoigne le succès du sondage linéaire.

Auteurs originaux : Eric Zhang, Leshem Choshen, Jacob Andreas

Publié 2026-08-06

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Eric Zhang, Leshem Choshen, Jacob Andreas

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous avez un ami robot super intelligent qui a lu presque tout sur Internet. Il peut écrire des poèmes, résoudre des problèmes mathématiques et vous expliquer pourquoi le ciel est bleu. Mais parfois, ce robot apprend des choses que vous ne voulez pas qu'il sache, ou il devient trop doué pour une astuce spécifique que vous voulez lui "désapprendre". C'est le monde de l'« oubli machine » (machine unlearning), une branche de la recherche en intelligence artificielle qui pose une question délicate : peut-on faire oublier véritablement quelque chose à un robot ?

Pour comprendre l'expérience, vous devez savoir deux choses. Premièrement, ces robots (appelés Grands Modèles de Langage) sont entraînés en lisant des tonnes de textes, puis sont « affinés » (fine-tuned) sur des exemples spécifiques pour devenir meilleurs dans une tâche, comme répondre à des questions scientifiques. Deuxèmement, une méthode courante pour tenter de leur faire oublier consiste à leur montrer à nouveau les mêmes questions, mais avec des réponses complètement brouillées ou inventées. L'idée est que si vous confondez suffisamment le robot avec de mauvaises réponses, il finira par abandonner totalement ce sujet. Le grand mystère que les chercheurs traquent est le suivant : cette confusion se propage-t-elle ? Si vous confondez le robot sur une question spécifique, va-t-il oublier comment répondre à toutes les questions similaires, ou va-t-il simplement être confus pour cet exemple précis ?

La Grande Expérience de l'« Anti-Entraînement »

Dans cet article, les chercheurs Eric Zhang, Leshem Choshen et Jacob Andreas du MIT ont décidé de jouer au jeu de l'« oubli » avec un modèle de langage géant appelé Llama2. Ils ont traité le modèle comme un étudiant qui venait de réussir un examen avec brio, puis ils ont tenté de lui faire oublier la matière en le ré-enseignant avec des réponses aléatoires et absurdes. Ils voulaient voir si l'étudiant oublierait toute la matière ou seulement les exercices d'entraînement spécifiques qui lui avaient été montrés.

La Grande Surprise : Cela Dépend du Sujet
Les chercheurs ont testé cela sur 21 types de tâches différents, allant du « sens commun physique » (comme déterminer quel objet est le plus lourd) à l'« entailment » (décider si une phrase découle logiquement d'une autre). Les résultats ont été sauvages et imprévisibles.

Parfois, l'oubli fonctionnait parfaitement. S'ils tentaient de faire oublier au modèle la classification par entailment (un puzzle logique sur des phrases), le modèle devenait vide de sens. Il commençait à donner des réponses aléatoires et inutiles à de nouvelles questions qu'il n'avait jamais vues auparavant. C'était comme si le robot avait perdu la capacité de réaliser ce type de logique spécifique entièrement.

Mais d'autres fois, l'oubli était un échec total. Lorsque les chercheurs tentaient de faire oublier au modèle le sens commun physique (comme le fonctionnement de la gravité) ou des questions scientifiques, le modèle se montrait têtu. Même après avoir été entraîné sur des réponses fausses et aléatoires, il répondait encore correctement à de nouvelles questions scientifiques ! C'était comme un étudiant à qui l'on aurait forcé la mémoire avec de mauvaises réponses pour un examen d'entraînement spécifique, mais qui, lors du véritable examen, connaissait toujours les bonnes réponses. Le modèle semblait avoir oublié les exemples spécifiques sur lesquels il avait été entraîné, mais il conservait ses connaissances générales intactes.

Ce N'est Pas une Question de Difficulté
Vous pourriez penser que le modèle n'oublie que les choses faciles et se souvient des choses difficiles. Les chercheurs ont vérifié cela, et il s'avère que ce n'est pas le cas. Ils ont découvert que la difficulté de la tâche ne permettait pas de prédire si le modèle oublierait ou non. Par exemple, le modèle était en fait meilleur pour se souvenir des réponses des questions de l'ARC Challenge que de celles de l'ARC Easy, même si les deux étaient des questions de science. La difficulté de la question n'importait pas ; c'était le type de question qui comptait.

Les Indices Secrets : Confiance et Variabilité du « Cerveau »
Alors, qu'est-ce qui rend une compétence facile ou difficile à oublier ? Les chercheurs ont trouvé deux indices cachés dans le « cerveau » du modèle (ses représentations de données internes) :

La Confiance : Si le modèle était déjà très incertain quant à la réponse avant le début de l'expérience d'oubli, il était plus facile de le faire oublier. Si le modèle était confiant, il s'accrochait plus fermement.
La Variabilité du Cerveau : C'est un peu comme observer à quel point les pensées du modèle oscillent. Si les « pensées » internes du modèle (représentations) pour une tâche étaient éparpillées (variabilité élevée), il était plus difficile de les effacer. Si les pensées étaient très cohérentes et similaires (faible variabilité), le modèle était plus facile à « désapprendre ».

L'Oubli « Superficiel »
Voici la partie la plus déroutante. Même quand le modèle semblait avoir réussi à oublier une compétence — donnant des réponses aléatoires à tout le monde — les chercheurs ont découvert que l'information n'était pas réellement partie. Ils ont construit un outil simple appelé « sonde linéaire » (imaginez un petit détecteur spécialisé) et ont observé les ondes cérébrales internes du modèle.

Étonnamment, ce détecteur pouvait encore lire les bonnes réponses parfaitement, même si le modèle lui-même agissait comme s'il ne savait rien. C'est comme un étudiant qui prétend être confus et donne des réponses aléatoires en classe, mais si vous regardez ses notes, les bonnes réponses y sont encore écrites en parfaite écriture. L'« oubli » n'était qu'un acte de surface ; la connaissance profonde était toujours là, attendant d'être trouvée.

Le Mot de la Fin
L'article conclut que tenter de faire oublier des compétences spécifiques à une IA en la ré-entraînant simplement sur des réponses aléatoires est un pari. Cela fonctionne pour certaines tâches (comme les puzzles logiques), mais échoue pour d'autres (comme la science et le sens commun). De plus, même quand cela semble fonctionner, l'information n'est pas réellement supprimée ; elle est juste cachée derrière une couche de confusion. Les chercheurs suggèrent que nous devons bien mieux comprendre comment ces modèles apprennent et stockent l'information avant de pouvoir faire oublier de manière fiable ce que nous ne voulons pas qu'ils sachent.

Résumé technique : Généralisation inoubliable dans les modèles de langage

Énoncé du problème

L'article traite d'une lacune critique dans le domaine de l'oubli ciblé (machine unlearning) pour les modèles de langage (LM). Alors que les recherches récentes se sont concentrées sur le développement de techniques visant à supprimer des compétences spécifiques ou des connaissances déclaratives des LM — souvent via un ajustement fin (fine-tuning) sur des étiquettes aléatoires pour « oublier » une tâche — la compréhension de la manière dont cet oubli se généralise reste limitée. Plus précisément, lorsqu'un LM est entraîné à oublier une capacité sur un ensemble de données d'entraînement spécifique, son comportement change-t-il de manière prévisible sur des exemples inédits de la même tâche, ou l'oubli reste-t-il localisé uniquement sur les données d'entraînement ? Les auteurs étudient si la suppression ciblée d'une compétence via l'ajustement fin produit un oubli robuste et généralisable, ou si le modèle conserve la capacité d'exécuter la tâche « oubliée » sur de nouvelles instances.

Méthodologie

Les auteurs mènent une étude systématique en utilisant le modèle de base Llama2 à 7 milliards de paramètres, avec une validation supplémentaire sur GPT-J-6B et GPT-2. Le dispositif expérimental comprend 21 tâches de choix multiples diverses couvrant le raisonnement de sens commun, la compréhension de lecture, les mathématiques, la détection de toxicité et la classification d'implication (entailment).

La procédure centrale suit un pipeline en trois étapes :

Pré-entraînement : Partir d'un LM pré-entraîné.
Ajustement fin (Fine-tuning) : Le modèle est ajusté sur une tâche cible ( $T_{train}$ ) pour maximiser la précision, établissant ainsi une base de compétence apprise.
Oubli : Le modèle subit un nouvel ajustement fin sur le même ensemble d'entraînement ( $T_{train}$ ), mais avec des étiquettes choisies uniformément de manière aléatoire. Il s'agit d'une méthode standard pour induire l'oubli.

Métriques :
Pour quantifier le succès de l'oubli, les auteurs définissent deux métriques :

Écart d'oubli (Forget Gap) : La différence entre la précision après l'oubli et la précision aléatoire attendue (50 % pour les tâches binaires). Un écart de 0 implique un oubli complet.
Ratio d'oubli (Forget Ratio) : Une mesure normalisée comparant la chute de précision après l'oubli par rapport au gain total possible issu de l'ajustement fin. Un ratio de 1 indique un oubli complet ; 0 indique aucun oubli.

Dimensions d'analyse :
L'étude évalue l'oubli à travers plusieurs dimensions :

Généralisation au niveau de la tâche : Comparaison des performances d'oubli entre différents types de tâches.
Oubli inter-tâches : Ajustement fin sur des étiquettes aléatoires de la Tâche A et évaluation sur la Tâche B.
Prédicteurs de l'oubli : Analyse des corrélations entre le succès de l'oubli et la difficulté de la tâche, la confiance du modèle et la variance des représentations des états cachés.
Ordre d'apprentissage vs oubli : Investigation de la relation entre l'ordre dans lequel les exemples sont appris et l'ordre dans lequel ils sont oubliés.
Profondeur de l'oubli : Entraînement de sondes linéaires sur les représentations cachées du modèle après la procédure d'oubli pour déterminer si l'information est réellement effacée ou simplement censurée.

Résultats clés

1. Grande variabilité de la généralisation

La conclusion principale est que la généralisation de l'oubli est hautement dépendante de la tâche et imprévisible.

Tâches robustes : Les tâches impliquant le raisonnement de sens commun (ex. PIQA, ARC) et les réponses à des questions scientifiques (ex. SciQ, PubMedQA) sont remarquablement résilientes à l'oubli. Même après un entraînement sur des étiquettes aléatoires, ces modèles maintiennent souvent une précision élevée sur les exemples de test, échouant ainsi à généraliser le comportement d'oubli.
Tâches fragiles : Les tâches linguistiques de bas niveau, particulièrement la classification d'implication (ex. MNLI, RTE, CoLA) et l'acceptabilité grammaticale, sont facilement oubliées. Les modèles entraînés sur des étiquettes aléatoires pour ces tâches ont tendance à produire des prédictions proches du hasard sur de nouvelles instances de test.

2. La tâche d'évaluation détermine le succès

Dans les expériences inter-tâches, les auteurs ont découvert que l'efficacité de la procédure d'oubli est largement déterminée par la tâche évaluée, et non par la tâche utilisée pour l'entraînement. Par exemple, entraîner un modèle à oublier le raisonnement de sens commun échoue souvent à induire l'oubli sur cette tâche spécifique, mais peut par inadvertance provoquer l'oubli d'autres tâches linguistiques sans rapport.

3. Prédicteurs de l'oubli

Difficulté de la tâche : Contrairement à l'intuition, la difficulté de la tâche (mesurée par la précision après ajustement fin) n'est pas un prédicteur fiable de l'oubliabilité. Les tâches plus difficiles ne sont pas nécessairement plus difficiles à oublier.
Confiance du modèle : L'article stipule explicitement dans sa conclusion que la difficulté du jeu de données et la confiance du modèle ne sont pas prédictives du fait qu'une tâche soit oubliée, malgré l'observation d'une faible corrélation dans certains diagrammes de dispersion spécifiques.
Variance de la représentation : La variance totale des états cachés (spécifiquement le dernier jeton de la question dans la couche pénultième) est un prédicteur fort. Les tâches présentant une variance plus faible dans leurs représentations de données d'entraînement sont associées à une plus grande généralisation de l'oubli. Cela suggère que les tâches plus « larges » ou plus diversifiées sont plus difficiles à oublier.

4. Nature superficielle de l'oubli

Même dans les cas où le modèle semble avoir réussi à oublier une tâche (produisant des sorties aléatoires), l'information n'est pas réellement supprimée. Des sondes linéaires entraînées sur les représentations cachées du modèle peuvent encore récupérer les étiquettes correctes de la tâche avec une précision élevée. Cela indique que l'ajustement fin sur des étiquettes aléatoires induit un oubli superficiel, censurant efficacement la sortie sans effacer la capacité sous-jacente des représentations du modèle.

5. Robustesse à travers les modèles et les méthodes

Les tendances observées se maintiennent à travers différentes architectures de modèles (Llama2, GPT-J, GPT-2) et différentes stratégies d'oubli (étiquettes aléatoires vs étiquettes inversées), suggérant qu'il s'agit de propriétés fondamentales de l'interaction entre l'ajustement fin et les structures de tâches plutôt que d'artefacts d'un modèle ou d'une méthode spécifique.

Signification et affirmations

L'article affirme mettre en lumière la difficulté et l'imprévisibilité de la suppression ciblée de compétences à partir de modèles de langage via les techniques standard d'ajustement fin.

Imprévisibilité : Les auteurs soulignent qu'on ne peut pas supposer qu'entraîner un modèle à oublier une compétence sur un jeu de données spécifique entraînera l'oubli de cette compétence sur de nouvelles instances similaires. Le comportement est régi par des variabilités inter-tâches complexes et structurées.
Suppression superficielle : L'étude remet en question l'efficacité de l'ajustement fin sur des étiquettes aléatoires en tant que véritable mécanisme d'« oubli ». Puisque les sondes linéaires peuvent récupérer les capacités oubliées, la méthode ne supprime pas l'information des représentations internes du modèle, ce qui soulève des inquiétudes quant à son utilité pour les applications de confidentialité ou de sécurité où une véritable suppression de données est requise.
Dépendance à la tâche : Les résultats suggèrent que le succès de l'oubli est intrinsèque à la nature de la tâche évaluée, plutôt qu'aux données d'entraînement spécifiques utilisées pour le processus d'oubli.

Les auteurs concluent que, bien que l'ajustement fin sur des étiquettes aléatoires soit une méthode simple et largement utilisée pour l'oubli, il produit des résultats très variables et souvent superficiels, soulignant la nécessité de recherches supplémentaires sur la relation entre les données d'entraînement pour l'oubli et la généralisation des prédictions du modèle.