💬 NLP

Learning What to Forget: Improving LLM Unlearning via Learned Token-Level Importance

Cet article introduit l'Alternating Token-Weighted Unlearning (ATWU), un cadre léger qui améliore l'oubli machine dans les grands modèles de langage en apprenant conjointement l'importance au niveau des jetons à travers le conflit entre les objectifs d'oubli et de rétention, atteignant ainsi des performances de pointe sans nécessiter de supervision externe ou de modèles auxiliaires.

Auteurs originaux : Gizem Yüce, Giorgos Nikolaou, Nicolas Flammarion

Publié 2026-06-05

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Gizem Yüce, Giorgos Nikolaou, Nicolas Flammarion

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Le gros problème : La « gomme » qui tache toute la page

Imaginez que vous possédez une immense bibliothèque incroyablement intelligente (un Grand Modèle de Langage ou LLM) qui a lu presque tout ce qui existe sur Internet. Un jour, vous réalisez qu'elle a mémorisé l'entrée d'un journal intime spécifique qui appartient à quelqu'un d'autre, et vous devez le supprimer immédiatement.

Le problème est que la bibliothèque est si vaste que vous ne pouvez pas simplement arracher la page spécifique où le journal a été écrit. Si vous essayez de faire « oublier » cette histoire spécifique en réentraînant toute la bibliothèque sans elle, vous risquez d'effacer accidentellement d'autres choses utiles, comme la manière d'écrire un e-mail poli ou de résoudre un problème de mathématiques.

Les méthodes actuelles d'« oubli » sont comme l'utilisation d'une gomme géante et grossière. Elles tentent d'effacer toute la phrase ou le paragraphe contenant le secret. Mais souvent, elles effacent la grammaire, la ponctuation et les mots communs (comme « le », « la » ou « et ») en même temps que le secret. Cela laisse le style d'écriture de la bibliothèque brisé et maladroit.

L'idée centrale : Un scalpel chirurgical intelligent

Les auteurs de cet article proposent une nouvelle façon de concevoir l'oubli. Ils ont réalisé que chaque mot dans une phrase secrète n'est pas également important pour le secret.

La partie secrète : Le nom, la date ou le fait spécifique que vous voulez supprimer (ex. : « Hina Ameen »).
La partie structurelle : Les mots ennuyeux mais nécessaires qui maintiennent la phrase ensemble (ex. : « L'auteur est... »).

Si vous essayez de faire oublier le mot « Le » au modèle, vous ne supprimez pas le secret ; vous cassez simplement la grammaire. Le modèle doit continuer à savoir utiliser le mot « Le ».

La solution : L'ATWU (Alternating Token-Weighted Unlearning)

L'article présente une méthode appelée ATWU. Voyez cela comme le fait de donner à la bibliothèque un scalpel chirurgical intelligent au lieu d'une gomme grossière.

Voici comment cela fonctionne, étape par étape :

Le test de conflit : Les auteurs ont réalisé que la meilleure façon de déterminer quels mots effacer est de voir quelle « douleur » l'oubli de ces mots inflige à la bibliothèque.
- Si la bibliothèque essaie d'oublier le mot « Hina » (le secret), cela n'affecte pas sa capacité à écrire de bonnes phrases.
- Si la bibliothèque essaie d'oublier le mot « Le », elle commence à écrire des choses incohérentes.
- L'intuition : Si oublier un mot ne nuit pas aux compétences générales de la bibliothèque, ce mot est un bon candidat pour la suppression. Si cela nuit aux compétences, on le garde.
Le « marqueur de score » (Le scoreur linéaire) :
- Au lieu d'engager un humain pour lire chaque phrase et entourer les mots à supprimer (ce qui est lent et coûteux), les auteurs ont construit un minuscule et simple « marqueur de score » à l'intérieur du modèle.
- Ce marqueur de score observe le « cerveau » du modèle (les états cachés) et attribue un score à chaque mot.
- Score élevé : « Ce mot est le secret ; nous devons l'effacer. »
- Score faible : « Ce mot n'est que de la grammaire ; laissez-le tranquille. »
La danse (Optimisation alternée) :
- Le modèle et le marqueur de score se relaient pour apprendre.
- D'abord, le marqueur de score décide quels mots sont importants à oublier.
- Ensuite, le modèle essaie d'oublier ces mots spécifiques tout en préservant ses autres compétences.
- Puis, le marqueur de score observe comment le modèle a changé et met à jour ses scores pour être encore plus précis.
- Ils continuent de danser ainsi jusqu'à ce que le modèle apprenne exactement ce qu'il doit oublier sans rien casser d'autre.

Pourquoi est-ce meilleur (Les résultats)

Les auteurs ont testé cette méthode sur deux « bibliothèques » (jeux de données) et ont constaté que l'ATWU est bien meilleur que les méthodes précédentes :

Précision : Il a réussi à supprimer les secrets spécifiques (comme le nom « Hina Ameen ») tout en préservant la capacité du modèle à écrire des textes normaux et de haute qualité.
Pas d'aide supplémentaire requise : Contra à d'autres méthodes qui nécessitent une seconde IA distincte pour aider à identifier ce qu'il faut supprimer, l'ATWU le comprend tout seul en utilisant les propres signaux internes du modèle.
Meilleur équilibre : Il atteint un meilleur compromis : il oublie le « mauvais » contenu plus efficacement tout en conservant le « bon » contenu mieux que toutes les autres méthodes testées.

La « magie » de la métaphore

Imaginez que vous essayez de retirer une tache spécifique d'une chemise blanche.

Anciennes méthodes : Vous frottez toute la chemise avec de l'eau de Javel. La tache a disparu, mais la chemise est maintenant jaunie et ruinée.
ATWU : Vous utilisez un laser qui cible uniquement la couleur de la tache. Il brûle la tache parfaitement, laissant le tissu blanc de la chemise totalement intact.

Résumé des affirmations

L'article affirme qu'en traitant « l'oubli » comme un problème conjoint où le modèle apprend simultanément quoi oublier et comment l'oublier, nous pouvons obtenir un « désapprentissage machine » qui est :

Non supervisé : Il n'a pas besoin d'humains pour étiqueter quels mots supprimer.
Efficace : Il utilise un mécanisme très simple et léger (un scoreur linéaire) pour accomplir la tâche.
Efficace (en termes de résultat) : Il crée une séparation beaucoup plus nette entre l'information « secrète » et la « connaissance générale » que le modèle doit conserver.

Les auteurs concluent que cette approche prouve que nous n'avons pas besoin d'outils externes ou d'annotations coûteuses pour enseigner à un modèle ce qu'il doit oublier ; le conflit interne du modèle entre « se souvenir du secret » et « garder ses compétences » fournit tous les indices nécessaires.

Résumé technique : Apprendre ce qu'il faut oublier : Améliorer l'oubli des LLM via l'importance apprise au niveau du jeton

Énoncé du problème
L'oubli de connaissances (machine unlearning) vise à supprimer des connaissances ciblées (par exemple, des données personnelles, des textes protégés par le droit d'auteur, des contenus nuisibles) de modèles de langage à grande échelle (LLM) entraînés, sans repartir d'un réentraînement complet. Un défi critique pour les LLM autorégressifs est que tous les jetons (tokens) au sein d'un « échantillon à oublier » (la donnée à supprimer) ne sont pas également pertinents pour l'information ciblée. De nombreux jetons sont structurels (par exemple, mots de liaison, ponctuation, motifs syntaxiques) et sont nécessaires aux capacités linguistiques générales. Les approches existantes d'oubli pondéré par jeton tentent d'appliquer sélectivement la perte d'oubli à des jetons spécifiques, mais elles dépendent d'annotations externes, de modèles auxiliaires, d'heuristiques basées sur les probabilités ou de règles spécifiques à une tâche pour estimer la pertinence des jetons. Ces méthodes échouent souvent à distinguer efficacement le contenu spécifique à l'oubli des jetons structurels, entraînant soit un oubli insuffisant, soit une dégradation inutile de l'utilité générale.

Méthodologie : Alternating Token-Weighted Unlearning (ATWU)
Les auteurs proposent que la spécificité de l'oubli au niveau du jeton puisse être caractérisée par l'interaction entre les objectifs de rétention et d'oubli eux-mêmes, plutôt que par des signaux externes. Ils formalisent cela comme un problème d'optimisation conjointe sur les paramètres du modèle ( $\theta$ ) et les poids des jetons ( $z$ ).

Formulation théorique : L'article définit une métrique de « conflit de rétention », $\kappa(A)$ , qui mesure le coût de la suppression d'un ensemble de jetons $A$ tout en maintenant l'optimalité sur l'ensemble de rétention. Sous une hypothèse de « séparation de conflit de rétention », les auteurs prouvent que l'ensemble oracle des jetons spécifiques à l'oubli peut être récupéré comme le minimiseur d'un objectif conjoint qui équilibre la perte de rétention et une perte d'oubli pondérée. Ce résultat théorique suggère que les poids des jetons peuvent être appris directement à partir de l'objectif d'oubli sans supervision externe.
Algorithme (ATWU) : Pour rendre cela traitable, les auteurs introduisent l'Alternating Token-Weighted Unlearning (ATW).
- Scorer : Au lieu d'apprendre des poids indépendants pour chaque jeton, l'ATW utilise un scoreur linéaire léger, $g_w$ , paramétré par un vecteur $w$ dans l'espace des états cachés du modèle. Le score d'un jeton est $\hat{z}_{x,t} = \sigma(\langle w, h_\theta(x_t) \rangle)$ , où $h_\theta$ est la représentation cachée.
- Optimisation conjointe : Le cadre optimise un objectif relaxé et continu qui inclut la perte de rétention, une perte d'entropie négative saturée (SATGA+) pour l'oubli, un régularisateur d'entropie pour pousser les scores vers des valeurs binaires, et une contrainte de budget pour contrôler le nombre de jetons sélectionnés.
- Mises à jour alternées : Les paramètres du modèle $\theta$ et les paramètres du scoreur $w$ sont mis à jour de manière alternée. Lors de la mise à jour de $\theta$ , les scores sont détachés ; lors de la mise à jour de $w$ , $\theta$ est gelé. Cela stabilise l'entraînement en découplant la boucle de rétroaction entre la géométrie changeante du modèle et la sélection des jetons.

Contributions clés

Caractérisation du conflit de rétention : L'article fournit une caractérisation théorique de la spécificité de l'oubli au niveau du jeton basée sur la tension entre les objectifs d'oubli et de rétention, prouvant qu'une optimisation conjointe peut récupérer le support oracle de l'oubli sous des conditions de séparation naturelles.
Apprentissage non supervisé des poids de jetons : L'ATW est un cadre léger qui apprend la spécificité de l'oubli des jetons conjointement avec les paramètres du modèle en utilisant uniquement les représentations internes du modèle. Il ne nécessite aucune supervision externe au niveau du jeton, aucun modèle auxiliaire, ni d'annotations coûteuses.
Intégration adaptative de la perte : La méthode introduit SATGA+, une variante du score modulé par le score de l'entropie négative saturée où le score de jeton appris est injecté dans l'exposant de saturation. Cela permet des mises à jour plus fluides et conscientes de l'incertitude durant les phases initiales d'optimisation.

Résultats
Les auteurs évaluent l'ATW sur deux benchmarks : TOFU (biographies fictives d'auteurs synthétiques) et RWKU (connaissances sur des personnalités publiques réelles).

Performance : L'ATW atteint l'état de l'art en matière de Qualité d'Oubli (UQ), une métrique équilibrant la qualité de l'oubli (FQ) et la dégradation de la rétention (RD). Sur TOFU, il atteint une UQ de 91,7 (dépassant le second avec 5,8 points de pourcentage), et sur RWKU, 58,7 (dépassant le second de 6,8 points de pourcentage).
Préservation de l'utilité : Contra| aux méthodes d'oubli agressives qui provoquent l'effondrement de la qualité de génération, l'ATW préserve l'utilité générale (mesurée par MMLU, la répétitivité et les taux de victoire par paires) proche du checkpoint original.
Qualité du score des jetons : Les scores de jetons appris s'alignent de manière nettement plus efficace avec les segments de vérité terrain spécifiques à l'oubli (mesuré par l'AUROC) par rapport aux heuristiques basées sur les probabilités, aux approches de modèles auxiliaires et aux autres bases de pondération de jetons.
Polyvalence : Le cadre est agnostique à la perte ; lorsqu'il est combiné avec d'autres pertes d'oubli (DPO, NPO, SIMNPO), l'ATW améliore systématiquement le compromis oubli-rétention par rapport à leurs homologues non pondérés.

Signification et affirmations
L'article affirme que le « conflit de rétention » fournit un critère intrinsèque et efficace pour identifier ce que les modèles de langage doivent oublier. En déplaçant l'oubli pondéré par jeton d'un pipeline d'heuristiques externes vers un problème d'optimisation conjointe de bout en bout, l'ATW démontre que :

L'objectif d'oubli lui-même contient un signal latent suffisant pour récupérer les jetons spécifiques à l'oubli sans supervision externe.
Le goulot d'étranglement de l'oubli sélectif n'est pas seulement de trouver les bons jetons, mais la conception conjointe et rigoureuse du mécanisme de scoring et de l'objectif d'oubli.
Un oubli hautement ciblé, évolutif et respectueux de la vie privée est réalisable sans dépendre d'annotations externes, qui introduisent souvent des risques de confidentialité et des problèmes d'évolutivité.

Les auteurs notent des limites, notamment la dépendance à un hyperparamètre pour le budget de sélection des jetons, et l'hypothèse d'une séparation stricte entre les jetons spécifiques à l'oubli et les jetons structurels, qui peut ne tenir que approximativement dans le langage naturel. De plus, les évaluations sont actuellement limitées à des benchmarks spécifiques et à des exécutions uniques en raison des coûts de calcul.