💬 NLP

Unlearning What Matters: Token-Level Attribution for Precise Language Model Unlearning

Ce papier présente TokenUnlearn, un cadre d'attribution au niveau des tokens qui améliore l'oubli machine dans les grands modèles de langage en identifiant et en ciblant sélectivement les tokens critiques grâce à des signaux conscients des connaissances et de l'entropie, améliorant ainsi l'efficacité de l'oubli et la préservation de l'utilité par rapport aux méthodes traditionnelles au niveau des séquences.

Auteurs originaux : Jiawei Wu, DouDou Zhou

Publié 2026-05-04

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Jiawei Wu, DouDou Zhou

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Le Grand Problème : L'Approche « Terre Brûlée »

Imaginez que vous possédez une bibliothèque massive (un Grand Modèle de Langage) qui a lu des millions de livres. Soudain, on vous demande d'effacer la mémoire d'un livre spécifique et sensible de l'esprit du bibliothécaire.

Les méthodes actuelles pour y parvenir consistent à brûler toute la bibliothèque pour s'assurer qu'un seul livre a disparu. Elles disent à l'IA : « Oublie tout ce qui concerne ce sujet. » L'IA tente alors d'oublier la conversation ou la phrase entière où ce sujet apparaît.

Le problème ? Dans n'importe quelle phrase, seules quelques mots contiennent réellement l'information « secrète ». Le reste n'est que grammaire, ponctuation ou mots de remplissage (comme « le », « est » ou « et »). En tentant d'oublier la phrase entière, l'IA oublie accidentellement des choses utiles qu'elle n'aurait pas dû perdre, et elle laisse derrière elle un « bruit » désordonné où elle n'est pas tout à fait sûre de quoi oublier. C'est comme essayer de retirer une tache spécifique d'un vêtement en frottant tout le tissu jusqu'à ce qu'il s'effiloche.

La Solution : TokenUnlearn (L'Approche « Scalpel »)

Les auteurs proposent une nouvelle méthode appelée TokenUnlearn. Au lieu de frotter tout le vêtement, ils utilisent un scalpel pour retirer uniquement les mots spécifiques qui portent l'information secrète.

En termes d'IA, un « token » est simplement un morceau de mot (comme un morceau de puzzle). Le papier soutient que la connaissance n'est pas répartie uniformément dans une phrase ; elle est concentrée dans quelques « tokens critiques ».

Comment Cela Fonctionne : Le « Détective » et le « Compteur de Confusion »

Pour trouver ces mots critiques, le système utilise deux astuces ingénieuses :

Le Détective du Masquage (Signal Conscient des Connaissances) :
Imaginez que vous essayez de déterminer quel mot dans une phrase contient le secret. Vous prenez la phrase et vous cachez (masquez) les noms importants (comme des noms ou des dates).
- Exemple : Original : « Yevgeny Grimkov a publié neuf romans. »
- Masqué : « [MASQUE] [MASQUE] a publié neuf romans. »
- Si la prédiction de l'IA pour le mot suivant change considérablement lorsque vous cachez le nom « Yevgeny », ce mot est un « token critique ». Cela signifie que l'IA s'appuyait fortement sur ce mot spécifique pour connaître la réponse. Si la prédiction ne change pas beaucoup, ce mot n'était qu'un remplissage.
Le Compteur de Confusion (Signal Conscient de l'Entropie) :
Parfois, l'IA est incertaine d'une réponse parce qu'elle essaie de choisir entre plusieurs faits. Le système cherche les moments où l'IA est « confuse » (entropie élevée). Ces moments se produisent souvent juste lorsque l'IA accède à des connaissances spécifiques. Cela aide à repérer des mots que l'astuce du masquage aurait pu manquer.

Le système combine ces deux indices pour attribuer à chaque mot d'une phrase un « score d'importance ».

Les Deux Stratégies : La « Coupe Dure » et le « Variateur »

Une fois que le système sait quels mots sont importants, il utilise l'une des deux méthodes suivantes pour apprendre à l'IA à oublier :

Sélection Dure (La « Coupe Dure ») : L'IA est priée de seulement tenter d'oublier les 20 % des mots les plus importants. Elle ignore complètement le reste de la phrase. C'est comme retirer chirurgicalement uniquement la partie tachée du tissu.
Pondération Douce (Le « Variateur ») : L'IA est priée de tenter d'oublier tous les mots, mais elle augmente considérablement l'« effort d'oubli » pour les mots importants et le réduit pour les mots non importants. C'est comme ajuster le volume d'une radio ; les mots importants sont forts, le reste est silencieux.

Pourquoi C'est Mieux : Le Rapport « Signal-Bruit »

Le papier utilise un concept mathématique appelé Rapport Signal-Bruit.

Le Signal : L'instruction réelle d'oublier les mauvaises données.
Le Bruit : Les dommages accidentels aux bonnes données causés par la tentative d'oublier trop.

Les anciennes méthodes sont comme crier un chuchotement dans une pièce bondée ; le message se perd dans le bruit, et vous dérangez accidentellement tout le monde. TokenUnlearn est comme chuchoter directement à l'oreille de la personne que vous devez informer. En se concentrant uniquement sur les mots critiques, le « signal » d'oubli devient beaucoup plus fort, et le « bruit » (les dommages aux autres connaissances) devient beaucoup plus faible.

Les Résultats : Mieux Oublier, Mieux Se Souvenir

Les chercheurs ont testé cela sur trois modèles d'IA différents (petit, moyen et grand) en utilisant deux types de tests :

TOFU : Un test où l'IA devait oublier de faux noms d'auteurs.
WMDP : Un test de sécurité où l'IA devait oublier des informations dangereuses sur les armes et les cyberattaques.

Les conclusions étaient claires :

Meilleur Oubli : L'IA a oublié les informations ciblées beaucoup plus efficacement qu'auparavant.
Meilleure Rétention : L'IA a conservé ses connaissances générales et sa capacité à répondre à d'autres questions beaucoup mieux. Elle ne s'est pas globalement « rendue plus bête ».
Cohérence : Cela a bien fonctionné aussi bien sur les petits modèles que sur les grands modèles.

Résumé

Pensez à l'oubli machine comme à l'édition d'un film. Les anciennes méthodes consistaient à couper toute la scène où un personnage dit quelque chose que vous ne voulez pas, ce qui gâche le flux du film. TokenUnlearn est comme utiliser un éditeur numérique pour retirer uniquement la ligne de dialogue spécifique, laissant le reste de la scène (et du film) parfaitement intact. Cela rend l'IA plus sûre et plus conforme aux règles de confidentialité sans lui briser le cerveau.

1. Énoncé du problème

Les grands modèles de langage (LLM) mémorisent souvent des données sensibles, protégées par le droit d'auteur ou nuisibles, ce qui rend nécessaire l'apprentissage par effacement (machine unlearning) pour supprimer des connaissances spécifiques sans réentraîner le modèle depuis zéro.

Limitation actuelle : Les méthodes d'effacement existantes opèrent au niveau de la séquence, appliquant des mises à jour de gradient uniformes sur tous les tokens d'une séquence.
Le problème central : La connaissance n'est pas encodée de manière uniforme ; seule une sous-ensemble clairsemé de tokens (par exemple, des entités spécifiques, des dates, des faits) porte l'information ciblée, tandis que d'autres remplissent des rôles structurels ou contextuels.
Conséquences des mises à jour uniformes :
1. Bruit de gradient : La mise à jour de tokens non critiques introduit du bruit, dégradant le rapport signal-sur-bruit (SNR) du processus d'effacement.
2. Dégradation de l'utilité : Des mises à jour indiscriminées nuisent aux performances du modèle sur des connaissances non liées (dommages collatéraux).
3. Oubli sous-optimal : Le modèle échoue à éliminer efficacement la connaissance ciblée car le signal de gradient est dilué par des tokens non pertinents.

2. Méthodologie : TokenUnlearn

Les auteurs proposent TokenUnlearn, un cadre qui déplace l'effacement du niveau de la séquence vers le niveau du token en identifiant et en ciblant sélectivement les tokens « critiques pour la connaissance ».

A. Mécanisme d'attribution des tokens

Pour identifier quels tokens encodent la connaissance à oublier, le cadre calcule un score d'importance composite ( $\phi_i$ ) pour chaque token en utilisant deux signaux :

Attribution consciente de la connaissance (Masquage) :
- Mécanisme : Le modèle génère des prédictions sur l'entrée originale ( $z_{orig}$ ) et sur une entrée où les portions pertinentes pour la connaissance (spécifiquement les noms dans l'invite) sont masquées ( $z_{mask}$ ).
- Métrique : Le décalage absolu de la log-probabilité ( $\Delta^{unlearn}_i$ ) est calculé. Un grand décalage indique que la prédiction du token dépend fortement de la connaissance ciblée.
Signal complémentaire conscient de l'entropie :
- Mécanisme : Calcule l'entropie prédictive ( $H_i$ ) du token.
- Raison : Une entropie élevée peut indiquer des points de décision où le modèle est incertain concernant les continuations dépendantes de la connaissance (par exemple, choisir entre plusieurs faits plausibles).
- Combinaison : Le score final est une somme pondérée : $\phi_i = \alpha \cdot \bar{\Delta}^{unlearn}_i + (1-\alpha) \cdot \bar{H}_i$ .

B. Stratégies d'optimisation sélective des tokens

Une fois les scores d'importance générés, le cadre applique des objectifs d'effacement uniquement aux tokens à haute importance en utilisant deux stratégies :

Sélection stricte (Hard Selection) :
- Sélectionne la fraction des $r$ premiers tokens (par exemple, les 20 % supérieurs) basée sur $\phi_i$ .
- Applique la perte d'effacement exclusivement à ces tokens ; les autres tokens reçoivent des mises à jour de gradient nulles.
** pondération douce (Soft Weighting) :**
- Module la contribution du gradient de chaque token en fonction d'un score d'importance normalisé (en utilisant un softmax avec une température $\tau$ ).
- Permet une interpolation fluide entre les mises à jour uniformes et les mises à jour entièrement sélectives.

C. Intégration avec les méthodes existantes

Le cadre est agnostique au modèle et s'intègre aux objectifs d'effacement standard basés sur le gradient, notamment :

Ascension du gradient (Gradient Ascent - GA)
Ascension du gradient pondéré (Weighted Gradient Ascent - WGA)
Optimisation de préférence négative (Negative Preference Optimization - NPO)
Effacement par désorientation de représentation (Representation Misdirection Unlearning - RMU)
Rétention : Toutes les méthodes sont combinées avec une régularisation par divergence KL sur l'« ensemble de rétention » pour préserver les capacités générales.

3. Analyse théorique

L'article fournit une justification théorique expliquant pourquoi la sélection au niveau du token améliore l'effacement :

Rapport signal-sur-bruit (SNR) : Les auteurs modélisent l'effacement comme un mouvement le long d'un sous-espace de paramètres de basse dimension ( $U$ ).
Réduction du bruit : Les mises à jour uniformes accumulent du bruit provenant de tous les $T$ tokens. La sélection au niveau du token concentre le poids du gradient sur le sous-ensemble $K$ de tokens critiques pour la connaissance.
Résultat : Le SNR de l'estimateur de gradient s'améliore proportionnellement à l'inverse du ratio de sélection ( $T/|K|$ ). En supprimant les mises à jour sur les tokens non critiques, la méthode réduit le bruit de gradient et préserve mieux les connaissances non liées.

4. Résultats expérimentaux

Les auteurs ont évalué TokenUnlearn sur deux benchmarks à travers trois architectures de modèles (Phi-1.5, Llama-2-7B, Qwen-3-8B).

Benchmarks

TOFU (Task of Fictitious Unlearning) : Effacement de connaissances fines (suppression de faits concernant des auteurs fictifs).
WMDP (Weapons of Mass Destruction Proxy) : Alignement de sécurité (suppression de connaissances dangereuses en bio/sécurité informatique).

Principales découvertes

Oubli supérieur : Les variantes au niveau du token (T-* et S-*) ont systématiquement surpassé les bases de référence au niveau de la séquence en termes d'efficacité d'oubli (précision plus faible sur les ensembles d'oubli).
- Exemple : Sur TOFU avec Qwen-3-8B, T-WGA a considérablement amélioré l'efficacité d'oubli par rapport au WGA standard.
Meilleure préservation de l'utilité : Les méthodes au niveau du token ont maintenu une utilité de modèle plus élevée (scores de rétention) sur les données non ciblées.
- Exemple : Sur Qwen-3-8B, le score de rétention s'est amélioré jusqu'à 19,0 % par rapport aux bases de référence au niveau de la séquence tout en obtenant un meilleur oubli.
Généralisabilité : L'approche a fonctionné de manière cohérente à travers différentes tailles et architectures de modèles.
Études d'ablation :
- Ratio de sélection ( $r$ ) : Un ratio de 20 % (les 20 % supérieurs des tokens) a offert le compromis optimal entre oubli et rétention.
- Poids de l'entropie : La combinaison des signaux d'entropie (poids d'environ 30 %) a apporté des avantages complémentaires, capturant des points de décision incertains que le masquage seul pourrait manquer.

5. Contributions clés

Cadre d'attribution au niveau du token : Introduction d'une méthode fondée sur des principes pour identifier les tokens critiques pour la connaissance en utilisant le masquage contrefactuel et les signaux d'entropie, sans nécessiter de modèles auxiliaires.
Stratégies d'effacement sélectif : Proposition de stratégies de « Sélection stricte » et de « Pondération douce » qui étendent les algorithmes d'effacement existants pour opérer au niveau du token.
Insight théorique : Démonstration que les mises à jour sélectives au niveau du token améliorent le SNR du gradient, expliquant pourquoi les mises à jour uniformes échouent à optimiser les objectifs duaux d'oubli et de rétention.
Validation empirique : Démonstration d'améliorations cohérentes sur trois modèles et deux benchmarks distincts (connaissance et sécurité), atteignant jusqu'à 32,6 % d'amélioration de l'oubli et 19,0 % d'amélioration de la préservation de l'utilité.

6. Importance et impact

Vie privée et réglementation : Permet une conformité plus précise au « droit à l'oubli » (RGPD/CCPA) en supprimant des traces de données spécifiques sans dégrader l'utilité générale du modèle.
Sécurité : Offre un mécanisme plus efficace pour supprimer des capacités dangereuses (par exemple, menaces de biosécurité) des modèles pré-entraînés.
Efficacité : Remet en question l'hypothèse selon laquelle l'effacement nécessite des mises à jour de séquence uniformes, suggérant que la connaissance dans les LLM est clairsemée et peut être ciblée avec précision.
Limitations : La méthode introduit une surcharge computationnelle due au passage avant supplémentaire pour le masquage. Il s'agit d'une méthode approximative et ne garantit pas une suppression à 100 % des traces de connaissance (des traces résiduelles peuvent subsister).

En conclusion, TokenUnlearn représente un changement de paradigme dans l'apprentissage par effacement, passant de mises à jour de séquence grossières à une attribution fine au niveau du token, résolvant ainsi la tension fondamentale entre un oubli efficace et la préservation de l'utilité.