🤖 machine learning

Distinguishable Deletion: Unifying Knowledge Erasure and Refusal for Large Language Model Unlearning

Ce papier propose Distinguishable Deletion ( $\mathrm{D^2}$ ), un paradigme unifié mis en œuvre via l'Alignement d'Oubli basé sur l'Énergie (EUA) qui efface efficacement les connaissances indésirables et assure un refus sûr en manipulant les distributions de réponses dans l'espace latent plutôt qu'en supprimant des tokens spécifiques, surmontant ainsi les limites des méthodes existantes de suppression de connaissances et de refus distinguable.

Auteurs originaux : Puning Yang, Junchi Yu, Qizhou Wang, Philip Torr, Bo Han, Xiuying Chen

Publié 2026-05-19

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Puning Yang, Junchi Yu, Qizhou Wang, Philip Torr, Bo Han, Xiuying Chen

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez un Grand Modèle de Langage (LLM) comme un bibliothécaire super-obsessionnel. Ce bibliothécaire a lu tous les livres du monde et peut répondre à presque n'importe quelle question. Cependant, parfois ce bibliothécaire a mémorisé des informations sensibles, privées ou nuisibles (comme l'anniversaire secret d'une célébrité ou des instructions sur la construction d'un dispositif dangereux) qu'il ne devrait pas avoir le droit de partager.

L'objectif de cet article est d'enseigner à ce bibliothécaire comment vraiment oublier ces informations spécifiques sans ruiner sa capacité à répondre à tout le reste, et sans qu'il se contente de « faire semblant » d'oublier.

Les auteurs, Puning Yang et ses collègues, soutiennent que les méthodes actuelles pour faire « désapprendre » des choses à l'IA sont défaillantes de deux manières spécifiques. Ils proposent une nouvelle solution appelée Suppression Distinguable (D2), alimentée par une méthode qu'ils nomment Alignement de Désapprentissage basé sur l'Énergie (EUA).

Voici la décomposition utilisant des analogies simples :

Les Deux Façons Défaillantes de « Oublier »

Actuellement, les chercheurs tentent de faire oublier à l'IA de deux manières, et les deux présentent des défauts majeurs :

La Méthode du « Stylo Rouge » (Suppression des Connaissances) :
- Fonctionnement : Imaginez que le bibliothécaire se voit dire : « Si quelqu'un demande l'anniversaire de 'Basil Mahfouz Al-Kuwaiti', vous ne devez jamais donner la date. » Le bibliothécaire tente d'effacer les mots spécifiques « 09/05/1997 » de son cerveau.
- Le Problème : Le cerveau du bibliothécaire est un réseau emmêlé de connexions. Si vous tentez de retirer chirurgicalement uniquement ces mots, vous risquez d'arracher accidentellement toute la page ou même tout le livre. Le bibliothécaire pourrait commencer à bégayer, à dire des absurdités ou à halluciner (inventer de fausses dates) car il est confus. Il n'a pas vraiment oublié le concept ; il a simplement brisé sa capacité à en parler.
- Affirmation de l'article : Cela conduit à une « suppression biaisée » et à des sorties instables et incompréhensibles.
La Méthode du « Garde de Sécurité » (Refus Distinguable) :
- Fonctionnement : Le bibliothécaire conserve tous les livres exactement tels quels (afin de pouvoir toujours répondre parfaitement aux autres questions). À la place, il engage un garde de sécurité à l'entrée. Si le garde entend le nom « Basil », il empêche le bibliothécaire de répondre et dit : « Je ne peux pas parler de cela. »
- Le Problème : Le bibliothécaire sait toujours le secret. Si un tricheur astucieux (une « attaque adversaire ») chuchote un mot de code ou pose la question d'une manière étrange, le garde se confond, et le bibliothécaire révèle le secret de toute façon.
- Affirmation de l'article : C'est fragile. La connaissance est toujours là, attendant d'être extorquée par la ruse.

La Nouvelle Solution : Suppression Distinguable (D2)

Les auteurs proposent une troisième voie. Au lieu d'effacer des mots spécifiques ou d'engager un garde, ils souhaitent modifier l'« ambiance » interne ou la confiance du bibliothécaire concernant ce sujet spécifique.

Ils introduisent un concept appelé l'« Indice d'Énergie ».

L'Analogie : Considérez l'« Énergie » comme un mètre de confiance.
- Lorsque le bibliothécaire connaît un fait (comme « Paris est en France »), le mètre de confiance est bas (en termes physiques, une énergie faible signifie un état stable et confortable). Il est très sûr de lui.
- Lorsque le bibliothécaire ne connaît pas quelque chose, le mètre de confiance est élevé (une énergie élevée signifie un état chaotique et instable). Il se sent incertain et aléatoire.

L'Objectif : Les auteurs souhaitent entraîner le bibliothécaire afin que, lorsqu'on lui demande l'anniversaire secret, son « mètre de confiance » interne s'emballe vers une Haute Énergie (chaos/incertitude). Cela signale au système : « Je n'ai pas de réponse structurée et confiante pour cela. »

Comment Ils Procèdent : Alignement de Désapprentissage basé sur l'Énergie (EUA)

Pour y parvenir, ils utilisent un processus en deux étapes :

Entraîner l'« Ambiance » (Phase d'Apprentissage) :
Ils ne se contentent pas de dire au modèle « ne dis pas la date ». Ils enseignent au modèle à reconnaître que les questions sur le sujet secret devraient sembler « inconfortables » ou « incertaines » en interne.
- Ils créent une Marge d'Auto-Préférence. Imaginez que le bibliothécaire possède une « zone de confort » naturelle pour ce qu'il connaît. Le système calcule automatiquement où se situe la frontière entre les « connaissances confortables » et les « inconnues inconfortables » en se basant sur les tendances naturelles du modèle.
- Ils forcent le modèle à pousser les questions « secrètes » vers la zone « inconfortable ».
Le Mécanisme de Refus (Phase d'Action) :
Une fois le modèle entraîné, il possède une frontière claire.
- Question Normale : « Quelle est la capitale de la France ? » -> Le modèle ressent une Faible Énergie (Confortable) -> Il répond avec confiance.
- Question Secrète : « Quel est l'anniversaire de Basil ? » -> Le modèle ressent une Haute Énergie (Inconfortable/Chaotique) -> Le système détecte ce pic et déclenche un refus poli : « Je ne peux pas répondre à cela en raison de restrictions de confidentialité. »

Pourquoi C'est Mieux (Les Résultats)

L'article affirme que cette nouvelle méthode est supérieure car :

C'est un Vrai Oubli : Contrairement à la méthode du « Garde de Sécurité », la connaissance est réellement perturbée. Le modèle ne se contente pas de cacher la réponse ; il perd la structure interne confiante qui lui permettait de générer la réponse.
C'est Stable : Contrairement à la méthode du « Stylo Rouge », le modèle ne se met pas à parler n'importe quoi. Il sait dire « Je ne sais pas » poliment et de manière cohérente.
C'est Robuste : Même si quelqu'un tente de tromper le modèle avec des prompts de contournement (façons étranges de poser la question), l'alarme interne de « Haute Énergie » du modèle se déclenche toujours, et il refuse de répondre.

Résumé

L'article présente un moyen de faire oublier à l'IA des informations sensibles en modifiant sa confiance interne plutôt qu'en supprimant simplement des mots ou en ajoutant un garde.

Ancienne Méthode : « Ne dis pas le mot 'Anniversaire' ! » (Provoque des bégaiements et la rupture de l'IA).
Ancienne Méthode 2 : « Si tu entends 'Anniversaire', arrête de parler ! » (L'IA sait toujours le secret et peut être trompée).
Nouvelle Méthode (D2) : « Quand tu penses à 'Anniversaire', ressens l'incertitude et le chaos. » (L'IA refuse naturellement de répondre car elle a l'impression de ne pas savoir, et ce de manière sûre et cohérente).

Les auteurs ont testé cela sur divers modèles (comme LLaMA et Qwen) et ont constaté que cela fonctionne beaucoup mieux pour éliminer les connaissances nuisibles tout en maintenant l'IA intelligente et utile pour tout le reste.

Résumé technique : Suppression Distinguable (D2)

1. Énoncé du problème

Les grands modèles de langage (LLM) ont tendance à mémoriser et à reproduire des informations sensibles, privées ou nuisibles, soulevant des préoccupations majeures en matière de vie privée, d'équité et de sécurité. Bien que l'oubli (unlearning) des LLM vise à supprimer sélectivement ces connaissances indésirables sans réentraînement complet, les approches existantes souffrent de limitations fondamentales dans deux paradigmes dominants :

Suppression des connaissances (KD) : Des méthodes telles que la descente de gradient ascendant (Gradient Ascent, GA) et ses variantes (par exemple DPO, NPO, WGA) tentent d'effacer les connaissances en modifiant directement les paramètres du modèle pour supprimer des séquences de tokens cibles spécifiques. Cependant, comme les représentations des connaissances dans les LLM sont intrinsèquement imbriquées, la suppression de tokens spécifiques conduit souvent à une suppression biaisée. Cela se traduit par des comportements instables, notamment un oubli catastrophique des connaissances conservées, un oubli erroné (où le modèle oublie mais hallucine des faits incorrects) et la génération de charabia.
Refus distinguable (DR) : Des méthodes qui maintiennent les paramètres fixes et s'appuient sur l'ingénierie de prompts ou des détecteurs auxiliaires pour refuser les entrées sensibles. Bien qu'elles maintiennent de hautes performances de rétention et des réponses cohérentes, elles sont fragiles. Puisque les connaissances sous-jacentes restent intactes au sein du modèle, elles peuvent réémerger via des attaques adverses ou des prompts de contournement (jailbreaking).

Le défi central consiste à atteindre un paradigme qui assure la suppression complète des connaissances sous-jacentes (comme KD) tout en maintenant des comportements de refus cohérents et sûrs (comme DR), sans céder aux vulnérabilités adverses.

2. Méthodologie : Suppression Distinguable (D2) et EUA

Les auteurs proposent la Suppression Distinguable (D2), un nouveau paradigme qui déplace l'objectif d'oubli de la suppression de tokens spécifiques au niveau des étiquettes vers une caractérisation au niveau de la distribution de la présence des connaissances. Pour mettre cela en œuvre, ils introduisent le cadre d'Alignement d'Oubli basé sur l'Énergie (EUA).

2.1. L'indice d'énergie

La fondation de D2 est un indice d'énergie dérivé des modèles basés sur l'énergie (Energy-Based Models, EBM). Au lieu de se concentrer sur la probabilité de tokens spécifiques, la méthode quantifie la « présence » des connaissances via l'énergie libre de la distribution de sortie du modèle.

Fondement théorique : Pour une entrée donnée, une réponse avec une faible énergie libre indique que le modèle possède une réponse structurée et confiante (les connaissances sont présentes). À l'inverse, une énergie libre élevée suggère que le modèle ne possède pas la réponse et génère des mots de manière aléatoire.
Efficacité : Contrairement aux estimateurs basés sur l'échantillonnage, l'indice d'énergie est calculé efficacement en une seule passe avant (forward pass) et à l'aide des logits du modèle, définis comme $E_\theta(v | x, y_{<i}) = -z_\theta(v | x, y_{<i})$ .
Observation : L'analyse empirique montre que les méthodes existantes basées sur KD échouent souvent à créer une séparation claire dans l'espace d'énergie entre le contenu oublié et le contenu conservé, conduisant à des états de connaissances internes incohérents.

2.2. Alignement d'Oubli basé sur l'Énergie (EUA)

EUA est un cadre unifié conçu pour imposer une séparation claire dans l'espace d'énergie entre le contenu oublié et le contenu conservé.

Objectif d'apprentissage : L'objectif d'entraînement combine la perte d'entropie croisée standard pour la rétention avec un terme de régularisation ( $L_{energy}$ $L_{e n er g y}$ ) qui impose des limites d'énergie.
- Pour les échantillons oubliés, le modèle est pénalisé si l'énergie est inférieure à une marge spécifique ( $m_u$ ), forçant l'énergie vers le haut (indiquant l'absence de connaissances).
- Pour les échantillons conservés, le modèle est pénalisé si l'énergie est supérieure à une marge ( $m_r$ ), maintenant l'énergie basse (indiquant la présence de connaissances).
Marges d'énergie d'auto-préférence : Pour éviter l'instabilité des hyperparamètres ajustés manuellement, EUA introduit des marges d'auto-préférence. Celles-ci sont dérivées de la propre distribution des logits du modèle pré-entraîné. En triant les logits et en les divisant en régions supérieure (50 % préférés) et inférieure (50 % découragés), la méthode construit des limites d'énergie ( $m_u, m_r$ ) intrinsèquement alignées avec la géométrie des caractéristiques internes du modèle. Cela assure une optimisation plus fluide et empêche les changements brusques d'énergie.
Mécanisme de refus au moment de l'inférence : Après l'entraînement, le modèle présente une séparation distincte dans les distributions d'énergie. Lors de l'inférence, le système calcule une énergie libre par échantillon (en utilisant une agrégation Top-k des énergies au niveau des tokens pour assurer l'invariance de longueur). Si l'énergie dépasse un seuil appris ( $\tau_{energy}$ ), le système déclenche un mécanisme de refus, remplaçant la sortie par une alternative cohérente et sûre (par exemple : « Je ne peux pas discuter de cela en raison de restrictions de confidentialité/droit d'auteur ») plutôt que de générer du charabia ou des faits hallucinés.

3. Contributions clés

Paradigme de Suppression Distinguable (D2) : L'article reformule l'oubli comme une contrainte au niveau de la distribution sur la présence des connaissances plutôt que comme une suppression au niveau des tokens. Cette approche distingue naturellement le contenu oublié des connaissances conservées, permettant des mécanismes de refus fiables.
Indice d'énergie : Les auteurs proposent une mesure théoriquement fondée et empiriquement validée pour la présence des connaissances basée sur les représentations latentes. Ils démontrent que l'énergie reflète avec précision la capacité du modèle à fournir des réponses structurées par rapport à une génération aléatoire.
Alignement d'Oubli basé sur l'Énergie (EUA) : Un cadre unifié qui impose une séparation basée sur l'énergie pendant l'entraînement et utilise un seuil basé sur l'énergie pour le refus lors de l'inférence. Cette méthode traite l'instabilité de KD et la fragilité de DR.

4. Résultats expérimentaux

Les auteurs évaluent EUA sur trois benchmarks : TOFU (auteurs fictifs), WMDP (sécurité biologique/cyber) et MUSE (connaissances verbales et factuelles). Ils comparent avec des méthodes KD de pointe (GradDiff, DPO, NPO, SatImp, etc.) et des méthodes DR (ICUL, Guardnail, etc.) sur diverses familles de modèles (LLaMA-2/3, Qwen-2.5, Zephyr).

Performance par rapport aux méthodes KD : EUA surpasse constamment les méthodes existantes basées sur KD. Sur TOFU, il réalise des gains significatifs en Qualité d'Effacement (EQ), Qualité de Rétention (RQ) et Qualité Linguistique (LQ). Par exemple, sur LLaMA-3.2-3B (Oublier 10 %), EUA atteint un score agrégé de 8,665, nettement supérieur à la meilleure méthode suivante (SatImp à 6,484). Crucialement, EUA élimine les problèmes de charabia et d'hallucination courants dans les méthodes KD.
Performance par rapport aux méthodes DR : Bien que les méthodes DR maintiennent une bonne rétention, elles échouent sous les attaques adverses. EUA démontre une précision de détection de 100 % et maintient une haute qualité linguistique même après des attaques de contournement (jailbreaking), tandis que les méthodes basées sur DR subissent une dégradation substantielle tant dans la détection que dans la qualité des réponses.
Robustesse : EUA montre une forte robustesse dans les scénarios d'attaques multilingues, de réapprentissage et de contournement (jailbreaking), maintenant des performances stables là où d'autres méthodes se dégradent.
Études d'ablation : L'étude confirme que la marge d'énergie d'auto-préférence est critique ; des marges définies manuellement conduisent à des performances instables. La méthode est également robuste aux variations du paramètre Top-k utilisé pour le calcul de l'énergie.

5. Signification et revendications

L'article revendique que D2 et EUA représentent un paradigme d'oubli supérieur en unifiant les objectifs d'effacement des connaissances et de refus sûr.

Résolution des compromis : La méthode atteint un équilibre plus favorable et optimal au sens de Pareto entre l'oubli des connaissances ciblées et la préservation de l'utilité générale du modèle, évitant l'« oubli catastrophique » ou l'« oubli erroné » observés dans KD.
Robustesse : En modifiant fondamentalement l'état des connaissances (via la séparation d'énergie) plutôt que de simplement le masquer, EUA fournit une défense robuste face aux stratégies adverses évolutives, contrairement aux méthodes DR qui reposent sur des connaissances statiques pouvant être réextraites.
Cohérence : L'approche garantit que lorsque le modèle refuse de répondre, il le fait avec des réponses cohérentes et conscientes du contexte plutôt qu'avec du charabia, maintenant ainsi l'utilisabilité du modèle.

Les auteurs concluent que leur approche offre une solution principielle, stable et généralisable pour l'oubli des LLM, dépassant les limites des contraintes de tokens spécifiques pour traiter la nature intrinsèquement imbriquée des connaissances dans les grands modèles.