🤖 machine learning

Concept Unlearning via Cross-Attention Activation Projection for Diffusion Models

L'article propose PURE, une méthode d'oubli de concepts sous forme fermée qui projette les poids de clé et de valeur de l'attention croisée sur la base des représentations de l'espace d'activation afin d'effacer efficacement les concepts cibles des modèles de diffusion face à des prompts paraphrasés et adversariaux tout en préservant la génération des concepts conservés.

Auteurs originaux : Saemi Moon, Suhyeon Jun, Seoyeon Lee, Dongwoo Kim

Publié 2026-05-26

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Saemi Moon, Suhyeon Jun, Seoyeon Lee, Dongwoo Kim

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous avez un artiste surdoué (l'IA) qui a appris à dessiner tout ce qui existe dans le monde. Mais, pour des raisons de sécurité ou juridiques, vous devez enseigner à cet artiste comment oublier de dessiner des choses spécifiques, comme un personnage de dessin animé célèbre (Pikachu) ou un style de peinture particulier (Van Gogh).

La partie délicate est la suivante : vous ne voulez pas que l'artiste oublie tout le reste. Vous souhaitez toujours qu'il puisse dessiner Mickey Mouse, Mario ou des paysages tout aussi bien.

Ce papier présente une nouvelle et astucieuse méthode pour « désapprendre » ces concepts spécifiques sans avoir à réentraîner l'artiste depuis zéro. Voici comment cela fonctionne, décomposé avec des analogies simples :

Le Problème : L'erreur de l'« étiquette de nom »

Les méthodes précédentes tentaient de faire oublier à l'artiste en examinant les étiquettes de nom.

Fonctionnement : Si vous vouliez que l'artiste oublie « Pikachu », l'ordinateur examinait des invites telles que « une photo de Pikachu » ou « un dessin de Pikachu ». Il identifiait la partie « Pikachu » dans le texte et tentait de supprimer ce modèle textuel spécifique du cerveau de l'artiste.
Le défaut : C'est comme essayer d'empêcher quelqu'un de reconnaître un ami en interdisant uniquement son nom. Si vous dites à l'artiste : « Dessine une souris jaune, électrique, aux joues rouges », l'artiste répond : « Oh, je ne sais pas ce qu'est 'Pikachu', mais je sais dessiner cette description ! » L'artiste dessine toujours Pikachu, même si vous avez interdit le nom. Les anciennes méthodes étaient trop focalisées sur les mots et manquaient l'idée.

La Solution : Observer le « processus de croquis »

Les auteurs, Saemi Moon et son équipe, ont réalisé que l'artiste ne se contente pas de regarder l'étiquette de nom ; il observe le processus réel de croquis.

La nouvelle idée : Au lieu d'examiner l'invite textuelle, ils ont observé les « coups de pinceau » internes de l'artiste (appelés activations de l'attention croisée) pendant que l'artiste dessinait réellement l'image.
L'analogie : Imaginez que l'artiste dessine un tableau.
- Ancienne méthode : Vous regardez le bon de commande et dites : « Supprimez le mot 'Pikachu'. »
- Nouvelle méthode (PURE) : Vous observez la main de l'artiste pendant qu'elle dessine les oreilles jaunes et les joues rouges. Vous voyez exactement comment la main de l'artiste se déplace pour créer ces caractéristiques spécifiques. Vous guidez ensuite doucement la main loin de ce mouvement spécifique chaque fois qu'elle tente de dessiner ces caractéristiques à nouveau.

Puisque les mouvements de la main de l'artiste (les activations) sont ce qui crée réellement l'image, bloquer ces mouvements spécifiques fonctionne beaucoup mieux que de bloquer simplement les mots. Cela empêche l'artiste de dessiner Pikachu, même si vous le décrivez de mille manières différentes sans utiliser son nom.

Comment ils l'ont fait (La « correction unique »)

Le papier propose une méthode appelée PURE. Elle est « sous forme fermée », ce qui est une manière élégante de dire qu'il s'agit d'une correction mathématique unique et rapide plutôt que d'un processus d'entraînement long et lent.

L'observation : Ils ont laissé l'artiste dessiner quelques invites « Pikachu » et ont enregistré les mouvements de main spécifiques (activations) utilisés dans chaque couche du processus de dessin.
La carte : Ils ont créé une « carte » de ces mouvements. Cette carte montre exactement ce que fait l'artiste lorsqu'il dessine la chose que vous voulez qu'il oublie.
L'édition : Ils ont appliqué un seul « filtre » mathématique au cerveau de l'artiste. Ce filtre dit : « Si ta main tente de se déplacer dans la direction 'Pikachu', arrête-toi. Mais si tu tentes de te déplacer dans la direction 'Mario' ou 'Paysage', continue. »
Le résultat : L'artiste oublie instantanément comment dessiner le concept cible, tout en conservant parfaitement toutes ses autres compétences.

Pourquoi c'est mieux

Le papier a testé cette méthode contre d'autres en utilisant un « Holistic Unlearning Benchmark » (un test comportant 10 concepts différents tels que des styles, des célébrités et des personnages de dessins animés).

Mieux pour oublier : PURE a empêché l'artiste de dessiner les concepts interdits, même lorsque les gens utilisaient des descriptions astucieuses et reformulées (comme « un rongeur électrique jaune »).
Mieux pour se souvenir : Contrairement à d'autres méthodes qui ont accidentellement fait oublier à l'autre des choses (comme rendre l'artiste mauvais pour dessiner Mickey Mouse en tentant d'interdire Pikachu), PURE a maintenu les autres compétences de l'artiste affûtées.
Sans coût supplémentaire : Puisqu'il s'agit d'une édition mathématique rapide, cela ne ralentit pas l'artiste ni ne nécessite un réentraînement coûteux.

En résumé

Pensez aux anciennes méthodes comme à une tentative d'effacer un souvenir en barrant un mot dans un dictionnaire. La nouvelle méthode (PURE) consiste à enseigner à l'artiste à arrêter de faire un geste de main spécifique. Puisque ce geste de main est ce qui crée réellement l'image, cette approche est beaucoup plus difficile à tromper et laisse les autres talents de l'artiste complètement intacts.

Résumé technique : Oubli de concept par projection d'activation d'attention croisée pour les modèles de diffusion

Énoncé du problème

L'oubli de concept vise à supprimer des concepts cibles spécifiques (par exemple, des styles protégés par le droit d'auteur, des ressemblances de célébrités ou des images dangereuses) des modèles de diffusion texte-vers-image préentraînés, sans le coût computationnel d'un réentraînement complet. Un oubli efficace doit satisfaire deux exigences simultanées : oublier le concept cible, même sous des prompts paraphrasés ou adversariaux, et conserver la capacité du modèle à générer tous les autres concepts non liés.

Les méthodes en forme fermée existantes, qui appliquent une modification déterministe unique aux poids du modèle sans affinement basé sur le gradient, font face à une limitation critique. Ces méthodes (par exemple, UCE, CURE) construisent la « base d'oubli » en utilisant des embeddings d'encodeur de texte dérivés de prompts d'ancrage courts (par exemple, « Van Gogh »). Les auteurs soutiennent que les embeddings de texte décrivent le prompt de l'utilisateur mais échouent à capturer la manière dont le modèle utilise réellement ce prompt durant le processus de débruitage. Par conséquent, les prompts paraphrasés qui évoquent le concept cible sans correspondre aux modèles d'ancrage contournent souvent la modification d'oubli, entraînant une « fuite de cible ».

Méthodologie : PURE

L'article propose PURE (Projection in U-Net Rendering for Erasure), une méthode d'oubli en forme fermée qui déplace la construction de la base de l'espace d'embedding de l'encodeur de texte vers l'espace d'activation d'attention croisée au sein du U-Net.

Hypothèse centrale :
Les activations d'attention croisée ( $h^\ell$ ) à la couche $\ell$ reflètent la manière dont le débruiteur utilise la condition textuelle sous l'état latent actuel et l'étape de temps. Contrairement aux embeddings de texte statiques, ces activations capturent les preuves de concept spécifiques réellement utilisées lors de la génération d'images, offrant une meilleure généralisation à des formulations de prompts diversifiées.

Procédure algorithmique :

Capture d'activation : Pour un ensemble d'ancres d'oubli ( $\mathcal{A}_f$ ) et d'ancres de rétention ( $\mathcal{A}_r$ ), le modèle exécute une courte trajectoire de débruitage. À chaque couche $\ell$ et étape de temps, les activations post-attention sont extraites, moyennées spatialement et agrégées dans des matrices $H^\ell_F$ et $H^\ell_R$ .
Construction de sous-espace : Une décomposition en valeurs singulières (SVD) est effectuée sur $H^\ell_F$ et $H^\ell_R$ pour chaque couche. Les vecteurs singuliers principaux, jusqu'à un seuil de variance cumulative ( $\tau_F, \tau_R$ ), forment la base d'oubli ( $V^\ell_F$ ) et la base de rétention ( $V^\ell_R$ ).
Modification linéaire : La méthode applique une mise à jour linéaire unique aux matrices de projection de clé ( $W^\ell_K$ $W_{K}^{ℓ}$ ) et de valeur ( $W^\ell_V$ $W_{V}^{ℓ}$ ) de l'attention croisée. L'opérateur de mise à jour $E^\ell$ $E^{ℓ}$ est défini comme suit :
$E^\ell = I - P^\ell_F (I - P^\ell_R)$
où $P^\ell_F = V^\ell_F (V^\ell_F)^\top$ $P_{F}^{ℓ} = V_{F}^{ℓ} (V_{F}^{ℓ})^{⊤}$ et $P^\ell_R = V^\ell_R (V^\ell_R)^\top$ $P_{R}^{ℓ} = V_{R}^{ℓ} (V_{R}^{ℓ})^{⊤}$ .
Les poids sont mis à jour par multiplication à gauche : $W^\ell \leftarrow E^\ell W^\ell$ $W^{ℓ} \leftarrow E^{ℓ} W^{ℓ}$ .
- Mécanisme : Le terme $(I - P^\ell_R)$ supprime les composantes alignées avec les concepts de rétention, garantissant que $P^\ell_F$ n'agit que sur le sous-espace orthogonal. Soustraire ceci de l'identité assure que les entrées alignées avec les concepts de rétention passent sans modification.
- Changement structurel : Contrairement aux méthodes antérieures qui multiplient par la droite dans l'espace de texte, PURE multiplie par la gauche dans l'espace d'activation ( $d_\ell \times d_\ell$ ), nécessitant une modification par couche.

Contributions clés

Base basée sur les activations : L'article identifie que la construction de la base d'oubli à partir des activations d'attention croisée plutôt que des embeddings de texte améliore significativement la détection des concepts cibles dans des prompts naturels et adversariaux divers.
Expérience de sondage : Une expérience de classification binaire démontre qu'une base basée sur les activations atteint environ cinq fois plus de rappel sur des prompts paraphrasés naturels par rapport à une base basée sur le texte, confirmant que les caractéristiques d'activation capturent mieux les preuves de concept pertinentes pour la génération.
Efficacité en forme fermée : PURE conserve les avantages de l'édition en forme fermée : elle ne nécessite aucun entraînement par gradient, aucune fonction de perte auxiliaire, aucun réglage d'hyperparamètre des taux d'apprentissage, et n'ajoute aucun coût au moment de l'inférence après l'application de la modification.
Édition spécifique à la couche : La méthode effectue une SVD et une modification par couche, reconnaissant que la représentation du concept varie à travers la profondeur du U-Net.

Résultats expérimentaux

Les auteurs ont évalué PURE sur le Holistic Unlearning Benchmark (HUB), couvrant dix concepts répartis sur quatre catégories : Style Artistique, Propriété Intellectuelle (PI), Célébrité et NSFW.

Compromis Oubli-Rétention : PURE obtient le meilleur score de moyenne harmonique dans toutes les catégories par rapport à cinq bases de référence (ESD, MACE, RECELER, UCE, CURE).
Suppression de la cible : PURE réduit considérablement la fuite de cible sous des prompts paraphrasés et adversariaux par rapport à CURE, qui échoue souvent à supprimer les paraphrases.
Rétention : PURE préserve les concepts de « rétention » (concepts voisins dans la même catégorie) mieux que les méthodes d'entraînement agressives (qui endommagent la rétention) et mieux que les méthodes en forme fermée de l'espace de texte (qui sacrifient souvent la rétention pour la suppression dans les catégories de Style).
Études d'ablation :
- Taille de l'ancre : Augmenter le nombre d'ancres d'oubli naturelles améliore la suppression de la base de texte mais dégrade la rétention. La base d'activation maintient une forte suppression avec une perte de rétention minimale même lorsque les ensembles d'ancres grandissent.
- Étapes de débruitage : L'utilisation d'une seule étape de débruitage ( $T=1$ ) dégrade sévèrement les performances, indiquant que la capture du signal de concept à travers la trajectoire est essentielle.
- Moyenne latente : La moyenne sur plusieurs latents aléatoires ( $n_{lat}$ ) stabilise la base vers des directions au niveau du concept plutôt que vers des artefacts spécifiques au bruit.

Signification et revendications

L'article revendique que PURE représente un changement fondamental dans l'approche de l'oubli en forme fermée. En déplaçant la construction de la base de l'espace statique de l'encodeur de texte vers l'espace dynamique d'activation d'attention croisée, la méthode surmonte le mode de défaillance principal des techniques en forme fermée existantes : l'incapacité à gérer les variations de prompts qui tombent en dehors des modèles d'ancrage.

Les auteurs affirment que PURE fournit une solution robuste, efficace et de l'état de l'art pour l'oubli de concept, offrant un équilibre supérieur entre l'effacement des concepts indésirables et la préservation de l'utilité générale du modèle sans la surcharge computationnelle du réentraînement. Le travail suggère que la « direction d'oubli » est définie plus précisément par le processus de rendu interne du modèle que par le texte d'entrée seul.