🤖 AI

Look But Don't Touch with Sparse Autoencoders for Unlearning in Diffusion Models

Cet article démontre que si les autoencodeurs clairsemés détectent efficacement les concepts sémantiques dans les modèles de diffusion, l'intervention directe dans le latent à l'aide de ces caractéristiques provoque des artefacts visuels, ce qui incite à une stratégie de remplacement basée sur la détection qui parvient à une suppression d'objet supérieure en préservant les statistiques d'activation du modèle.

Auteurs originaux : Enrico Cassano, Riccardo Renzulli, Rayyan Ahmed, Marco Grangetto, Stephan Alaniz

Publié 2026-07-01

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Enrico Cassano, Riccardo Renzulli, Rayyan Ahmed, Marco Grangetto, Stephan Alaniz

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous possédez un pinceau magique (un modèle de diffusion) capable de créer n'importe quelle image que vous pouvez décrire. Mais parfois, vous voulez apprendre à ce pinceau à oublier comment peindre certaines choses spécifiques, comme des chevaux ou des personnages sous droit d'auteur, sans avoir à réentraîner l'artiste entier à partir de zéro. Ce processus est appelé « désapprentissage » (unlearning).

Récemment, des chercheurs ont tenté d'utiliser un outil spécial appelé Autoencodeur Creux (SAE - Sparse Autoencoder) pour aider. Considérez le SAE comme un bibliothécaire hautement organisé qui peut regarder dans le cerveau de l'artiste (les données internes du modèle) et pointer précisément les « pensées » ou les « neurones » spécifiques responsables du dessin d'un cheval.

Le Problème : « Regarder mais ne pas toucher »

Les chercheurs ont testé une stratégie où ils ont dit à l'artiste : « Hé, je vois que tu penses à un cheval. Arrête de penser à lui ! » Ils ont essayé cela en diminuant directement le volume de ces « pensées de cheval » spécifiques à l'intérieur du cerveau de l'artiste.

Le résultat fut un désastre.

Le papier appelle cela « Regarder mais ne pas toucher » (Look But Don't Touch).

Regarder : Le SAE était excellent pour trouver les pensées du cheval. Il savait exactement où elles se trouvaient.
Ne pas toucher : Quand ils ont essayé de modifier ces pensées, le cerveau de l'artiste s'est emmêlé les pinceaux. Les « pensées de cheval » ont été remplacées par un bruit aléatoire, hors distribution (out-of-distribution).

L'analogie : Imaginez que vous éditez un film. Vous trouvez l'image exacte où un cheval apparaît. Au lieu de simplement couper le cheval, vous essayez de « soustraire » la couleur du cheval de toute la pellicule du film. Le résultat n'est pas une scène propre sans cheval ; c'est un fouillis distordu et glitché où le ciel devient violet et l'herbe ressemble à de la neige statique. Le cerveau de l'artiste a été poussé dans un état qu'il n'avait jamais vu auparavant, créant de graves artefacts visuels (glitchs).

La Solution : Remplacement de l'Embedding de Patch (PER - Patch Embedding Replacement)

Les auteurs ont réalisé que si le SAE est un piètre « effaceur », c'est un excellent « repéreur ». Ainsi, ils ont changé complètement de stratégie.

Au lieu d'essayer de manipuler les pensées internes de l'artiste, ils ont utilisé le SAE uniquement pour trouver le cheval. Une fois que le SAE a dit : « Il y a un cheval dans ce patch spécifique de l'image », les chercheurs ont simplement échangé ce patch avec un patch propre provenant de la même image qui ne contient pas de cheval.

L'analogie :
Imaginez que vous éditez la photo d'un parc bondé et que vous voulez retirer une personne spécifique (le cheval).

L'ancienne méthode (Steering/Pilotage) : Vous essayez d'utiliser une baguette magique pour « dé-inventer » la personne. La baguette bugue, et le visage de la personne fond dans l'arrière-plan, ruinant toute la photo.
La nouvelle méthode (PER) : Vous utilisez le SAE pour pointer du doigt la personne. Ensuite, vous prenez un morceau d'herbe propre et vide d'une autre partie de la même photo et vous le collez par-dessus la personne. Parce que vous utilisez un morceau de la photo qui existe déjà et qui s'intègre parfaitement, le résultat semble naturel. Pas de glitchs, pas de couleurs bizarres.

Résultats Clés

La détection est facile, la manipulation est difficile : Le papier prouve que si les SAE sont excellents pour identifier ce qui se trouve dans l'image, ils sont très mauvais pour contrôler directement le modèle afin de le supprimer. La manipulation directe brise la logique interne du modèle.
Le « Swap » fonctionne mieux : En utilisant le SAE uniquement pour trouver la cible, puis en échangeant les morceaux de l'image (les patches) au lieu de modifier les calculs mathématiques, les résultats sont beaucoup plus propres.
Fini les devinettes : Les anciennes méthodes nécessitaient une « recherche par grille » (grid search) fastidieuse (essayer des dizaines de réglages de force différents) pour voir à quel point il fallait baisser le volume des « pensées de cheval ». La nouvelle méthode fonctionne automatiquement sans cet essai-erreur.
Meilleurs résultats : Sur un test appelé « UnlearnCanvas », leur nouvelle méthode a produit des images nettement moins glitchées (moins d'artefacts) et a préservé les autres parties de l'image (comme le style ou l'arrière-plan) bien mieux que les méthodes précédentes.

Résumé

Ce papier nous enseigne une leçon précieuse sur le contrôle de l'IA : Ce n'est pas parce que vous pouvez trouver un concept à l'intérieur d'un modèle que vous devez essayer de l'éditer directement. Parfois, la meilleure façon de supprimer quelque chose est de laisser l'IA faire son travail, de repérer l'élément indésirable, et de simplement remplacer cette partie spécifique par quelque chose qui s'y intègre déjà, plutôt que d'essayer de forcer le cerveau de l'IA à « ne plus penser » au concept.

Résumé Technique : Look But Don't Touch avec des Autoencodeurs Creux pour l'Oubli dans les Modèles de Diffusion

Énoncé du Problème

L'article traite du défi de l'oubli machine (machine unlearning) dans les modèles de diffusion (DM), plus précisément l'effacement sélectif de concepts indésirables (par exemple, des objets ou des styles spécifiques) sans réentraînement du modèle. Bien que les autoencodeurs creux (SAE - Sparse Autoencoders) soient apparus comme des outils prometteurs pour la manipulation de concepts grâce à leur capacité à décomposer les activations neuronales denses en caractéristiques creuses et monosémantiques, leur application aux DM fait face à un mode de défaillance critique.

Les méthodes d'oubli existantes basées sur les SAE suivent généralement un pipeline où les latents du SAE représentant un concept cible sont identifiés, puis orientés (manipulés via des multiplicateurs négatifs) pour supprimer le concept. Les auteurs observent que cette intervention directe induit fréquemment des activations hors distribution (OOD - out-of-distribution). Parce que les vecteurs latents manipulés ne se situent pas sur la variété (manifold) apprise par le modèle de diffusion, le processus de reconstruction génère de sévères artefacts visuels, dégradant la qualité de l'image et compromettant l'objectif d'oubli. Le problème central est le fossé entre la détection de concept (que les SAE réalisent bien) et l'intervention de concept (où les SAE échouent dans les DM).

Méthodologie

Les auteurs proposent un cadre appelé Patch Embedding Replacement (PER - Remplacement de l'Embedding de Patch) pour dissocier la détection de l'intervention. Au lieu de manipuler directement l'espace latent, PER utilise les SAE uniquement comme détecteurs sémantiques.

1. Entraînement du SAE et Identification de Concept

Architecture du SAE : Les auteurs appliquent des SAE au flux résiduel des couches d'attention croisée (cross-attention) des réseaux de débruitage des DM (par exemple, Stable Diffusion v1.5, SDXL Turbo). Ils utilisent des TopK SAEs, qui imposent la parcimonie en ne conservant que les $k$ latents les plus activés, garantissant ainsi un niveau de parcimonie fixe.
Cartographie Concept-Latent : Une analyse basée sur un score identifie quels latents du SAE correspondent à des concepts spécifiques. Les latents sont classés selon la fréquence de leur activation dans des jeux de données contenant le concept cible par rapport à ceux ne le contenant pas.
Masque de Détection : Lors de l'inférence, un masque de détection binaire $M^c$ est généré pour un concept $c$ . Un emplacement spatial $(h, w)$ est marqué comme contenant le concept si au moins un latent associé dépasse son seuil d'activation moyenne sur un ensemble de validation.

2. Patch Embedding Replacement (PER)

Plutôt que d'appliquer un multiplicateur négatif aux latents du SAE (ce qui provoque des décalages OOD), PER remplace directement la donnée problématique dans la carte de caractéristiques (feature map) :

Stratégie de Remplacement : Pour chaque patch embedding $\mathbf{X}_{h,w}$ où le masque de détection $M^c_{h,w} = 1$ , l'embedding est remplacé par un embedding $\mathbf{X}_{h',w'}$ échantillonné uniformément parmi les emplacements où le concept n'est pas détecté ( $M^c_{h',w'} = 0$ ).
Formulation Mathématique :
$\tilde{\mathbf{X}}_{h,w} = (1 - \mathbf{M}^c_{h,w})\mathbf{X}_{h,w} + \mathbf{M}^c_{h,w}\mathbf{X}_{h',w'}$
où $(h', w') \sim \mathcal{U}(\{(i, j) \mid \mathbf{M}^c_{i,j} = 0\})$ .
Dilatation : Pour tenir compte des corrélations spatiales où l'information du concept s'infiltre dans les patches voisins, le masque de détection peut être dilaté par un facteur de rembourrage (padding) $p$ . Les auteurs trouvent que $p=1$ constitue l'équilibre optimal entre couverture et préservation du contenu non lié.
Garantie de Distribution Interne : Puisque toutes les activations de remplacement proviennent de la même passe directe (forward pass) du réseau de débruitage, les activations résultantes $\tilde{\mathbf{X}}$ restent strictement dans la distribution (ID - in-distribution), préservant les statistiques d'activation du modèle et évitant les artefacts causés par l'orientation OOD.

Contributions Clés

Identification des Modes de Défaillance : L'article caractérise systématiquement un mode de défaillance concret dans l'oubli basé sur les SAE pour les DM : l'orientation directe des latents via des multiplicateurs négatifs pousse les activations en dehors de la variété d'entraînement du DM, entraînant des artefacts visuels systématiques.
Cadre de Détection (PER) : Les auteurs introduisent PER, une méthode qui exploite les SAE exclusivement pour la localisation de concepts. En remplaçant les patch embeddings détectés par des embeddings exempts de concepts provenant de la même carte de caractéristiques, PER élimine les concepts indésirables tout en maintenant la cohérence visuelle et l'intégrité de la distribution.
Améliorations de Performance : La méthode élimine le besoin de recherches sur grille coûteuses pour la force d'intervention ( $\gamma$ ) et atteint des résultats de pointe sur le benchmark UnlearnCanvas.

Résultats Expérimentaux

Les auteurs ont évalué PER sur quatre pipelines existants basés sur les SAE (SAeUron, SAEmnesia, G-SAE, et SAE sur SDXL Turbo) à travers le benchmark UnlearnCanvas (20 classes d'objets, 5 styles artistiques).

Réduction des Artefacts : Les méthodes d'orientation par multiplicateur ont produit des taux d'artefacts (Artifact Rates - AR) élevés (ex: 57,0 % pour SAeUron, 61,0 % pour SAE sur SDXL Turbo). L'application de PER a drastiquement réduit ces taux (ex: jusqu'à 16,3 % pour SAeUron et 8,0 % pour SDXL Turbo).
Précision de l'Oubli : PER maintient ou améliore la précision de l'oubli (Unlearning Accuracy - UA) tout en augmentant considérablement la précision de rétention trans-domaine (Cross-domain Retain Accuracy - CRA). Par exemple, sur SAEmnesia, PER a amélioré le score de moyenne globale (GA) de 81,18 % à 91,44 %, principalement grâce à une augmentation de la CRA de 88,48 % à 97,97 %.
Évaluation Humaine : Dans une étude utilisateur comparant SAEmnesia et SAEmnesia+PER, les annotateurs humains ont préféré le résultat de PER dans 95,5 % des cas de non-égalité.
Robustesse Adversaire : PER a démontré une robustesse compétitive contre les attaques adverses (UnlearnDiffAtk), montrant une dégradation moindre de l'efficacité de l'oubli par rapport aux lignes de base dans certaines configurations.
Efficacité : PER ne nécessite aucun ajustement fin (fine-tuning) du modèle, aucun entraînement supplémentaire de SAE, et aucune recherche d'hyperparamètre pour la force d'intervention, offrant une alternative efficace sur le plan computationnel aux méthodes existantes.

Signification et Revendications

L'article positionne les SAE comme de puissants outils d'interprétabilité pour analyser les modèles génératifs, mais souligne une limitation fondamentale : les caractéristiques monosémantiques ou creuses ne sont pas intrinsèquement adaptées comme leviers de contrôle pour l'orientation directe dans les modèles de diffusion.

Les auteurs affirment que leur travail révèle un « fossé fondamental entre la détection de concept et l'intervention de concept ». En découplant ces tâches — en utilisant les SAE uniquement pour trouver le concept et des données de distribution interne standard pour le remplacer — la méthode obtient des résultats d'effacement plus propres. L'article conclut que pour l'oubli dans les modèles de diffusion, la préservation de la variété d'activation est plus critique que l'interprétabilité du vecteur d'intervention, et que « Look But Don't Touch » (détecter mais ne pas toucher/orienter) est une stratégie plus efficace que la manipulation directe.