🤖 AI

Look But Don't Touch with Sparse Autoencoders for Unlearning in Diffusion Models

Diese Arbeit zeigt, dass Sparse Autoencoder zwar semantische Konzepte in Diffusionsmodellen effektiv detektieren, direkte latente Interventionen mittels dieser Merkmale jedoch visuelle Artefakte verursachen, was eine detektionsbasierte Ersetzungsstrategie erforderlich macht, die durch die Bewahrung der Aktivierungsstatistiken des Modells eine überlegene Objektlöschung erreicht.

Ursprüngliche Autoren: Enrico Cassano, Riccardo Renzulli, Rayyan Ahmed, Marco Grangetto, Stephan Alaniz

Veröffentlicht 2026-07-01

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Enrico Cassano, Riccardo Renzulli, Rayyan Ahmed, Marco Grangetto, Stephan Alaniz

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie besitzen einen magischen Pinsel (ein Diffusionsmodell), der jedes Bild erschaffen kann, das Sie beschreiben können. Aber manchmal möchten Sie diesem Pinsel beibringen, bestimmte Dinge zu vergessen, wie zum Beispiel Pferde oder urheberrechtlich geschützte Charaktere, ohne den gesamten Künstler von Grund auf neu trainieren zu müssen. Dieser Prozess wird als „Unlearning“ (Verlernen) bezeichnet.

Kürzlich haben Forscher versucht, ein spezielles Werkzeug namens Sparse Autoencoder (SAE) einzusetzen, um dem Pinsel dabei zu helfen. Stellen Sie sich den SAE als einen hoch organisierten Bibliothekar vor, der in der Lage ist, dem Gehirn des Künstlers (den internen Daten des Modells) genau zuzusehen und exakt auf die spezifischen „Gedanken“ oder „Neuronen“ zu zeigen, die für das Zeichnen eines Pferdes verantwortlich sind.

Das Problem: „Look But Don't Touch“ (Schauen, aber nicht anfassen)

Die Forscher versuchten eine Strategie, bei der sie dem Künstler sagten: „Hey, ich sehe, dass du gerade an ein Pferd denkst. Hör auf, daran zu denken!“ Sie versuchten dies, indem sie die Lautstärke dieser spezifischen „Pferde-Gedanken“ direkt in den Gehirnwindungen des Künstlers senkten.

Das Ergebnis war eine Katastrophe.

Das Paper nennt dies „Look But Don't Touch“.

Look (Schauen): Der SAE war exzellent darin, die Pferde-Gedanken zu finden. Er wusste genau, wo sie waren.
Don't Touch (Nicht anfassen): Als sie versuchten, diese Gedanken zu verändern, geriet das Gehirn des Künstlers durcheinander. Die „Pferde-Gedanken“ wurden durch zufälliges, aus der Verteilung herausfallendes Rauschen (Out-of-Distribution Noise) ersetzt.

Die Analogie: Stellen Sie sich vor, Sie bearbeiten einen Film. Sie finden genau den Frame, in dem ein Pferd erscheint. Anstatt das Pferd einfach herauszuschneiden, versuchen Sie, die Farbe des Pferdes vom gesamten Filmstreifen abzuziehen. Das Ergebnis ist keine saubere Szene ohne Pferd, sondern ein glitchiger, verzerrter Matsch, bei dem der Himmel lila wird und das Gras wie statisches Rauschen aussieht. Das Gehirn des Künstlers wurde in einen Zustand versetzt, den es noch nie zuvor gesehen hatte, was zu schweren visuellen Artefakten (Glitches) führte.

Die Lösung: Patch Embedding Replacement (PER)

Die Autoren erkannten, dass der SAE zwar ein schlechter „Radiergummi“, aber ein fantastischer „Spürhund“ ist. Anstatt zu versuchen, die internen Gedanken des Künstlers zu manipulieren, nutzten sie den SAE nur dazu, das Pferd zu finden. Sobald der SAE sagte: „Da ist ein Pferd in diesem spezifischen Patch des Bildes“, ersetzten die Forscher diesen Patch einfach durch einen sauberen Patch aus demselben Bild, der kein Pferd enthielt.

Die Analogie:
Stellen Sie sich vor, Sie bearbeiten ein Foto eines belebten Parks und möchten eine bestimmte Person (das Pferd) entfernen.

Der alte Weg (Steering): Sie versuchen, mit einem Zauberstab die Person zu „un-erfinden“. Der Zauberstab glitcht, und das Gesicht der Person schmilzt in den Hintergrund ein, was das ganze Foto ruiniert.
Der neue Weg (PER): Sie nutzen den SAE, um mit dem Finger auf die Person zu zeigen. Dann nehmen Sie ein sauberes, leeres Stück Gras aus einem anderen Teil desselben Fotos und kleben es über die Person. Da Sie ein Stück verwenden, das bereits existiert und perfekt passt, sieht das Ergebnis natürlich aus. Keine Glitches, keine seltsamen Farben.

Wichtige Erkenntnisse

Detektion ist einfach, Manipulation ist schwer: Das Paper beweist, dass SAEs zwar hervorragend darin sind zu identifizieren, was im Bild zu sehen ist, aber schrecklich darin sind, das Modell direkt zu steuern, um es zu entfernen. Direkte Manipulation bricht die interne Logik des Modells.
Der „Swap“ funktioniert besser: Indem sie den SAE nur zur Identifizierung des Ziels nutzten und dann die Bildstücke (Patches) austauschten, anstatt die Mathematik zu manipulieren, erzielten sie viel sauberere Ergebnisse.
Kein Raten mehr: Alte Methoden erforderten eine mühsame „Grid Search“ (das Ausprobieren dutzender verschiedener Stärke-Einstellungen), um zu sehen, wie stark man die „Pferde-Gedanken“ herunterregeln musste. Die neue Methode funktioniert automatisch, ohne dieses Trial-and-Error.
Bessere Ergebnisse: In einem Test namens „UnlearnCanvas“ erzeugte ihre neue Methode Bilder, die signifikant weniger fehlerhaft (weniger Artefakte) waren und andere Teile des Bildes (wie den Stil oder den Hintergrund) viel besser intakt hielten als bisherige Methoden.

Zusammenfassung

Das Paper lehrt uns eine wertvolle Lektion in der KI-Kontrolle: Nur weil man ein Konzept innerhalb eines Modells finden kann, bedeutet das nicht, dass man versuchen sollte, es direkt zu bearbeiten. Manchmal ist der beste Weg, etwas zu entfernen, das Modell seine Arbeit machen zu lassen, das unerwünschte Objekt zu lokalisieren und diesen spezifischen Teil einfach durch etwas zu ersetzen, das bereits hineinpasst, anstatt zu versuchen, das Gehirn der KI zu zwingen, das Konzept zu „un-denken“.

Technisches Resümee: Look But Don't Touch mit Sparse Autoencodern für das Unlearning in Diffusionsmodellen

Problemstellung

Die Arbeit adressiert die Herausforderung des Maschinen-Unlearnings (Machine Unlearning) in Diffusionsmodellen (DMs), speziell die selektive Löschung unerwünschter Konzepte (z. B. spezifischer Objekte oder Stile), ohne das Modell neu trainieren zu müssen. Während Sparse Autoencoder (SAEs) als vielversprechende Werkzeuge für die Manipulation auf Konzeptebene hervorgetreten sind – aufgrund ihrer Fähigkeit, dichte neuronale Aktivierungen in spärliche, monosemantische Merkmale zu zerlegen –, stoßen sie bei der Anwendung in DMs auf einen kritischen Ausfallmodus.

Bestehende SAE-basierte Unlearning-Methoden folgen typischerweise einer Pipeline, in der SAE-Latente, die ein Zielkonzept repräsentieren, identifiziert und dann gesteuert (durch negative Multiplikatoren manipuliert) werden, um das Konzept zu unterdrücken. Die Autoren beobachten, dass diese direkte Intervention häufig zu Out-of-Distribution (OOD)-Aktivierungen führt. Da die manipulierten latenten Vektoren nicht auf dem gelernten Manifold des Diffusionsmodells liegen, erzeugt der Rekonstruktionsprozess schwere visuelle Artefakte, was die Bildqualität verschlechtert und das Unlearning-Ziel untergräbt. Das Kernproblem ist die Lücke zwischen Konzeptdetektion (die SAEs gut beherrschen) und Konzeptintervention (an der SAEs in DMs scheitern).

Methodik

Die Autoren schlagen ein Framework namens Patch Embedding Replacement (PER) vor, um Detektion von Intervention zu entkoppeln. Anstatt den latenten Raum direkt zu manipulieren, nutzt PER SAEs ausschließlich als semantische Detektoren.

1. SAE-Training und Konzeptidentifikation

SAE-Architektur: Die Autoren wenden SAEs auf den Residual Stream der Cross-Attention-Layer der Denoising-Netzwerke von DMs an (z. B. Stable Diffusion v1.5, SDXL Turbo). Sie nutzen TopK SAEs, die Sparsity erzwingen, indem sie nur die $k$ am stärksten aktivierten Latente beibehalten, wodurch ein fester Sparsity-Grad sichergestellt wird.
Konzept-Latent-Mapping: Eine score-basierte Analyse identifiziert, welche SAE-Latente mit spezifischen Konzepten korrespondieren. Latente werden basierend auf ihrer Aktivierungshäufigkeit in Datensätzen, die das Zielkonzept enthalten, gegenüber Datensätzen ohne dieses Konzept, gerankt.
Detektionsmaske: Während der Inferenz wird eine binäre Detektionsmaske $M^c$ für ein Zielkonzept $c$ generiert. Eine räumliche Position $(h, w)$ wird als enthaltend des Konzepts markiert, wenn mindestens ein assoziierter Latent seinen mittleren Aktivierungsschwellenwert auf einem Validierungsset überschreitet.

2. Patch Embedding Replacement (PER)

Anstatt die problematischen Daten direkt im Feature-Map zu manipulieren, ersetzt PER die Patch-Embeddings direkt:

Ersetzungsstrategie: Für jedes Patch-Embedding $\mathbf{X}_{h,w}$ , bei dem die Detektionsmaske $M^c_{h,w} = 1$ ist, wird das Embedding durch ein Embedding $\mathbf{X}_{h',w'}$ ersetzt, das gleichmäßig aus Positionen gezogen wurde, an denen das Konzept nicht detektiert wurde ( $M^c_{h',w'} = 0$ ).
Mathematische Formulierung:
$\tilde{\mathbf{X}}_{h,w} = (1 - \mathbf{M}^c_{h,w})\mathbf{X}_{h,w} + \mathbf{M}^c_{h,w}\mathbf{X}_{h',w'}$
wobei $(h', w') \sim \mathcal{U}(\{(i, j) \mid \mathbf{M}^c_{i,j} = 0\})$ .
Dilatation: Um räumliche Korrelationen zu berücksichtigen, bei denen Konzeptinformationen in benachbarte Patches übergehen, kann die Detektionsmaske durch einen Padding-Faktor $p$ dilatiert werden. Die Autoren fanden heraus, dass $p=1$ das optimale Gleichgewicht zwischen Abdeckung und Erhalt unbezogener Inhalte darstellt.
In-Distribution-Garantie: Da alle Ersetzungsaktivierungen aus demselben Forward-Pass des Denoising-Netzwerks stammen, bleiben die resultierenden Aktivierungen $\tilde{\mathbf{X}}$ strikt In-Distribution (ID). Dies bewahrt die Aktivierungsstatistiken des Modells und vermeidet die durch OOD-Steuerung verursachten Artefakte.

Zentrale Beiträge

Identifikation von Ausfallmodi: Die Arbeit charakterisiert systematisch einen konkreten Ausfallmodus in SAE-basiertem Unlearning für DMs: Direkte Latent-Steuerung via negativer Multiplikatoren drängt Aktivierungen außerhalb des Trainings-Manifolds des DM, was zu systematischen visuellen Artefakten führt.
Detektionsbasierter Framework (PER): Die Autoren führen PER ein, eine Methode, die SAEs exklusiv zur Lokalisierung von Konzepten nutzt. Durch das Ersetzen detektierter Patch-Embeddings mit konzeptfreien Embeddings aus derselben Feature-Map entfernt PER unerwünschte Konzepte, während es die visuelle Kohärenz und die distributionale Integrität bewahrt.
Leistungssteigerungen: Die Methode eliminiert die Notwendigkeit zeitaufwendiger Grid-Searches für die Interventionsstärke ( $\gamma$ ) und erzielt State-of-the-Art-Ergebnisse auf dem UnlearnCanvas Benchmark.

Experimentelle Ergebnisse

Die Autoren evaluierten PER auf vier bestehenden SAE-basierten Pipelines (SAeUron, SAEmnesia, G-SAE und SAE auf SDXL Turbo) über den UnlearnCanvas Benchmark (20 Objektklassen, 5 künstlerische Stile).

Reduktion von Artefakten: Multiplikator-basierte Steuerungsmethoden produzierten hohe Artifact Rates (AR) (z. B. 57,0 % für SAeUron, 61,0 % für SAE auf SDXL Turbo). Die Anwendung von PER reduzierte diese Raten drastisch (z. B. auf 16,3 % für SAeUron und 8,0 % für SDXL Turbo).
Unlearning-Genauigkeit: PER hielt die Unlearning Accuracy (UA) aufrecht oder verbesserte sie, während die Cross-domain Retain Accuracy (CRA) signifikant gesteigert wurde. Beispielsweise verbesserte PER bei SAEmnesia den GA-Score von 81,18 % auf 91,44 %, primär getrieben durch eine Steigerung der CRA von 88,48 % auf 97,97 %.
Humane Evaluation: In einer Nutzerstudie, die SAEmnesia mit SAEmnesia+PER verglich, bevorzugten menschliche Annotatoren den PER-Output in 95,5 % der Fälle ohne Gleichstand.
Adversarielle Robustheit: PER zeigte eine kompetitive Robustheit gegenüber adversariellen Angriffen (UnlearnDiffAtk) und zeigte in bestimmten Konfigurationen eine geringere Degradation der Unlearning-Effektivität im Vergleich zu den Baselines.
Effizienz: PER erfordert kein Modell-Fine-Tuning, kein zusätzliches SAE-Training und keine Hyperparameter-Suche für die Interventionsstärke, was eine rechnerisch effiziente Alternative zu bestehenden Methoden bietet.

Bedeutung und Behauptungen

Die Arbeit positioniert SAEs als mächtige Interpretierbarkeits-Werkzeuge zur Analyse generativer Modelle, hebt jedoch eine fundamentale Limitation hervor: Monosemantische oder spärliche Merkmale sind nicht inhärent geeignet als Kontrollknöpfe für die direkte Steuerung in Diffusionsmodellen.

Die Autoren behaupten, dass ihre Arbeit eine „fundamentale Lücke zwischen Konzeptdetektion und Konzeptintervention“ aufzeigt. Durch die Entkopplung dieser Aufgaben – die Nutzung von SAEs nur zum Finden des Konzepts und die Nutzung von Standard-In-Distribution-Daten zum Ersetzen desselben – erreicht die Methode sauberere Löschungsergebnisse. Die Arbeit schließt mit dem Schluss, dass für das Unlearning in Diffusionsmodellen die Bewahrung des Aktivierungs-Manifolds kritischer ist als die Interpretierbarkeit des Interventionsvektors und dass „Look But Don't Touch“ (detektieren, aber nicht steuern) eine effektivere Strategie ist als direkte Manipulation.