🤖 machine learning

A Unified Framework for Diffusion Model Unlearning with f-Divergence

Dieser Artikel schlägt ein einheitliches Rahmenwerk für das Konzept-Lernen in Text-zu-Bild-Diffusionsmodellen vor, das das standardmäßige MSE-basierte Ziel auf beliebige $f$ -Divergenzen verallgemeinert und sowohl effiziente geschlossene Lösungen für spezifische Divergenzen wie die Hellinger-Distanz als auch einen variationsbasierten Min-Max-Ansatz für andere bietet, um die Effektivität des Vergessens besser mit der generativen Treue in Einklang zu bringen.

Ursprüngliche Autoren: Nicola Novello, Federico Fontana, Luigi Cinque, Deniz Gunduz, Andrea M. Tonello

Veröffentlicht 2026-05-27

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Nicola Novello, Federico Fontana, Luigi Cinque, Deniz Gunduz, Andrea M. Tonello

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie haben einen sehr talentierten Künstler (ein „Diffusionsmodell"), der gelernt hat, alles zu malen – von den berühmtesten Gemälden der Welt bis hin zu expliziten Inhalten – einfach weil er auf einer riesigen, unkuratierten Bibliothek von Bildern aus dem Internet trainiert wurde. Manchmal möchten Sie, dass dieser Künstler bestimmte Dinge „vergisst" – vielleicht den Stil eines bestimmten Künstlers, eine spezifische Figur wie R2D2 oder unangemessene Inhalte –, ohne ihn von Grund auf neu trainieren zu müssen (was ewig dauern und ein Vermögen kosten würde).

Dieser Artikel schlägt eine neue, intelligentere Methode vor, damit der Künstler diese Dinge vergisst. Die Autoren nennen ihre Methode f-DMU.

Hier ist die Aufschlüsselung ihrer Idee unter Verwendung einfacher Analogien:

1. Der alte Weg: Der „Durchschnitt"-Ansatz

Früher versuchten Forscher, den Künstler dazu zu bringen, ein Konzept zu vergessen, indem sie ihm sagten: „Wenn Sie aufgefordert werden, [Zielkonzept] zu malen, malen Sie etwas, das genau wie der Durchschnitt von [Ankerkonzept] aussieht."

Das Problem: Sie verwendeten ein Standard-Messinstrument namens „Mean Squared Error" (MSE), um zu messen, wie nah das neue Gemälde am Anker lag. Denken Sie dabei an einen strengen Lehrer, dem nur die Endnote als Durchschnitt wichtig ist. Wenn ein Schüler bei einer schwierigen Frage einen riesigen Fehler macht, bestraft ihn der Lehrer hart; wenn er jedoch viele kleine Fehler macht, bemerkt der Lehrer diese vielleicht gar nicht. Diese „Bestrafung" (Gradient) kann zu hart oder zu schwach sein, wodurch der Künstler entweder abstürzt (seltsame, kaputte Bilder erzeugt) oder zu langsam vergisst.

2. Der neue Weg: Der „flexible Lineal" (f-Divergenz)

Die Autoren sagen: „Warum nur ein Lineal verwenden? Nutzen wir eine ganze Werkzeugkiste mit verschiedenen Linealen."

In der Mathematik werden diese Lineale f-Divergenzen genannt. Der Artikel zeigt, dass Sie durch die Auswahl verschiedener Arten von f-Divergenzen beeinflussen können, wie der Künstler lernt, zu vergessen. Es ist wie die Wahl zwischen einem Lineal, das Distanz misst, einem, das Zeit misst, oder einem, das Gewicht misst – je nachdem, was Sie zu korrigieren versuchen.

Sie fanden zwei Haupttypen dieser „Lineale", die am besten funktionieren:

A. Die „sanfte Hand" (Quadratische Hellinger-Distanz)

Wie es funktioniert: Dieses Lineal ist sehr vorsichtig. Wenn der Künstler einen riesigen Fehler macht (eine große Differenz zwischen Ziel und Anker), sagt dieses Lineal: „Okay, das ist eine große Lücke, aber lassen Sie uns nicht in Panik geraten. Nehmen wir einen kleinen, stetigen Schritt, um es zu korrigieren."
Das Ergebnis: Der Künstler lernt sanft. Er wird nicht von großen Fehlern „geschockt", also fängt er nicht an, Unsinn zu malen.
Am besten geeignet für: Wenn Sie ein Konzept entfernen möchten, aber dennoch die Fähigkeit des Künstlers bewahren wollen, andere Dinge wunderschön zu malen. Es ist die „sichere" Wahl, die die Qualität der verbleibenden Kunst bewahrt.

B. Der „schwere Hammer" (Chi-Quadrat-Divergenz)

Wie es funktioniert: Dieses Lineal ist aggressiv. Wenn der Künstler einen Fehler macht, schreit dieses Lineal: „Korrigieren Sie das JETZT!" Je größer der Fehler, desto härter die Bestrafung.
Das Ergebnis: Der Künstler vergisst das Konzept sehr schnell.
Am besten geeignet für: Wenn Sie etwas sehr gründlich löschen müssen und es nicht stört, wenn der Künstler dabei ein wenig „zittert" oder einige feine Details verliert.

C. Der „Seilzug" (Variationsmethoden)

Für einige komplexe Lineale, die keine einfache Formel haben, haben die Autoren ein Spiel eingerichtet. Sie erstellen einen „Diskriminator" (einen Kritiker) und den „Künstler" (das Modell).

Der Kritiker versucht, den Unterschied zwischen der alten Kunst und der neuen Kunst zu erkennen.
Der Künstler versucht, den Kritiker zu täuschen.
Sie spielen ein Seilzug-Spiel, bis der Künstler nicht mehr von der „vergessenen" Version unterschieden werden kann. Dies ist mächtig, aber schwerer zu kontrollieren.

3. Was sie herausfanden

Die Autoren testeten diese Methoden in verschiedenen Szenarien:

Stile löschen: Den Künstler dazu bringen, „Van Gogh" oder „Picasso" zu vergessen.
Objekte löschen: Den Künstler dazu bringen, „R2D2" oder „Wall-E" zu vergessen.
NSFW-Inhalte löschen: Den Künstler dazu bringen, Nacktheit zu vergessen.

Die Kernaussage:
Die „sanfte Hand" (quadratische Hellinger) schlug konsequent die alte „Durchschnitt"-Methode (MSE).

Warum? Weil die alte Methode oft dazu führte, dass der Künstler mitten im Training verrückt wurde und hässliche, kaputte Bilder produzierte, bevor er sich schließlich beruhigte. Die neue Methode hielt den Künstler während des gesamten Prozesses stabil.
Der Kompromiss: Wenn Sie super aggressiv sein und ein Konzept vollständig entfernen möchten (selbst wenn die Kunst etwas rauer wird), können Sie den „schweren Hammer" oder die „Seilzug"-Methode verwenden. Aber wenn Sie ein sauberes, hochwertiges Ergebnis wünschen, bei dem der Künstler sich alles andere perfekt merkt, ist die „sanfte Hand" der Gewinner.

Zusammenfassung

Stellen Sie sich diesen Artikel als Bereitstellung eines neuen Sets an Trainingswerkzeugen für KI-Künstler vor. Anstatt ein einziges stumpfes Instrument zu verwenden, um eine KI dazu zu bringen, etwas zu vergessen, bieten sie uns eine Auswahl:

Verwenden Sie die sanfte Hand für ein sanftes, hochwertiges Vergessen, das die restlichen Fähigkeiten der KI intakt hält.
Verwenden Sie den schweren Hammer, wenn Sie ein Konzept schnell aus dem Nichts sprengen müssen.
Verwenden Sie den Seilzug, wenn Sie eine flexible Lösung für jede Art von Konzept benötigen.

Dies ermöglicht Entwicklern, das genau richtige Werkzeug für den Job auszuwählen und sicherzustellen, dass eine KI, wenn sie etwas „vergisst", nicht versehentlich auch vergisst, wie man ein guter Künstler ist.

Technische Zusammenfassung: Ein einheitliches Framework für das Unlearning von Diffusionsmodellen mit f-Divergenz

1. Problemstellung

Text-to-Image (T2I) Diffusionsmodelle (DMs), die auf großskaligen, aus dem Internet gescrapten Datensätzen (z. B. LAION-5B) trainiert wurden, haben bemerkenswerte Generierungsfähigkeiten demonstriert, erben jedoch auch unerwünschte Eigenschaften, darunter die Fähigkeit, nicht-arbeitsplatzsichere (NSFW) Inhalte, urheberrechtlich geschützte Kunststile und persönliche Informationen zu generieren. Während das erneute Training von Modellen auf kuratierten Datensätzen die theoretische Lösung zum Löschen spezifischer Konzepte darstellt, ist dies aus Gründen der Datenlöschung oder Ressourcenbeschränkungen rechnerisch prohibitiv und oft unpraktisch.

Bestehende Unlearning-Algorithmen verlassen sich typischerweise auf ein Paradigma, bei dem die Generierung des Modells für ein „Ziel"-Konzept (zu löschend) mit einem „Anker"-Konzept (z. B. ein Null-Konzept, eine Oberklasse oder ein semantisch verwandtes Konzept) abgeglichen wird. Diese Ausrichtung wird fast ausschließlich durch die Minimierung des mittleren quadratischen Fehlers (MSE) zwischen den Denoiser-Ausgaben von Ziel und Anker erreicht. Theoretisch entspricht diese MSE-Minimierung der Minimierung der Kullback-Leibler (KL)-Divergenz zwischen zwei Gaußschen Verteilungen, die auf die jeweiligen Konzepte konditioniert sind. Dieser Ansatz begrenzt den Optimierungsraum jedoch auf eine einzige Divergenzmetrik, was für die Balance zwischen Unlearning-Effektivität und der Erhaltung der Generierungstreue für Nicht-Ziel-Konzepte möglicherweise suboptimal ist.

2. Methodik

Die Autoren schlagen f-DMU vor, ein einheitliches Framework, das das Unlearning-Ziel von der Standard-KL-Divergenz auf jede f-Divergenz verallgemeinert. Das Framework basiert auf der Beobachtung, dass das Unlearning-Problem als Minimierung der Divergenz zwischen den Wahrscheinlichkeitsverteilungen des ursprünglichen Modells $\Phi$ (konditioniert auf das Anker-Konzept $c$ ) und des ungelöschten Modells $\hat{\Phi}$ (konditioniert auf das Ziel-Konzept $c^*$ ) zu bestimmten Zeitpunkten des Diffusionsprozesses formuliert werden kann.

Das Kernziel ist definiert als:
$\min_{\hat{\Phi}} \mathbb{E}_{c^*, c, t} \left[ D_f \left( p_{\Phi}(x_{t-1}|x_t, c) \parallel p_{\hat{\Phi}}(x_{t-1}|x_t, c^*) \right) \right]$

Das Framework bietet zwei unterschiedliche Ansätze zur Lösung dieses Ziels, abhängig von den Eigenschaften der gewählten f-Divergenz:

A. Geschlossene Verlustfunktionen

Für eine Teilmenge von f-Divergenzen, für die eine geschlossene Formel für Gaußsche Verteilungen existiert (insbesondere wenn Varianzen festgelegt sind, was in DMs Standardpraxis ist), leiten die Autoren spezifische Verlustfunktionen ab. Wichtige Beispiele sind:

Quadrierte Hellinger-Distanz ( $H^2$ ): Liefert eine Verlustfunktion, die einen exponentiellen Zerfall des MSE beinhaltet: $J_{H^2} \propto -\exp(-\text{MSE})$ . Dies führt zu begrenzten Gradienten, die mit zunehmendem MSE abnehmen, was die Auswirkungen von Ausreißern mildert und abrupte Modelländerungen verhindert.
Pearson- $\chi^2$ -Divergenz: Liefert eine Verlustfunktion, die ein exponentielles Wachstum des MSE beinhaltet: $J_{\chi^2} \propto \exp(\text{MSE})$ . Dies führt zu unbegrenzten, schnell wachsenden Gradienten für große Fehler, was zu aggressiveren Updates führt.
Jeffreys-Divergenz: Reduziert sich unter spezifischen Annahmen auf eine Standard-MSE-Formulierung.

B. Variationale Verlustfunktionen

Für f-Divergenzen, denen eine geschlossene Formel fehlt (z. B. Totale Variation oder wenn eine allgemeinere Formulierung gewünscht ist), nutzen die Autoren die variational Darstellung von f-Divergenzen. Dies verwandelt das Problem in ein Min-Max-Optimierungsspiel:
$\min_{\hat{\Phi}} \max_{T} \mathbb{E} \left[ \mathbb{E}_{p_{\Phi}}[T(\Phi)] - \mathbb{E}_{p_{\hat{\Phi}}}[f^*(T(\hat{\Phi}))] \right]$
Hier fungiert $T$ als Diskriminator (parametrisiert durch ein neuronales Netz), der die Divergenz schätzt, während $\hat{\Phi}$ als Generator fungiert, der versucht, diese zu minimieren. Dieser Ansatz ermöglicht es dem Framework, jede f-Divergenz auf die Unlearning-Aufgabe anzuwenden.

3. Theoretische Analyse

Die Arbeit bietet eine rigorose theoretische Analyse des vorgeschlagenen Frameworks:

Gradientendynamik: Die Autoren analysieren die Gradientenmagnituden der geschlossenen Verlustfunktionen. Sie zeigen, dass $H^2$ und $\chi^2$ ein gegenüber dem Standard-KL/MSE entgegengesetztes Verhalten aufweisen. $H^2$ unterdrückt Gradienten für große Fehler (Ausreißer), während $\chi^2$ sie verstärkt. Diese Gewichtung pro Stichprobe ist eine inhärente Eigenschaft der Wahl der f-Divergenz und unterscheidet sich von Standard-Lernraten-Schedulern.
Konvergenzeigenschaften: Mithilfe der Theorie nichtlinearer dynamischer Systeme beweisen die Autoren die lokale exponentielle Stabilität der variationalen Formulierung um Gleichgewichtspunkte herum. Sie leiten Schranken für die Konvergenzrate basierend auf den Eigenwerten der Jacobi-Matrix ab. Entscheidend zeigen sie, dass die Wahl der f-Divergenz die Konvergenzgeschwindigkeit beeinflusst; speziell divergenzen mit größeren zweiten Ableitungen ihrer Fenchel-Konjugierten am Gleichgewicht (z. B. $H^2$ und Jensen-Shannon) konvergieren theoretisch schneller als andere wie KL oder $\chi^2$ .
Modus-Suche vs. Modus-Abdeckung: Die Arbeit diskutiert, wie verschiedene Divergenzen die Verteilung generierter Bilder beeinflussen. $H^2$ und Jensen-Shannon zeigen „mittlere" Modus-Suche-Eigenschaften, während KL und $\chi^2$ „Modus-Abdeckung" aufweisen und möglicherweise höheren Wahrscheinlichkeiten in Bereichen zwischen Moduswerten zuweisen.

4. Experimentelle Ergebnisse

Das Framework wurde an Stable Diffusion-Modellen (v1.4, v1.5, v2.1, XL und 3) sowie FLUX evaluiert, mit dem Ziel der Löschung von Objekten (z. B. R2D2), Kunststilen (z. B. Van Gogh, Monet) und Nacktheit.

Gradientenstabilität: Die empirische Validierung bestätigt, dass $H$ -DMU (unter Verwendung von $H^2$ ) während des gesamten Trainings begrenzte Gradienten aufrechterhält und so die plötzliche degenerierte Bildgenerierung vermeidet, die bei MSE-basierten Methoden während intermediärer Feinabstimmungsphasen beobachtet wird.
Unlearning-Effektivität vs. Erhaltung:
- Geschlossene Form: $H$ -DMU übertrifft das Standard-MSE konsistent in der Erhaltung von Nicht-Ziel-Konzepten (gemessen durch Kernel Inception Distance, KID), während es eine vergleichbare oder bessere Löschung von Zielkonzepten erreicht. Umgekehrt erzielt $\chi^2$ -DMU eine stärkere Löschung, jedoch oft auf Kosten der Generierungsqualität und der Erhaltung des Priors.
- Variational: Variationale Methoden (z. B. $H_v$ -DMU) tendieren dazu „aggressiver" zu sein, erreichen eine schnelle Löschung in weniger Iterationen, führen jedoch oft zu höheren KID-Werten (geringere Bildqualität) aufgrund grober Divergenzschätzungen bei kleinen Batches.
Robustheit: Im Kontext der Nacktheitslöschung zeigte $H$ -DMU eine überlegene Robustheit gegen adversarial Prompts (z. B. Ring-A-Bell, MMA-Diffusion) im Vergleich zu State-of-the-Art-Methoden wie CAbl, DoCo und SLD und generierte unter Angriff signifikant weniger NSFW-Bilder.
Löschung mehrerer Konzepte: Das Framework bewältigte die sequenzielle Löschung von 10 Kunststilen erfolgreich, wobei $H$ -DMU im Vergleich zu MSE überlegene Kompromisse zwischen Löschung und Erhaltung aufwies.

5. Bedeutung und Behauptungen

Die Arbeit behauptet, das erste einheitliche Framework für das Unlearning von Diffusionsmodellen basierend auf f-Divergenzen vorzustellen. Ihre Hauptbeiträge sind:

Verallgemeinerung: Die Überwindung der impliziten KL/MSE-Annahme zugunsten einer flexiblen Familie von Divergenzen, die es Praktikern ermöglicht, das optimale Ziel basierend auf spezifischen Anwendungszielen auszuwählen (z. B. aggressive Löschung vs. hochauflösende Erhaltung).
Theoretische Fundierung: Bereitstellung einer theoretischen Analyse der Gradientenskalierung und Konvergenzeigenschaften, die die Wahl der Divergenz mit algorithmischer Stabilität und Geschwindigkeit verknüpft.
Praktischer Nutzen: Der Nachweis, dass spezifische Instanzen, insbesondere die geschlossene quadrierte Hellinger-Distanz ( $H$ -DMU), eine überlegene Standardwahl für die meisten Unlearning-Aufgaben bieten, indem sie eine effektive Konzeptentfernung mit der Erhaltung der Generierungsfähigkeiten des Modells in Einklang bringen.

Die Autoren betonen, dass ihr Framework modellagnostisch ist (auch auf flow-basierte Modelle anwendbar) und kein Training von Grund auf neu erfordert, wodurch es eine rechnerisch effiziente und theoretisch fundierte Alternative zu bestehenden Konzeptlöschtechniken darstellt.