Not Every Time and Frequency Need to Be Forgotten in Diffusion Unlearning

Technische Zusammenfassung: Nicht jede Zeit- und Frequenzkomponente muss in der Diffusion-Unlearning vergessen werden

Problemstellung
Data Unlearning in Diffusionsmodellen zielt darauf ab, den Einfluss spezifischer Trainingsbeispiele (das „Forget Set“) aus einem vortrainierten Modell zu entfernen, während die Nützlichkeit der verbleibenden Daten (das „Retain Set“) erhalten bleibt. Aktuelle Fine-Tuning-Ansätze, wie Gradient Ascent (GA) oder Negative Preference Optimization (NPO), verlassen sich typischerweise auf die Maximierung des Verlusts über das Forget Set. Diese Methoden leiden jedoch häufig unter zwei kritischen Problemen:

1. Unvollständiges Vergessen: Das Modell versäumt es möglicherweise, die spezifische Instanz vollständig zu löschen.
2. Qualitätsdegradierung: Aggressives Unlearning führt oft zu verrauschten, ästhetisch schlechten oder verzerrten Generierungen für das Retain Set.

Bestehende Methoden behandeln die Diffusion-Zeitschritte und Frequenzkomponenten im Unlearning-Prozess im Allgemeinen einheitlich. Dieses Paper argumentiert, dass eine solche einheitliche Behandlung die inhärenten Dynamiken von Diffusionsmodellen ignoriert, bei denen verschiedene Stadien des Reversierungsprozesses (vom Rauschen zum Datenpunkt) und verschiedene Frequenzkomponenten ungleichmäßig zu semantischer Identität, instanzspezifischer Merkmalsbildung und feinkörnigen Details beitragen.

Methodik
Die Autoren schlagen ein Framework für zeit- und frequenzselektives Unlearning vor, das gezielt bestimmte Regionen des Diffusionsprozesses anspricht, anstatt einheitliche Updates anzuwenden.

1. Zeitspezifisches Vergessen:

   • Analyse: Das Paper nutzt das theoretische Verständnis der Diffusionsdynamik und identifiziert zwei kritische Übergangspunkte: die Speziationszeit ($t_S$) und die Kollapszeit ($t_C$).
     • Phase I ($t > t_S$): Erfasst grobe Semantik und Klassenidentität.
     • Phase II ($t_C < t < t_S$): Beinhaltet instanzspezifische Attraktion und die Bildung spezifischer Details.
     • Phase III ($t < t_C$): Verfeinert feinkörnige Details und Texturen.
   • Strategie:
     • Für Unkonditionelles Unlearning konzentriert sich die Methode auf Phase II (mittlere Zeitschritte), in der die instanzspezifische Attraktion am stärksten ist, um die Degradierung feiner Details in Phase III zu vermeiden.
     • Für Konditionelles Unlearning (Text-to-Image) zielt die Methode auf Phase I ($t > t_S$) ab, in der die konditionelle Führung die Trajektorie dominiert, bevor die Speziation eintritt.
   • Implementierung: Eine Zeitgewichtungsfunktion $P(t)$ wird auf die Verlustfunktion angewendet, wobei höhere Wahrscheinlichkeiten bestimmten Intervallen (z. B. $[t_C, t_S]$ oder $[t_S, T]$) zugewiesen werden, während Updates in anderen Intervallen unterdrückt werden. Zudem wird eine adaptive Methode vorgeschlagen, um den optimalen Übergangspunkt $\tau$ (analog zu $t_S$) basierend auf der Guidance-Magnitude zu suchen.

2. Frequenzspezifisches Vergessen:

   • Analyse: Die empirische Spektralanalyse zeigt, dass Unlearning oft unerwünschtes Hochfrequenzrauschen einführt, was die Stichprobenqualität verschlechtert. Die Hochfrequenzverteilung des Retain Sets sollte weitgehend unverändert bleiben.
   • Strategie: Ein Tiefpassfilter wird auf das Verlustresiduum während des Unlearnings angewendet. Das Gradientensignal wird projiziert, um die Hochfrequenzkomponenten des Forget Sets zu entfernen, während der Input für den Denoiser der natürliche verrauschte Sample bleibt.
   • Implementierung: Unter Verwendung der Schnellen Fourier-Transformation (FFT) wird das Verlustresiduum maskiert, um Frequenzen oberhalb eines Cutoff-Radius $r_t$ auszuschließen. Dies stellt sicher, dass der Unlearning-Prozess die hochfrequenten Details, die für die Bildqualität entscheidend sind, nicht stört.

3. Theoretische Rechtfertigung:

   • Die Autoren formulieren eine Vergessen–Erhaltung-Nützlichkeitsfunktion $J_\beta(m)$ basierend auf der Kullback-Leibler-Divergenz zwischen den ursprünglichen und den unlearned Pfadmaßen.
   • Sie beweisen, dass selektives Unlearning (Update nur in Region $S$) einen streng positiven Nutzenunterschied gegenüber vollständigem Unlearning liefert, vorausgesetzt, dass die selektiven Updates Änderungen in der Zielregion verstärken ($\mu \ge 1$) und Änderungen in Nicht-Zielregionen unterdrücken ($\eta \le 1$).

4. Evaluationsmetrik:

   • Das Paper führt $SSCD_{norm}$ ein, eine verbesserte Metrik, die die Perturbationsdistanz normalisiert. Im Gegensatz zur Standard-SSCD, die für verschwommene oder degradierte Bilder künstlich niedrig sein kann, berücksichtigt $SSття_{norm}$ die Qualität des generierten Bildes und stellt sicher, dass eine geringe Unähnlichkeit nicht auf Kosten der ästhetischen Qualität erreicht wird.

Wichtigste Ergebnisse
Die vorgeschlagene Methode wurde auf CelebA-HQ (unkonditionell) und Stable Diffusion v1.4 (konditionelles Text-to-Image) gegenüber verschiedenen Baselines (GA, SISS, DPO, KTO) evaluiert.

• Unkonditionelles Unlearning: Die Anwendung von Zeitselektion (Fokus auf $t \in [250, 750]$) und Frequenzselektion (Tiefpassfilter mit $r_t=0.15$) verbesserte den $SSCD_{norm}$ und die Ästhetik-Scores signifikant im Vergleich zu den Baselines. Beispielsweise verbesserte SISS den Ästhetik-Score um ~34,8 % bei $t=250$ und um ~25,8 % bei $t=500$, während die Vergessens-Metriken beibehalten oder verbessert wurden.
• Konditionelles Unlearning: Auf Stable Diffusion erreichte der selektive Ansatz eine höhere Erfolgsrate beim Unlearning und eine schnellere Konvergenz als die SISS-Baseline. Er entfernte erfolgreich memorierte Prompts bei gleichzeitiger Beibehaltung höherer CLIP-IQA-Qualitätswerte.
• Membership Inference Attacks (MIA): Bestehende Methoden zeigten eine extreme Anfälligkeit für MIA (relative Fehler bis zu $\times 10^7$), was auf ein Übermaß an Vergessen hindeutet. Die vorgeschlagene Methode milderte diese Kollateralschäden erheblich ab (Reduktion der Fehler auf $\times 5.76$ und $\times 53.20$), was auf eine bessere Bewahrung der Datenmanifold hindeutet.
• Generalisierung: Die Methode zeigte Wirksamkeit über verschiedene Backbones (U-Net und Diffusion Transformer) und Szenarien des Konzept-Unlearnings (z. B. Nacktheitserkennung).

Bedeutung und Ansprüche
Das Paper beansprucht, praktische Erkenntnisse für das Verständnis und die Verbesserung des Data Unlearnings in Diffusionsmodellen zu liefern, indem es zeigt, dass Vergessen kein uniformer Prozess ist. Die primären Beiträge sind:

1. Systematische Untersuchung: Eine detaillierte Analyse, wie Zeitschritte und Spektralbereiche unterschiedlich zu Memorierung und Nützlichkeit beitragen.
2. Einfaches Framework: Ein selektiver Unlearning-Ansatz, der mit bestehenden Zielsetzungen (GA, SISS, DPO, KTO) kompatibel ist und minimale architektonische Änderungen erfordert.
3. Qualitätserhaltung: Die Fähigkeit, hohe Erfolgsraten beim Unlearning zu erzielen, ohne die typische schwere Qualitätsdegradierung durch gradientenbasierte Verfahren.
4. Verbesserte Evaluation: Die Einführung von $SSCD_{norm}$, um zu verhindern, dass Unlearning-Methoden, die auf Bilddegradierung als Proxy für Vergessen beruhen, positiv bewertet werden.

Die Autoren merken bescheiden an, dass ihre Methode zwar effektiv optimale Regionen basierend auf bestehenden theoretischen Grenzen identifiziert, aber noch kein vollständig automatisches Verfahren zur Entdeckung dieser optimalen Regionen für jeden spezifischen Datensatz ohne Vorwissen oder adaptiven Suchaufwand bietet. Dennoch unterstreicht die Arbeit, dass gezieltes Vergessen in spezifischen Zeit- und Frequenzfenstern entscheidend ist, um den Trade-off zwischen Privatsphäre (Unlearning) und Nützlichkeit (Generationsqualität) zu balancieren.