OFMU: Optimization-Driven Framework for Machine Unlearning

Technisches Resümee von OFMU: Ein optimierungsgetriebener Rahmen für Machine Unlearning

Problemstellung
Große Sprachmodelle (LLMs) und andere Deep-Learning-Modelle, die auf massiven Korpora trainiert wurden, enthalten oft sensible, urheberrechtlich geschützte oder schädliche Informationen. Regulierungen wie die DSGVO schreiben ein „Recht auf Vergessenwerden“ vor, welches erfordert, dass Modelle den Einfluss spezifischer Daten (das Forget-Set, $D_f$) entfernen, ohne sie von Grund auf neu zu trainieren, während gleichzeitig die Leistung auf den verbleibenden Daten (das Retain-Set, $D_r$) aufrechterhalten werden muss.

Bestehende modellbasierte Unlearning-Methoden formulieren dies typischerweise als skalarisiertes Multi-Objective-Problem, das Forgetting- und Retention-Losses mit festen Gewichten kombiniert. Das Paper identifiziert drei kritische Einschränkungen dieses Ansatzes:

1. Statische Gewichtung: Feste Gewichte versagen bei der Anpassung an die dynamische Natur des Unlearnings, bei dem frühe Schritte das Vergessen priorisieren sollten und spätere Schritte auf die Wiederherstellung der Nützlichkeit (Utility) fokussieren sollten.
2. Instabilität: Die Skalarisierung führt zu instabilen Trainingsdynamiken. Wenn das Forgetting-Ziel dominiert, kollabiert die Modellnützlichkeit; wenn das Retention-Ziel dominiert, bleibt das Vergessen unvollständig.
3. Gradienten-Verstrickung (Gradient Entanglement): Bei schwer zu verlernenden („hard-to-unlearn“) Stichproben sind die Gradienten für das Vergessen und das Behalten stark gekoppelt. Aggressive Updates zur Entfernung von Wissen führen oft zu unverhältnismäßigen Kollateralschäden am behaltenen Wissen.

Methodik: OFMU
Die Autoren schlagen OFMU (Optimization-Driven Framework for Machine Unlearning) vor, einen strafbasierter Bi-Level-Optimierungsrahmen, der die Ziele explizit in eine hierarchische Struktur trennt. Die Kernphilosophie ist, dass das Vergessen ein nicht verhandelbares Primärziel ist, während die Erhaltung der Nützlichkeit ein sekundäres Ziel ist, das von einem erfolgreichen Vergessen abhängig ist.

1. Bi-Level-Formulierung:

   • Innere Maximierung (Forgetting): Das innere Problem sucht nach Parametern $\theta^*$, welche den Loss auf dem Forget-Set maximieren und gleichzeitig die Ähnlichkeit zwischen den Forget- und Retain-Gradienten minimieren. Dies wird durch die Zielfunktion $\Phi(\theta) = L_f(\theta) - \beta \cdot \text{Sim}(\nabla L_f, \nabla L_r)$ definiert, wobei $\beta$ den Strafterm für die Gradienten-Dekorrelation steuert.
   • Äußere Minimierung (Utility): Das äußere Problem minimiert den Loss auf dem Retain-Set $L_r(\theta)$ unter der Bedingung, dass die Parameter stationäre Punkte des inneren Ziels sind ($\nabla \Phi(\theta) = 0$).

2. Strafbasierte Reformulierung:
   Das direkte Lösen des Bi-Level-Problems ist aufgrund der Notwendigkeit wiederholter innerer Maximierungen und höherer Ableitungen rechnerisch prohibitiv. OFMU reformuliert dies in ein einstufiges, unbeschränktes Problem unter Verwendung eines Strafterms:
   $$F(\theta) = L_r(\theta) + \rho \|\nabla \Phi(\theta)\|^2$$
   Hierbei ist $\rho$ ein Strafparameter, der die Stationarität des inneren Ziels erzwingt. Wenn $\rho \to \infty$, erfüllt der Minimierer von $F(\theta)$ die ursprünglichen Bi-Level-Bedingungen.

3. Zwei-Schleifen-Algorithmus (Two-Loop Algorithm):
   Um die Skalierbarkeit zu gewährleisten, entwickeln die Autoren einen Zwei-Schleifen-Algorithmus:

   • Innere Schleife: Führt $T$ Schritte des Gradientenaufstiegs auf $\Phi(\theta)$ durch, um das Vergessen zu maximieren und die Gradienten zu dekorellieren.
   • Äußere Schleife: Führt einen Gradientenabstiegs-Schritt auf $F(\theta)$ durch, um die Nützlichkeit wiederherzustellen. Dieser Schritt beinhaltet die Berechnung eines Hessian-Vektor-Produkts (via automatischer Differenzierung), um den Strafterm $\|\nabla \Phi(\theta)\|^2$ zu handhaben.
   • Straf-Zeitplan (Penalty Schedule): Der Strafparameter $\rho$ wird über die Iterationen hinweg erhöht, um die Durchsetzung der inneren Stationaritätsbedingung schrittweise zu verstärken.

Wesentliche Beiträge

• Neuartiger Rahmen: Einführung von OFMU, einem Bi-Level-Framework, das das Vergessen gegenüber der Nützlichkeitserhaltung priorisiert und somit die inhärente Asymmetrie der Unlearning-Aufgabe erfasst.
• Skalierbarer Algorithmus: Entwicklung eines Zwei-Schleifen-Algorithmus mit konvergenzgarantierten Eigenschaften, der die rechnerischen Engpässe traditioneller Bi-Level-Optimierung (z. B. vollständige innere Konvergenz) vermeidet.
• Ähnlichkeitsbewusster Strafterm: Design eines Strafterms, der die Gradienten von Forget und Retain dynamisch dekorelliert und so destruktive Interferenzen während der Updates abmildert.
• Theoretische Analyse: Rigoröse Konvergenzanalyse, die zeigt, dass der Algorithmus in sowohl konvexen als auch nicht-konvexen Settings zu einem $\epsilon$-stationären Punkt konvergiert, einschließlich spezifischer Schranken für die Suboptimalität.

Experimentelle Ergebnisse
Die Autoren evaluierten OFMU auf Sprach- und Vision-Benchmarks:

• Sprache (TOFU Benchmark): Unter Verwendung von LLaMA-2-7B und LLaMA-3.2-1B wurde OFMU getestet, um 1 %, 5 % und 10 % des Datensatzes zu entfernen.
  • Leistung: OFMU erreichte ein überlegenes Gleichgewicht zwischen Forgetting Quality (FQ), Model Utility (MU) und Forget Truth Ratio (FTR).
  • Vergleich: Im Gegensatz zu Gradient Ascent (GA) und Gradient Difference (GradDiff), die eine hohe FQ erreichten, aber einen Nutzen-Kollaps verursachten (MU $\approx$ 0), hielt OFMU eine hohe Nützlichkeit aufrecht (z. B. MU $\approx$ 0,65 bei LLaMA-2 für 5 % Vergessen), während es gleichzeitig ein starkes Vergessen erzwang. Es übertraf Baselines wie NPO und RMU in den allgemeinen normalisierten Scores.
• Vision (CIFAR-10): Getestet unter Class-wise und Random-Forgetting-Szenarien.
  • Class-wise: OFMU erreichte eine Unlearning Accuracy (UA) von 81,51 % und eine Retain Accuracy (RA) von 93,51 %, was einen besseren Trade-off bietet als Influence Unlearning (IU), welches eine höhere UA, aber eine höhere Rechenkomplexität aufwies.
  • Random: Im anspruchsvollen Random-Forgetting-Szenario (10 % der Daten) erreichte OFMU eine UA von 7,71 %, was das Retraining (6,79 %) leicht übertrifft, während es gleichzeitig eine Robustheit gegenüber Membership Inference Attacks (MIA) beibehielt.

Bedeutung und Behauptungen
Das Paper behauptet, dass OFMU die fundamentale Instabilität skalarisierter Unlearning-Methoden adressiert, indem es die hierarchische Natur des Problems erkennt. Durch die Durchsetzung des Vergessens als primäre Bedingung vor der Optimierung der Nützlichkeit erreicht OFMU State-of-the-Art-Trade-offs sowohl in Sprach- als auch in Vision-Aufgaben. Die Autoren betonen, dass ihr Ansatz Folgendes bietet:

• Stabilität: Konsistente Leistung selbst bei schwer zu verlernenden Stichproben, bei denen andere Methoden scheitern.
• Robustheit: Stärkere Resilienz gegen Membership Inference Attacks im Vergleich zu bestehenden Baselines.
• Theoretische Fundierung: Ein prinzipierter Ansatz mit Konvergenzgarantien in nicht-konvexen Regimen, der über heuristische Gewichtungsschemata hinausgeht.

Das Paper schließt mit dem Hinweis, dass OFMU einen bedeutenden Fortschritt darstellt, zukünftige Arbeiten jedoch kontinuierliche Unlearning-Szenarien, adaptive Straf-Zeitpläne sowie die Anwendung auf größere Foundation Models und multimodale Daten untersuchen könnten.