🤖 machine learning

Multi-Objective Reference-Aligned Machine Unlearning

Dieses Paper schlägt Reference-Aligned UnLearning (RAUL) vor, ein Multi-Objective-Framework, das katastrophales Vergessen beim maschinellen Unlearning mildert, indem es die unbegrenzte Verlustmaximierung durch eine begrenzte KL-Ausrichtung an eine Referenzverteilung ersetzt und die daraus resultierende Optimierung mittels Jacobian-Descent löst, um eine mit vollständigem Retraining vergleichbare Leistung zu erzielen.

Ursprüngliche Autoren: Rasa Khosrowshahli, Stephen Asobiela, Beatrice Ombuki-Berman, Shahryar Rahnamayan

Veröffentlicht 2026-06-02

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Rasa Khosrowshahli, Stephen Asobiela, Beatrice Ombuki-Berman, Shahryar Rahnamayan

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie haben einen sehr klugen Studenten, der ein massives Lehrbuch studiert hat. Dieser Student ist so gut in seinem Job, dass er Fragen zu fast allem in diesem Buch beantworten kann. Aber nun müssen einige Seiten des Buches rechtlich vorgeschrieben entfernt werden (vielleicht weil sie private Informationen enthalten). Sie müssen den Studenten dazu bringen, diese spezifischen Seiten zu „verlernen“, ohne den Rest des gelernten Stoffes zu vergessen.

Dies ist das Problem des Maschinellen Vergessens (Machine Unlearning).

Der alte Weg: Das Problem der „Überkorrektur“

Traditionell nutzten Lehrer eine harte Methode, um einen Studenten dazu zu bringen, eine bestimmte Seite zu vergessen: Sie zwangen ihn, das Gegenteil von dem zu memorieren, was auf dieser Seite stand.

Die Metapher: Stellen Sie sich vor, der Student versucht zu vergessen, dass „Äpfel rot sind“. Der Lehrer schreit: „Nein! Äpfel sind blau! Äpfel sind grün! Äpfel sind wuselig!“
Das Ergebnis: Der Student wird so verwirrt dadurch, dass er gezwungen wird, die falsche Antwort zu geben, dass er auch anfängt, andere Dinge zu vergessen. Er könnte anfangen zu denken, dass „Orangen blau sind“ oder vergessen, wie man zählt. In der wissenschaftlichen Arbeit wird dies als Katastrophales Vergessen (Catastrophic Forgetting) bezeichnet. Der Student wird instabil, und seine Gesamtleistung sinkt, weil der Prozess des „Vergessens“ gegen den Prozess des „Erinnerns“ kämpft.

Die neue Lösung: RAUL (Reference-Aligned UnLearning)

Die Autoren dieser Arbeit schlagen einen klügeren, sanfteren Ansatz namens RAUL vor. Anstatt das Gegenteil zu schreien, sagen sie dem Studenten: „Für diese spezifischen Seiten verhalte dich einfach so, als hättest du sie noch nie gesehen.“

So funktioniert es, unterteilt in einfache Schritte:

1. Die zwei Ziele (Der Balanceakt)

Der Student hat zwei Aufgaben, die er gleichzeitig erfüllen muss:

Aufgabe A (Retention/Beibehaltung): Beantworte Fragen zum Rest des Buches weiterhin perfekt.
Aufgabe B (Vergessen): Beantworte Fragen zu den entfernten Seiten so, als wären sie völlig neue, unbekannte Konzepte.

Die alten Methoden versuchten, Aufgabe B durch das Bekämpfen von Aufgabe A zu erreichen. RAUL versucht, beide Aufgaben gemeinsam zu bewältigen, ohne dass sie sich gegenseitig behindern.

2. Der „Referenz“-Trick

Wie bringt man jemanden bei, sich so zu verhalten, als hätte er etwas noch nie gesehen? Man gibt ihm eine Referenz.

Die Metapher: Stellen Sie sich vor, der Student betrachtet ein Bild einer „vergessenen Seite“. Anstatt ihn zu zwingen zu sagen: „Das ist ein Hund“ (wenn es eigentlich eine Katze ist), sagt der Lehrer: „Schau dir dieses Bild eines zufälligen Objekts an, das du noch nie gesehen hast. Wie würdest du es beschreiben? Du wärst dir wahrscheinlich unsicher, oder? Du würdest sagen: ‚Ich weiß es nicht, es könnte alles Mögliche sein.‘“
Die Methode der Arbeit: Die Arbeit verwendet zwei Arten von „Referenz“-Leitfäden:
- Gleichverteilung (Der „totale Ratemodus“): Der Lehrer sagt dem Studenten: „Für diese Seiten rate einfach zufällig. Behandle jede Antwort als gleich wahrscheinlich.“ Das ist wie zu sagen: „Ich habe null Wissen darüber.“
- Held-out-Verteilung (Der „echte Fremde“): Der Lehrer zeigt dem Studenten das Bild eines völlig neuen Objekts (aus einem anderen Buch, das er noch nicht gelesen hat) und sagt: „Behandle die vergessenen Seiten genau wie dieses neue Objekt.“ Dies hilft dem Studenten, ruhig zu bleiben und nicht in Panik zu geraten, wodurch das Gedächtnis an den Rest des Buches stabil bleibt.

3. Der „Verkehrspolizist“ (Jacobian Descent)

Selbst mit einem guten Plan können die zwei Aufgaben (Erinnern vs. Vergessen) den Studenten immer noch in entgegengesetzte Richtungen ziehen.

Die Metapher: Stellen Sie sich vor, der Student wird von zwei Seilen gezogen. Ein Seil zieht ihn dazu, sich an das Buch zu erinnern; das andere Seil zieht ihn dazu, die Seiten zu vergessen. Wenn man die Seile einfach zusammenbindet, reißen sie oder der Student bleibt stecken.
Die Lösung: Die Arbeit verwendet einen speziellen „Verkehrspolizisten“ (genannt Jacobian Descent mit UPGrad). Dieser Polizist betrachtet beide Seile und findet einen Mittelweg. Er addiert die Kräfte nicht einfach nur zusammen; er berechnet eine Richtung, in der der Student vorankommen kann, ohne sich zu verheddern. Er findet den perfekten Punkt, an dem der Student gut genug im Erinnern und gut genug im Vergessen ist, ohne abzustürzen.

Was geschah in den Experimenten?

Die Forscher testeten dies an einem digitalen „Studenten“ (einem Computermodell) unter Verwendung von Bildern von Tieren (CIFAR-10).

Die alten Studenten (Alte Methoden): Als man sie aufforderte, 50 % der Daten zu vergessen, wurden die alten Methoden verwirrt. Ihr Gedächtnis an die verbleibenden 50 % brach zusammen, und sie schnitten schrecklich ab.
Der RAUL-Student: Als man ihn aufforderte, dieselbe Menge zu vergessen, blieb der RAUL-Student ruhig.
- Er behielt sein Gedächtnis für die verbleibenden Daten fast so perfekt bei, als wäre er nie gebeten worden, etwas zu vergessen.
- Er hat die entfernten Daten erfolgreich „vergessen“, indem er sich bei ihnen unsicher verhielt, genau wie bei einem völlig neuen Bild.
- Er war viel stabiler und zeigte keine wilden Leistungsschwankungen.

Das Fazit

Die Arbeit behauptet, dass wir durch die Änderung des Ziels von „Zwinge das Modell, falsch zu liegen“ hin zu „Richte das Modell so aus, dass es sich wie bei etwas Neuem verhält“, spezifische Daten entfernen können, ohne das Gehirn des Modells zu beschädigen. Es ist, als würde man einen Studenten lehren, ein bestimmtes Kapitel zu vergessen, indem man ihm sagt, er solle es wie eine leere Seite behandeln, anstatt zu versuchen, das ganze Buch mit Fehlern neu zu schreiben.

Das Ergebnis ist ein System, das wesentlich besser darin ist, die Privatsphäre zu respektieren (die Daten zu entfernen), während es seine Intelligenz intakt hält.

Technische Zusammenfassung: Multi-Objective Reference-Aligned Machine Unlearning (RAUL)

Problemstellung
Machine Unlearning (MU) zielt darauf ab, den Einfluss spezifischer Trainingsbeispiele (das „Forget Set“, $F$ ) aus einem eingesetzten Modell zu entfernen, während die Leistung auf den verbleibenden Daten (das „Retain Set“, $R$ ) erhalten bleibt. Bestehende approximative Methoden verlassen sich typischerweise auf die Optimierung mit einem einzelnen Ziel, wie etwa Gradient Ascent (Maximierung des Verlusts auf $F$ ) oder zufälliges Relabeling. Die Autoren argumentieren, dass diese Ansätze katastrophales Vergessen (catastrophic forgetting) induzieren, da die Optimierungsdynamik des „Vergessens“ (Abstoßung korrekter Vorhersagen) mit dem „Behalten“ (Aufrechterhaltung korrekter Vorhersagen auf $R$ ) kollidiert. Dieser Konflikt führt dazu, dass das Modell von seinem vortrainierten Wissen abdriftet, was einen signifikanten Nutzenverlust auf dem Retain-Set zur Folge hat.

Methodik: Reference-Aligned UnLearning (RAUL)
Das Paper schlägt RAUL vor, ein Multi-Objective Optimization (MOO) Framework, das Unlearning als eine gemeinsame Optimierung von Vergessen und Behalten umformuliert, statt als eine rein adversarielle Aufgabe.

Zielformulierung:
- Retention-Ziel ( $L_{retain}$ ): Standardmäßige Kreuzentropie-Minimierung auf dem Retain-Set $R$ , um den Nutzen des Modells zu bewahren.
- Referenzbasiertes Vergessen-Ziel ( $L_{forget}$ ): Anstatt den Verlust auf $F$ zu maximieren, minimiert RAUL die Kullback-Leibler-Divergenz zwischen den Vorhersagen des Modells auf $F$ und einer Referenzverteilung ( $p_{ref}$ ), die eine „unbekannte“ Verteilung repräsentiert. Dies richtet die Konfidenz des Modells auf den vergessenen Stichproben so aus, wie es bei Daten der Fall wäre, die es noch nie gesehen hat.
  $\min_{\theta} L_{forget}(f_\theta, F) = \mathbb{E}_{x_u \sim F} [KL (p_\theta(y | x_u) \parallel p_{ref}(y))]$
Strategien für die Referenzverteilung:
Das Paper führt zwei Strategien zur Instanziierung von $p_{ref}$ ein:
- Gleichverteilung (Uniform Distribution, UniDist): Setzt $p_{ref}(y) = 1/C$ (wobei $C$ die Anzahl der Klassen ist). Dies dient als fundierte Baseline, die keine zusätzlichen Daten erfordert, und fördert maximale Unsicherheit auf den vergessenen Stichproben. Die Minimierung der KL-Divergenz zu einer Gleichverteilung ist äquivalent zur Maximierung der Vorhersage-Entropie.
- Held-out-Verteilung (HeldDist): Berechnet eine empirische Referenzverteilung aus einem disjunkten, ungesehenen Datensatz ( $D_{ref}$ ), der nicht Teil des ursprünglichen Trainings-, Validierungs- oder Testdatensatzes war. Dies bietet einen stabilen Anker, der das Verhalten von tatsächlich ungesehenen Daten nachahmt, was potenziell eine bessere Retention-Stabilität bietet.
Optimierung via Jacobian Descent:
Das Problem wird als Bi-Objective-Optimierung behandelt: $\theta_u = \arg \min_{\theta} (L_{retain}, L_{forget})$ . Um dies ohne manuelle Gewichtung der Ziele zu lösen (was zu Konflikten in den Gradienten führen kann), verwenden die Autoren Jacobian Descent unter Verwendung des UPGrad (Unconflicting Projection of Gradients) Aggregators.
- Die Gradienten der beiden Ziele ( $g_R$ und $g_F$ ) werden zu einer Jacobi-Matrix gestapelt.
- UPGrad projiziert jeden Gradienten auf den dualen Kegel aller Ziel-Gradienten und mittelt sie.
- Diese Aggregation findet einen Pareto-stationären Punkt, an dem die Update-Richtung nicht ein Ziel erhöht, während sie das andere senkt, wodurch der Gradientenkonflikt effektiv gelöst wird.

Wesentliche Beiträge

Umformulierung des Unlearnings: Verschiebt das Paradigma von der adversariellen Verlustmaximierung hin zur referenz-ausgerichteten Vorhersage, wodurch die Vergessen-Zielsetzung begrenzt wird, um das Abdriften des Modells zu verhindern.
Multi-Objective Framework: Modelliert die Spannung zwischen Vergessen und Behalten explizit als Bi-Objective-Problem, das mittels Pareto-stationärer Optimierung (Jacobian Descent) statt linearer Skalarisierung gelöst wird.
Referenzstrategien: Schlägt zwei unterschiedliche Referenzverteilungen vor (Uniform und Held-out), um das Vergessen-Verhalten zu steuern, wobei ein Kompromiss zwischen datenfreier Implementierung und Retention-Stabilität geboten wird.
Stabile Optimierung: Demonstriert, dass der Ersatz der unbeschränkten Verlustmaximierung durch die beschränkte KL-Ausrichtung den Gradientenkonflikt reduziert und so zu stabileren Updates führt.

Experimentelle Ergebnisse
Die Autoren evaluierten RAUL bei Bildklassifizierungsaufgaben (CIFAR-10 mit ResNet-18) unter 10% und 50% zufälligen Vergessensraten und verglichen es mit Baselines, einschließlich Gradient Ascent (GA), Random Relabeling (RL), Influence Functions (IU) und SalUn.

Performance-Lücke: RAUL-Varianten erzielten die geringsten durchschnittlichen Performance-Lücken im Vergleich zum vollständigen Retraining.
- Bei 10% Vergessen erreichte HeldDist-RAUL mit UPGrad die beste durchschnittliche Lücke von 2,23, was die stärkste Baseline (IU mit 6,06) übertraf und GA (16,90) deutlich schlug.
- Bei 50% Vergessen, wo Baselines wie GA kollabierten (Lücke von 49,19), erzielte UniDist-RAUL mit UPGrad die beste Lücke von 6,75, während HeldDist-RAUL-Varianten Lücken um 9,22 beibehielten.
Trade-off zwischen Retention und Vergessen:
- HeldDist-RAUL priorisierte die Retention und erreichte eine hohe Retain-Genauigkeit (RA ~98,89%) und Test-Genauigkeit (TA ~92,12%) bei konservativem Vergessen.
- UniDist-RAUL bot ein aggressiveres Vergessen-Profil (höhere Unlearning-Genauigkeit), behielt aber dennoch die niedrigste Gesamt-Lücke zum Retraining bei.
Privacy-Metriken: RAUL-Methoden hielten die Membership Inference Attack (MIA) Scores nahe am Retraining-Baseline (z. B. ~15,31 vs. 13,13 für Retraining), während GA auf nahezu Zufallsniveau sank (1,93), was zeigt, dass RAUL den Einfluss entfernt, ohne die Instabilität von adversariellen Angriffen zu erzeugen.
Stabilität: RAUL-Varianten zeigten im Vergleich zu GA und $\ell_1$ -spärlichen Methoden deutlich geringere Standardabweichungen in der Performance, was die Stabilität der referenz-ausgerichteten Updates bestätigt.

Bedeutung und Behauptungen
Das Paper behauptet, dass RAUL den grundlegenden Engpass des expliziten Konflikts zwischen Vergessen und Behalten adressiert. Durch den Ersatz der unbeschränkten Verlustmaximierung durch eine beschränkte KL-Ausrichtung auf eine Referenzverteilung erreicht die Methode:

Reduzierung des Gradientenkonflikts: Die MOO-Formulierung mit UPGrad-Aggregation stellt sicher, dass Updates das Retain-Set nicht verschlechtern, während das Target-Set vergessen wird.
Verhinderung von katastrophalem Vergessen: Die beschränkte Natur des Vergessen-Ziels verhindert, dass das Modell zu weit von seinem vortrainierten Wissen abdriftet.
Flexibilität: Das Framework bietet die Wahl zwischen einem datenfreien Ansatz (UniDist) und einem datenabhängigen, höher stabilen Ansatz (HeldDist).

Die Autoren kommen zu dem Schluss, dass UniDist-RAUL als robuste Fallback-Lösung dient, die keine zusätzlichen Daten benötigt, während die Verfügbarkeit eines Held-out-Datensatzes es HeldDist-RAUL ermöglicht, eine engere Retention zu erreichen. Sie merken an, dass zukünftige Arbeiten die Erweiterung auf generative Modelle, LLMs und die Nutzung von Multi-Objective Evolutionary Algorithms (MOEAs) für vielfältigere Pareto-optimale Lösungen untersuchen werden.