Remaining-data-free Machine Unlearning by Suppressing Sample Contribution

Die Arbeit stellt MU-Mis vor, eine bahnbrechende Methode zum maschinellen Vergessen, die durch die direkte Unterdrückung der Sensitivität des Modells gegenüber den zu vergessenden Daten diese vollständig entfernt, ohne dabei die Leistung auf den verbleibenden Daten zu beeinträchtigen oder Zugriff auf diese Daten zu benötigen.

Das Wesentliche

Stell dir vor, du hast einen sehr klugen Koch (das ist dein KI-Modell), der gelernt hat, die besten Gerichte der Welt zu kochen. Er hat tausende Rezepte und Zutaten probiert. Aber plötzlich ruft ein Gast an und sagt: „Entschuldigung, ich möchte nicht, dass mein spezielles, geheimes Familienrezept in deinem Kochbuch steht. Bitte vergiss es komplett!"

Das ist das Problem des „Maschinellen Vergessens" (Machine Unlearning).

Das Schwierige daran ist: Wenn der Koch das Rezept einfach aus dem Buch reißt, könnte das ganze Buch durcheinander geraten. Vielleicht vergisst er dann auch, wie man eine Suppe macht, weil das vergessene Rezept ihm geholfen hat, die Gewürze zu verstehen. Oder er versucht, das Rezept zu löschen, indem er es mit Tinte übermalt, aber dann sieht das ganze Buch schmutzig aus und schmeckt nicht mehr gut.

Bisherige Methoden waren oft wie dieser schmutzige Löscher: Sie versuchten, das Modell zu verwirren oder neu zu trainieren, was viel Zeit kostete und die Qualität des restlichen Kochens verschlechterte.

Die neue Lösung: MU-Mis (Der „Feinfühlige" Koch)

Die Forscher aus diesem Papier haben eine clevere neue Methode namens MU-Mis entwickelt. Hier ist die einfache Erklärung, wie sie funktioniert, mit ein paar Bildern:

1. Das Problem: Wie merkt man, was das Modell gelernt hat?

Stell dir vor, der Koch ist wie ein Musiker, der ein Instrument spielt. Wenn er ein bestimmtes Lied (das vergessene Rezept) geübt hat, reagiert sein Finger sehr empfindlich auf die Saiten genau für diese Melodie. Er „spürt" das Lied.

Die alten Methoden sagten: „Wir wissen nicht genau, welches Lied er spielt, also lassen wir ihn einfach wild herumspielen, bis er es vergisst." Das machte ihn aber nervös und er spielte auch die anderen Lieder falsch.

2. Die Entdeckung: Die „Empfindlichkeit"

Die Forscher haben etwas Geniales bemerkt: Ein Lied, das der Koch wirklich gelernt hat, macht seine Finger überempfindlich für genau diese Noten. Wenn er das Lied nicht gelernt hätte, wären seine Finger viel ruhiger.

Das ist der Schlüssel: Je mehr das Modell ein bestimmtes Datenstück „gelernt" hat, desto empfindlicher reagiert es darauf.

3. Die Lösung: Die Empfindlichkeit dämpfen

Statt das Modell zu verwirren oder neu zu trainieren, sagt MU-Mis dem Koch einfach:

„Hey, deine Finger zittern zu stark bei diesem einen Lied. Mach sie ein bisschen ruhiger, aber vergiss nicht, wie du die anderen Lieder spielst!"

Die Methode sucht genau nach dieser „Zitter-Bewegung" (in der Fachsprache: Input Sensitivity) und drückt sie sanft zurück.

• Sie macht das Modell so, als hätte es das Rezept nie gesehen.
• Aber da sie nur die Empfindlichkeit für dieses eine Rezept dämpft, bleibt die Fähigkeit, die anderen Gerichte zu kochen, perfekt erhalten.

4. Der große Vorteil: Keine Zutatenliste nötig!

Das ist der wahre Clou: Normalerweise müsste man, um etwas zu vergessen, die ganze Zutatenliste (die restlichen Daten) nochmal durchgehen, um sicherzustellen, dass man nichts anderes vergisst. Das kostet Zeit und Speicherplatz.

MU-Mis braucht das nicht. Es schaut nur auf das fertige Kochbuch (das trainierte Modell) und sagt: „Ich sehe genau, wo das Rezept steht und wie stark es zittert. Ich korrigiere nur diesen einen Punkt."

• Keine restlichen Daten nötig.
• Extrem schnell.
• Das Ergebnis schmeckt genauso gut wie vorher.

Zusammenfassung in einem Satz

Statt das ganze Haus umzubauen, um einen Gast zu vergessen, hat MU-Mis einen Zaubertrank erfunden, der nur die Erinnerung an diesen einen Gast löscht, während der Rest des Hauses (und der Koch) völlig unverändert und glücklich bleibt – und das alles, ohne dass man die anderen Gäste nochmal fragen muss.

Das ist ein riesiger Schritt, um KI-Systeme sicherer, schneller und datenschutzfreundlicher zu machen, besonders wenn man nicht mehr auf alle alten Daten zugreifen kann.

Technische Zusammenfassung

Hier ist eine detaillierte technische Zusammenfassung des Papers „Remaining-Data-Free Machine Unlearning by Suppressing Sample Contribution" (MU-Mis) auf Deutsch:

Titel: Remaining-Data-Free Machine Unlearning by Suppressing Sample Contribution

Veröffentlicht bei: ICLR 2026
Autoren: Xinwen Cheng et al. (Shanghai Jiao Tong University)

---

1. Problemstellung

Maschinelles Vergessen (Machine Unlearning, MU) zielt darauf ab, den Einfluss spezifischer Trainingsdaten („Vergessensdaten") aus einem vorab trainierten Modell zu entfernen, um dem „Recht auf Vergessenwerden" (z. B. gemäß DSGVO) nachzukommen. Ein ideales MU-Verfahren sollte ein Modell produzieren, das dem Ergebnis eines vollständigen Neuentrainings (ohne die Vergessensdaten) entspricht.

Herausforderungen bestehender Ansätze:

• Schwierigkeit der Quantifizierung: Es ist extrem schwierig, den exakten Beitrag eines einzelnen Samples zum Lernprozess zu isolieren und zu entfernen.
• Heuristische Strategien: Die meisten bestehenden Methoden umgehen dieses Problem durch Heuristiken wie zufälliges Neulabeln (Random Labeling) oder Wissenstransfer von nutzlosen Lehrern (Knowledge Distillation).
• Nachteile: Diese Heuristiken führen oft zu einer drastischen Verschlechterung der Modellleistung auf den verbleibenden Daten („Catastrophic Unlearning" oder „Over-Forgetting").
• Abhängigkeit von Restdaten: Um die Leistung auf den verbleibenden Daten wiederherzustellen, benötigen viele Methoden Zugriff auf diese Daten („Remaining-Data-Dependent"), was in der Praxis oft aufgrund von Datenschutz oder Speicherbeschränkungen nicht möglich ist.
• Lücke: Es fehlte bisher eine Methode, die ohne Zugriff auf die verbleibenden Daten („Remaining-Data-Free") eine Leistung erzielt, die mit den besten datenabhängigen Methoden vergleichbar ist.

2. Methodik: MU-Mis

Die Autoren schlagen MU-Mis (Machine Unlearning by Minimizing Input Sensitivity) vor. Der Kern der Methode basiert auf einer theoretischen und empirischen Erkenntnis über die Natur des Trainingsbeitrags.

Theoretische Grundlage:

• Der Beitrag eines Trainingsamples $x_i$ zum Lernprozess manifestiert sich in der erhöhten Empfindlichkeit (Sensitivity) des gelernten Modells gegenüber diesem Input.
• Mathematisch wird der Beitrag durch die Ableitung der Trainingsfunktion $A$ nach dem Sample $x_i$ ($\partial A / \partial x_i$) beschrieben. Da dies keine geschlossene Form hat, approximieren die Autoren dies durch die Empfindlichkeit des Modells gegenüber dem Input: $\partial f(x) / \partial x$.
• Schlüsselerkenntnis: Während des Trainings vergrößert sich die Empfindlichkeit des Ziel-Logits (der korrekten Klasse) im Vergleich zu irrelevanten Logits (falschen Klassen) für das Trainingssample signifikant. Ein Sample, das gelernt wurde, zeigt eine überproportional hohe Empfindlichkeit für seine Zielklasse.

Der Algorithmus (MU-Mis):
Anstatt die Modellparameter direkt zu manipulieren oder die Daten neu zu labeln, minimiert MU-Mis die Differenz der Empfindlichkeitsmagnituden zwischen dem Ziel-Logit und einem irrelevanten Logit für die Vergessensdaten.

Die Verlustfunktion lautet:
$$L(D_f; w) = \frac{1}{N_f} \sum_{x_f \in D_f} \left( \|\nabla_x f_c(x_f, w)\|_F^2 - \|\nabla_x f_{c'}(x_f, w)\|_F^2 \right)$$
Dabei ist:

• $c$: Die Zielklasse des Samples.
• $c'$: Eine zufällig ausgewählte irrelevante Klasse.
• $\|\nabla_x f\|_F$: Die Frobenius-Norm des Eingangsgradienten (Input Sensitivity).

Optimierungsziel:
Das Verfahren reduziert die Empfindlichkeit des Ziel-Logits (Entfernung des Beitrags) und stellt gleichzeitig die Empfindlichkeit der irrelevanten Logits wieder her (Wiederherstellung der Modellstruktur für die verbleibenden Daten).

Stop-Kriterium:
Da keine Validierungsdaten verfügbar sind, nutzen die Autoren ein dynamisches Stop-Kriterium basierend auf der Wiederherstellung der Empfindlichkeit der irrelevanten Klassen. Wenn die Empfindlichkeit der irrelevanten Klassen einen bestimmten Schwellenwert ($\delta$) in Bezug auf ihren ursprünglichen Wert erreicht, wird die Optimierung gestoppt. Dies signalisiert, dass der Beitrag der Vergessensdaten entfernt und die Modellstruktur für die restlichen Daten wiederhergestellt ist.

3. Wichtige Beiträge

1. Theoretische und empirische Enthüllung: Die Autoren zeigen, dass der Beitrag eines Samples durch die vergrößerte Empfindlichkeitslücke zwischen Ziel- und irrelevanten Logits reflektiert wird. Dies ermöglicht die Identifikation des Beitrags allein durch das vorab trainierte Modell.
2. MU-Mis Algorithmus: Entwicklung einer Methode, die den Sample-Beitrag direkt unterdrückt, indem sie die Empfindlichkeitslücke minimiert. Dies eliminiert die Notwendigkeit von Heuristiken wie zufälligem Neulabeln.
3. State-of-the-Art Leistung ohne Restdaten: Zum ersten Mal erreicht eine remaining-data-free Methode eine Leistung, die mit den besten remaining-data-dependent Methoden (wie SalUn, SCRUB) gleichzieht und alle anderen remaining-data-free Baselines (wie JiT, SCAR, RL) signifikant übertrifft.
4. Robustheit bei sequentiellem Vergessen: Die Methode zeigt stabile Ergebnisse bei sequentiellen Unlearning-Anfragen, während bestehende Methoden oft unter „Utility Breakdown" oder „Knowledge Residue" leiden.

4. Ergebnisse

Die Evaluation erfolgte auf 6 Datensätzen (CIFAR-100, Tiny ImageNet, PinsFaceRecognition, CIFAR-20, SVHN) mit ResNet-18 und ViT-Architekturen.

• Nützlichkeit (Utility): MU-Mis erzielt den geringsten durchschnittlichen Abstand (Avg. Gap) zum Neuentrainingsmodell in den meisten Szenarien (Full-Class und Sub-Class). Auf CIFAR-100 und Tiny ImageNet liegt die Leistung von MU-Mis fast auf dem Niveau von SalUn (der Restdaten benötigt), aber ohne diese Daten zu nutzen.
• Datenschutz (Privacy): Die Methode entfernt die Informationen der Vergessensdaten effektiv, was durch niedrige Werte bei Membership Inference Attacks (MIA) bestätigt wird.
• Effizienz: MU-Mis ist deutlich schneller als datenabhängige Methoden. Beispielsweise ist MU-Mis beim Unlearning einer gesamten Klasse auf Tiny ImageNet mit ViT bis zu 30-mal schneller als SalUn (3 Minuten vs. >1 Stunde).
• Sequentielles Vergessen: Im Gegensatz zu Methoden wie BT (Bad Teacher) oder FT (Fine-Tuning), die bei wiederholten Anfragen die Leistung einbrechen lassen oder vergessene Daten wiederherstellen, bleibt MU-Mis stabil und erreicht eine geringe Divergenz (KL-Divergenz) zum Neuentrainingsmodell.
• Vergleich mit Remaining-Data-Free Baselines: MU-Mis übertrifft JiT, SCAR, NG und RL in allen Metriken signifikant.

5. Bedeutung und Ausblick

• Praktische Anwendbarkeit: MU-Mis adressiert ein kritisches Problem in der realen Welt: Oft sind die verbleibenden Trainingsdaten nicht mehr verfügbar (z. B. durch Verschlüsselung, Verteilung auf Silos oder vertragliche Löschungen). Die Fähigkeit, effektiv zu „vergessen", ohne diese Daten zu benötigen, macht das Verfahren für skalierbare und compliance-konforme Systeme entscheidend.
• Paradigmenwechsel: Statt auf heuristische Störung des Modells zu setzen, nutzt MU-Mis ein prinzipienbasiertes Verständnis der Lernbeiträge (Input Sensitivity). Dies führt zu einer „saubereren" Entfernung von Daten, die die Modellnützlichkeit erhält.
• Zukunft: Obwohl MU-Mis in der schwierigsten Aufgabe (Zufällige Teilmengen/Random Subset) noch hinter datenabhängigen Methoden wie RUM zurückbleibt, bietet es einen vielversprechenden neuen Weg für remaining-data-free Unlearning. Die Autoren sehen in der Input-Sensitivity-Perspektive ein großes Potenzial für zukünftige Verbesserungen.

Fazit: MU-Mis stellt einen Durchbruch dar, der maschinelles Vergessen effizient, datenschutzkonform und ohne Zugriff auf verbleibende Daten ermöglicht, wobei es die Leistungslücke zu datenabhängigen State-of-the-Art-Methoden schließt. Der Code ist öffentlich verfügbar.