Reference-Guided Machine Unlearning

Die Arbeit stellt ReGUn vor, einen Referenz-gesteuerten Ansatz für maschinelles Vergessen, der durch die Nutzung eines separaten Datensatzes als Referenz eine stabilere und effektivere Entfernung spezifischer Daten bei gleichzeitiger Wahrung der allgemeinen Modellleistung ermöglicht.

Das Wesentliche

Das große Problem: Wie löscht man eine Erinnerung aus einem Gehirn, ohne den ganzen Kopf zu leeren?

Stell dir vor, du hast einen sehr klugen Schüler (das KI-Modell), der alles gelernt hat, was er über die Welt weiß. Eines Tages kommt ein Gesetz (wie die DSGVO) und sagt: „Du musst diese eine spezifische Information aus dem Gedächtnis des Schülers löschen, weil sie privat ist."

Das Problem ist: Wenn man dem Schüler einfach sagt „Vergiss das!", passiert oft das Gegenteil. Er wird verwirrt, fängt an, Unsinn zu sagen oder vergisst auch Dinge, die er eigentlich behalten sollte.

Bisherige Methoden waren wie ein Hammer: Man schlug dem Schüler auf den Kopf, damit er die Information vergisst. Das funktionierte manchmal, aber oft verletzte man dabei auch sein allgemeines Wissen. Der Schüler wurde „dümmer" oder fing an, wild zu raten.

Die neue Idee: Der „Spiegel" (REGUN)

Die Autoren Jonas, Sonia und Julia aus Zürich haben eine sanftere Methode namens REGUN entwickelt. Statt den Schüler zu verprügeln, geben sie ihm einen Spiegel.

Hier ist die Analogie im Detail:

1. Der alte Weg (Der Hammer):
   Früher haben Forscher versucht, den Schüler absichtlich falsch zu machen, wenn er die zu löschende Information sah. „Wenn du dieses Bild siehst, sag 'Banane' statt 'Hund'!" Das Problem: Das Gehirn des Schülers gerät in Panik. Es weiß nicht mehr, was richtig ist, und beginnt, auch bei anderen Dingen Unsinn zu erzählen.

2. Der neue Weg (REGUN – Der Spiegel):
   Die Forscher sagen: „Wir wollen nicht, dass der Schüler falsch antwortet. Wir wollen, dass er so antwortet, als hätte er das Bild noch nie gesehen."

   Wie macht man das?

   • Sie nehmen eine Zusatzgruppe von Bildern, die der Schüler noch nie gesehen hat (das ist der Held-out-Datensatz).
   • Wenn der Schüler auf ein Bild aus der „zu löschenden Liste" schaut, schauen sie auf die Zusatzgruppe.
   • Sie sagen dem Schüler: „Schau mal, wie reagiert ein Schüler auf Bilder, die er nie gelernt hat? Genau so solltest du auf dieses zu löschende Bild reagieren."

   Es ist, als würdest du einem Schüler sagen: „Wenn du dieses spezielle Foto von deinem Ex-Partner siehst, verhalte dich so, als würdest du einen völlig fremden Passanten auf der Straße sehen."

Warum ist das besser?

• Stabilität: Der Schüler muss nicht neu lernen, was falsch ist. Er lernt nur, sich „neutral" zu verhalten. Das ist viel weniger stressig für das Gehirn.
• Schutz des Wissens: Da der Schüler nicht aggressiv „falsch" gemacht wird, vergisst er nicht versehentlich, wie man Hunde von Katzen unterscheidet. Sein allgemeines Wissen bleibt intakt.
• Der Test: Wenn man den Schüler später fragt: „Kennst du dieses Bild?", antwortet er ehrlich: „Ich weiß nicht, das ist mir fremd." Das ist genau das Ziel: Die Information ist weg, aber der Schüler ist nicht kaputt.

Was haben sie herausgefunden?

Die Forscher haben ihre Methode an verschiedenen „Schülern" getestet (von einfachen Modellen bis zu modernen KI-Systemen, die wie riesige Bilderkennungs-Maschinen funktionieren).

• Ergebnis: Die neue Methode (REGUN) war deutlich besser als die alten „Hammer"-Methoden.
• Besonders stark: Bei den großen, modernen Modellen (den „Swin-T"-Modellen) war der Unterschied riesig. Die alten Methoden haben hier oft versagt und das Modell zerstört, während REGUN es sauber und präzise „vergessen" ließ, ohne die Intelligenz zu beschädigen.

Zusammenfassung in einem Satz

Statt einem KI-Modell mit einem Hammer zu sagen „Vergiss das!", gibt man ihm einen Spiegel, der ihm zeigt, wie es sich verhalten soll, wenn es etwas nie gesehen hat – so wird das Vergessen sicher, sauber und ohne Schaden für das restliche Wissen.

Technische Zusammenfassung

Titel: Reference-Guided Machine Unlearning (REGUN)

Veröffentlichung: ICLR 2026 Workshop on Agents in the Wild
Autoren: Jonas Mirlach, Sonia Laguna, Julia E. Vogt (ETH Zürich)

---

1. Problemstellung

Maschinelles Unlearning (MU) zielt darauf ab, den Einfluss spezifischer Daten („Forget-Set" $D_f$) aus einem trainierten Modell zu entfernen, während die allgemeine Leistungsfähigkeit auf den verbleibenden Daten („Retain-Set" $D_r$) erhalten bleibt. Dies ist durch Datenschutzbestimmungen wie die DSGVO („Recht auf Vergessenwerden") operational notwendig.

• Herausforderung: Das vollständige Neutraining ohne die zu vergessenden Daten ist rechnerisch oft prohibitiv teuer.
• Bestehende Ansätze: Die meisten aktuellen Methoden basieren auf Approximationen, die versuchen, die Leistung des Modells auf den zu vergessenden Daten absichtlich zu verschlechtern (z. B. durch Loss-Maximierung oder Zuweisung zufälliger Labels).
• Kritik: Diese Signale sind oft schlecht konditioniert. Sie können zu instabiler Optimierung führen, die Entscheidungsgrenzen über das gewünschte Maß hinaus verschieben und die Generalisierungsfähigkeit des Modells schädigen. Es besteht ein Konflikt zwischen dem Ziel des „Vergessens" und der Stabilität des Modells.

2. Methodik: Reference-Guided Unlearning (REGUN)

Die Autoren argumentieren, dass Unlearning nicht bedeuten sollte, das Modell auf den zu vergessenden Daten „falsch" zu machen, sondern dass sich das Verhalten des Modells auf diesen Daten mit dem Verhalten auf wirklich unbekannten (unseen) Daten decken sollte (Prinzip der distributionellen Ununterscheidbarkeit).

Der REGUN-Ansatz:
REGUN nutzt ein disjunkt gehaltenes, gelabeltes Referenz-Datenset ($D_h$), das weder im Trainings- noch im Forget-Set enthalten ist, um eine stabile Referenz für „unbekanntes Verhalten" zu schaffen.

• Referenzverteilung (REFDIST):

  • Anstatt das Modell auf $D_f$ zu zwingen, zufällige Labels zu lernen, wird eine weiche Zielverteilung (Soft Target) $q(B_f)$ für einen Batch der zu vergessenden Daten berechnet.
  • Diese Verteilung wird durch Aggregation der Vorhersagen des Referenzmodells (initialerweise das ursprüngliche Modell $\theta_0$) auf einer Stichprobe aus $D_h$ gebildet.
  • Wichtig: Die Stichprobe aus $D_h$ wird so gewählt, dass sie die Klassenverteilung (Histogramm) des Forget-Batches $B_f$ nachahmt. Dies ermöglicht eine klassenbedingte Referenz, die Label-Priors berücksichtigt.
  • Formel: $q(B_f) = \frac{1}{m} \sum p_{\phi}(\cdot | \tilde{x}_j)$, wobei $\tilde{x}_j$ aus $D_h$ stammen.

• Optimierungsziel:
  Das Modell wird durch Minimierung einer kombinierten Verlustfunktion aktualisiert:
  $$\mathcal{L}(\theta) = \lambda_f \cdot \text{KL}(q(B_f) \parallel p_\theta(\cdot | x)) + \lambda_r \cdot \text{CE}(p_\theta(\cdot | x), y)$$

  • Term 1 (Vergessen): Eine Distanz-Minimierung (KL-Divergenz) zwischen den aktuellen Vorhersagen auf $D_f$ und der Referenzverteilung $q$. Dies wirkt wie ein Distillation-Prozess auf ein „unbekanntes" Lehrsignal.
  • Term 2 (Behalten): Standard Cross-Entropy auf dem Retain-Set $D_r$, um die Nützlichkeit zu sichern.

3. Hauptbeiträge

1. Paradigmenwechsel: Statt auf Performance-Degradation (Loss-Maximierung) zu setzen, führt REGUN das Konzept der Referenz-gesteuerten Ununterscheidbarkeit ein. Das Modell lernt, Forget-Daten so zu behandeln, als wären sie neue, unbekannte Testdaten.
2. Strukturierte Methode: Einführung eines Frameworks, das ein gehaltenes Dataset als explizite Supervisionsquelle für die Distillation nutzt, anstatt nur marginale Verteilungen oder Pseudo-Wahrscheinlichkeiten zu verwenden.
3. Empirische Validierung: Umfassende Experimente über verschiedene Architekturen (CNNs und Transformer) und Datensätze (CIFAR-10/100, Tiny-ImageNet) zeigen, dass REGUN einen überlegenen Trade-off zwischen Vergessen und Nutzen erreicht.

4. Ergebnisse

Die Evaluation umfasste verschiedene Forget-Fractions (1%, 10%, 50%) und verglich REGUN mit Baselines wie Fine-Tuning, NegGrad, SSD, SALUN und AMUN.

• Metriken:

  • Retain Accuracy (RETAINACC): Leistung auf behaltenen Daten.
  • Forget Accuracy (FORGETACC): Leistung auf vergessenen Daten (sollte niedrig sein).
  • RMIA-AUC: Risiko für Membership Inference Attacks (sollte nahe 50% liegen, also zufällig).
  • GAP: Abweichung vom Neutraining-Baseline (RETRAIN).

• Ergebnisse bei CNNs (ResNet-18):

  • REGUN erreicht Ergebnisse, die dem Neutraining sehr nahe kommen, insbesondere bei der Reduktion des Mitgliedschafts-Inferenz-Risikos (RMIA-AUC).
  • In einfacheren Szenarien (CIFAR-10) sind die Unterschiede zwischen den Methoden gering, da viele Baselines hier gut funktionieren.

• Ergebnisse bei Transformern (Swin-T auf Tiny-ImageNet):

  • Hier zeigt REGUN die stärksten Vorteile. Transformer-Architekturen stellen bestehende Heuristiken vor größere Herausforderungen.
  • REGUN ist die einzige Methode, die bei hohen Forget-Fractions (50%) die RMIA-Scores zuverlässig auf das Niveau des Neutrainings (ca. 50%) senken kann, ohne die Testgenauigkeit (Utility) übermäßig zu beeinträchtigen.
  • Andere Methoden (wie NegGrad oder Fine-Tuning) zeigen hier oft einen starken Trade-off: Entweder wird schlecht vergessen oder die allgemeine Genauigkeit bricht ein.

• Trade-off-Analyse:
  Die Kurven zeigen, dass REGUN über einen weiten Bereich von Gewichtungsfaktoren ($w$) eine konstante Utility beibehält, während bei anderen Methoden eine Erhöhung des „Vergessens-Signals" die Utility drastisch senkt.

5. Bedeutung und Ausblick

• Prinzipielle Verbesserung: REGUN adressiert das fundamentale Problem, dass „falsch machen" kein gutes Proxy für „Vergessen" ist. Durch die Ausrichtung auf die Verteilung echter Unbekanntheit wird das Modell robuster gegenüber Angriffen wie Membership Inference.
• Skalierbarkeit: Die Methode ist besonders vielversprechend für komplexe Modelle (Transformers) und große Forget-Fractions, wo traditionelle Heuristiken versagen.
• Zukunft: Die Autoren schlagen vor, das Konzept auf generative Modelle und Foundation Models zu erweitern. Zudem könnten instanzbasierte Referenzen oder Feature-Space-Nachbarn die Methode weiter verfeinern.

Fazit: REGUN bietet einen stabilen, theoretisch fundierten Ansatz für maschinelles Unlearning, der durch die Nutzung einer externen Referenzverteilung die Kluft zwischen dem Ziel des Vergessens und der Erhaltung der Modellnützlichkeit effektiv schließt.