Erase at the Core: Representation Unlearning for Machine Unlearning

Die Arbeit stellt „Erase at the Core" (EC) vor, ein plattformunabhängiges Framework, das durch tiefüberwachtes Lernen und kontrastives Unlearning auf mehreren Netzwerkebenen sicherstellt, dass nicht nur die Ausgabe, sondern auch die internen Merkmalsrepräsentationen eines Modells effektiv aus dem Gedächtnis gelöscht werden, um so das Phänomen des oberflächlichen Vergessens zu überwinden.

Das Wesentliche

Das Problem: Der „Oberflächen-Schönheitsputz"

Stell dir vor, du hast einen riesigen, hochintelligenten Koch namens KI-Koch. Er hat tausende Rezepte gelernt, um Gerichte zuzubereiten. Eines Tages kommt ein Kunde und sagt: „Bitte vergiss das Rezept für Scharfe Currywurst komplett. Ich will, dass du es nie wieder kochen kannst."

Die meisten bisherigen Methoden, um eine KI etwas „vergessen" zu lassen, funktionieren wie ein Oberflächen-Schönheitsputz:

• Der Koch wird angewiesen, auf die Frage „Wie schmeckt Currywurst?" einfach „Ich weiß es nicht" oder „Schlecht" zu antworten.
• Auf dem Teller (dem Ergebnis) sieht es so aus, als hätte er das Rezept vergessen.
• Aber im Inneren? Im Kopf des Kochs sind die genauen Schritte, die Gewürzmengen und die Kochtechniken für die Currywurst immer noch da. Wenn man ihn nur ein bisschen anders fragt (z. B. „Wie würdest du das Gericht zubereiten, wenn ich dich nicht beobachte?"), kann er das Rezept plötzlich wieder abrufen.

Die Forscher nennen dieses Phänomen „oberflächliches Vergessen". Die KI gibt die falschen Antworten, behält aber die tiefen, inneren Informationen über das zu vergessende Thema bei. Das ist gefährlich, weil diese Informationen trotzdem genutzt werden könnten, um die Privatsphäre zu verletzen.

Die Lösung: „Erase at the Core" (Löschen im Kern)

Die Autoren dieses Papiers haben eine neue Methode entwickelt, die sie EC nennen. Statt nur den Mund des Kochs zu zensieren, gehen sie direkt in die Küche und löschen die Rezepte aus dem Gedächtnis des Kochs selbst.

Stell dir das so vor:

1. Der Koch ist ein mehrstufiges System: Ein KI-Modell besteht nicht nur aus einer Antwort, sondern aus vielen Schichten.

   • Schicht 1: Erkennt einfache Formen (wie eine Wurst oder ein Gewürz).
   • Schicht 2: Erkennt Kombinationen (wie eine Wurst mit Senf).
   • Schicht 3: Erkennt das ganze Gericht (Currywurst).
   • Schicht 4: Gibt die finale Antwort aus.

2. Das alte Problem: Bisherige Methoden haben nur die letzte Schicht (die Antwort) verändert. Die Schichten 1 bis 3 waren unberührt. Das ist wie wenn man einem Schüler sagt: „Schreib die falsche Antwort auf den Zettel", aber er hat die Formel im Kopf immer noch perfekt verstanden.

3. Die neue Methode (EC):

   • Die Forscher fügen dem Koch zusätzliche Lehrer in jede einzelne Schicht der Küche ein.
   • Diese Lehrer sagen zu jeder Schicht: „Hey, vergiss nicht nur die Antwort, vergiss auch, wie man die Wurst schneidet, wie man den Senf mischt und wie man das ganze Ding kocht!"
   • Sie zwingen die KI, das Wissen über das zu vergessende Thema (die Currywurst) in allen Schichten zu verwischen.
   • Gleichzeitig sagen sie zu den anderen Rezepten (z. B. Pizza): „Du darfst das nicht vergessen! Du musst Pizza perfekt kochen können."

Warum ist das so wichtig?

Stell dir vor, du möchtest deine Daten aus dem Internet löschen (das „Recht auf Vergessenwerden").

• Bei der alten Methode: Die Suchmaschine zeigt dir keine Ergebnisse mehr für dein Profil. Aber im Hintergrund hat sie immer noch deine Daten gespeichert und kann sie nutzen, um andere Dinge vorherzusagen.
• Bei EC (der neuen Methode): Die Suchmaschine löscht die Daten wirklich aus ihrem „Gehirn". Sie kann nicht nur keine Ergebnisse mehr liefern, sondern sie hat auch keine Ahnung mehr, wie deine Daten strukturiert waren.

Das Ergebnis im Alltag

Die Forscher haben ihre Methode an riesigen Datenmengen getestet (wie tausenden Bildern von Tieren und Objekten).

• Ergebnis: Die KI mit EC vergisst das zu löschende Thema wirklich tief im Inneren. Wenn man versucht, die alten Informationen wiederherzustellen (z. B. durch einen „Linear Probing"-Test, bei dem man nur einen kleinen neuen Kopf aufsetzt), funktioniert das nicht mehr.
• Vorteil: Die KI vergisst das Eine, vergisst aber nicht das Andere. Sie bleibt weiterhin gut darin, die Dinge zu erkennen, die sie behalten soll (z. B. Pizza), während die Currywurst komplett aus dem System verschwindet.

Zusammenfassung in einem Satz

Während alte Methoden nur die Lippen der KI zudrücken, damit sie nicht über das Vergessene spricht, geht EC direkt ins Gehirn und löscht die Erinnerungen an das Vergessene, Schicht für Schicht, damit sie wirklich nie wieder auftauchen können.

Technische Zusammenfassung

1. Problemstellung: Oberflächliches Vergessen (Superficial Forgetting)

Das Paper adressiert ein kritisches Defizit im Bereich des Machine Unlearning (MU). Trotz bestehender Regulationsanforderungen (wie der DSGVO mit dem „Recht auf Vergessenwerden") zeigen viele aktuelle Approximationsmethoden für MU ein Phänomen, das die Autoren als „oberflächliches Vergessen” bezeichnen.

• Das Phänomen: Viele Methoden erreichen eine nahezu Null-Genauigkeit auf dem zu vergessenden Datensatz (Forget Set) auf Logit-Ebene (Ausgabewahrscheinlichkeiten). Dennoch behalten die internen Feature-Repräsentationen (die Zwischenschichten des neuronalen Netzes) signifikante Informationen über die zu vergessenden Daten bei.
• Die Gefahr: Diese verbleibenden Informationen machen das Modell anfällig für Angriffe wie Linear Probing (wobei ein neuer Klassifikator auf den eingefrorenen Backbone trainiert wird, um die vergessenen Klassen wiederherzustellen) oder Membership Inference Attacks.
• Aktuelle Limitierungen: Bestehende Ansätze (z. B. Gradient Ascent, Distillation-basierte Methoden oder frühere kontrastive Ansätze) modifizieren oft nur den finalen Klassifikator oder die letzte Schicht, lassen aber die tiefen und mittleren Schichten des Netzwerks weitgehend unverändert und ähnlich zum Originalmodell.

2. Methodik: Erase at the Core (EC)

Um dieses Problem zu lösen, stellen die Autoren Erase at the Core (EC) vor, ein Framework, das das Vergessen durch das gesamte Netzwerk hindurch erzwingt, von den flachen bis zu den tiefen Schichten.

Kernkomponenten:

• Architektur-Erweiterung: EC fügt Hilfsmodule (EC Modules) an den Zwischenlagen (Intermediate Layers) des Backbone-Netzwerks (z. B. ResNet-50, Swin-Tiny) an. Diese Module bestehen aus Convolutional Blocks, die auf kontrastives Lernen spezialisiert sind.
• Multi-Layer Supervision: Anstatt nur die Ausgabe zu optimieren, wird eine Überwachung (Supervision) auf mehreren Ebenen gleichzeitig angewendet.
• Zwei komplementäre Verlustfunktionen pro Schicht:
  1. Contrastive Unlearning Loss ($L_{CU}$): Auf dem Forget Set wird die Ähnlichkeit zwischen den Embeddings der zu vergessenden Daten und denen des Retain Sets maximiert. Dies „diffundiert" die Features der zu vergessenden Klassen in den Manifold der verbleibenden Daten und löscht klassenspezifische Informationen.
  2. Cross-Entropy Loss ($L_{CE}$): Auf dem Retain Set wird der Standard-Klassifikationsverlust angewendet, um die Nützlichkeit des Modells für die verbleibenden Daten zu erhalten.
• Gewichtung der Schichten: Da tiefere Schichten hochlevelige, klassendiskriminierende Merkmale kodieren, werden diesen Schichten in der Gesamtverlustfunktion höhere Gewichte ($w_l$) zugewiesen. Dies stellt sicher, dass die „Vergessens-Signale" effektiv durch die gesamte Feature-Hierarchie propagieren.
• Modell-Agnostizität: EC ist als Plug-in-Modul konzipiert und kann in bestehende Unlearning-Methoden integriert werden, um deren Repräsentations-Vergessen zu verbessern.

3. Wichtige Beiträge

• Einführung von EC: Ein neues Framework, das kontrastives Unlearning mit Deep Supervision kombiniert, um das Vergessen auf Repräsentationsebene (nicht nur auf Logit-Ebene) durchzusetzen.
• Umfassende Neubewertung: Die Autoren evaluieren bestehende State-of-the-Art-Baselines (wie DUCK, SCAR, SCRUB, SalUn, CU) nicht nur mit herkömmlichen Logit-Metriken, sondern auch mit repräsentationsbasierten Metriken (CKA, IDI, k-NN Downstream-Performance).
• Nachweis des „oberflächlichen Vergessens": Die Studie zeigt empirisch, dass viele aktuelle Methoden trotz guter Logit-Ergebnisse hohe Ähnlichkeiten (gemessen via CKA) zum Originalmodell in den Zwischenschichten aufweisen.
• Plug-in-Funktionalität: EC wird als universelles Modul demonstriert, das die Leistung anderer Unlearning-Algorithmen auf Repräsentationsebene signifikant steigert, ohne die Nützlichkeit auf dem Retain Set zu beeinträchtigen.

4. Experimentelle Ergebnisse

Die Evaluation erfolgte auf großen Datensätzen (ImageNet-1K mit 100 zu vergessenden Klassen und CIFAR-100) unter Verwendung verschiedener Architekturen (ResNet-50, Swin-Tiny).

• Repräsentations-Divergenz: EC erreicht die niedrigste Ähnlichkeit (CKA) zum Originalmodell über alle Schichten hinweg, insbesondere in den tiefen Schichten, wo die entscheidenden Merkmale kodiert sind. Im Vergleich dazu zeigen Baselines wie DUCK oder COLA oft noch hohe Ähnlichkeiten (>80-90% CKA).
• Information Difference Index (IDI): EC erzielt den niedrigsten IDI-Wert (nahe 0, was einem vollständigen Vergessen entspricht), was darauf hindeutet, dass die gegenseitige Information zwischen Features und vergessenen Labels fast vollständig eliminiert wurde.
• Nützlichkeitserhalt: Trotz des starken Vergessens behält EC eine hohe Genauigkeit auf dem Retain Set (TRA/RA) bei, vergleichbar mit oder besser als viele Baselines.
• Downstream-Performance: In k-NN Klassifizierungsaufgaben auf externen Datensätzen (Office-Home, CUB, DomainNet) zeigt EC, dass die verbleibenden Repräsentationen strukturell dem neu trainierten Modell (Gold-Standard) näher sind als denen anderer Unlearning-Methoden.
• Ablationsstudien: Die Studie bestätigt, dass sowohl die Multi-Layer-Struktur als auch die layer-wise Cross-Entropy-Verluste essenziell sind. Ohne diese Komponenten kommt es entweder zu „Over-Forgetting" (Instabilität) oder unzureichendem Repräsentations-Vergessen.

5. Bedeutung und Fazit

Das Paper markiert einen Paradigmenwechsel in der Bewertung und Durchführung von Machine Unlearning. Es zeigt, dass das bloße „Löschen" der Ausgabe (Logits) nicht ausreicht, um Datenschutzanforderungen wirklich zu erfüllen.

• Tiefgreifendes Vergessen: EC beweist, dass ein effektives Unlearning nur durch die gezielte Manipulation der internen Feature-Repräsentationen über das gesamte Netzwerk hinweg erreicht werden kann.
• Praktische Relevanz: Da EC als Plug-in funktioniert, kann es sofort in bestehende Pipelines integriert werden, um die Sicherheit und Compliance von ML-Modellen in großen Maßstäben (z. B. ImageNet) zu erhöhen.
• Zukünftige Richtung: Die Arbeit legt den Grundstein für zukünftige Forschung, die sich von oberflächlichen Metriken hin zu tiefen, repräsentationsbasierten Garantien für das Vergessen von Daten bewegt.

Zusammenfassend bietet Erase at the Core eine robuste Lösung für das Problem des „superficial forgetting" und setzt einen neuen Standard für die Bewertung und Implementierung von Machine Unlearning in komplexen Deep-Learning-Systemen.