Technische Zusammenfassung: Repräsentationsverlernen: Vergessen durch Informationskompression

Problemdefinition

Moderne maschinelle Lernsysteme stehen unter zunehmendem regulatorischem und ethischem Druck, den Einfluss spezifischer Trainingsdaten (der „Vergessensmenge" $D_f$) auf Anfrage zu entfernen, eine Anforderung, die in Rahmenwerken wie der DSGVO und dem CCPA verankert ist. Das einfache Löschen roher Daten reicht nicht aus, da tiefe Netzwerke Trainingsbeispiele oft auswendig lernen und statistische Spuren in ihren Parametern zurücklassen.

Bestehende Ansätze zum maschinellen Verlernen übernehmen typischerweise eine parameterzentrierte Perspektive und versuchen, die Modellgewichte ($\theta$) so zu modifizieren, dass sie ein Modell approximieren, das ausschließlich auf der „Behaltensmenge" ($D_r$) neu trainiert wurde. Diese Methoden stoßen jedoch auf erhebliche Einschränkungen:

1. Skalierbarkeit: Sie haben Schwierigkeiten, die Nützlichkeit des Modells bei großskaligen Architekturen und komplexen Datensätzen zu erhalten.
2. Rechenkosten: Viele erfordern teure Informationen zweiter Ordnung oder mehrere Rückwärtsdurchläufe, was ihre Effizienzlücke gegenüber naivem Neutrainieren verkleinert.
3. Instabilität: Die Modifikation des gesamten Parameterraums kann zu einer hohen GPU-Auslastung und instabilen Updates führen.
4. Datenzugangsbeschränkungen: Viele Methoden gehen implizit davon aus, dass sowohl auf $D_r$ als auch auf $D_f$ zugegriffen werden kann, wohingegen reale Szenarien den Zugriff auf $D_r$ oft aufgrund von Datenschutz- oder Speichereinschränkungen beschränken (das „Zero-Shot"-Setting).

Methodik: Repräsentationsverlernen

Die Autoren schlagen Repräsentationsverlernen vor, ein Framework, das den Verlernvorgang vom hochdimensionalen Parameterraum in den niedrigdimensionalen Repräsentationsraum ($Z$) verlagert. Anstatt die Netzgewichte neu zu optimieren, lernt die Methode eine leichte Transformation $f_\phi$, die ursprüngliche Repräsentationen $Z$ auf neue Repräsentationen $Z'$ abbildet.

Kernziel: Informationsflaschenhals

Die Transformation $f_\phi$ wird so trainiert, dass sie einen Informationsflaschenhals mit zwei konkurrierenden Zielen erzwingt:

1. Behalten: Maximierung der gegenseitigen Information zwischen der transformierten Repräsentation $Z'$ und den Behaltensdaten $X_r$ (d. h. $I(Z'; Z | X_r) \approx 0$, was bedeutet, dass keine für $D_r$ relevante Information verworfen wird).
2. Vergessen: Unterdrückung der gegenseitigen Information zwischen $Z'$ und den Vergessensdaten $X_f$ (d. h. $I(Z'; X_f) \approx 0$, was bedeutet, dass $Z'$ statistisch unabhängig von $D_f$ ist).

Variationale Surrogate

Da die gegenseitige Information direkt nicht berechenbar ist, leiten die Autoren variationale obere Schranken ab, um optimierbare Verlustfunktionen zu erstellen. Sie adressieren zwei unterschiedliche Datenzugangsregime:

1. Standard-Setting (Zugriff auf $D_r$ und $D_f$)

• Behaltungsverlust ($L_r$): Minimiert die KL-Divergenz zwischen der transformierten Verteilung und der ursprünglichen Encoder-Verteilung für Behaltensproben. Unter Gaußschen Annahmen vereinfacht sich dies zu einem mittleren quadratischen Fehler (MSE) zwischen ursprünglichen und transformierten Repräsentationen: $\|z_r - f_\phi(z_r)\|_2^2$.
• Vergessensverlust ($L_f$): Minimiert die KL-Divergenz zwischen der transformierten Vergessensverteilung und der Randverteilung des gesamten Datensatzes. Dies zwingt Vergessensrepräsentationen, sich an aggregierte Statistiken anzupassen, wodurch sie von der allgemeinen Population nicht mehr unterscheidbar werden.

2. Zero-Shot-Setting (Nur Zugriff auf $D_f$)

In Szenarien, in denen $D_r$ nicht verfügbar ist, stützt sich das Framework auf Neural Collapse und Metadaten (Klassenanzahlen), um Proxys zu konstruieren:

• Behaltensproxy: Anstatt $D_r$ zu beproben, verwendet die Methode Klassenzentroiden (abgeleitet aus Klassifikatorgewichten $w_c$) als Proxys für Klassenmittelwerte. Der Behaltungsverlust bestraft Abweichungen transformierter Klassenprototypen von ihren ursprünglichen Positionen.
• Vergessensproxy: Der Vergessensverlust minimiert den gewichteten Abstand transformierter Vergessensproben zu allen Klassenprototypen und „versenkt" effektiv spezifische Instanzinformationen in die Verteilung des globalen Labelraums.

Architektur

Die Transformation $f_\phi$ ist auf eine leichte lineare Abbildung oder ein flaches Multi-Layer-Perceptron (MLP) beschränkt und nutzt die „Hypothese der linearen Repräsentation", die besagt, dass semantische Informationen in tiefen Schichten linear trennbar sind.

Hauptbeiträge

1. Paradigmenwechsel: Einführung eines repräsentationszentrierten Verlern-Frameworks, das die Instabilität und rechenintensiven Engpässe von Parameter-Level-Updates vermeidet.
2. Zero-Shot-Fähigkeit: Demonstration eines neuartigen Ansatzes zum Verlernen ohne Zugriff auf Behaltensdaten unter Nutzung der Neural-Collapse-Hypothese zur Verankerung des semantischen Mannigfaltigkeitsraums.
3. Theoretische Formulierung: Herleitung handhabbarer variationaler Surrogate für informationstheoretische Ziele, die Behalten und Vergessen über einen Regularisierungsparameter $\beta$ ausbalancieren.
4. Effizienz: Erzielung von Verlernen durch eine leichte Transformationsschicht anstatt durch vollständiges Modell-Neutraining oder komplexe Gradientenmanipulation.

Experimentelle Ergebnisse

Das Framework wurde an CIFAR-10, CIFAR-100 und Tiny ImageNet gegen Baselines wie SISA, SCRUB, Bad Teacher und verschiedene Zero-Shot-Methoden (Boundary Shrinking, EMMN, GKT) evaluiert.

• Nützlichkeit und Vergessen: Repräsentationsverlernen erreicht ein nahezu perfektes Vergessen (geringe Genauigkeit auf $D_f$) bei gleichzeitiger Aufrechterhaltung hoher Nützlichkeit auf $D_r$. Im Zero-Shot-Setting übertrifft es die Baselines signifikant, die oft unter katastrophalem Vergessen leiden oder gar nicht vergessen.
• Rechenleistung: Die Methode bietet massive Beschleunigungen im Vergleich zum vollständigen Neutraining. Auf Tiny ImageNet erreicht die Zero-Shot-Variante eine 757-fache Beschleunigung gegenüber dem Neutraining. Sie übertrifft alle konkurrierenden Baselines konsistent in der Ausführungszeit.
• Ressourceneffizienz: Der Ansatz erfordert deutlich weniger Spitzen-GPU-Speicher (z. B. ~1,9 GB auf Tiny ImageNet vs. ~8,3 GB für Neutraining), was ihn für ressourcenbeschränkte Umgebungen geeignet macht.
• Robustheit: Die Methode bleibt über verschiedene Datensatzkomplexitäten und Verlern-Szenarien (Klassen- vs. zufälliges Verlernen) hinweg stabil.

Bedeutung und Einschränkungen

Die Arbeit positioniert Repräsentationsverlernen als praktische, skalierbare Lösung für großskalige Verlern-Einsätze. Durch die Entkopplung der Verlernerfolge von hohen Hardwareanforderungen und Parameterinstabilität bietet es einen überlegenen Trade-off zwischen Stabilität und Plastizität.

Bescheidene Behauptungen und Einschränkungen:

• Black-Box-Bedrohungsmodell: Die Methode operiert als nachgelagerte Transformation. Die rohen Encoder-Parameter bleiben unverändert, was bedeutet, dass die ursprüngliche Repräsentation $Z$ die Vergessensmenge weiterhin kodiert. Das System ist anfällig für White-Box-Wiederherstellungsangriffe, wenn der rohe Encoder zugänglich ist; es sichert die Ausgabe $Z'$, nicht die internen Gewichte.
• Inferenz-Overhead: Die Einführung der Transformationsschicht $f_\phi$ fügt einen permanenten, wenn auch mikrosekundenschnellen Overhead zur Inferenzzeit hinzu.
• Abhängigkeit von Neural Collapse: Die Zero-Shot-Variante hängt von der Neural-Collapse-Hypothese ab. Wenn das vortrainierte Modell keinen starken Collapse aufweist (d. h. die Klassifikatorgewichte sind schlechte Proxys für Klassenmittelpunkte), verschlechtert sich die Qualität des Zero-Shot-Verlernens, wobei die Methode jedoch die Behaltensnützlichkeit „gracefully" (ohne katastrophales Versagen) gegen das Vergessen austauscht.

Die Autoren schlagen vor, dass zukünftige Arbeiten diese Verlustfunktionen anwenden könnten, um den gesamten Encoder feinabzustimmen (um die White-Box-Anfälligkeit zu lösen) oder das Framework auf Large Language Models (LLMs) zum Verlernen komplexer Verhaltensweisen zu erweitern.