🤖 machine learning

Forgetting Has Neighbors: Localized Collateral Forgetting in Machine Unlearning

Diese Arbeit identifiziert und adressiert „lokales Kollaterales Vergessen“ (localized collateral forgetting), ein Phänomen, bei dem Methoden des maschinellen Unlearnings die Vorhersagen für Trainingsbeispiele in der Nähe der gelöschten Daten aufgrund inkonsistenter Surrogat-Ziele unverhältnismäßig stark verschlechtern, und schlägt „Local Teacher Distillation“ als eine effektive Minderungsstrategie vor, die ungelernte Modelle enger mit einem vollständigen Retraining in Einklang bringt.

Ursprüngliche Autoren: Polina Dolgova, Sebastian U. Stich

Veröffentlicht 2026-06-01

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Polina Dolgova, Sebastian U. Stich

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie haben einen sehr klugen Studenten, der ein massives Lehrbuch mit tausenden von Beispielen studiert hat. Eines Tages besagt ein Gesetz, dass Sie ein bestimmtes Kapitel aus diesem Lehrbuch entfernen und sicherstellen müssen, dass der Student es „vollständig vergisst“.

Das Ziel: Sie möchten, dass der Student dieses Kapitel verlernt, ohne das gesamte Buch von Grund auf neu lesen zu müssen (was zu lange dauern würde). Sie wollen, dass er im Rest des Buches genauso gut abschneidet, als hätte er dieses Kapitel während seines ursprünglichen Studiums einfach übersprungen.

Das Problem: „Kollateralschaden“
Die Arbeit entdeckt einen verborgenen Fehler in der Art und Weise, wie wir normalerweise versuchen, Studenten „vergessen“ zu lassen.

Wenn Forscher versuchen, einen Studenten dazu zu bringen, ein bestimmtes Thema zu vergessen, verwenden sie oft ein stumpfes Instrument: Entweder sagen sie dem Studenten, er solle dieses Thema „un-studieren“ (das Wissen wegdrücken) oder sie sagen ihm, dass das Thema Unsinn sei (zufällige, falsche Antworten zuweisen).

Die Arbeit zeigt, dass dieser Ansatz zu lokalem Kollateralschaden beim Vergessen führt. Stellen Sie sich das so vor:

Wenn Sie einem Studenten sagen: „Vergiss alles über Sofas“, und Sie dies aggressiv tun, könnte der Student anfangen, sich über Sessel, Ohrensessel und Möbel im Allgemeinen zu verwirren.
Obwohl diese anderen Gegenstände nicht auf der „Löschliste“ standen, wird sein Verständnis von ihnen durcheinandergebracht, weil sie sich dem Ding, das er vergessen soll, so ähnlich sind.
Der Student schneidet bei diesen „nahegelegenen“ Themen am Ende schlechter ab, als wenn er das Kapitel einfach übersprungen und den Rest des Buches normal weiterstudiert hätte.

Warum passiert das?
Die Autoren erklären, dass das Gehirn (das KI-Modell) des Studenten ähnliche Ideen miteinander verbindet. Wenn man einen Studenten zwingt, eine spezifische Idee zu vergessen, indem man ihm eine „zufällige“ oder „falsche“ Antwort gibt, breitet sich diese Verwirrung auf die benachbarten Ideen in seiner mentalen Landkarte aus. Es ist wie das Stolpern über einen Teppich; man fällt nicht nur auf den Teppich, sondern man stößt vielleicht auch die Lampe um, die direkt daneben steht.

Die Lösung: Der „Lokale Lehrer“
Anstatt dem Studenten nur zu sagen „das ist falsch“ oder „vergiss das“, schlagen die Autoren eine intelligentere Strategie vor, die Local Teacher Distillation genannt wird.

Hier ist die Analogie:

Das Problem: Man kann den Studenten nicht bitten, das ganze Buch erneut zu lesen, um zu sehen, wie er das „Sofas“-Kapitel behandelt hätte, wenn er es einfach übersprungen hätte. Das ist zu teuer.
Die Lösung: Man stellt einen winzigen, spezialisierten Tutor ein (einen „Lokalen Lehrer“).
Wie es funktioniert: Dieser Tutor betrachtet nur die Nachbarn des „Sofas“-Kapitels – Dinge wie „Sessel“ und „Ohrensessel“, die der Student noch weiß. Der Tutor studiert diese sicheren Beispiele und findet heraus: „Okay, wenn wir das ‚Sofas‘-Kapitel nicht hätten, wie würden wir logischerweise Fragen über Sessel beantworten?“
Das Ergebnis: Der Tutor gibt dem Studenten einen „weichen“ Hinweis (eine sanfte, korrekte Vorhersage) darauf, was er mit dem „Sofas“-Kapitel tun soll, basierend auf dem, was er über die Nachbarn weiß. Dies ist viel besser, als dem Studenten zu sagen, er solle raten.

Was sie herausgefunden haben
Die Forscher testeten dies an einem Computersystem, das lernt, Bilder zu erkennen (wie Katzen, Hunde und Sofas).

Der alte Weg (Zufälliges Raten): Als sie versuchten, Bilder von „Sofas“ zu löschen, wurde das System bei anderen, nahegelegenen Möbeln verwirrt.
Der neue Weg (Lokaler Lehrer): Indem sie den kleinen Tutor nutzten, um basierend auf ähnlichen, sicheren Bildern sanfte Hinweise zu geben, vergaß das System die „Sofas“ genauso gut wie der alte Weg, aber es wurde nicht bei den anderen Möbeln verwirrt. Es blieb viel näher an der Leistung eines Studenten, der das Kapitel einfach von Anfang an übersprungen hätte.

Zusammenfassend
Die Arbeit argumentt, dass wir, wenn wir versuchen, eine KI „vergessen“ zu lassen, versehentlich auch ihr Wissen über ähnliche Dinge beschädigen. Indem wir einen kleinen, klugen Helfer nutzen, der den Vergessensprozess mit sanften, logischen Hinweisen anstatt mit zufälligem Rauschen leitet, können wir die KI genau das vergessen lassen, was sie muss, ohne das restliche Wissen zu beschädigen.

Technische Zusammenfassung: Vergessen hat Nachbarn: Lokalisiertes Kollaterales Vergessen beim maschinellen Unlearning

Problemstellung
Maschinelles Unlearning zielt darauf ab, den Einfluss spezifischer Trainingsbeispiele (das „Forget Set“) aus einem trainierten Modell zu entfernen, ohne die Rechenkosten eines vollständigen Retrainings zu verursachen. Während Standardbewertungen auf aggregierten Metriken beruhen (z. B. Retain-Genauigkeit, Forget-Genauigkeit und Privacy-Audit-Scores), argumentieren die Autoren, dass diese Zusammenfassungen lokalisierte Fehler maskieren können. Konkret kann ein „unlearned“ Modell im Durchschnitt eine geringe Abweichung zu einem neu trainierten Referenzmodell aufweisen, während es bei spezifischen erhaltenen oder Test-Beispielen scharfe Abweichungen zeigt.

Die Arbeit identifiziert einen Fehlermodus, der als lokalisiertes kollaterales Vergessen bezeichnet wird: eine unbeabsichtigte Verschlechterung der Vorhersagen des Modells bei nicht gelöschten Beispielen, die im Repräsentationsraum geometrisch nah am Forget Set liegen. Dies geschieht, weil Beispiele durch gemeinsame Repräsentationen gekoppelt sind; Interventionen, die darauf abzielen, das Signal des Forget Sets zu unterdrücken (wie Gradient Ascent oder Random Labeling), übertragen Störungen auf nahegelegene Retain-Punkte.

Methodik
Die Autoren gehen das Problem durch theoretische Analyse, empirische Beobachtung und eine vorgeschlagene Minderungsstrategie an.

Theoretische Analyse:
- Gradient Ascent (GA): In der linearen Regression beweisen die Autoren, dass der übermäßige Verlust eines unlearned Modells im Vergleich zu einem neu trainierten Modell mit dem quadratischen Alignment ( $\langle x_q, x_f \rangle^2$ ) zwischen einem erhaltenen Abfragepunkt $x_q$ und dem gelöschten Punkt $x_f$ skaliert.
- Random Labeling (RL): In der logistischen Regression wird gezeigt, dass die Diskrepanz zwischen RL und Retraining durch die Projektion des Abfragepunkts auf den Span des Forget Sets bestimmt wird. Die auf das Forget Set angewandten zufälligen Labels erzeugen einen „Target Mismatch“, der mit der lokalen Vorhersagestruktur kollidiert, die durch das Retraining induziert wurde. Dieser Mismatch überträgt sich auf benachbarte Punkte.
- Retain Fine-Tuning: Die Analyse zeigt, dass das Fine-Tuning auf dem Retain-Set zwar die Übereinstimmung auf erhaltenen Trainingspunkten wiederherstellen kann, aber nicht zwangsläufig das Verhalten des Modells entlang der Komponenten korrigiert, die innerhalb des Spans des Forget Sets liegen. Somit bleibt der Target Mismatch eine Grundursache.
Vorgeschlagene Methode: Local Teacher Distillation (LTD)
Motiviert durch die Erkenntnis, dass der Target Mismatch lokalisierte Fehler antreibt, schlagen die Autoren Local Teacher Distillation vor. Anstatt dem Forget Set zufällige oder korrumpierte Labels zuzuweisen, ersetzt LTD diese durch „Soft Labels“, die von einem kleinen Hilfs-Lehrer-Modell (Teacher) abgeleitet werden.
- Support-Selektion: Der Lehrer wird nur auf einer Teilmenge der erhaltenen Beispiele ( $S_k$ ) trainiert, die im Repräsentationsraum (gemessen durch die Kosinus-Ähnlichkeit der Penultimate-Layer-Embeddings) die nächsten Nachbarn zum Forget Set sind. Dies stellt sicher, dass der Lehrer die lokale Vorhersagestruktur des neu trainierten Modells in der Nähe des Forget Sets approximiert.
- Trainingsziel: Der Unlearning-Prozess optimiert eine Verlustfunktion, die die Leistung auf dem Retain-Set bewahrt (unter Verwendung von Hard Labels) und gleichzeitig die Cross-Entropy zwischen den Vorhersagen des Modells auf dem Forget Set und den Soft-Vorhersagen des Lehrers minimiert.
- Effizienz: Der Lehrer ist eine kleinere Architektur, die nur auf dem ausgewählten Support-Set trainiert wird, wodurch die Kosten eines vollständigen Retrainings vermieden werden.

Wesentliche Beiträge

Identifizierung des Phänomens: Die Arbeit etabliert, dass kollaterales Vergessen nicht gleichmäßig verteilt ist, sondern auf nicht-forget Beispielen konzentriert ist, die im Repräsentationsraum nahe am Forget Set liegen.
Theoretische Charakterisierung: Die Autoren liefern theoretische Beweise für GA- und RL-Methoden, die zeigen, dass die Abweichung vom Retraining durch das Alignment oder die Projektion von erhaltenen Punkten auf das Forget Set gesteuert wird. Sie identifizieren den Target Mismatch (inkonsistente Ersatzziele vs. Retraining-Struktur) als den zugrunde liegenden Mechanismus.
Minderungsstrategie: Sie führen Local Teacher Distillation ein, eine einfache Methode, die einen lokalen Lehrer nutzt, um konsistente Soft Labels für das Forget Set zu generieren.
Empirische Validierung: Experimente auf CIFAR-100 (partielle Klassendelöschung) zeigen, dass LTD die Diskrepanz zum Retraining erheblich reduziert, insbesondere für betroffene Klassen und hochgradig ähnliche Beispiele, während sie wettbewerbsfähige aggregierte Unlearning-Metriken beibehält.

Ergebnisse

Aggregierte Metriken: Bei CIFAR-100 mit 50 % Klassendelöschung erreicht LTD die niedrigste „Avg. Gap“ (mittlere absolute Abweichung vom Retraining über Genauigkeits- und Privacy-Metriken hinweg) unter den verglichenen Baselines (GA, RL, FT, SalUn, IU, AMUN).
Lokalisierte Leistung: Während aggregierte Metriken irreführend sein können, schneidet LTD bei betroffenen Klassen-Subsets (erhaltene und Test-Punkte, die zur gelöschten Klasse gehören) signifikant besser ab als die Baselines. Beispielsweise zeigten andere Methoden große Einbußen in der Genauigkeit für diese spezifischen Punkte im Vergleich zum Retraining, während LTD Stabilität bewahrte.
Ähnlichkeitsanalyse: Die Arbeit zeigt, dass konkurrierende Methoden starke Genauigkeitsabfälle aufweisen, wenn die Ähnlichkeit zum Forget Set steigt. Im Gegensatz dazu hält LTD eine geringe Abweichung über alle Ähnlichkeits-Bins hinweg aufrecht.
Ablationsstudien: Die Ergebnisse bestätächten, dass die Verwendung von Nearest-Neighbor-Support für den Lehrer entscheidend ist; zufälliger oder entfernter Support kann die relevante Vorhersagestruktur nicht erfassen, was zu einer schlechten Abstimmung mit dem Retraining führt.

Bedeutung und Behauptungen
Die Arbeit behauptet, dass Standardbewertungen für Unlearning unzureichend sind, da sie strukturierte Fehler in der Nähe des Forget Sets verbergen. Die Bedeutung dieser Arbeit liegt in:

Der Aufdeckung, dass Target Mismatch eine fundamentale Ursache für lokalisiertes kollaterales Vergessen ist, die selbst durch Retain-Set-Fine-Tuning bestehen bleibt.
Dem Nachweis, dass die Verbesserung der lokalen Konsistenz der Forget-Set-Targets (über einen lokalen Lehrer) eine effektivere Minderungsstrategie ist als die bloße Abhängigkeit von der Wiederherstellung des Retain-Sets.
Der Bereitstellung einer praktischen, kostengünstigen Methode (LTD), die unlearned Modelle wesentlich näher an das Retraining-Referenzmodell bringt, insbesondere in der kritischen Umgebung der gelöschten Daten, ohne Datenschutz oder Nutzen zu opfern.

Die Autoren bleiben hinsichtlich der Generalisierbarkeit bescheiden und merken an, dass ihre Methode von der Qualität des lokalen Support-Sets und der Repräsentation abhängt. Sie räumen ein, dass hochgradig heterogene Forget Sets Clustering oder mehrere lokale Lehrer erfordern könnten, und dass die Erweiterung auf breitere Architekturen und Datensätze zukünftige Arbeit bleibt.

Mehr davon