🤖 machine learning

Form and Function: Machine Unlearning as a Problem of Misaligned States

Dieser Artikel stellt maschinelles Vergessen für Online-L-BFGS als ein kontrafaktisches Zustandsausrichtungsproblem neu dar und zeigt, dass effektives Vergessen die Korrektur sowohl der Modellparameter als auch des internen Speicherzustands des Optimierers erfordert, um eine realisierbare kontrafaktische Trajektorie zu erreichen, anstatt lediglich Parameter anzupassen.

Ursprüngliche Autoren: Kennon Stewart

Veröffentlicht 2026-05-19

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Kennon Stewart

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Die große Idee: Es geht nicht nur darum, die Notiz zu löschen, sondern die Lektion zu vergessen

Stellen Sie sich vor, Sie unterrichten einen Schüler (das KI-Modell) mit einem sehr spezifischen Notizbuch. Dieses Notizbuch enthält nicht nur die aktuellen Antworten des Schülers (die Parameter); es enthält auch eine spezielle Sammlung von „Daumenregeln" oder „Gedächtnisabkürzungen", die der Schüler entwickelt hat, um Probleme schneller zu lösen (den Optimierer-Zustand oder das Krümmungsgedächtnis).

Normalerweise versuchen wir, wenn wir möchten, dass eine KI einen Teil schlechter Daten „vergisst" (wie ein privates Foto oder einen Fehler), einfach die Antworten des Schülers so anzupassen, als hätte er dieses Foto nie gesehen. Wir gehen davon aus, dass, wenn die Antworten stimmen, der Schüler „sauber" ist.

Dieses Paper argumentiert, dass dies falsch ist.

Die Autoren sagen, dass für fortgeschrittene KI-Lernende (insbesondere solche, die eine Methode namens online L-BFGS verwenden) die „Daumenregeln" im Notizbuch genauso wichtig sind wie die Antworten. Wenn Sie die Antworten korrigieren, aber die „Daumenregeln", die auf den schlechten Daten basieren, unverändert lassen, ist der Schüler immer noch heimlich von dem beeinflusst, was er vergessen sollte. Er ist fehljustiert.

Das Kernproblem: Der „Geist" in der Maschine

Das Paper führt ein Konzept namens Zustandsausrichtung ein. Stellen Sie es sich so vor:

Die reale Welt: Der Schüler lernt aus einem Strom von Ereignissen.
Das Kontrafaktische (Das „Was wäre wenn"): Stellen Sie sich ein Paralleluniversum vor, in dem die schlechten Daten nie existiert haben. In diesem Universum hat der Schüler eine andere Reihe von Antworten und eine andere Reihe von „Daumenregeln".
Das Ziel: Wenn wir Daten in der realen Welt löschen, wollen wir nicht nur, dass die Antworten mit dem „Was wäre wenn"-Universum übereinstimmen. Wir wollen, dass das gesamte Notizbuch (Antworten + Regeln) exakt dem entspricht, was der Schüler gehabt hätte, wenn er die schlechten Daten von Anfang an nie gesehen hätte.

Das Paper behauptet, dass aktuelle Methoden nur die Antworten (Parameter) korrigieren. Sie ignorieren die Regeln (Gedächtnis). Dies erzeugt einen „Frankenstein"-Schüler: Er hat die richtigen Antworten für eine Welt, die nicht existiert, aber er benutzt die falschen Abkürzungen, um dorthin zu gelangen.

Die zwei Arten von Gedächtnis

Die Autoren entdeckten, dass das Gedächtnis der KI in zwei Schichten funktioniert:

Direktes Gedächtnis (Die explizite Liste): Dies ist die Liste spezifischer Beispiele, die die KI derzeit in ihrem Kurzzeitgedächtnis hält. Wenn Sie ein Foto löschen, fällt es schließlich von dieser Liste.
Indirektes Gedächtnis (Der Welleneffekt): Selbst nachdem das Foto von der Liste gefallen ist, hat die Art und Weise, wie der Schüler daraus gelernt hat, möglicherweise verändert, wie er zukünftige Fotos interpretiert. Die „Welle" der schlechten Daten beeinflusst weiterhin die zukünftigen Entscheidungen des Schülers, selbst wenn das ursprüngliche Foto weg ist.

Die Analogie: Stellen Sie sich vor, Sie fahren ein Auto.

Direktes Gedächtnis ist die GPS-Route, die gerade auf dem Bildschirm angezeigt wird. Wenn Sie ein Ziel löschen, verschwindet es vom Bildschirm.
Indirektes Gedächtnis ist das Muskelgedächtnis, das Sie beim Fahren dieser Route aufgebaut haben. Selbst wenn Sie das Ziel löschen, greifen Ihre Hände möglicherweise noch immer so fest am Lenkrad, als würden sie erwarten, an der nächsten Kreuzung links abzubiegen, weil Sie diese Route gestern gefahren sind.

Das Paper zeigt, dass es nicht ausreicht, einfach das GPS-Ziel (die Daten) zu löschen; Sie müssen auch Ihr Muskelgedächtnis (den Optimierer-Zustand) zurücksetzen.

Die Experimente: Was passiert, wenn Sie versuchen zu „verlernen"?

Die Forscher testeten verschiedene Methoden, um die KI nach dem Löschen von Daten zu korrigieren:

Die „Nur-Parameter"-Korrektur: Sie änderten die Antworten, ließen aber die Regeln unverändert.
- Ergebnis: Der Schüler sah zunächst in Ordnung aus, aber als er weiter lernte, begann er seltsame Fehler zu machen, weil seine Antworten und seine Regeln nicht übereinstimmten. Er war „fehljustiert".
Die „Nur-Gedächtnis"-Korrektur: Sie löschten die Regeln, ließen aber die Antworten unverändert.
- Ergebnis: Der Schüler hatte saubere Regeln, war aber mit Antworten festgefahren, die für die neue Situation falsch waren.
Die „Wiederholung"-Korrektur (Der Gewinner): Sie nahmen den Schüler zurück, löschten die schlechten Daten aus der Geschichte und ließen ihn die letzten Schritte von vorne lernen.
- Ergebnis: Dies war der einzige Weg, den Schüler perfekt mit dem „Was wäre wenn"-Universum in Einklang zu bringen. Die Antworten und die Regeln waren perfekt synchronisiert.

Die wichtigste Erkenntnis

Das Paper kommt zu dem Schluss, dass Machine Unlearning nicht nur ein mathematisches Problem des Änderns von Zahlen ist; es ist ein geometrisches Problem der Ausrichtung von Zuständen.

Wenn Sie Daten aus einer KI, die fortgeschrittene Gedächtnistechniken verwendet, wirklich löschen wollen, können Sie nicht nur die endgültige Ausgabe anpassen. Sie müssen sicherstellen, dass die interne „Muskelgedächtnis" und die „Abkürzungen" der KI ebenfalls zurückgesetzt werden, um mit einem Zeitstrahl übereinzustimmen, in dem diese Daten nie existiert haben. Tun Sie dies nicht, ist die KI technisch nur dem Namen nach „verlernt", trägt aber den Geist der gelöschten Daten in ihrem zukünftigen Verhalten weiter.

Kurz gesagt: Sie können nicht nur die Notiz auslöschen; Sie müssen die Lektion auslöschen.

Technische Zusammenfassung: Form und Funktion: Maschinelles Vergessen als Problem fehlgeleiteter Zustände

Problemdefinition

Die Arbeit adressiert eine kritische Lücke in der Evaluierung des maschinellen Vergessens: Der Fokus auf die Modellleistung (Funktion) vernachlässigt häufig die innere Geometrie und den Zustand des Modells (Form). Dies ist besonders ausgeprägt bei zustandsbehafteten Optimierern wie dem online L-BFGS, die nicht nur Parametervektoren ( $w_t$ ), sondern auch ein endliches Gedächtnis an Krümmungspaaren ( $Z_t$ ) zur Approximation der inversen Hesse-Matrix vorhalten.

Die Autoren argumentieren, dass aktuelle Vergessensmethoden, die Vergessen oft als Problem der Parameterkorrektur behandeln, unzureichend sind. Bei zustandsbehafteten Optimierern beeinflusst gelöschte Daten die Trajektorie zukünftiger Krümmungspaare und Aktualisierungsrichtungen selbst dann, wenn die expliziten Krümmungspaare, die diese Daten enthalten, aus dem Gedächtnisfenster herausgedreht wurden. Folglich kann ein Modell, das Daten in seinen Parametern „vergessen" hat, dennoch einen gekoppelten Zustand (Parameter + Gedächtnis) besitzen, der geometrisch inkonsistent mit dem kontrafaktischen Zustand ist, der entstanden wäre, wenn die Daten nie verarbeitet worden wären. Das Kernproblem wird als Problem der kontrafaktischen Zustandsausrichtung neu definiert: Das Ziel besteht darin, den tatsächlichen Optimierer-Zustand mit dem Zustand auszurichten, der durch einen mit Löschungen editierten Ereignisstrom erzeugt worden wäre.

Methodik

Theoretischer Rahmen

Die Arbeit formuliert Vergessen für online L-BFGS (o-LBFGS) innerhalb eines sequenziellen Lernsettings.

Ereignisströme: Die Autoren unterscheiden zwischen dem tatsächlichen Ereignisstrom ( $H_t$ ) und dem mit Löschungen editierten kontrafaktischen Strom ( $H_t^{-D}$ ), der spezifische Stichproben ausschließt.
Zustandsdefinition: Der Lernzustand wird als $\theta_t = (w_t, Z_t)$ definiert, wobei $Z_t$ die Krümmungspaare $\{(v_i, r_i)\}$ enthält.
Zustands-Ausrichtungsfehler: Eine neue Metrik, $\Delta_t$ , wird eingeführt, um die Distanz zwischen dem vergessenen Zustand und dem kontrafaktischen Orakel-Zustand zu messen.
Rekursive Schranken: Unter Annahmen starker Konvexität, Glattheit, beschränkter Gradienten und kontrahierender Aktualisierungen leiten die Autoren eine rekursive Schranke für die Zustandsabweichung her. Sie zeigen, dass der Fehler aus zwei Komponenten besteht:
1. Direktes Gedächtnis: Explizite Krümmungspaare, die gelöschte Daten enthalten, die nach $\tau$ Aktualisierungen (der Größe des Gedächtnisfensters) verschwinden.
2. Indirektes Gedächtnis: Eine residuale Einflussnahme, die über die Parameter-Trajektorie persistiert, neue Krümmungspaare und Aktualisierungsrichtungen generiert. Dieser Einfluss klingt geometrisch ab, persistiert jedoch über das direkte Gedächtnisfenster hinaus.

Zertifikate für Vergessen

Die Arbeit schlägt eine Methode für Zustands-zertifiziertes Vergessen vor. Im Gegensatz zu früheren Arbeiten, die Rauschen allein basierend auf der Parametersensitivität kalibrieren, kalibriert dieser Ansatz die Rauscheinspeisung basierend auf der gesamten Zustandsabweichungsschranke ( $\alpha_t$ ). Diese Schranke berücksichtigt sowohl die initiale Störung als auch den residualen indirekten Gedächtniseffekt und stellt sicher, dass der randomisierte vergessene Zustand innerhalb einer definierten probabilistischen Garantie vom kontrafaktischen Ideal nicht unterscheidbar ist.

Experimenteller Benchmark

Die Autoren führen einen zustandsbewussten Benchmark ein, der Vergessensinterventionen über vier verschiedene Fehlermetriken hinweg bewertet:

Parameterfehler: Abweichung im Gewichtsvektor.
Gedächtnis-Operator-Fehler: Abweichung in der Krümmungsgedächtnis-/inversen-Hesse-Approximation.
Kombinierter Zustandsfehler: Die gemeinsame Abweichung von $(w_t, Z_t)$ .
Aktualisierungsrichtungsfehler: Die Divergenz in zukünftigen Gradienten-Aktualisierungsrichtungen.

Getestete Interventionen umfassen:

Orakel-Wiedergabe: Neutrainieren auf dem exakten kontrafaktischen Strom (Ground Truth).
Fenster-Wiedergabe: Wiedergabe eines kürzlichen Fensters von Ereignissen zur Rekonstruktion des Zustands.
Nur-Parameter-Korrektur: Anpassung von $w_t$ , während $Z_t$ unberührt bleibt.
Nur-Gedächtnis-Korrektur: Zurücksetzen oder Verwerfen kontaminierter Krümmungspaare, während $w_t$ unberührt bleibt.
Verwerfen kontaminierter Paare: Entfernen spezifischer Krümmungspaare.
Verwerfen und Nachfüllen: Verwerfen sowohl von Parametern als auch von Gedächtnis, gefolgt von Fortsetzung.

Wichtige Ergebnisse

1. Parameterausrichtung unterschätzt Persistenz

Experimente auf quadratischen und ridge-logistischen Verlustflächen zeigen, dass die Korrektur nur des Parametervektors ( $w_t$ ) kein echtes Vergessen erreicht. Während Interventionen nur auf Parametern den Parameterfehler reduzieren können, lassen sie das Krümmungsgedächtnis ( $Z_t$ ) kontaminiert. Dies erzeugt einen „hybriden Zustand", in dem die Parameter davon ausgehen, dass die Daten gelöscht wurden, das Gedächtnis jedoch weiterhin Aktualisierungsrichtungen kodiert, die auf der ursprünglichen Trajektorie basieren. Diese Fehlausrichtung führt zu dem größten zukünftigen Trajektorienfehler unter Nicht-Orakel-Methoden, der oft den Fehler einer gar nicht durchgeführten Korrektur übersteigt.

2. Indirektes Gedächtnis und die Löschhorizont

Die Studie bestätigt, dass gelöschte Daten über indirektes Gedächtnis persistieren. Selbst nachdem kontaminierte Krümmungspaare aus dem L-BFGS-Fenster herausgedreht sind (direkte Gedächtnisbereinigung), erzeugt die veränderte Parameter-Trajektorie neue Krümmungspaare, die den „Geist" der gelöschten Daten tragen.

Gedächtnisgrößen-Trade-off: Größere Gedächtnisfenster ( $\tau$ ) halten direkte Kontamination länger vor, verlangsamen aber auch die Rate der Zustandsausrichtung. Kleinere Fenster verkürzen den Löschhorizont, können jedoch die Optimierungseffizienz beeinträchtigen.
Abklingdynamik: Die Zustandsabweichung verschwindet nicht sofort bei der Gedächtnisbereinigung; sie klingt über die Zeit geometrisch ab, abhängig von der Kontraktivität des Optimierers.

3. Unzulänglichkeit lokaler Interventionen

Lokale Änderungen (Modifizierung nur von Parametern oder nur von Gedächtnis) scheitern daran, den kontrafaktischen Zustand wiederherzustellen.

Nur-Gedächtnis-Zurücksetzen: Obwohl es direkte Kontamination entfernt, scheitert es daran, die Parameter-Trajektorie wiederherzustellen, die das kontrafaktische Gedächtnis natürlich erzeugt hätte, was zu signifikanten Aktualisierungsrichtungsfehlern führt.
Verwerfen und Nachfüllen: Aggressives Entfernen von Daten kann kontraproduktiv sein und den Optimierer weiter von der kontrafaktischen Trajektorie entfernen als gar nichts zu tun, da es nützliche Informationen zerstört, die sowohl der tatsächlichen als auch der kontrafaktischen Historie gemeinsam sind.

4. Erfolg strategischer Wiedergabe

Fenster-Wiedergabe ist die einzige Nicht-Orakel-Methode, die gezeigt hat, eine exakte Wiederherstellung zuverlässig anzunähern. Durch die Rekonstruktion des gemeinsamen Parameter-Gedächtnis-Zustands aus einem Fenster von Daten, das mit der Löschungsanforderung konsistent ist, richtet sie sowohl Form als auch Funktion aus. Ihre Wirksamkeit ist am höchsten, wenn die gelöschten Daten innerhalb des Wiedergabefensters liegen. Wenn Daten vom direkten in das indirekte Gedächtnis übergehen, nimmt die Effizienz der Wiedergabe ab, bleibt aber partiellen Korrekturen überlegen.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass maschinelles Vergessen für zustandsbehaftete Optimierer fundamental ein Zustands-Rekonstruktionsproblem und nicht lediglich ein Problem der Parameterkorrektur ist.

Ontologischer Wandel: Die Autoren argumentieren, dass Vergessen daraufhin bewertet werden muss, ob das System die „Form und Funktion" des kontrafaktischen Ideals annehmen kann. Ein Modell, das gut performt, aber einen fehlgeleiteten internen Zustand besitzt, ist nicht wirklich vergessend.
Neuer Evaluierungsstandard: Die Arbeit führt zustandsbewusste Metriken ein, die die Unzulänglichkeit aktueller parameterzentrierter Evaluierungsmethoden aufdecken, die oft residuale Informationen übersehen, die im geometrischen Gedächtnis des Optimierers gespeichert sind.
Theoretischer Beitrag: Sie liefert die ersten rekursiven Schranken für kontrafaktische Zustandsabweichungen bei online L-BFGS, unterscheidet zwischen direkten und indirekten Gedächtniseffekten und bietet einen Rahmen für zustands-zertifiziertes Vergessen, der den gesamten Optimierer-Zustand berücksichtigt.
Praktische Implikation: Die Ergebnisse deuten darauf hin, dass zuverlässiges Vergessen in online, speicherbeschränkten Umgebungen entweder eine vollständige Zustandsrekonstruktion (via Wiedergabe) oder ein differenzierteres Verständnis erfordert, wie Krümmungsgedächtnis Löschungseffekte propagiert, anstatt einfacher Parameterstörung.

Die Autoren bewahren Bescheidenheit hinsichtlich ihres Umfangs und weisen darauf hin, dass ihre theoretischen Schranken auf Konvexitätsannahmen beruhen und ihre Experimente synthetische Ströme verwenden, wobei die Anwendung auf große, nicht-konvexe, eingesetzte Modelle als zukünftige Arbeit verbleibt.