Revisiting the Past: Data Unlearning with Model State History

1. Problemstellung

Large Language Models (LLMs) werden auf massiven Web-Korpora trainiert, die häufig private Daten, urheberrechtlich geschütztes Material, Fehlinformationen oder Daten von geringer Qualität enthalten. Wenn solche problematischen Datenpunkte entfernt werden müssen, um Vorschriften (z. B. das „Recht auf Vergessenwerden") einzuhalten oder die Modellqualität zu verbessern, ist der Standardansatz – das vollständige Neutrainieren des Modells auf einem Datensatz ohne diese Punkte – rechnerisch prohibitiv.

Bestehende Machine Unlearning-Algorithmen versuchen, dieses Neutrainieren durch eine kostengünstigere Modifikation der Modellgewichte zu approximieren. Diese Methoden sehen sich jedoch erheblichen Herausforderungen gegenüber:

• Unzureichendes Vergessen: Das Modell behält Spuren der zu vergessenden Daten.
• Verschlechterte Nutzbarkeit: Das Modell verliert Fähigkeiten bei Daten, die es hätte behalten sollen.
• Ungenauigkeit: Das ungelernnte Modell entspricht funktional nicht einem „idealen Modell" (einem Modell, das von Grund auf ohne die Zieldaten trainiert wurde).
• Einschränkung aktueller Ansätze: Die meisten bestehenden Methoden arbeiten ausschließlich auf dem finalen Modell-Checkpoint und versuchen, den Einfluss von Daten allein unter Verwendung des aktuellen Zustands rückgängig zu machen, was oft zu verrauschten oder verzerrten Schätzungen des Dateneinflusses führt.

2. Methodik: Model State Arithmetic (MSA)

Die Autoren schlagen MSA vor, einen neuartigen Unlearning-Algorithmus, der intermediäre Modell-Checkpoints (Artefakte, die von Entwicklern routinemäßig zur Fehlertoleranz und für Experimente gespeichert werden) nutzt, um den Einfluss spezifischer Datenpunkte präziser zu schätzen und rückgängig zu machen.

Kernkonzept

Anstatt einen „Vergess-Vektor" basierend auf dem finalen Modell zu berechnen (das die Daten bereits internalisiert hat), berechnet MSA den Vektor basierend auf einem Checkpoint ($C$), der der Einführung der Unlearning-Ziele ($D_f$) vorausgeht.

Algorithmen-Schritte

1. Eingabe: Ein Zielmodell $\theta_D$ (trainiert auf den vollständigen Daten $D$), ein intermediärer Checkpoint $\theta_0$ (trainiert auf den Daten $D \setminus D_f$) und der Vergess-Datensatz $D_f$.
2. Berechnung des Vergess-Vektors ($\vec{\theta}_f$):
   • Feinabstimmung des Checkpoints $\theta_0$ auf dem Vergess-Datensatz $D_f$, um einen neuen Zustand $\theta_1$ zu erhalten.
   • Berechnung der Differenz: $\vec{\theta}_f = \theta_1 - \theta_0$. Dieser Vektor repräsentiert den reinen Einfluss von $D_f$ auf die Modellparameter, bevor das Modell andere konfligierende Kenntnisse hatte.
3. Anwendung des Unlearnings:
   • Subtraktion des Vergess-Vektors vom Zielmodell: $\theta_{unlearn} = \theta_D - \alpha \vec{\theta}_f$, wobei $\alpha$ ein Skalierungsfaktor ist.
4. Optionaler Behalt-Vektor ($\vec{\theta}_r$):
   • Falls ein Behalt-Datensatz $D_r$ verfügbar ist, kann ein ähnlicher Vektor berechnet werden, indem $\theta_0$ auf $D_r$ feinabgestimmt wird, um $\theta_2$ zu erhalten, wobei $\vec{\theta}_r = \theta_2 - \theta_0$.
   • Das finale Update lautet dann: $\theta_{unlearn} = \theta_D - \alpha \vec{\theta}_f + \beta \vec{\theta}_r$.

Wichtige Erkenntnis

Die Autoren hypothesieren, dass Vektoren, die vom finalen Modell abgeleitet sind, mit dem bestehenden Wissen des Modells verflochten sind, was sie zu schlechten Schätzungen des spezifischen Dateneinflusses macht. Durch die Verwendung eines „sauberen" Checkpoints aus der Zeit vor dem Sehen der Daten isoliert MSA den semantischen Effekt des Vergess-Datensatzes effektiver.

3. Hauptbeiträge

• Neues Framework: Einführung von MSA, das Standard-Trainings-Checkpoints für das nachträgliche Daten-Unlearning wiederverwendet und das Paradigma von „nur Endzustand" zu „zustandshistorie-bewusst" verschiebt.
• Neue Evaluierungsmetriken: Das Papier kritisiert Standardmetriken wie ROUGE-L für Unlearning (die trotz faktischer Fehler durch syntaktische Ähnlichkeit getäuscht werden können) und führt GPT-4o-basierte semantische Metriken ein:
  • Accforget: Misst, ob das Modell erfolgreich vermeidet, die Ground Truth für vergessene Elemente zu generieren.
  • Accrecover: Misst, ob die Ausgabe des Modells mit dem „idealen Modell" (dem Modell, das die Daten nie gesehen hat) übereinstimmt.
  • Accretain: Misst die Bewahrung von Wissen über Nicht-Vergess-Daten.
• Umfassendes Benchmarking: Evaluierung über drei große Benchmarks hinweg: TOFU (fiktive Autoren), RESTOR (Wiederherstellung von Wissen, das durch Fehlinformationen korrupt wurde) und MUSE-Books (Buch-Memorierung und Privatsphäre).
• Robustheitsanalyse: Demonstration, dass MSA auch dann effektiv bleibt, wenn der verwendete Checkpoint hunderte Milliarden Tokens vor dem Unlearning-Ziel liegt, obwohl nähere Checkpoints bessere Ergebnisse liefern.

4. Experimentelle Ergebnisse

Die Autoren bewerteten MSA gegen State-of-the-Art-Baselines (NPO, RMU, GradDiff, Task Vector, SatImp, UNDIAL) an OLMo-2-7B und Llama-3.1/3.2-Modellen.

• TOFU Benchmark:
  • MSA-Varianten (z. B. unter Verwendung von Checkpoints 3,6 Billionen Tokens zuvor) erzielten über alle Metriken hinweg wettbewerbsfähige oder überlegene Leistungen im Vergleich zu den Baselines.
  • Im Gegensatz zu Baselines, die oft die Nutzbarkeit (Accretain) opfern, um Vergessen zu erreichen, oder versagen, das ideale Verhalten wiederherzustellen (Accrecover), balancierte MSA alle drei Ziele effektiv.
  • Zum Beispiel erreichten MSA-Varianten bei der forget10-Aufgabe ~89 % Accforget und ~96 % Accrecover, während Baselines wie RMU ein hohes Vergessen, aber eine sehr niedrige Wiederherstellung zeigten (Verweigerung der Antwort statt Vergessen).
• RESTOR Benchmark:
  • MSA schnitt bei der Wiederherstellung von Wissen, das durch Fehlinformationen korrupt wurde, deutlich besser ab als die Baselines.
  • Bei Llama-3.1-8B lag die Genauigkeit des idealen Modells bei 64,80 %. Das korrupte Modell sank auf 44,31 %. MSA stellte die Genauigkeit auf 48,45 % - 49,19 % wieder her, während Baselines wie NPO und SatImp nur auf ~44-46 % wiederhergestellt wurden.
• MUSE-Books Benchmark:
  • MSA zeigte starke Leistungen bei Membership Inference Attacks (MIN-K% und MIN-K%++), was darauf hindeutet, dass das ungelernnte Modell die vergessenen Bücher nicht mehr als Teil seiner Trainingsdaten erkennt.
  • MSA-Varianten, die nähere Checkpoints verwendeten (z. B. MSA3859B), entsprachen oder übertrafen die Leistung des idealen Modells bei Metriken für Privatsphäre-Lecks.
• Checkpoint-Abstand:
  • Experimente zeigten, dass zwar Checkpoints, die dem Vergess-Datensatz unmittelbar vorausgehen, optimal sind, aber Checkpoints, die hunderte Milliarden Tokens früher liegen, dennoch starke Ergebnisse liefern, was MSA auch für Modelle mit seltenem Checkpointing praktikabel macht.

5. Bedeutung und Fazit

• Praktikabilität: MSA bietet eine rechnerisch effiziente ($O(|D_f|)$) Lösung, die Artefakte (Checkpoints) nutzt, die bereits in Standard-LLM-Trainingspipelines vorhanden sind, und erfordert keine Änderungen am ursprünglichen Trainingsprozess.
• Regulatorische Compliance: Es bietet Modellanbietern einen gangbaren Weg, Anfragen zum „Recht auf Vergessenwerden" zu erfüllen, ohne die Kosten eines vollständigen Neutrainings.
• Theoretischer Wandel: Die Arbeit stellt die Annahme in Frage, dass Unlearning ausschließlich auf dem finalen Modellzustand basieren muss. Sie legt nahe, dass die Modellzustandshistorie eine kritische Ressource für eine präzise Datenlöschung ist.
• Zukünftige Richtung: Das Papier befürwortet, dass Modellentwickler Indizes darüber führen, wann Modelle während des Trainings auf bestimmte Informationen stoßen, nicht nur zur Zuschreibung, sondern um fortschrittliche Unlearning-Techniken wie MSA zu ermöglichen.

Zusammenfassend stellt MSA einen bedeutenden Fortschritt im Machine Unlearning dar, indem es die zeitlichen Dynamiken des Trainings nutzt, um eine präzisere, nutzbarkeitserhaltende und funktional treue Datenentfernung zu erreichen.