Forget What Matters, Keep the Rest: Selective Unlearning of Informative Tokens

1. Problemstellung

Das „Machine Unlearning" (Maschinelles Vergessen) bei Large Language Models (LLMs) zielt darauf ab, spezifisches Wissen (z. B. aus einem Trainingskorpus, das aus Datenschutzgründen entfernt werden muss) selektiv zu löschen, während das allgemeine Modellwissen erhalten bleibt. Dies ist entscheidend für den Schutz vor Angriffen wie Membership-Inference, Jailbreaks oder Red-Teaming.

Das zentrale Problem besteht darin, dass herkömmliche Unlearning-Ansätze oft den Verlust (Loss) gleichmäßig auf alle Token einer Sequenz anwenden. Dies führt zu zwei Hauptnachteilen:

1. Verlust der Modellnutzbarkeit (Utility Degradation): Wenn strukturelle Token (z. B. Funktionswörter wie „der", „die", „das") genauso stark bestraft werden wie inhaltstragende Token, leidet die allgemeine Sprachfähigkeit des Modells unnötig.
2. Unzureichende Selektivität: Bestehende Methoden zur tokenweisen Gewichtung stützen sich oft auf die Ground-Truth-Confidence (wie sicher das Modell beim korrekten Token ist) oder auf externe linguistische Parser (z. B. spaCy zur Erkennung von Nomen).
   • Confidence-basierte Ansätze scheitern daran, dass sowohl strukturelle als auch informative Token hohe Konfidenz haben können.
   • Linguistische Ansätze ignorieren den Kontext; ein Nomen ist nicht immer informativ, wenn es sich um eine Wiederholung aus der Frage handelt.

2. Methodik: Entropy-guided Token Weighting (ETW)

Die Autoren schlagen ETW vor, einen Regularisierer auf Token-Ebene, der die Entropie der Vorhersageverteilung des Modells als Proxy für die Informativität eines Tokens nutzt.

Kernidee

• Strukturelle Token (z. B. „the", „a") haben eine sehr niedrige Entropie, da das Modell sie mit hoher Sicherheit vorhersagen kann (wenig Ambiguität).
• Informativ Token (z. B. Eigennamen wie „Carmen" oder spezifische Fakten) weisen eine höhere Entropie auf, da das Modell unsicherer ist und die Wahrscheinlichkeitsmasse auf mehrere plausible Alternativen verteilt.

Formulierung

Das Unlearning-Ziel wird als gewichteter Gradienten-Anstieg (Gradient Ascent, GA) definiert. Anstatt alle Token gleich zu bestrafen, wird der Verlust für jeden Token $i$ mit einem Gewicht $\omega_i$ multipliziert:

$$L_f(y|x; \theta) = \sum_{i=1}^{n} \omega_i(x, y) \log p(y_i|y_{<i}, x; \theta)$$

Das Gewicht $\omega_i$ wird durch die normalisierte Entropie $H$ der Vorhersageverteilung des Modells (unter Verwendung einer Stop-Gradient-Kopie $\hat{\theta}$, um Rückpropagation zu vermeiden) berechnet:

$$\omega_i^{ETW} = \frac{n \cdot H(y_i|y_{<i}, x; \hat{\theta})}{\sum_{j=1}^{n} H(y_j|y_{<j}, x; \hat{\theta})}$$

Dabei ist $H$ definiert als:
$$H(y_i|\dots) = -\sum_{v \in V} p(v|\dots) \log p(v|\dots)$$

Vorteil gegenüber bestehenden Methoden:
ETW nutzt die gesamte Verteilung über das Vokabular, nicht nur die Wahrscheinlichkeit des Ground-Truth-Tokens. Dies erlaubt eine feinere Unterscheidung zwischen Token, die zwar sicher vorhergesagt werden, aber dennoch kontextuell wichtig sind, und solchen, die rein syntaktisch sind.

3. Hauptbeiträge

1. Einführung von ETW: Ein tokenweiser Regularisierer, der Entropie statt reiner Konfidenz oder linguistischer Kategorien nutzt, um Informativität zu messen.
2. Nachweis der Unterscheidungsfähigkeit: Die Autoren zeigen, dass ETW informative von strukturellen Token signifikant besser trennt als Confidence-basierte (WGA, Imp, SatImp) oder linguistische Methoden (SCN, SCE). Dies wird durch ROC-AUC-Metriken belegt.
3. Verbessertes Trade-off: Durch die Fokussierung auf informative Token während des Unlearning-Prozesses wird das Vergessen effektiver gestaltet, während die allgemeine Modellnutzbarkeit (Utility) besser erhalten bleibt als bei allen verglichenen Baselines.

4. Experimentelle Ergebnisse

Die Methode wurde auf den Benchmarks TOFU (Fiktive Autoren) und WMDP (Schädliches Wissen in Bio- und Cybersecurity) mit Modellen der Größen 1B, 3B und 7B (LLaMA-3.2, LLaMA-2) evaluiert.

• Vergleichsmaßstäbe:

  • Forget Quality (FQ): Wie gut wurde das Zielwissen entfernt? (Gemessen als p-Wert des Kolmogorov-Smirnov-Tests).
  • Model Utility (MU): Wie stark verschlechterte sich die allgemeine Leistung?
  • Aggregated Score (Agg.): Ein Produkt aus FQ und MU, um das beste Gleichgewicht zu finden.

• Ergebnisse auf TOFU:

  • ETW erreicht in fast allen Szenarien (10%, 5%, 1% Forget-Splits) die besten aggregierten Scores.
  • Besonders bei hohen Forget-Raten (10%) übertrifft ETW alle Baselines deutlich, da andere Methoden hier oft entweder das Vergessen verfehlen oder die Modellnutzbarkeit stark zerstören.
  • ETW zeigt die geringste Abweichung in den Vorhersagewahrscheinlichkeiten für informative Token im Vergleich zu einem Modell, das komplett neu auf den verbleibenden Daten trainiert wurde (Retrain-Modell).

• Ergebnisse auf WMDP:

  • ETW zeigt eine robuste Leistung beim Entfernen von schädlichem Wissen (niedrigere Genauigkeit auf den Forget-Sets) bei gleichzeitiger Beibehaltung der allgemeinen Fähigkeiten (MMLU-Accuracy).

• Analyse der Token-Verteilung:

  • Histogramme zeigen, dass ETW informative Token klar im Hoch-Entropie-Bereich und strukturelle Token im Nieder-Entropie-Bereich lokalisiert.
  • Andere Methoden (wie WGA oder Imp) überlappen diese Verteilungen stark, was zu ineffizientem Lernen führt.

5. Bedeutung und Fazit

Das Paper adressiert eine kritische Lücke im Bereich des Machine Unlearning: Die Notwendigkeit, was vergessen wird, intelligent zu steuern, anstatt nur dass etwas vergessen wird.

• Technische Innovation: Der Wechsel von Confidence-basierten zu Entropie-basierten Gewichten ermöglicht es dem Modell, den Kontext und die Unsicherheit der Vorhersage zu nutzen, um zu entscheiden, welche Token für das Wissen essenziell sind.
• Praktische Relevanz: ETW bietet einen Weg, um Datenschutzanforderungen (z. B. „Recht auf Vergessenwerden") in LLMs effizient umzusetzen, ohne die Nützlichkeit des Modells für andere Aufgaben zu opfern.
• Zukunftsausblick: Die Methode ist unabhängig von externen Parsern und funktioniert rein modellintern, was sie skalierbarer und robuster macht.

Zusammenfassend demonstriert ETW, dass ein besseres Verständnis der tokenweisen Unsicherheit (Entropie) der Schlüssel zu selektivem und effektivem Vergessen in großen Sprachmodellen ist.