💬 NLP

Learning What to Forget: Improving LLM Unlearning via Learned Token-Level Importance

Dieses Paper stellt Alternating Token-Weighted Unlearning (ATWU) vor, ein leichtgewichtiges Framework, das das Machine Unlearning in großen Sprachmodellen verbessert, indem es die Bedeutung auf Token-Ebene durch den Konflikt zwischen Forget- und Retain-Objectives gemeinsam lernt und dadurch eine State-of-the-Art-Leistung ohne externe Supervision oder Hilfsmodelle erreicht.

Ursprüngliche Autoren: Gizem Yüce, Giorgos Nikolaou, Nicolas Flammarion

Veröffentlicht 2026-06-05

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Gizem Yüce, Giorgos Nikolaou, Nicolas Flammarion

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Problem: Der Radiergummi, der die ganze Seite verschmiert

Stellen Sie sich vor, Sie haben eine riesige, unglaublich kluge Bibliothek (ein Large Language Model), die fast alles im Internet gelesen hat. Eines Tages stellen Sie fest, dass sie den Eintrag aus einem speziellen, geheimen Tagebuch gespeichert hat, das jemand anderem gehört, und Sie müssen dies sofort entfernen.

Das Problem ist, dass die Bibliothek so groß ist, dass Sie nicht einfach die spezifische Seite herausreißen können, auf der das Tagebuch geschrieben wurde. Wenn Sie versuchen, diese spezifische Geschichte durch ein „Unlearning“ (Verlernen) zu löschen, indem Sie die gesamte Bibliothek ohne diese Information neu trainieren, könnten Sie versehentlich auch andere nützliche Dinge löschen – wie zum Beispiel, wie man eine höfliche E-Mail schreibt oder ein Matheproblem löst.

Aktuelle Methoden des „Unlearnings“ sind wie die Verwendung eines riesigen, stumpfen Radiergummis. Sie versuchen, den gesamten Satz oder Absatz, der das Geheimnis enthält, wegzuwischen. Oft löschen sie dabei aber auch die Grammatik, die Interpunktion und die gängigen Wörter (wie „der“, „die“, „das“ oder „und“) mit weg. Dies hinterlässt den Schreibstil der Bibliothek kaputt und unbeholfen.

Die Kernidee: Ein intelligentes, chirurgisches Skalpell

Die Autoren dieser Arbeit schlagen einen neuen Weg vor, über das Vergessen nachzudenken. Sie haben erkannt, dass nicht jedes Wort in einem geheimen Satz gleichermaßen wichtig für das Geheimnis ist.

Der geheime Teil: Der spezifische Name, das Datum oder die Tatsache, die Sie entfernen wollen (z. B. „Hina Ameen“).
Der strukturelle Teil: Die langweiligen, notwendigen Wörter, die den Satz zusammenhalten (z. B. „Der Autor ist...“).

Wenn Sie versuchen, dem Modell das Wort „Der“ vergessen zu lassen, entfernen Sie nicht das Geheimnis, sondern Sie zerstören die Grammatik. Das Modell muss weiterhin wissen, wie es das Wort „Der“ verwendet.

Die Lösung: ATWU (Alternating Token-Weighted Unlearning)

Die Arbeit stellt eine Methode namens ATWU vor. Betrachten Sie dies als die Gabe einer Bibliothek eines intelligenten, chirurgischen Skalpells anstelle eines stumpfen Radiergummis.

So funktioniert es, Schritt für Schritt:

Der Konflikt-Test: Die Autoren haben erkannt, dass der beste Weg, um herauszufinden, welche Wörter zu löschen sind, darin besteht, zu prüfen, wie viel „Schmerz“ es verursacht, wenn die Bibliothek sie vergisst.
- Wenn die Bibliothek versucht, das Wort „Hina“ (das Geheimnis) zu vergessen, schadet das nicht ihrer Fähigkeit, gute Sätze zu schreiben.
- Wenn die Bibliothek versucht, das Wort „Der“ zu vergessen, fängt sie an, Kauderwelsch zu schreiben.
- Die Erkenntnis: Wenn das Vergessen eines Wortes die allgemeinen Fähigkeiten der Bibliothek nicht beeinträchtigt, ist dieses Wort ein guter Kandidat für die Entfernung. Wenn es die Fähigkeiten beeinträchtigt, behalten Sie es.
Der „Punktesammler“ (Der Lineare Scorer):
- Anstatt einen Menschen zu engagieren, der jeden Satz liest und die zu löschenden Wörter einkreist (was langsam und teuer ist), haben die Autoren einen winzigen, einfachen „Punktesammler“ innerhalb des Modells gebaut.
- Dieser Punktesammler betrachtet das „Gehirn“ des Modells (die Hidden States) und weist jedem einzelnen Wort einen Wert zu.
- Hoher Wert: „Dies ist das Geheimnis; wir müssen es löschen.“
- Niedriger Wert: „Dies ist nur Grammatik; lass es in Ruhe.“
Der Tanz (Alternating Optimization):
- Das Modell und der Punktesammler lernen abwechselnd.
- Zuerst entscheidet der Punktesammler, welche Wörter wichtig sind, um sie zu vergessen.
- Dann versucht das Modell, genau diese Wörter zu vergessen, während es seine restlichen Fähigkeiten intakt hält.
- Dann schaut der Punktesammler, wie sich das Modell verändert hat, und aktualisiert seine Werte, um noch präziser zu werden.
- Sie tanzen immer wieder so lange hin und her, bis das Modell genau lernt, was es vergessen muss, ohne etwas anderes zu beschädigen.

Warum das besser ist (Die Ergebnisse)

Die Autoren haben diese Methode an zwei verschiedenen „Bibliotheken“ (Datensätzen) getestet und festgestellt, dass ATWU viel besser ist als bisherige Methoden:

Präzision: Es hat die spezifischen Geheimnisse (wie den Namen „Hina Ameen“) erfolgreich entfernt, während es die Fähigkeit des Modells bewahrte, normalen, hochwertigen Text zu schreiben.
Keine zusätzliche Hilfe nötig: Im Gegensatz zu anderen Methoden, die eine zweite, separate KI benötigen, um herauszufinden, was gelöscht werden soll, findet ATWU dies ganz allein durch die internen Signale des Modells selbst.
Bessere Balance: Es erreicht einen besseren Kompromiss: Es vergisst die schlechten Dinge effektiver, während es die guten Dinge besser bewahrt als jede andere getestete Methode.

Die „Magie“ der Metapher

Stellen Sie sich vor, Sie versuchen, einen bestimmten Fleck aus einem weißen Hemd zu entfernen.

Alte Methoden: Sie schrubben das ganze Hemd mit Bleichmittel. Der Fleck ist weg, aber das Hemd ist nun gelb und ruiniert.
ATWU: Sie verwenden einen Laser, der nur die Farbe des Flecks anvisiert. Er brennt den Fleck perfekt weg und lässt den weißen Stoff des Hemdes völlig unberührt.

Zusammenfassung der Ansprüche

Die Arbeit behauptet, dass wir durch die Behandlung des „Vergessens“ als ein gemeinsames Problem, bei dem das Modell gleichzeitig lernt, was es vergessen soll und wie es es vergisst, ein „Machine Unlearning“ erreichen können, das:

Unüberwacht (Unsupervised) ist: Es benötigt keine Menschen, die Wörter beschriften, die gelöscht werden sollen.
Effizient ist: Es nutzt einen sehr einfachen, leichtgewichtigen Mechanismus (einen linearen Scorer), um die Arbeit zu erledigen.
Effektiv ist: Es erzeugt eine viel sauberere Trennung zwischen der „geheimen“ Information und dem „Allgemeinwissen“, das das Modell behalten muss.

Die Autoren kommen zu dem Schluss, dass dieser Ansatz beweist, dass wir keine externen Werkzeuge oder teuren Annotationen benötigen, um ein Modell zu lehren, was es vergessen soll; der interne Konflikt des Modells zwischen dem „Erinnern des Geheimnisses“ und dem „Beibehalten seiner Fähigkeiten“ liefert alle Hinweise, die es braucht.

Technische Zusammenfassung: Lernen, was man vergessen soll: Verbesserung des LLM-Unlearning durch gelerntes Token-Level-Gewicht

Problemstellung
Maschinelles Unlearning zielt darauf ab, gezieltes Wissen (z. B. personenbezogene Daten, urheberrechtlich geschützte Texte, schädliche Inhalte) aus trainierten Large Language Models (LLMs) zu entfernen, ohne das Training von Grund auf neu zu starten. Eine kritische Herausforderung bei autoregressiven LLMs besteht darin, dass nicht alle Token innerhalb einer „Forget-Probe“ (der zu entfernenden Daten) gleichermaßen relevant für die Zielinformation sind. Viele Token sind struktureller Natur (z. B. Funktionswörter, Interpunktion, syntaktische Muster) und sind für allgemeine Sprachfähigkeiten notwendig. Bestehende Ansätze zum token-gewichteten Unlearning versuchen, den Forget-Loss selektiv auf bestimmte Token anzuwenden, verlassen sich dabei jedoch auf externe Annotationen, Hilfsmodelle, probabilitätsbasierte Heuristiken oder aufgabenspezifische Regeln, um die Relevanz der Token zu schätzen. Diese Methoden scheitern oft daran, effektiv zwischen forget-spezifischem Inhalt und strukturellen Token zu unterscheiden, was entweder zu unzureichendem Vergessen oder zu einer unnötigen Verschlechterung der allgemeinen Nützlichkeit führt.

Methodik: Alternating Token-Weighted Unlearning (ATWU)
Die Autoren schlagen vor, dass die Token-Level-Forget-Spezifität durch die Interaktion zwischen den Forget- und Retain-Zielen selbst charakterisiert werden sollte, anstatt durch externe Signale. Sie formalisieren dies als ein gemeinsames Optimierungsproblem über die Modellparameter ( $\theta$ ) und die Token-Gewichte ( $z$ ).

Theoretische Formulierung: Das Paper definiert eine „Retain-Konflikt“-Metrik, $\kappa(A)$ , welche die Kosten misst, die eine Unterdrückung einer Menge von Token $A$ verursacht, während die Optimalität auf dem Retain-Datensatz beibehalten wird. Unter einer Annahme der „Retain-Konflikt-Trennung“ beweisen die Autoren, dass die ideale Menge der forget-spezifischen Token als Minimierer eines gemeinsamen Objekts wiederhergestellt werden kann, das den Retain-Loss und einen gewichteten Forget-Loss ausbalanciert. Dieses theoretische Ergebnis legt nahe, dass Token-Gewichte direkt aus dem Unlearning-Ziel ohne externe Überwachung gelernt werden können.
Algorithmus (ATWU): Um dies handhabbar zu machen, führen die Autoren das Alternating Token-Weighted Unlearning (ATWU) ein.
- Scorer: Anstatt unabhängige Gewichte für jeden Token zu lernen, verwendet ATWU einen leichtgewichtigen linearen Scorer, $g_w$ , der durch einen Vektor $w$ im Hidden-State-Raum des Modells parametrisert ist. Der Score für einen Token ist $\hat{z}_{x,t} = \sigma(\langle w, h_\theta(x_t) \rangle)$ , wobei $h_\theta$ die Hidden-Repräsentation darstellt.
- Gemeinsame Optimierung: Das Framework optimiert ein relaxiertes, kontinuierliches Objektiv, das den Retain-Loss, einen gesättigten negativen Cross-Entropy-Forget-Loss (SATGA+) sowie einen Entropie-Regularisierer umfasst, der die Scores in Richtung binärer Werte drängt, sowie eine Budget-Beschränkung zur Kontrolle der Anzahl der ausgewählten Token.
- Alternierende Updates: Die Modellparameter $\theta$ und die Scorer-Parameter $w$ werden abwechselnd aktualisiert. Wenn $\theta$ aktualisiert wird, sind die Scores abgetrennt (detached); wenn $w$ aktualisiert wird, ist $\theta$ eingefroren. Dies stabilisiert das Training, indem die Rückkopplungsschleife zwischen der sich ändernden Modellgeometrie und der Token-Selektion entkoppelt wird.

Wesentliche Beiträge

Charakterisierung des Retain-Konflikts: Das Paper liefert eine theoretische Charakterisierung der Token-Level-Forget-Spezifität basierend auf der Spannung zwischen den Forget- und Retain-Zielen und beweist, dass eine gemeinsame Optimierung die ideale forget-spezifische Unterstützung unter natürlichen Trennungsbedingungen wiederherstellen kann.
Unüberwachtes Lernen von Token-Gewichten: ATWU ist ein leichtgewichtiges Framework, das die Token-Level-Forget-Spezifität gemeinsam mit den Modellparametern unter Verwendung ausschließlich der internen Repräsentationen des Modells lernt. Es erfordert keine externe Token-Level-Überwachung, keine Hilfsmodelle oder teure Annotationen.
Adaptive Loss-Integration: Die Methode führt SATGA+ ein, eine score-modulierte Variante der gesättigten negativen Cross-Entropy, bei der der gelernte Token-Score in den Sättigungsexponenten injiziert wird. Dies ermöglicht glattere, unsicherheitbewusste Updates in den frühen Phasen der Optimierung.

Ergebnisse
Die Autoren evaluieren ATWU auf zwei Benchmarks: TOFU (synthetische fiktive Biografien von Autoren) und RWKU (reale Kenntnisse über öffentliche Personen).

Performance: ATWU erreicht eine State-of-the-Art Unlearning Quality (UQ), eine Metrik, die die Forget-Qualität (FQ) und die Retain-Degradierung (RD) ausbalanciert. Auf TOFU erreicht es eine UQ von 91,7 (übertrifft den zweitbesten Wert um 5,8 Prozentpunkte) und auf RWKU 58,7 (übertrifft den zweitbesten Wert um 6,8 Prozentpunkte).
Erhalt der Nützlichkeit: Im Gegensatz zu aggressiven Unlearning-Methoden, die die Generierungsqualität kollabieren lassen, bewahrt ATWU die allgemeine Nützlichkeit (gemessen an MMLU, Repetitivität und Pairwise Win Rates) nahe am ursprünglichen Checkpoint.
Qualität der Token-Scores: Die gelernten Token-Scores stimmen signifikant besser mit den Ground-Truth-Forget-spezifischen Spans überein (gemessen am AUROC) als probabilitätsbasierte Heuristiken, Ansätze mit Hilfsmodellen und andere Token-Gewichtungs-Baselines.
Vielseitigkeit: Das Framework ist verlustagnostisch; in Kombination mit anderen Forget-Losses (DPO, NPO, SIMNPO) verbessert ATWU konsistent den Forget–Retain-Trade-off gegenüber ihren ungewichteten Gegenstücken.

Bedeutung und Behauptungen
Das Paper behauptet, dass der „Retain-Konflikt“ ein effektives, intrinsisches Kriterium dafür bietet, was Sprachmodelle vergessen sollten. Durch die Verschiebung des Token-gewichteten Unlearnings von einer Pipeline externer Heuristiken hin zu einem End-to-End-gemeinsamen Optimierungsproblem zeigt ATWÜ auf, dass:

Das Unlearning-Ziel selbst über genügend latente Signale verfügt, um forget-spezifische Tokens ohne externe Überwachung wiederherzustellen.
Der Engpass beim selektiven Unlearning nicht bloß darin besteht, die richtigen Tokens zu finden, sondern im prinzipisierten Co-Design des Scoring-Mechanismus und des Forget-Ziels.
Skalierbares, datenschutzfreundliches und hochgradig gezieltes Unlearning ohne Rückgriff auf externe Annotationen, die oft Datenschutzrisiken und Skalierbarkeitsprobleme mit sich bringen, realisierbar ist.

Die Autoren weisen auf Limitationen hin, darunter die Abhängigkeit von einem Hyperparameter für das Token-Selektions-Budget sowie die Annahme einer strikten Trennung zwischen forget-spezifischen und strukturellen Tokens, die in der natürlichen Sprache nur annähernd gelten mag. Zudem beschränkt sich die Evaluierung aufgrund der Rechenkosten derzeit auf spezifische Benchmarks und einzelne Durchläufe.