💬 NLP

LLM Unlearning with LLM Beliefs

Die Arbeit stellt einen Bootstrapping-Ansatz vor, der durch die gezielte Unterdrückung sowohl der Zielausgaben als auch der inhärenten Modellüberzeugungen den durch herkömmliche Unlearning-Methoden verursachten „Squeezing-Effekt" überwindet und so ein gründlicheres Vergessen sensibler Inhalte bei gleichzeitiger Wahrung der Modellnützlichkeit ermöglicht.

Ursprüngliche Autoren: Kemou Li, Qizhou Wang, Yue Wang, Fengpeng Li, Jun Liu, Bo Han, Jiantao Zhou

Veröffentlicht 2026-03-16

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Kemou Li, Qizhou Wang, Yue Wang, Fengpeng Li, Jun Liu, Bo Han, Jiantao Zhou

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, ein großes Sprachmodell (ein KI-Modell) ist wie ein unermüdlicher Bibliothekar, der Millionen von Büchern gelesen hat. Leider hat er einige dieser Bücher auswendig gelernt, die eigentlich geheim oder gefährlich sein sollten (z. B. private Adressen oder Anleitungen für Cyberangriffe).

Wenn wir diesem Bibliothekar sagen: „Vergiss dieses eine Buch!", versuchen die bisherigen Methoden, ihm das Buch gewaltsam aus dem Kopf zu schlagen. Das Problem? Der Bibliothekar ist sehr clever. Wenn man ihm das genaue Wort „Adressbuch" verbietet, fängt er an, es anders zu umschreiben: „Das rote Heft mit den Namen" oder „Die Liste der Leute". Er hat das Buch nicht wirklich vergessen; er hat es nur umformuliert.

Das ist das Kernproblem, das diese neue Forschung („LLM Unlearning with LLM Beliefs") löst. Hier ist die Erklärung in einfachen Worten:

1. Das Problem: Der „Quetsch-Effekt" (The Squeezing Effect)

Stellen Sie sich die Gedanken des KI-Modells wie einen Wassersack vor. Das Wasser ist das Wissen.

Wenn Sie versuchen, einen bestimmten Bereich des Sacks (das zu vergessende Wissen) mit einer Klemme zu schließen, wird das Wasser nicht verschwinden.
Stattdessen wird es in die benachbarten Bereiche gequetscht.
Das Ergebnis: Das Modell antwortet immer noch auf die Frage, aber mit leicht veränderten Worten, die die gleiche gefährliche Information enthalten.
Die alten Testmethoden (wie Zähler für Wortähnlichkeit) täuschen uns: Sie sehen, dass das genaue Wort fehlt, und denken: „Super, es funktioniert!" Aber der Bibliothekar hat das Wissen nur versteckt, nicht gelöscht.

2. Die Lösung: „Bootstrapping" (Sich am eigenen Schopf aus dem Sumpf ziehen)

Die Autoren schlagen eine neue Methode vor, die sie Bootstrapping nennen. Das klingt kompliziert, ist aber eigentlich sehr intuitiv:

Statt nur das zu verbieten, was wir wissen, dass wir vergessen wollen, fragen wir das Modell selbst: „Was würdest du jetzt am wahrscheinlichsten sagen?"

Das Modell hat eine Art eigenes Bauchgefühl (seine „Glaubenssätze" oder Beliefs). Wenn es eine Frage bekommt, weiß es genau, welche Wörter als Nächstes kommen würden.

Der Trick: Wir sagen dem Modell nicht nur: „Vergiss das Wort X".
Wir sagen auch: „Und vergiss auch alles, was du gerade gerne als Nächstes sagen würdest, weil es zu Wort X passt."

Wir nutzen also die eigene Intuition des Modells gegen sich selbst, um sicherzustellen, dass das Wasser im Sack wirklich verschwindet und nicht nur zur Seite gedrückt wird.

3. Die zwei Werkzeuge: BS-T und BS-S

Die Forscher haben zwei Varianten dieser Methode entwickelt:

BS-T (Token-Level / Das einzelne Wort):
Stellen Sie sich vor, das Modell will sagen: „Das rote Heft".
- Die alte Methode verbietet nur „rot".
- Die neue Methode (BS-T) sagt: „Nein, vergiss nicht nur 'rot', sondern auch 'Heft' und 'Liste', weil du gerade darauf zusteuern wolltest." Sie unterdrückt also die ganze Gruppe von Wörtern, die das Modell gerade im Kopf hatte.
BS-S (Sequence-Level / Der ganze Satz):
Manchmal reicht es nicht, einzelne Wörter zu löschen. Das Modell könnte einen ganzen neuen Satz erfinden, der die Information trotzdem enthält.
- Hier generiert das Modell selbst ein paar Beispiele für das, was es sagen würde.
- Dann sagt das System: „Vergiss nicht nur die Originalfrage, sondern vergiss auch diese neuen Sätze, die du gerade selbst erfunden hast."
- So wird sichergestellt, dass ganze Gedankengänge gelöscht werden, nicht nur Fragmente.

4. Warum ist das besser?

Bisherige Methoden waren wie ein Schere, die versucht, einen Knoten in einem Seil zu durchschneiden, aber das Seil nur an einer Stelle durchtrennt und das andere Ende trotzdem noch verbunden ist.

Die neue Methode ist wie ein Schmelzofen. Sie nimmt das gesamte Wissen, das mit dem zu vergessenden Thema verbunden ist (sogar die Ideen, die das Modell selbst für wahrscheinlich hält), und schmilzt es weg.

Ergebnis: Das Modell vergisst die Information wirklich und gründlich.
Nebenwirkung: Es bleibt trotzdem klug und kann andere Dinge noch gut beantworten (es wird nicht „dumm" oder beginnt nur Unsinn zu reden, was bei alten Methoden oft passierte).

Zusammenfassung

Die Forscher haben erkannt, dass man KI-Modelle nicht einfach nur „bestrafen" kann, indem man ihre falschen Antworten unterdrückt. Man muss ihnen helfen, ihre eigenen Vorlieben für diese Antworten zu überwinden. Indem sie das Modell zwingen, auch das zu vergessen, was es gerne sagen würde, erreichen sie ein echtes und sicheres Vergessen, ohne die Intelligenz des Systems zu zerstören.

Es ist, als würde man einem Kind nicht nur sagen: „Sag nicht 'Ich habe den Kuchen gegessen'", sondern auch: „Vergiss den Geschmack des Kuchens, das Gefühl des Kuchens und die Idee, dass du ihn essen wolltest." Erst dann ist das Geheimnis wirklich weg.

1. Problemstellung: Das Phänomen des „Scheinvergesse" (Spurious Unlearning)

Große Sprachmodelle (LLMs), die auf riesigen Korpora trainiert wurden, speichern oft sensible oder schädliche Informationen, die später in ihren Ausgaben wieder auftauchen können. Der aktuelle Stand der Technik für das „Unlearning" (das gezielte Vergessen bestimmter Daten) basiert meist auf Gradientenanstieg (Gradient Ascent, GA) und dessen Varianten (z. B. NPO, WGA). Diese Methoden maximieren den negativen Log-Likelihood für die zu vergessenden Daten, um deren Wahrscheinlichkeit zu senken.

Die Autoren identifizieren jedoch einen kritischen Nebeneffekt, den sie als „Squeezing Effect" (Quetscheffekt) bezeichnen:

Mechanismus: Durch die Normalisierung der Softmax-Funktion muss die Summe der Wahrscheinlichkeiten über das Vokabular 1 ergeben. Wenn die Wahrscheinlichkeit für die spezifische Zielantwort (z. B. eine schädliche Aussage) drastisch gesenkt wird, muss die verbleibende Wahrscheinlichkeitsmasse auf andere Token verteilt werden.
Folge: Diese Masse wandert in Regionen mit hoher Wahrscheinlichkeit, die semantisch eng mit dem Ziel verknüpft sind (z. B. Synonyme oder Paraphrasen).
Ergebnis: Das Modell „vergisst" die exakte Formulierung, generiert aber weiterhin semantisch äquivalente, schädliche Inhalte. Dies wird als spurious unlearning (scheinbares Vergessen) bezeichnet.
Messproblem: Herkömmliche Metriken wie ROUGE, Perplexity oder Truth Ratio bewerten oft nur die Oberflächensimilarität und melden fälschlicherweise einen Erfolg, obwohl das schädliche Wissen weiterhin vorhanden ist.

2. Methodik: Das Bootstrapping-Framework (BS)

Um das Problem des Squeezing-Effekts zu lösen, schlagen die Autoren ein Bootstrapping-Framework (BS) vor. Die Kernidee besteht darin, die eigenen Überzeugungen des Modells (Model Beliefs) – also die Token oder Sequenzen, die das Modell mit hoher Konfidenz generieren würde – explizit als zusätzliche Ziele für das Vergessen zu nutzen. Anstatt nur die Zielantwort zu unterdrücken, wird auch das, was das Modell sonst als wahrscheinlichste Antwort vorhersagen würde, unterdrückt.

Das Framework wird in zwei Varianten implementiert:

A. Bootstrapping-Token (BS-T)

Ansatz: Auf Token-Ebene wird nicht nur das One-Hot-Label der Zielantwort verwendet, sondern eine weiche Zielverteilung (Soft Target) erstellt.
Mechanismus: Diese weiche Zielverteilung interpoliert zwischen dem One-Hot-Label und den Top- $k$ Token-Vorhersagen des Modells (seine lokalen Überzeugungen $H^{(i)}_k$ ).
Formel: Das Ziel $t_u^i$ ist eine Mischung aus dem Original-Label und der gestoppten Gradienten-Vorhersage des Modells:
$t_u^i = \lambda_{BST} \cdot \text{sg}[\pi_\theta(\cdot | x_u, y_{<i}^u)|_{H^{(i)}_k}] + (1 - \lambda_{BST}) \cdot e_{y_u^i}$
Effekt: Dies zwingt das Modell, nicht nur das exakte Token, sondern auch die semantisch nahen Alternativen zu unterdrücken, wodurch der Squeezing-Effekt verhindert wird.

B. Bootstrapping-Sequence (BS-S)

Ansatz: Auf Sequenzebene wird das Vergessen auf ganze Sätze oder Antworten ausgedehnt, um sicherzustellen, dass keine schädlichen Kontinuitäten (Continuations) übrig bleiben.
Mechanismus: Für jeden zu vergessenden Prompt werden $N$ hochkonfidente Generierungen ( $\hat{y}_u$ ) durch das Modell selbst gesampelt (Bootstrapping). Diese generierten Sequenzen werden als zusätzliche Daten in den Unlearning-Datensatz aufgenommen.
Ziel: Das Modell muss sowohl die ursprünglichen Zielantworten als auch seine eigenen, wahrscheinlichsten Alternativen „vergessen".
Vorteil: Dies führt zu einem gründlicheren Entfernen von Wissen, da ganze semantische Pfade unterdrückt werden, nicht nur einzelne Wörter.

3. Theoretische Analyse

Die Autoren bieten eine theoretische Begründung basierend auf dem AKG-Learning-Dynamics-Framework (Ren & Sutherland, 2025):

Sie analysieren die Residuen (Restterme) der Gradienten.
Bei herkömmlichem GA wird das Residuum so gestaltet, dass es die Zielwahrscheinlichkeit senkt, aber die Masse in die Nähe drückt.
Bei BS-T wird das Residuum so umgeformt, dass es eine Abstoßung (Repulsion) sowohl über das Zieltoken als auch über seine Nachbarn (die Top- $k$ -Überzeugungen) verteilt.
Theoretisch wird gezeigt, dass BS-T die Wahrscheinlichkeitsmasse gleichmäßiger verteilt und verhindert, dass sie in semantisch ähnliche Regionen „gequetscht" wird.

4. Experimentelle Ergebnisse

Die Methode wurde auf drei Benchmarks getestet: TOFU (fiktive Autoren), MUSE (Copyright-Daten) und WMDP (schädliches Wissen in Biologie/Cybersecurity).

Vergleich: Die Methoden BS-T und BS-S wurden gegen State-of-the-Art-Baselines wie GradDiff, NPO, RMU, SimNPO und WGA getestet.
Leistung:
- BS-S erzielt konsistent die besten Ergebnisse in Bezug auf das Gleichgewicht zwischen Vergessen (Memorization Score) und Beibehaltung der Nützlichkeit (Utility Score).
- BS-T bietet eine effiziente Alternative mit sehr guten Ergebnissen.
- Im Gegensatz zu Baselines, die oft nur oberflächliches Vergessen zeigen (hohe Ähnlichkeit zu Paraphrasen), erreichen die BS-Methoden ein tiefgreifendes Vergessen, ohne die Sprachqualität (Naturalness) zu zerstören.
Evaluation: Die Autoren nutzen zusätzlich ein LLM-as-a-Judge (LaaJ)-Verfahren, um die semantische Ähnlichkeit und die Natürlichkeit zu bewerten. Hier schneiden BS-T und BS-S deutlich besser ab als traditionelle Metriken, die oft täuschen.
Effizienz: BS-T ist rechnerisch sehr effizient (nahezu gleichauf mit leichten Baselines). BS-S ist aufgrund des zusätzlichen Sampling-Aufwands etwas langsamer, aber immer noch praktikabel und bietet den besten Trade-off.

5. Hauptbeiträge und Bedeutung

Aufdeckung des Squeezing-Effekts: Die Arbeit identifiziert und charakterisiert systematisch, warum bestehende Unlearning-Methoden oft nur scheinbar funktionieren, indem sie Wahrscheinlichkeitsmasse in semantisch verwandte Bereiche verschieben.
Neues Paradigma (Model Beliefs): Die Einführung des Konzepts, die internen Überzeugungen des Modells selbst als Unlearning-Signale zu nutzen (Bootstrapping), ist ein innovativer Ansatz, der über das reine Löschen von Ziel-Daten hinausgeht.
Robuste Frameworks: Die Entwicklung von BS-T und BS-S, die mit bestehenden Loss-Funktionen (wie NPO) kompatibel sind und eine gründlichere Löschung ermöglichen.
Praktische Relevanz: Die Ergebnisse zeigen, dass es möglich ist, schädliches Wissen effektiv zu entfernen, ohne die allgemeine Leistungsfähigkeit des Modells zu zerstören oder durch „Gibberish"-Ausgaben (wie bei reinem Gradientenanstieg) zu kompensieren.

Fazit: Das Papier liefert einen wichtigen theoretischen und praktischen Durchbruch im Bereich des LLM-Unlearnings. Es zeigt, dass ein effektives Vergessen nur erreicht werden kann, wenn man nicht nur die expliziten Ziele, sondern auch die impliziten, hochwahrscheinlichen Alternativen des Modells adressiert. Der Code wurde in das OpenUnlearning-Framework integriert.