🤖 machine learning

De-attribute to Forget for LLM Unlearning

Dieses Paper stellt DareU vor, ein neuartiges LLM-Unlearning-Framework, das Reinforcement Learning einsetzt, um die Datenattributionswerte für Vergessensmengen auf Null zu setzen, wodurch im Vergleich zu bestehenden verlustbasierten Optimierungsmethoden das Übervergessen effektiv gemindert und der Nutzen des Modells bewahrt wird.

Ursprüngliche Autoren: Xinyang Lu, Jiabao Pan, Rachael Hwee Ling Sim, See-Kiong Ng, Anthony Kum Hoe Tung, Bryan Kian Hsiang Low

Veröffentlicht 2026-06-01

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Xinyang Lu, Jiabao Pan, Rachael Hwee Ling Sim, See-Kiong Ng, Anthony Kum Hoe Tung, Bryan Kian Hsiang Low

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie hätten einen sehr klugen, belesenen Bibliothekar (das Large Language Model, oder LLM), der Millionen von Büchern gelesen hat, um zu lernen, wie man Fragen beantwortet. Vor kurzem haben einige Autoren (das „Vergessens-Set“) festgestellt, dass sie ihre spezifischen Bücher nicht mehr in der Bibliothek haben wollten. Sie baten den Bibliothekar, ihre Geschichten zu „verlernen“, damit diese nicht mehr erzählt oder referenziert werden können.

Das Problem ist, dass der Bibliothekar so groß ist und so viel gelesen hat, dass man ihn nicht einfach entlassen und einen neuen einstellen kann, der diese Bücher nie gelesen hat. Das würde Millionen von Dollar kosten und Jahre dauern. Sie müssen also einen Weg finden, den Bibliothekar dazu zu bringen, nur diese spezifischen Bücher zu „vergessen“, ohne seine Fähigkeit zu verlieren, Geschichten über alles andere zu erzählen.

Der alte Weg: Der „Scorched Earth“-Ansatz (Verbrannte Erde)

Frühere Methoden versuchten, den Bibliothekar zum Vergessen zu bringen, indem man ihm immer wieder zurief: „Sag das nicht! Sag das nicht!“ Man versuchte, den „Fehler-Score“ zu maximieren, wann immer der Bibliothekar über diese spezifischen Bücher sprechen wollte.

Das Problem: Dieser Ansatz war zu aggressiv. Es war, als würde man dem Bibliothekar sagen: „Wenn du jemals das Wort ‚Apfel‘ erwähnst, musst du etwas völlig Unsinniges wie ‚lila Banane‘ sagen!“

Übermäßiges Vergessen: Der Bibliothekar wurde so sehr davor verängstigt, die verbotenen Bücher zu erwähnen, dass er anfing, bei allem, selbst wenn es um unzusammenhängende Themen wie „Orangen“ ging, Kauderwelsch zu produzieren.
Verwirrung: Das Ziel war nicht klar. Sollte der Bibliothekar sagen „Ich weiß es nicht nicht“? Sollte er „Banane“ sagen? Die alten Methoden hatten kein präzises Ziel, daher brach der Bibliothekar oft zusammen und begann, Unsinn zu reden.

Der neue Weg: DareU (Der „Attributions-Detektiv“)

Dieses Paper stellt eine neue Methode namens DareU vor. Anstatt zu rufen „Sag es nicht!“, ändert DareU das Ziel komplett. Es stellt eine andere Frage: „Wer ist der Autor dieser Geschichte?“

Stellen Sie sich das so vor:

Der Attributions-Score: Stellen Sie sich vor, jeder Geschichte, die der Bibliothekar erzählt, ist ein winziges, unsichtbares Etikett angeheftet, das sagt: „Diese Geschichte wurde von Autor X inspiriert.“
Das Ziel: Das Ziel des Verlernens ist nicht, den Bibliothekar am Reden zu hindern; es geht darum, sicherzustellen, dass der Tag, wenn er über die verbotenen Bücher spricht, nicht mehr „Autor X“ sagt. Er sollte „Niemand“ oder „Jemand anderes“ sagen.
Das Belohnungssystem: Das Paper verwendet eine Technik namens Reinforcement Learning (ähnlich wie das Training eines Hundes mit Leckerlis).
- Wenn der Bibliothekar eine Geschichte erzählt und der „Attributions-Detektiv“ (ein kleiner, schneller KI-Klassifikator) sagt: „Hey, das klingt so, als käme es von Autor X“, erhält der Bibliothekar eine Bestrafung (eine negative Belohnung).
- Wenn der Bibliothekar eine Geschichte erzählt und der Detektiv sagt: „Das klingt überhaupt nicht nach Autor X“, erhält er ein Leckerli (eine positive Belohnung).

Wie es in der Praxis funktioniert

Das System trainiert zuerst einen kleinen, schnellen „Detektiv“-KI. Dieser Detektiv lernt, den Stil der „Vergessens“-Autoren zu erkennen. Dann spielt der Haupt-Bibliothekar (das große LLM) ein Spiel:

Er versucht, Fragen zu beantworten.
Der Detektiv überprüft die Antwort.
Wenn die Antwort immer noch nach dem „Vergessens“-Autor riecht, erhält der Bibliothekar eine Strafe.
Der Bibliothekar passt sein Gehirn an, um aufzuhören, Antworten zu produzieren, die nach diesem Autor riechen, aber er versucht gleichzeitig, die Antworten sinnvoll und hilfreich für alle anderen zu halten.

Warum dies besser ist

Das Paper behauptet, dass diese Methode das „Kauderwelsch“-Problem löst.

Präzision: Anstatt zu versuchen, den Bibliothekar dazu zu bringen, „Ich weiß es nicht“ oder „Banane“ zu sagen, besteht das Ziel schlicht darin, das „Autor X“-Etikett zu entfernen. Der Bibliothekar kann immer noch eine großartige Geschichte über das Thema erzählen, sie wird nur nicht mehr mit der Person verknüpft, die vergessen werden wollte.
Balance: Die alten Methoden haben oft die Fähigkeit des Bibliothekars ruiniert, über andere Dinge zu sprechen (das „Retentions-Set“). DareU nutzt einen speziellen „Distillation“-Trick, um den Bibliothekar daran zu erinnern: „Hey, vergiss nicht, wie man über andere Autoren spricht, während du diesen einen vergisst.“

Die Ergebnisse

Die Forscher testeten dies auf zwei verschiedenen „Bibliotheken“ (Datensätzen):

TOFU: Ein Satz fiktiver Trivia-Fragen.
ArXiv: Eine Menge wissenschaftlicher Paper-Abstracts.

Sie fanden heraus, dass DareU viel besser darin war, den Einfluss der „Vergessens“-Autoren zu entfernen, ohne den Bibliothekar in eine Kauderwelsch-Maschine zu verwandeln. Es erreichte eine bessere Balance: Der Bibliothekar „vergaß“ erfolgreich die spezifischen Autoren (niedriger Attributions-Score), blieb aber für alle anderen intelligent und nützlich.

Der Haken (Einschränkungen)

Das Paper gibt zu, dass diese neue Methode etwas mehr Rechenleistung und Zeit benötigt als die alten „Schrei“-Methoden. Es ist, als würde man einen Detektiven anheuern, um jede Antwort zu prüfen, im Gegensatz zu dem, was passiert, wenn man den Bibliothekar einfach nur anschreit. Das Paper argumentiert jedoch, dass der Austausch den Aufwand wert ist, da das Ergebnis ein viel klügerer, zuverlässigerer Bibliothekar ist, der nicht zusammenbricht, wenn man ihn bittet, etwas zu vergessen.

Kurz gesagt: Anstatt die KI zu zwingen, über ein Thema aufzuhören zu sprechen (was sie stottern und schwätzen lässt), lehrt diese Methode die KI, über das Thema auf eine Weise zu sprechen, die nicht mehr so klingt, als käme sie von der Person, die vergessen werden wollte.

Technisches Resümee: De-attribute to Forget für LLM Unlearning (DareU)

1. Problemstellung

Der schnelle Einsatz von Large Language Models (LLMs) hat die Bedenken hinsichtlich der Verwendung unangemessener Trainingsdaten verschärft, einschließlich Urheberrechtsverletzungen, privater Informationen und schädlicher Inhalte. Regulierungen wie die DSGVO und der CCPA erzwingen ein „Recht auf Vergessenwerden“, das die Entfernung spezifischer Dateneinflüsse aus trainierten Modellen erfordert. Während das Retraining eines Modells von Grund auf die ideale Lösung wäre, ist dies angesichts der Skalierung moderner LLMs und Datensätze rechnerisch prohibitiv.

Bestehende Ansätze zum Machine Unlearning stützen sich primär auf die Optimierung basierend auf dem Vorhersageverlust (Prediction Loss), wobei typischerweise Gradient Ascent (GA) verwendet wird, um den Verlust auf dem „Forget Set“ (den zu entfernenden Daten) zu maximieren. Das Paper identifiziert zwei kritische Einschränkungen dieser Methoden:

Übermäßiges Vergessen und Modellkollaps: Das naive Maximieren des Verlusts oder Minimieren der Log-Likelihood führt oft zu inkohärenten, unsinnigen Generierungen (Gibberish) anstatt zu einem funktionalen Modell, das die Daten lediglich ignoriert.
Inkonsistente Optimierungsziele: Der Zielverlustwert für ein perfekt „entlerntes“ Modell variiert zwischen einzelnen Datenproben (wie durch die unterschiedlichen Log-Likelihoods von Retrained-Modellen gezeigt). Folglich bietet die Maximierung des Verlusts kein konsistentes, präzises Ziel, was oft die Leistung auf dem „Retain Set“ (den Daten, die erhalten bleiben sollen) beeinträchtigt.

Die zentrale Frage lautet, ob ein präziseres Optimierungsziel existiert, das Über-Vergessen vermeidet, während es gleichzeitig den Dateneinfluss effektiv entfernt.

2. Methodik: DareU-Framework

Die Autoren schlagen DareU (Data Attribution-based REinforcement Learning for Unlearning) vor, das erste Framework, das LLM Unlearning als Data De-attribution-Problem statt als Problem der Minimierung des Vorhersageverlusts formuliert.

Kernkonzept: Data De-attribution

Anstatt den Vorhersageverlust zu maximieren, zielt DareU darauf ab, den Attributionsscore der generierten Antworten des LLMs in Bezug auf die Besitzer der Forget-Daten zu reduzieren.

Attributionsfunktion: Eine Funktion $DA(i, y_d)$ weist einen normalisierten Score $\in [0, 1]$ zu, der die Wahrscheinlichkeit angibt, mit der der Datensatz des Besitzers $i$ die Generierung $y_d$ beeinflusst hat.
Zielsetzung: Für ein Forget Set $D_F$ , das den Besitzern $F$ gehört, besteht das Ziel darin, den erwarteten Attributionsscore zu minimieren:
$\min_{\theta} \mathbb{E}_{i \in F} [\mathbb{E}_{d \sim D_i} (DA(i, y_d))]$
Idealerweise sollte der Attributionsscore für Forget-Daten nach dem Unlearning nahe bei 0 liegen, während das Modell weiterhin auf die Besitzer des Retain-Sets attribuierbar bleibt. Dies liefert einen konsistenten Zielwert (0) für alle Proben und verhindert, dass kollabierte, unsinnige Ausgaben bevorzugt werden.

Implementierung via Reinforcement Learning (PPO)

Da Attributionsfunktionen skalare Rückmeldungen liefern, dienen sie natürlich als Reward-Modelle für Reinforcement Learning (RL). Die Autoren verwenden Proximal Policy Optimization (PPO), um das LLM auszurichten:

Reward-Signal: Der Reward wird aus dem Attributionsscore abgeleitet. Um die Stabilität zu verbessern, wird der Score über eine log-basierte Funktion $\chi$ transformiert, um Wahrscheinlichkeiten in den Bereich $[-1, 0]$ abzubilden, wobei niedrigere Attributionsscores höhere Rewards liefern.
Effiziente Reward-Berechnung: Um die hohen Rechenkosten eines Aufrufs der Attributionsfunktion für jedes Token zu vermeiden, wird der Attributionsscore alle $\kappa$ Token berechnet und auf die dazwischenliegenden Token übertragen. Ein präfix-gemittelter Basis-Reward wird berechnet, um die Varianz zu reduzieren.
Distillation-Regularisierung: Um die Nützlichkeit des Modells auf dem Retain Set ( $D_R$ ) zu bewahren, wird ein Distillation-Regularisierungsterm hinzugefügt. Dieser minimiert die KL-Divergenz zwischen der aktuellen unlearned Policy und der ursprünglichen Policy auf dem Retain Set, um das katastrophale Vergessen von Nicht-Forget-Daten zu verhindern.
Attributions-Klassifikator ( $D_{Ac}$ ): In Anerkennung dessen, dass ideale Attributionsfunktionen (z. B. Leave-One-Out, Shapley-Werte) rechenintensiv sind, trainieren die Autoren einen leichtgewichtigen LLM-Klassifikator (mittels LoRA), um den Datenbesitzer einer generierten Antwort vorherzusagen. Dieser Klassifikator wird vor dem Unlearning offline trainiert und während des PPO-Prozesses eingefroren.

3. Zentrale Beiträge

Neuartiges Optimierungsziel: Das Paper führt Data De-attribution als präzises Ziel für das LLM Unlearning ein und adresst damit die Inkonsistenz und Instabilität von Vorhersageverlust-basierten Methoden.
DareU-Framework: Die Autoren schlagen das erste Unlearning-Framework vor, das Data-Attribution-Rewards innerhalb eines PPO-Settings nutzt. Es balanciert effektiv den Trade-off zwischen Forget-Qualität (Entfernung des Einflusses) und Modell-Nützlichkeit (Erhalt der Performance auf Retain-Daten).
Empirische Validierung: Umfangreiche Experimente zeigen, dass DareU bestehende Baselines (einschließlich GA, GDiff, SCRUB und Präferenzoptimierungsmethoden wie IDK und NPO) übertrifft, indem es eine effektive Unlearning erreicht, ohne die Modell-Nützlichkeit signifikant zu beeinträchtigen oder inkohärente Texte zu generieren.

4. Experimentelle Ergebnisse

Das Framework wurde auf zwei Benchmarks evaluiert: TOFU (Question Answering) und ArXiv (Text Completion), unter Verwendung von Llama2-7B und Qwen3-8B Modellen.

Effektivität des Unlearnings: DareU erreichte die dem „Retraining“ am nächsten kommenden DF (Forget Set) ROUGE-Scores in beiden Datensätzen, was eine überlegene Forget-Qualität anzeigt.
Modell-Nützlichkeit: Im Gegensatz zu Gradient Ascent (GA) und GDiff, die oft unter Über-Vergessen litten (niedrige DR ROUGE), behielt DareU hohe ROUGE-Scores auf dem Retain Set ( $D_R$ ) und dem Test Set ( $D_{test}$ ) bei.
Balance (ToW Score): DareU erzielte den höchsten Tug-of-War (ToW) Score, eine Metrik, die die Differenzen zwischen dem unlearned Modell und dem retrained Modell über Forget-, Retain- und Test-Sets hinweg aggregiert. Dies bestätigt die Fähigkeit von DareU, die Balance zwischen Forget-Qualität und Nützlichkeit besser zu halten als jede Baseline.
Robustheit:
- Reduktion von Gibberish: DareU produzierte signifikant weniger inkohärente/unsinnige Antworten im Vergleich zu GA und SCRUB.
- Adversarielle Robustheit: Die Methode blieb effektiv gegenüber paraphrazierten Forget-Queries und semantischen Überschneidungen zwischen Forget- und Retain-Sets.
- Klassifikator-Genauigkeit: Das Framework blieb robust, selbst wenn die Genauigkeit des Attributions-Klassifikators künstlich reduziert wurde.
Effizienz: Obwohl DareU aufgrund der RL-Generierung höhere Rechenkosten als einfache Vorhersageverlust-Methoden verursacht, ist es signifikant effizienter als volles Retraining und vergleichbar mit Second-Order-Optimierungsmethoden wie SCuReNewton.

5. Bedeutung und Behauptungen

Das Paper behauptet, dass DareU eine präzisere und stabilere Optimierungsperspektive für das LLM Unlearning bietet. Durch die Verschiebung des Fokus von der „Maximierung des Fehlers“ zur „Nullstellung der Attribution“ vermeidet die Methode die Fallstricke des Modellkollapses und der inkonsistenten Ziele, die Gradient-Ascent-Ansätzen eigen sind.

Die Autoren betonen, dass sie zwar einen leichtgewichtigen Klassifikator als effiziente Approximation verwendet haben, der Kernbeitrag jedoch im De-attribution-Ziel selbst liegt. Sie behaupten, dass dieser Ansatz ein konsistentes Ziel (Score von 0) für alle Forget-Samples bietet, was theoretisch überlegen gegenüber den variablen Zielen von Verlust-basierten Methoden ist.

Anerkannte Limitationen:

Rechenaufwand: DareU ist rechenintensiver als einfaches Fine-Tuning oder GA, bietet jedoch einen gerechtfertigten Trade-off für bessere Performance.
Abhängigkeit von Attribution: Die Methode erfordert Zugriff auf die Trainingsdaten (oder einen Teil davon), um den Attributions-Klassifikator zu trainieren, was die Anwendung auf die Entfernung von Pre-training-Daten einschränken kann, falls diese nicht zugänglich sind.
Approximation: Die Verwendung eines Klassifikators ist eine Approximation; zukünftige Arbeit könnte präzisere oder effizientere Attributionsfunktionen integrieren, um die Performance weiter zu steigern.

Zusammenfassend positioniert das Paper DareU als State-of-the-Art-Lösung, die effektiv den Dateneinfluss entfernt und gleichzeitig die Nützlichkeit des LLM bewahrt, wodurch das „Recht auf Vergessenwerden“ erfüllt wird, ohne die prohibitiven Kosten eines vollständigen Retrainings zu verursachen.