🤖 machine learning

SHRED: Retain-Set-Free Unlearning via Self-Distillation with Logit Demotion

SHRED ist eine neuartige, auf keinen Retain-Set angewiesene Methode zum maschinellen Vergessen für große Sprachmodelle, die memorisierte Inhalte selektiv entfernt, indem sie durch Selbst-Distillation hochinformationsträchtige Token identifiziert und herabstuft, wodurch überlegene Kompromisse zwischen Vergessenseffektivität und Modellnutzbarkeit ohne Bedarf an kuratierten Retain-Sets erreicht werden.

Ursprüngliche Autoren: Zizhao Hu, Ameya Godbole, Johnny Tian-Zheng Wei, Mohammad Rostami, Jesse Thomason, Robin Jia

Veröffentlicht 2026-05-11

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Zizhao Hu, Ameya Godbole, Johnny Tian-Zheng Wei, Mohammad Rostami, Jesse Thomason, Robin Jia

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Problem: Das Dilemma des „Vergessens"

Stellen Sie sich ein großes Sprachmodell (LLM) als einen superfotografischen Schüler vor, der das gesamte Internet gelesen hat. Manchmal merkt sich dieser Schüler Dinge, die er nicht hätte merken sollen, wie die private Adresse eines Prominenten, ein urheberrechtlich geschütztes Buch oder gefährliche Anleitungen zum Bau einer Bombe.

Um dies zu beheben, müssen wir diese spezifischen Informationen normalerweise „verlernen" lassen. Allerdings gibt es einen Haken:

Der alte Weg: Um zu verhindern, dass der Schüler die schlechten Informationen behält, ohne dass er alles andere vergisst (wie das Sprechen von Englisch oder das Rechnen), müssen wir ihm normalerweise einen „Lernleitfaden" mit sicheren, guten Beispielen geben, an denen er üben kann, während er das Schlechte vergisst.
Das Problem: In der realen Welt haben wir diesen perfekten Lernleitfaden oft nicht. Einen zu erstellen ist schwierig, teuer und kann den Schüler versehentlich verzerren. Ohne ihn führt der Versuch, den Schüler zum Vergessen zu bringen, meist dazu, dass sein Gehirn kaputtgeht, sodass er vergisst, wie man ordentlich spricht, oder harmlose Fragen verweigert.

Die Lösung: SHRED

Die Autoren schlagen eine neue Methode vor, die SHRED heißt (Self-distillation via High-surprisal-only Retain-free Entropy Demotion). Das ist ein Zungenbrecher, also zerlegen wir ihn mit einer Analogie.

Die Kern-Erkenntnis: Nicht alle Wörter sind gleich geschaffen

Stellen Sie sich vor, der Schüler rezitiert eine Geschichte über ein bestimmtes Ereignis, das er sich gemerkt hat:

„Am 4. Juli fuhr John Smith mit einem roten Ferrari zum Grand Canyon."

Das Papier hat etwas Faszinierendes darüber entdeckt, wie das Modell diesen Satz „denkt":

Die „langweiligen" Wörter: Wörter wie „Am", „der", „zum" und „einen" sind sehr häufig. Das Modell ist sich bei diesen sehr sicher. Sie sind wie das Gerüst eines Gebäudes.
Die „auswendig gelernten" Wörter: Wörter wie „4. Juli", „John Smith", „roter Ferrari" und „Grand Canyon" sind spezifische Fakten. Das Modell ist bei diesen spezifischen Details tatsächlich weniger sicher als bei den langweiligen Wörtern, weil sie einzigartig für diese spezifische Geschichte sind.

SHREDs große Idee: Sie müssen nicht den ganzen Satz auslöschen. Sie müssen nur die spezifischen, wertvollen Fakten (das Gerüst) ins Visier nehmen und die gemeinsame Sprachstruktur unangetastet lassen.

Wie SHRED funktioniert (der 2-Schritte-Prozess)

SHRED ist eine „retain-set-free"-Methode, was bedeutet, dass sie keinen externen Lernleitfaden benötigt. Sie nutzt das eigene Gehirn des Modells als Lehrer.

Schritt 1: Die Detektivarbeit (Auswahl)
Das Modell liest den Satz, den es vergessen muss. Es betrachtet jedes Wort und fragt: „Wie überrascht bin ich von diesem Wort?"

Wenn das Modell nicht überrascht ist (hohe Wahrscheinlichkeit), handelt es sich um ein häufiges Wort (wie „der"). SHRED ignoriert diese.
Wenn das Modell überrascht ist (niedrige Wahrscheinlichkeit), handelt es sich um einen spezifischen Fakt (wie „John Smith"). SHRED markiert diese als Ziele zum Vergessen.

Schritt 2: Die Operation (Herabstufung)
Das Modell wird dann trainiert, zwei Dinge gleichzeitig zu tun:

Die Ziele vergessen: Es wird gezwungen, sein Vertrauen in die spezifischen Fakten (z. B. „John Smith") zu senken.
Das Gerüst behalten: Es wird angewiesen, sein Vertrauen bei den häufigen Wörtern (z. B. „Am", „der") hoch zu halten.

Indem es dies tut, lernt das Modell, das spezifische Geheimnis zu „vergessen", ohne seine Fähigkeit, Englisch zu sprechen, zu verlieren. Es ist wie das Entfernen der spezifischen Möbel aus einem Raum, ohne die Wände einzureißen.

Warum es besser ist als der Rest

Das Papier testete SHRED gegen viele andere Methoden an vier verschiedenen Benchmarks (wie einer „Abschlussprüfung" für das Verlernen). Hier ist, was sie herausfanden:

Die Pareto-Grenze: Stellen Sie sich ein Diagramm vor, bei dem die obere linke Ecke die „perfekte Punktzahl" ist (vollständiges Vergessen + vollständige Nützlichkeit). Die meisten Methoden stecken in der Mitte oder unten rechts fest. SHRED ist die einzige Methode, die die obere linke Ecke erreicht, ohne einen Lernleitfaden (retain set) zu benötigen.
Kein „Gehirnschaden": Andere Methoden lassen das Modell oft beginnen, Fragen zu verweigern oder in Kauderwelsch zu sprechen. SHRED erhält die allgemeine Intelligenz des Modells intakt.
Halluzinations-Fix: In einer überraschenden Wendung machte SHRED das Modell tatsächlich weniger anfällig dafür, sich fake Fakten über die reale Welt auszudenken. Indem die „gefälschten" auswendig gelernten Geschichten entfernt wurden, trat das natürliche Wissen des Modells klarer hervor.
Robustheit:
- Neulernen: Wenn Sie versuchen, das Modell durch das Zeigen einiger Beispiele dazu zu bringen, das Geheimnis wieder zu merken, ist die SHRED-Version des Modells viel schwerer zu täuschen als andere.
- Privatsphäre: Es ist für Hacker sehr schwer festzustellen, ob das Modell die geheimen Daten noch „erinnert".
- Stabilität: Sie können es lange trainieren, ohne dass es kaputtgeht.

Die „Regler" und Einstellungen

Die Autoren fanden zwei Hauptwege, um SHRED zu justieren:

Der „Wie viel"-Regler (P): Sie können wählen, ob Sie nur die obersten 50 % der spezifischsten Wörter vergessen oder 100 % davon. 50 % scheint der Sweet Spot zu sein, um das Vergessen mit dem Erhalt der Intelligenz des Modells in Einklang zu bringen.
Die „Batch-Größe"-Überraschung: Normalerweise ist es beim KI-Training besser, große Datenmengen auf einmal zu verwenden. SHRED funktioniert am besten mit winzigen Batches (sogar nur mit einem Beispiel auf einmal). Es ist wie das Erlernen einer neuen Fähigkeit, indem man eine spezifische Bewegung wiederholt übt, anstatt ein ganzes Workout zu machen; es hilft dem Modell, chirurgischer zu „verlernen".

Zusammenfassung

SHRED ist eine clevere Methode, um eine KI dazu zu bringen, spezifische Geheimnisse zu vergessen, ohne dass sie einen Leitfaden mit „guten Beispielen" benötigt. Es funktioniert, indem es die spezifischen, einzigartigen Wörter identifiziert, die das Geheimnis enthalten, und deren Bedeutung sanft herabstuft, während die gemeinsame Sprachstruktur unberührt bleibt. Das Ergebnis ist ein Modell, das die schlechten Daten erfolgreich vergessen hat, aber dennoch intelligent, hilfreich und sicher zu verwenden ist.

Technische Zusammenfassung: SHRED – Retain-Set-Free Unlearning via Self-Distillation with Logit Demotion

1. Problemstellung

Large Language Models (LLMs) memorieren Trainingsdaten, was Risiken im Zusammenhang mit Datenschutzlecks, Urheberrechtsverletzungen und der Verbreitung gefährlichen Wissens birgt. Machine Unlearning zielt darauf ab, dieses spezifische Wissen selektiv zu entfernen, ohne die prohibitiven Kosten eines vollständigen Neutrainings.

Das Standardparadigma des Unlearnings erfordert einen Retain-Set (kuratierte Beispiele aus demselben Bereich wie das Forget-Set), um eine katastrophale Verschlechterung der allgemeinen Nützlichkeit des Modells zu verhindern. In der Praxis ist die Erstellung eines idealen Retain-Sets jedoch oft aufgrund von Datenknappheit oder der Einführung unerwünschter Domänenverzerrungen nicht durchführbar. Bestehende Methoden, die versuchen, die Abhängigkeit vom Retain-Set zu umgehen, leiden häufig unter einem signifikanten Zusammenbruch der Nützlichkeit, was zu beeinträchtigten linguistischen Strukturen oder übermäßigen Ablehnungsraten führt. Die Kernherausforderung besteht darin, ein effektives Vergessen spezifischer memorierter Inhalte zu erreichen, während die allgemeinen Modellfähigkeiten ohne Zugriff auf externe Retain-Daten erhalten bleiben.

2. Methodik: SHRED

Die Autoren schlagen SHRED (Self-distillation via High-surprisal-only Retain-free Entropy Demotion) vor, eine Methode, die die Notwendigkeit eines Retain-Sets eliminiert, indem sie die eigene Ausgabeverteilung des Modells als Lehrer nutzt. Der Ansatz basiert auf der Erkenntnis, dass nicht alle Tokens innerhalb einer „Forget-Set"-Instanz gleichermaßen memorisierte Informationen tragen.

Schlüsseleinsicht: Token-Level Informationsdichte

In einem Modell, das ein bestimmtes Dokument memorisiert hat, werden Tokens, die hochinformativen Inhalt repräsentieren (z. B. spezifische Namen, Daten, einzigartige Relationen), im Vergleich zu Tokens, die allgemeine linguistische Gerüste darstellen (z. B. Interpunktion, gängige Phrasen, Stoppwörter), mit niedrigeren autoregressiven Wahrscheinlichkeiten versehen. Letztere werden durch breite Vor-Trainingsstatistiken gestützt, während erstere spezifisch für die memorisierte Instanz sind.

Das SHRED-Verfahren

SHRED arbeitet in vier Stufen unter Verwendung eines einzigen Forget-Sets ( $D_f$ ):

Teacher Forward Pass: Das zu unlearnende Modell (Parameter $\theta$ ) fungiert als gefrorener, off-policy-Lehrer. Es verarbeitet Sequenzen aus $D_f$ , um per-Token-autoregressive Wahrscheinlichkeiten $p_\theta(x_t | x_{<t})$ zu generieren.
Auswahl der Forget-Positionen:
- Das System schließt das initiale Kontextfenster (z. B. die Frage bei QA oder Dokumentenpräfix) aus, um eine Schädigung der grundlegenden Sprachmodellierung zu vermeiden.
- Es sortiert die verbleibenden Tokens nach Wahrscheinlichkeit in aufsteigender Reihenfolge.
- Der unterste $P$ -Anteil (niedrigste Wahrscheinlichkeit, höchste Shannon-Information) wird als Forget-Set ( $F$ ) ausgewählt. Diese Positionen enthalten dokumentspezifische, hochinformativ Tokens.
- Die verbleibenden Positionen ( $R = T \setminus F$ ) dienen als implizites Retain-Set und bewahren die allgemeine Sprachkompetenz des Modells.
Konstruktion von KL-Zielen:
- Forget-Positionen ( $t \in F$ ): Die Zielverteilung wird modifiziert, um den memorisierten Token zu „degradieren" (demote).
  - Variante A (Retrieval Unlearning): Nur der spezifische memorisierte Token $x_t$ wird degradiert (Logits auf $-\infty$ gesetzt).
  - Variante B (Knowledge Unlearning): Der memorisierte Token und der Top- $\pi$ -Nukleus der Wahrscheinlichkeitsverteilung werden degradiert, um Paraphrasierung zu verhindern.
- Retain-Positionen ( $t \in R$ ): Die Zielverteilung bleibt identisch mit der ursprünglichen Verteilung des Lehrers und dient als Anker zur Erhaltung der Nützlichkeit.
Top-K KL Self-Distillation: Das Schülermodell ( $\theta'$ ) wird trainiert, um die KL-Divergenz zwischen seinen Vorhersagen und der konstruierten Zielverteilung $q_t$ über eine Top- $K$ -Vokabular-Teilmenge zu minimieren. Dieses einzelne Ziel treibt das Modell gleichzeitig von hochinformativem, memorisiertem Inhalt weg und verankert es in allgemeinen Sprachmustern.

3. Hauptbeiträge

Retain-Set-Free Unlearning: SHRED ist die erste Methode, die demonstriert, dass effektives Unlearning ohne externe Retain-Daten erreicht werden kann, indem stattdessen auf die interne Struktur des Forget-Sets selbst zurückgegriffen wird.
Selektive Logit-Degradation: Durch die Identifizierung und Degradation nur von Tokens mit hohem Überraschungswert (hohe Information) bei gleichzeitiger Erhaltung von Tokens mit niedrigem Überraschungswert vermeidet SHRED den mit uniformen Unlearning-Ansätzen verbundenen Zusammenbruch der Nützlichkeit.
Einheitliches Ziel: Die Methode nutzt ein einziges Self-Distillation-Ziel, das das Vergessen und die Erhaltung der Nützlichkeit auf natürliche Weise ausbalanciert und die Notwendigkeit einer komplexen Hyperparameter-Balance zwischen Forget- und Retain-Verlusttermen beseitigt.
Robustheit: Der Ansatz zeigt sich robust gegenüber Membership-Inference-Angriffen (MIA), Relearning-Angriffen und Szenarien des sequenziellen kontinuierlichen Unlearnings.

4. Experimentelle Ergebnisse

Die Autoren bewerteten SHRED über vier Standard-Benchmarks: TOFU (QA zu fiktiven Autoren), MUSE (Nachrichten/Bücher), RWKU (Realwelt-Entitäten) und Hubble (YAGO/Gutenberg).

Pareto-Optimalität: SHRED etabliert auf allen vier Benchmarks eine neue Pareto-Grenze und übertrifft Retain-Set-abhängige Baselines (wie GradDiff, NPO und DPO) im Trade-off zwischen Forget-Effektivität und Modellnützlichkeit.
Forget-Effektivität: SHRED entspricht auf Forget-Metriken der Leistung neu trainierter „Target"-Modelle (Orakel, die ohne die Forget-Daten trainiert wurden), ohne das bei Methoden wie Gradient Ascent beobachtete „Over-Forgetting" zu zeigen.
Erhaltung der Nützlichkeit: Im Gegensatz zu Baselines, die oft einen Zusammenbruch der Nützlichkeit verursachen oder einen Retain-Set zur Aufrechterhaltung der Leistung benötigen, erhält SHRED die allgemeine Nützlichkeit oder verbessert sie sogar. Bemerkenswerterweise wurde auf dem TOFU-Benchmark beobachtet, dass SHRED aktiv Weltwissen wiederherstellt, das durch den initialen Fine-Tuning-Prozess halluziniert oder unterdrückt worden war, und reduziert Halluzinationen bei realen Fragen, bei denen das „Target"-Modell weiterhin versagte.
Robustheit:
- MIA: SHRED-Training mit kleinen Batches erreicht Datenschutzlecks-Scores, die nahe am neu trainierten Orakel liegen und die Baselines signifikant übertreffen.
- Relearning: SHRED-Modelle sind resistent gegen „Relearning"-Angriffe, bei denen das Modell kurzzeitig erneut auf dem Forget-Set feinabgestimmt wird; sie erholen Wissen viel langsamer als Baselines.
- Kontinuierliches Unlearning: SHRED verschlechtert die Nützlichkeit über mehrere Runden des Unlearnings nur langsam, während Baselines wie NPO und RMU signifikante Einbußen der Nützlichkeit erleiden.
Hyperparameter: Die Methode ist am effektivsten mit einem Degradationsprozentsatz ( $P$ ) von 50–75 % und kleinen Batch-Größen (BS=1 oder 2), die dem Modell helfen, lokalen Minima in der Verlustlandschaft zu entkommen.

5. Bedeutung und Behauptungen

Die Arbeit behauptet, dass SHRED einen bedeutenden Schritt nach vorne in der praktischen Implementierung von Machine Unlearning darstellt. Durch die Beseitigung der Abhängigkeit von einem kuratierten Retain-Set adressiert SHRED eine wesentliche Engstelle in realen Anwendungen, bei denen solche Daten nicht verfügbar oder schwer zu kuratieren sind.

Die Autoren betonen, dass die Fähigkeit von SHRED, die eigenen „harmlosen" Tokens des Modells als Anker zu nutzen, es ermöglicht, allgemeine Fähigkeiten auf natürliche Weise zu erhalten und das „katastrophale Vergessen" der allgemeinen Nützlichkeit zu vermeiden, das häufig bei Unlearning-Aufgaben beobachtet wird. Darüber hinaus legt die Beobachtung, dass SHRED durch Fine-Tuning eingeführte Halluzinationen rückgängig machen kann, nahe, dass die Methode Wissen nicht nur unterdrückt, sondern die Verteilung des Modells so verfeinern kann, dass sie besser mit allgemeinem Weltwissen übereinstimmt.

Die Arbeit kommt zu dem Schluss, dass SHRED einen Pareto-optimalen Trade-off zwischen Vergessen und Nützlichkeit bietet, gegen verschiedene Angriffsvektoren robust ist und unter Overtraining sowie in Szenarien des kontinuierlichen Unlearnings stabil bleibt, was es zu einer praktikablen Lösung für Datenschutz- und Sicherheitskonformität bei LLMs ohne den Overhead der Datenerstellung macht.