💬 NLP

Divergence Decoding: Inference-Time Unlearning via Auxiliary Models

Dieses Paper führt Divergence Decoding ein, eine Methode zum Unlearning während der Inferenz, die kleine Hilfsmodelle nutzt, um die Logits großer Sprachmodelle von sensiblen Daten wegzulenken, wodurch Datenschutz- und Urheberrechtsrisiken mit minimalem Nutzenverlust effektiv gemindert werden, während gleichzeitig eine generalisierbare Lösung angeboten wird, die sowohl für den Text- als auch für den Bildbereich anwendbar ist.

Ursprüngliche Autoren: Humzah Merchant, Bradford Levy

Veröffentlicht 2026-06-01

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Humzah Merchant, Bradford Levy

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das Problem: Das „unvergessliche“ Gehirn

Stellen Sie sich vor, Sie haben einen superintelligenten Bibliothekar (ein Large Language Model), der jedes Buch der Welt gelesen hat. Manchmal merkt sich dieser Bibliothekar bestimmte, sensible Details – wie den Eintrag in ein privates Tagebuch oder eine urheberrechtlich geschützte Geschichte – die er eigentlich nicht teilen sollte.

Normalerweise haben Sie zwei schlechte Optionen, wenn Sie möchten, dass der Bibliothekar dieses eine spezifische Geheimnis „vergisst“:

Von vorn beginnen: Die Bibliothek niederbrennen und sie von Grund auf neu aufbauen, nur ohne dieses eine Buch. Das kostet Millionen von Dollar und Jahre an Arbeit.
Hirnchirurgie: Versuchen, das Gedächtnis chirurgisch aus dem Gehirn des Bibliothekars zu entfernen. Das ist riskant; oft beschädigen Sie dabei versehentlich seine Fähigkeit, andere Dinge zu tun, wie zum Beispiel Gedichte zu schreiben oder Matheaufgaben zu lösen (das nennt man „katastrophales Vergessen“).

Die Lösung: Das „Blindenhund“-System

Die Autoren dieser Arbeit schlagen einen cleveren neuen Trick vor, der Divergence Decoding (DD) heißt. Anstatt zu versuchen, das Gehirn des Bibliothekars zu verändern, lassen sie den Bibliothekaren genau so, wie er ist, und fügen zwei kleine, spezialisierte „Blindenhunde“ hinzu, die ihm helfen, während der Gespräche die Richtung vorzugeben.

So funktioniert das System:

Der Bibliothekar (Das große Modell): Dies ist die Haupt-KI, die wir verwenden. Sie weiß alles, einschließlich der Geheimnisse, die wir vergessen lassen wollen.
Blindenhund A (Das „Vergessen“-Modell): Dies ist eine winzige, günstige KI, die nur auf den geheimen Informationen trainiert wurde, die wir entfernen wollen. Sie ist besessen von diesen spezifischen Daten.
Blindenhund B (Das „Erinnern“-Modell): Dies ist eine weitere winzige KI, die nur auf den sicheren, öffentlichen Informationen trainiert wurde. Sie weiß alles, außer das Geheimnis.

Wie es funktioniert: Das „Lenkrad“

Wenn Sie den Bibliothekar eine Frage stellen, lassen das System nicht einfach den Bibliothekar antworten. Es fragt die zwei Blindenhunde, was sie als Antwort vorschlagen würden.

Die Logik: Das System betrachtet den Unterschied zwischen dem, was Blindenhund A (der geheimnisbesessene eine) sagen will, und dem, was Blindenhund B (der sichere eine) sagen will.
Die Lenkung: Wenn Blindenhund A schreit: „Sag das Geheimnis!“, und Blindenhund B sagt: „Nein, sag das nicht!“, dann nutzt das System diesen Unterschied, um die Antwort des Bibliothekars weg vom Geheimnis und hin zur sicheren Version zu lenken.

Stellen Sie es sich wie das Fahren eines Autos vor. Der Bibliothekar ist das Auto. Die Blindenhunde sind zwei Personen auf dem Beifahrersitz. Eine Person zeigt auf eine Klippe (das Geheimnis) und die andere zeigt auf die Straße (die sichere Antwort). Der Fahrer (das System) lenkt das Auto einfach in Richtung der Straße, ignoriert die Klippe und muss dafür nie den Motor des Autos umbauen.

Warum das besser ist

Keine Hirnchirurgie: Das Gehirn des Haupt-Bibliothekars bleibt unberührt. Das bedeutet, dass er nicht seine Fähigkeit verliert, andere Aufgaben zu erledigen.
Günstig und schnell: Das Training der zwei kleinen Blindenhunde ist wie das Training eines Welpen – es ist schnell und günstig im Vergleich zum Wiederaufbau einer ganzen Bibliothek.
Funktioniert bei schwierigen Fragen: Frühere Methoden waren gut darin, die KI daran zu hindern, einen Satz Wort für Wort zu rezitieren, aber sie scheiterten, wenn die KI versuchte, komplexe Fragen über das Geheimnis zu beantworten. Diese Methode nutzt das „Denken“ der Blindenhunde, um die KI bereits beim Nachdenken über das Geheimnis auf komplexer Ebene zu stoppen.

Die „permanente Lösung“ (Destillation)

Die Autoren merken an, dass das gleichzeitige Ausführen von drei Modellen (dem Bibliothekaren + zwei Hunden) etwas zusätzliche Rechenleistung erfordert. Wenn Sie eine permanente Lösung wollen, bei der Sie später nur noch ein einziges Modell laufen lassen, können Sie einen Prozess namens Destillation verwenden.

Stellen Sie sich vor, der Bibliothekar schreibt, geleitet von den Hunden, einen perfekten „Spickzettel“ darüber, wie man Fragen beantwortet, ohne die Geheimnisse zu verraten. Sie bringen dann einem neuen, einzelnen Bibliothekaren bei, diesen Spickzettel auswendig zu lernen. Jetzt haben Sie einen einzigen, sauberen Bibliothekar, der gelernt hat zu vergessen, ohne dass die Hunde mehr nötig sind.

Funktioniert es?

Die Autoren haben dies an zwei großen Benchmarks getestet, TOFU und MUSE, die wie standardisierte Tests für das „Vergessen“ funktionieren.

Ergebnisse: Ihre Methode schlug alle bisherigen „State-of-the-Art“-Methoden. Sie war besser darin, die Geheimnisse zu entfernen, während die KI gleichzeitig intelligent blieb.
Über Text hinaus: Sie haben dies auch auf die Bildgenerierung angewendet (das Erstellen von Bildern). Sie trainierten die KI darauf, das Zeichnen bestimmter Hunderassen zu „vergessen“. Die Methode funktionierte auch dort und stoppte die KI erfolgreich beim Zeichnen dieser Hunde, ohne ihre Fähigkeit zu ruinieren, andere Dinge zu zeichnen.

Zusammenfassung

Anstatt zu versuchen, eine Erinnerung aus einem riesigen, komplexen Gehirn zu löschen (was schwer und gefährlich ist), schlägt diese Arbeit vor, das Gehirn unverändert zu lassen und zwei kleine, kluge Assistenten einzusetzen, die das Gespräch sanft von den verbotenen Themen weglenken. Es ist ein „Lernen statt Vergessen“-Ansatz, der billiger, sicherer und effektiver ist als bisherige Methoden.

Technisches Resümee: Divergence Decoding

Problemstellung

Große Sprachmodelle (LLMs) memorieren häufig sensible Trainingsdaten, was erhebliche Datenschutz- und Urheberrechtsrisiken schafft. Die Adressierung dieser Risiken durch das Entfernen spezifischen Wissens aus bestehenden Modell-Checkpoints ist eine Herausforderung. Traditionelle Ansätze, wie das erneute Trainieren von Modellen von Grund auf mit bereinigten Datensätzen, sind bei Frontier-Skalen (die Millionen von GPU-Stunden erfordern) rechnerisch nicht machbar. Bestehende Methoden des Machine Unlearning, die Modellgewichte mittels Techniken wie Gradient Ascent oder Negative Preference Optimization modifizieren, leiden jedoch häufig unter katastrophalem Nutzenverlust (Utility Loss), sind fragil und bleiben teuer. Darüber hinaus beeinträchtigen diese Methoden oft die allgemeine Leistungsfähigkeit des Modells auf den beibehaltenen Daten.

Methodik: Divergence Decoding (DD)

Die Autoren schlagen Divergence Decoding (DD) vor, einen Unlearning-Mechanismus zur Inferenzzeit, der die Logits eines Zielmodells von spezifischen Daten wegsteuert, ohne die Modellgewichte direkt zu verändern. Die Methode ist vom Product of Experts-Framework und dem Importance Sampling inspiriert.

Kernmechanismus

DD nutzt zwei kleine Hilfsmodelle, $p$ und $q$ , die über Standard-Fine-Tuning-Pipelines trainiert wurden, um als Proxys für den Unterschied zwischen dem aktuellen Zielmodell ( $P$ , trainiert auf sowohl Retain- als auch Forget-Sets) und dem idealen Retrain-Modell ( $Q$ , trainiert nur auf dem Retain-Set) zu fungieren.

Hilfsmodell $p$ : Trainiert auf dem „Forget“-Set (oder einer Kombination aus Forget- und Retain-Sets, abhängig vom Benchmark-Setup).
Hilfsmodell $q$ : Trainiert auf dem „Retain“-Set.

Die Methode approximiert die Stichprobenentnahme aus dem idealen Retrain-Modell $Q$ , indem sie die Logits des zugänglichen Zielmodells $P$ basierend auf der Differenz zwischen den Hilfsmodellen anpasst. Es werden zwei spezifische Anpassungen vorgeschlagen:

Linear Divergence Decoding: Eine lineare Kombination von Logits, bei der die Differenz zwischen den Hilfsmodellen das Ziel steuert:
$\hat{\ell}^{LC}_Q(x_{<t}) = \ell_P(x_{<t}) + \alpha \cdot [\ell_q(x_{<t}) - \ell_p(x_{<t})]$
Hierbei ist $\alpha$ ein Hyperparameter. Das Verhältnis $q/p$ fungt als „Domain Expert“, der Token aufwertet, die wahrscheinlich im Retain-Set liegen, und solche abwertet, die wahrscheinlich im Forget-Set liegen.
Rank-Based Divergence Decoding: Eine rangbasierte Anpassung, die die Top- $k$ am stärksten divergenten Logits unterdrückt:
$\hat{\ell}^R_Q(x_{<t}) = \ell_P(x_{<t}) - \mathbb{1}_{\text{rank}(\ell_p - \ell_q) \leq k} \cdot \infty$
(In der Praxis, um degenerative Privacy-Scores zu vermeiden, werden die Top- $k$ Logits durch den $k$ -ten größten Logit der unveränderten Verteilung ersetzt).

Modell-Destillation

Um die Latenz- und Rechenkosten des gleichzeitigen Ausführens von drei Modellen (Target + 2 Auxiliaries) während der Inferenz zu adressieren, schlagen die Autoren vor, das Verhalten des DD-augmentierten Systems zurück in ein einzelnes Modell zu destillieren. Ein eingefrorenes Lineares DD-System fungiert als Lehrer, und das Zielmodell wird als Schüler unter Verwendung einer KL-Divergenz-Zielfunktion auf dem Forget-Set feinjustiert. Dies konvertiert den Controller zur Inferenzzeit in ein parametrisches Netzwerk, das ohne Hilfsmodelle bedient werden kann.

Zentrale Beiträge

Das Paper leistet folgende Beiträge zur Literatur des Machine Unlearning:

Neuartiges Logit Steering: Ein Mechanismus, der aktuelle State-of-the-Art (SOTA)-Methoden über Standard-Unlearning-Benchmarks (TOFU und MUSE) hinweg übertrifft.
Brücke zwischen Paradigmen: Eine Verbindung zwischen Inference-Time Unlearning und Weight-Based Unlearning via Destillation, was eine flexible Bereitstellung ermöglicht.
Domänenübergreifende Wirksamkeit: Erste Untersuchungen, die die Anwendbarkeit der Methode über die Textgenerierung hinaus demonstrieren, spezifisch in der Transformer-basierten Bildgenerierung.
Umfassende Ablationsstudien: Eine umfassende Analyse, die Hyperparameterwahl, Rechen-/Latenzeinflüsse, Generalisierung über Cross-Tokenizer/Cross-Family hinweg sowie adversarielle Robustheit abdeckt.

Experimentelle Ergebnisse

Die Autoren evaluierten DD mithilfe des Open Unlearning Frameworks auf den Benchmarks TOFU (Instruction-tuned, komplexe Abfragen) und MUSE (Pre-trained, Few-shot Q&A).

Leistung: DD übertrifft SOTA-Baselines (einschließlich Gradient Ascent, NPO, RMU und UNDIAL) auf dem TOFU-Benchmark deutlich. Auf MUSE verbessert es sich geringfügig gegenüber starken Baselines bei Aufgaben zur Wissensmemorierung und Q&A, ist jedoch weniger effektiv bei der verbatim Memorization (wo einfachere Filterungsmethoden oft exzellieren).
Nutzererhalt (Utility Preservation): Im Gegensatz zu vielen Unlearning-Methoden, die einen katastrophalen Vergessensprozess verursachen, bewahrt DD das allgemeine Wissen und die Modellnutzung.
Destillation: Das destillierte Modell stellt den Großteil der Leistungssteigerungen des Inference-Time Linearen DD wieder her und übertrifft vorangegangene gradientenbasierte Unlearning-Methoden.
Skalierbarkeit und Nachhaltigkeit: Die Methode skaliert gut mit zunehmenden Größen des Forget-Sets und bewältigt sequentielle Unlearning-Anfragen ohne signifikante Leistungsdegradierung.
Adversarielle Robustheit: Unter dem Leak@K-Benchmark, der testet, ob vergessene Informationen durch wiederholtes adversarielles Prompting wiederhergestellt werden können, erreicht Distill DD die Leistung eines vollständigen Retrains, was darauf hindeutet, dass das Unlearning robust ist und nicht bloß eine oberflächliche Korrektur darstellt.
Bildgenerierung: Vorläufige Ergebnisse auf ImageNet-basierter Bildgenerierung zeigen, dass DD die Generierung spezifischer visueller Semantiken (z. B. Hundeklassen im Forget-Set) reduzieren kann, während die perzeptuelle Qualität erhalten bleibt, wobei jedoch höhere $\alpha$ -Werte für lineare Setups im Vergleich zu Text erforderlich sind.

Bedeutung und Ansprüche

Das Paper argumentiert, dass der Weg zu sichererer, konformer KI nicht darin liegt, das Basismodell durch direkte Änderung der Gewichte zu „verkrüppeln“, sondern es zu führen. Die Autoren behaupten, dass für viele praktische Anwendungsfälle (z. B. „Recht auf Vergessenwerden“-Anfragen, Urheberrechtskonformität und finanzielle Backtesting zur Vermeidung von Look-Ahead-Bias) die Modifikation der Modellgewichte unnötig und potenziell schädlich für den Nutzen ist.

Stattdessen bietet DD einen „Learning over Forgetting“-Ansatz, bei dem kleine, kostengünstige Hilfsmodelle die Generierung eines großen Modells steuern. Dies bietet eine praktische Lösung für High-Stakes-Deployments, bei denen häufiges, ad-hoc Unlearning erforderlich ist, und definiert die SOTA-Leistung neu, indem es effektives Unlearning mit der Bewahrung der Modellkapazitäten ausbalanciert. Die Methode wird als allgemein anwendbar auf jedes probabilistische Modell präsentiert, was ihren Nutzen über Text hinaus auf Domänen wie die Bildgenerierung erweitert.