🤖 machine learning

Distinguishable Deletion: Unifying Knowledge Erasure and Refusal for Large Language Model Unlearning

Dieses Papier schlägt Distinguishable Deletion ( $\mathrm{D^2}$ ) vor, ein einheitliches Paradigma, das über Energy-based Unlearning Alignment (EUA) implementiert wird und unerwünschtes Wissen effektiv löscht sowie eine sichere Verweigerung gewährleistet, indem es die Antwortverteilungen im latenten Raum manipuliert, anstatt spezifische Token zu unterdrücken, wodurch die Grenzen bestehender Methoden zur Wissenslöschung und zur unterscheidbaren Verweigerung überwunden werden.

Ursprüngliche Autoren: Puning Yang, Junchi Yu, Qizhou Wang, Philip Torr, Bo Han, Xiuying Chen

Veröffentlicht 2026-05-19

📖 6 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Puning Yang, Junchi Yu, Qizhou Wang, Philip Torr, Bo Han, Xiuying Chen

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich ein Large Language Model (LLM) als einen super-obsessiven Bibliothekar vor. Dieser Bibliothekar hat jedes Buch der Welt gelesen und kann fast jede Frage beantworten. Manchmal hat dieser Bibliothekar jedoch sensible, private oder schädliche Informationen memorisiert (wie den geheimen Geburtstag eines Prominenten oder Anweisungen zum Bau eines gefährlichen Geräts), die er nicht teilen darf.

Das Ziel dieses Papers ist es, diesem Bibliothekar beizubringen, wie er diese spezifischen Informationen wirklich vergisst, ohne seine Fähigkeit zu beeinträchtigen, alles andere zu beantworten, und ohne dass er nur so tut, als würde er vergessen.

Die Autoren, Puning Yang und Kollegen, argumentieren, dass die aktuellen Methoden, um KI dazu zu bringen, Dinge zu „verlernen", auf zwei spezifische Arten defekt sind. Sie schlagen eine neue Lösung vor, die Distinguishable Deletion (D2) (Unterscheidbare Löschung) genannt wird und von einer Methode angetrieben wird, die sie Energy-based Unlearning Alignment (EUA) (Energiebasierte Ausrichtungs-Lernvermeidung) nennen.

Hier ist die Aufschlüsselung mit einfachen Analogien:

Die zwei defekten Wege zum „Vergessen"

Derzeit versuchen Forscher, KI auf zwei Arten zum Vergessen zu bringen, und beide haben gravierende Mängel:

Die „Rote Feder"-Methode (Wischenschen Löschung):
- Funktionsweise: Stellen Sie sich vor, dem Bibliothekar wird gesagt: „Wenn jemand nach dem Geburtstag von 'Basil Mahfouz Al-Kuwaiti' fragt, dürfen Sie das Datum niemals nennen." Der Bibliothekar versucht, die spezifischen Wörter „09/05/1997" aus seinem Gehirn zu tilgen.
- Das Problem: Das Gehirn des Bibliothekars ist ein verwobenes Netz von Verbindungen. Wenn Sie versuchen, chirurgisch nur diese Wörter zu entfernen, könnten Sie versehentlich die ganze Seite oder das gesamte Buch zerreißen. Der Bibliothekar könnte anfangen zu stottern, Unsinn zu sagen oder Halluzinationen zu entwickeln (falsche Daten erfinden), weil er verwirrt ist. Er hat das Konzept nicht wirklich vergessen; er hat nur seine Fähigkeit zerstört, darüber zu sprechen.
- Behauptung des Papers: Dies führt zu „verzerrter Löschung" und instabilen, sinnlosen Ausgaben.
Die „Sicherheitsbeamten"-Methode (Unterscheidbare Verweigerung):
- Funktionsweise: Der Bibliothekar behält alle Bücher genau so, wie sie sind (damit er immer noch perfekt andere Fragen beantworten kann). Stattdessen stellt er einen Sicherheitsbeamten an der Tür ein. Wenn der Beamte den Namen „Basil" hört, hält er den Bibliothekar davon ab zu antworten und sagt: „Ich kann darüber nicht sprechen."
- Das Problem: Der Bibliothekar weiß das Geheimnis immer noch. Wenn ein cleverer Trickser (ein „adversarial attack" oder gegnerischer Angriff) ein Code-Wort flüstert oder die Frage auf eine seltsame Weise stellt, wird der Beamte verwirrt, und der Bibliothekar verrät das Geheimnis trotzdem.
- Behauptung des Papers: Dies ist fragil. Das Wissen ist immer noch da und wartet darauf, herausgelockt zu werden.

Die neue Lösung: Distinguishable Deletion (D2)

Die Autoren schlagen einen dritten Weg vor. Anstatt spezifische Wörter zu löschen oder einen Wächter einzustellen, wollen sie die innere „Ausstrahlung" oder das Vertrauen des Bibliothekars in Bezug auf dieses spezifische Thema verändern.

Sie führen ein Konzept namens „Energy Index" (Energie-Index) ein.

Die Analogie: Denken Sie an „Energie" als Vertrauensmesser.
- Wenn der Bibliothekar eine Tatsache kennt (wie „Paris liegt in Frankreich"), zeigt der Vertrauensmesser niedrig an (in physikalischen Begriffen bedeutet niedrige Energie einen stabilen, komfortablen Zustand). Er ist sich sehr sicher.
- Wenn der Bibliothekar etwas nicht weiß, zeigt der Vertrauensmesser hoch an (hohe Energie bedeutet einen chaotischen, instabilen Zustand). Er fühlt sich unsicher und zufällig.

Das Ziel: Die Autoren wollen den Bibliothekar so trainieren, dass bei einer Frage nach dem geheimen Geburtstag sein interner „Vertrauensmesser" auf Hohe Energie (Chaos/Unsicherheit) ausschlägt. Dies signalisiert dem System: „Ich habe keine strukturierte, vertrauensvolle Antwort darauf."

Wie sie es tun: Energy-based Unlearning Alignment (EUA)

Um dies zu erreichen, verwenden sie einen zweistufigen Prozess:

Training der „Ausstrahlung" (Die Lernphase):
Sie sagen dem Modell nicht einfach nur „sag das Datum nicht". Sie lehren das Modell zu erkennen, dass Fragen zum geheimen Thema sich intern „unangenehm" oder „unsicher" anfühlen sollten.
- Sie erstellen einen Self-Preference Margin (Selbst-Präferenz-Margin). Stellen Sie sich vor, der Bibliothekar hat eine natürliche „Komfortzone" für das, was er weiß. Das System berechnet automatisch, wo die Grenze zwischen „komfortablem Wissen" und „unangenehmem Unbekanntem" liegt, basierend auf den natürlichen Tendenzen des Modells.
- Sie zwingen das Modell, die „geheimen" Fragen in die „unangenehme" Zone zu drängen.
Der Verweigerungsmechanismus (Die Aktionsphase):
Sobald das Modell trainiert ist, hat es eine klare Grenze.
- Normale Frage: „Was ist die Hauptstadt von Frankreich?" -> Das Modell fühlt sich Niedrige Energie (Komfortabel) -> Es antwortet selbstbewusst.
- Geheime Frage: „Was ist Basils Geburtstag?" -> Das Modell fühlt sich Hohe Energie (Unangenehm/Chaotisch) -> Das System erkennt diesen Ausschlag und löst eine höfliche Verweigerung aus: „Ich kann dies aufgrund von Datenschutzbeschränkungen nicht beantworten."

Warum dies besser ist (Die Ergebnisse)

Das Paper behauptet, diese neue Methode sei überlegen, weil:

Es ist echtes Vergessen: Im Gegensatz zur „Sicherheitsbeamten"-Methode wird das Wissen tatsächlich gestört. Das Modell versteckt die Antwort nicht nur; es verliert die vertrauensvolle interne Struktur, die es ihm ermöglicht, die Antwort zu generieren.
Es ist stabil: Im Gegensatz zur „Roten Feder"-Methode fängt das Modell nicht an, Unsinn zu sprechen. Es weiß, wie man höflich und kohärent „Ich weiß es nicht" sagt.
Es ist robust: Selbst wenn jemand versucht, das Modell mit Jailbreak-Prompts (seltsamen Arten zu fragen) zu täuschen, geht der interne „Hohe Energie"-Alarm des Modells immer noch an, und es verweigert die Antwort.

Zusammenfassung

Das Paper stellt eine Methode vor, um KI dazu zu bringen, sensible Informationen zu vergessen, indem sie ihre innere Gewissheit verändert, anstatt nur Wörter zu löschen oder einen Wächter hinzuzufügen.

Alter Weg: „Sag das Wort 'Geburtstag' nicht!" (Veranlasst die KI zum Stottern und Brechen).
Alter Weg 2: „Wenn du 'Geburtstag' hörst, hör auf zu sprechen!" (Die KI weiß das Geheimnis immer noch und kann getäuscht werden).
Neuer Weg (D2): „Wenn du an 'Geburtstag' denkst, fühle Unsicherheit und Chaos." (Die KI verweigert natürlich die Antwort, weil es sich anfühlt, als wüsste sie es nicht, und tut dies sicher und konsistent).

Die Autoren haben dies an verschiedenen Modellen (wie LLaMA und Qwen) getestet und festgestellt, dass es viel besser darin ist, schädliches Wissen zu entfernen, während die KI für alles andere intelligent und hilfreich bleibt.

Technischer Zusammenfassung: Unterscheidbare Löschung (D2)

1. Problemstellung

Large Language Models (LLMs) neigen dazu, sensible, private oder schädliche Informationen zu memorieren und wiederzugeben, was erhebliche Bedenken hinsichtlich Datenschutz, Fairness und Sicherheit aufwirft. Während das „Unlearning" von LLMs darauf abzielt, solches unerwünschtes Wissen selektiv zu entfernen, ohne das Modell vollständig neu zu trainieren, leiden bestehende Ansätze unter fundamentalen Einschränkungen in zwei dominanten Paradigmen:

Wissenslöschung (Knowledge Deletion, KD): Methoden wie Gradient Ascent (GA) und seine Varianten (z. B. DPO, NPO, WGA) versuchen, Wissen zu löschen, indem sie Modellparameter direkt modifizieren, um spezifische Ziel-Token-Sequenzen zu unterdrücken. Da Wissensrepräsentationen in LLMs jedoch inhärent verflochten sind, führt die Unterdrückung spezifischer Token oft zu einer verzerrten Löschung. Dies resultiert in instabilen Verhaltensweisen, einschließlich katastrophalem Vergessen verbleibenden Wissens, scheinbarem Unlearning (wobei das Modell vergisst, aber falsche Fakten halluziniert) sowie der Generierung von Kauderwelsch.
Unterscheidbare Verweigerung (Distinguishable Refusal, DR): Methoden, die die Parameter unverändert lassen und sich auf Prompt-Engineering oder auxiliary Detektoren verlassen, um sensible Eingaben abzulehnen. Obwohl diese eine hohe Leistung bei der Beibehaltung von Wissen und kohärente Antworten gewährleisten, sind sie anfällig. Da das zugrundeliegende Wissen im Modell intakt bleibt, kann es durch adversarische Angriffe oder Jailbreak-Prompts wiederhergestellt werden.

Die Kernherausforderung besteht darin, ein Paradigma zu erreichen, das die vollständige Entfernung des zugrundeliegenden Wissens (wie bei KD) sicherstellt und gleichzeitig kohärente, sichere Verweigerungsverhalten (wie bei DR) bewahrt, ohne adversarischen Schwachstellen zu erliegen.

2. Methodik: Unterscheidbare Löschung (D2) und EUA

Die Autoren schlagen Distinguishable Deletion (D2) vor, ein neues Paradigma, das das Unlearning-Ziel von der unterdrückung spezifischer Token auf Ebene einzelner Labels hin zu einer verteilungsweisen Charakterisierung des Wissensvorhandenseins verschiebt. Zur Implementierung führen sie das Framework Energy-based Unlearning Alignment (EUA) ein.

2.1. Der Energie-Index

Die Grundlage von D2 ist ein Energie-Index, der aus Energy-Based Models (EBM) abgeleitet wird. Anstatt sich auf die Wahrscheinlichkeit spezifischer Token zu konzentrieren, quantifiziert die Methode das „Vorhandensein" von Wissen über die freie Energie der Ausgabeverteilung des Modells.

Theoretische Basis: Für eine gegebene Eingabe zeigt eine Antwort mit niedriger freier Energie an, dass das Modell eine strukturierte, vertrauensvolle Antwort besitzt (Wissen ist vorhanden). Umgekehrt deutet eine hohe freie Energie darauf hin, dass das Modell die Antwort nicht kennt und zufällig Wörter generiert.
Effizienz: Im Gegensatz zu sampling-basierten Schätzern wird der Energie-Index effizient mittels eines einzigen Forward-Passes und der Logits des Modells berechnet, definiert als $E_\theta(v | x, y_{<i}) = -z_\theta(v | x, y_{<i})$ .
Beobachtung: Empirische Analysen zeigen, dass bestehende KD-basierte Methoden oft versagen, eine klare Trennung im Energieraum zwischen gelöschtem und beibehaltenem Inhalt zu schaffen, was zu inkonsistenten internen Wissenszuständen führt.

2.2. Energy-based Unlearning Alignment (EUA)

EUA ist ein einheitliches Framework, das eine klare Trennung im Energieraum zwischen gelöschtem und beibehaltenem Inhalt erzwingt.

Lernziel: Das Trainingsziel kombiniert den standardmäßigen Cross-Entropy-Verlust für die Beibehaltung mit einem Regularisierungsterm ( $L_{energy}$ $L_{e n er g y}$ ), der Energiegrenzen erzwingt.
- Für gelöschte Stichproben wird das Modell bestraft, wenn die Energie unter einem bestimmten Rand ( $m_u$ ) liegt, wodurch die Energie nach oben gedrückt wird (was das Fehlen von Wissen anzeigt).
- Für beibehaltene Stichproben wird das Modell bestraft, wenn die Energie über einem Rand ( $m_r$ ) liegt, wodurch die Energie niedrig gehalten wird (was das Vorhandensein von Wissen anzeigt).
Selbstpräferenz-Energiemargen: Um die Instabilität manuell abgestimmter Hyperparameter zu vermeiden, führt EUA Selbstpräferenz-Margen ein. Diese werden aus der eigenen Logit-Verteilung des vortrainierten Modells abgeleitet. Durch Sortieren der Logits und Aufteilen in die Top-50%-Region (bevorzugt) und die Bottom-50%-Region (abgelehnt) konstruiert die Methode Energiegrenzen ( $m_u, m_r$ ), die inhärent mit der inneren Feature-Geometrie des Modells abgestimmt sind. Dies gewährleistet eine glattere Optimierung und verhindert abrupte Energieverschiebungen.
Verweigerungsmechanismus zur Inferenzzeit: Nach dem Training zeigt das Modell eine deutliche Trennung in den Energieverteilungen auf. Während der Inferenz berechnet das System eine stichprobenweise freie Energie (unter Verwendung einer Top-k-Aggregation von Token-Energien, um Längeninvarianz sicherzustellen). Überschreitet die Energie einen gelernten Schwellenwert ( $\tau_{energy}$ ), löst das System einen Verweigerungsmechanismus aus und ersetzt die Ausgabe durch eine kohärente, sichere Alternative (z. B. „Ich kann dies aufgrund von Datenschutz-/Urheberrechtsbeschränkungen nicht diskutieren"), anstatt Kauderwelsch oder halluzinierte Fakten zu generieren.

3. Hauptbeiträge

Paradigma der Unterscheidbaren Löschung (D2): Das Papier fasst Unlearning als verteilungsweisen Zwang bezüglich des Wissensvorhandenseins neu, anstatt als Unterdrückung auf Token-Ebene. Dieser Ansatz unterscheidet gelöschten Inhalt natürlich von beibehaltenem Wissen und ermöglicht zuverlässige Verweigerungsmechanismen.
Energie-Index: Die Autoren schlagen ein theoretisch fundiertes und empirisch validiertes Maß für das Wissensvorhandensein basierend auf latenten Repräsentationen vor. Sie zeigen, dass Energie genau die Fähigkeit des Modells widerspiegelt, strukturierte Antworten gegenüber zufälliger Generierung zu liefern.
Energy-based Unlearning Alignment (EUA): Ein einheitliches Framework, das während des Trainings eine energie-basierte Trennung erzwingt und während der Inferenz einen energie-basierten Schwellenwert für die Verweigerung nutzt. Diese Methode adressiert die Instabilität von KD und die Anfälligkeit von DR.

4. Experimentelle Ergebnisse

Die Autoren bewerten EUA über drei Benchmarks hinweg: TOFU (fiktive Autoren), WMDP (Bio-/Cybersicherheit) und MUSE (wortwörtliches und faktisches Wissen). Sie vergleichen dies mit state-of-the-art KD-Methoden (GradDiff, DPO, NPO, SatImp usw.) und DR-Methoden (ICUL, Guardnail usw.) an verschiedenen Modellfamilien (LLaMA-2/3, Qwen-2.5, Zephyr).

Leistung im Vergleich zu KD-Methoden: EUA übertrifft bestehende KD-basierte Methoden konsistent. Auf TOFU erzielt es signifikante Verbesserungen bei der Löschqualität (Erasing Quality, EQ), der Beibehaltungsqualität (Retention Quality, RQ) und der Sprachqualität (Linguistic Quality, LQ). Beispielsweise erzielt EUA auf LLaMA-3.2-3B (Forget 10 %) eine aggregierte Punktzahl von 8,665, was deutlich höher ist als die der zweitbesten Methode (SatImp mit 6,484). Entscheidend ist, dass EUA die bei KD-Methoden üblichen Probleme mit Kauderwelsch und Halluzinationen eliminiert.
Leistung im Vergleich zu DR-Methoden: Während DR-Methoden eine gute Beibehaltung aufrechterhalten, versagen sie unter adversarischen Angriffen. EUA demonstriert eine 100 %ige Detektionsgenauigkeit und behält eine hohe Sprachqualität auch nach Jailbreak-Angriffen bei, wohingegen DR-basierte Methoden eine erhebliche Verschlechterung sowohl bei der Detektion als auch bei der Antwortqualität erleiden.
Robustheit: EUA zeigt eine starke Robustheit über Szenarien hinweg, die sprachübergreifende Angriffe, Re-Learning und Jailbreak-Angriffe umfassen, und behält eine stabile Leistung bei, wo andere Methoden degradieren.
Ablationsstudien: Die Studie bestätigt, dass die Selbstpräferenz-Energiemarke kritisch ist; manuell gesetzte Margen führen zu instabiler Leistung. Die Methode ist zudem robust gegenüber Variationen des Top-k-Parameters, der zur Energieberechnung verwendet wird.

5. Bedeutung und Behauptungen

Das Papier behauptet, dass D2 und EUA ein überlegenes Unlearning-Paradigma darstellen, indem sie die Ziele der Wissenslöschung und der sicheren Verweigerung vereinen.

Auflösung von Zielkonflikten: Die Methode erreicht ein günstigeres pareto-optimales Gleichgewicht zwischen dem Löschen zielgerichteten Wissens und der Bewahrung der allgemeinen Modellnutzbarkeit und vermeidet das „katastrophale Vergessen" oder das „scheinbare Unlearning", das bei KD zu beobachten ist.
Robustheit: Durch die grundlegende Veränderung des Wissenszustands (via Energietrennung) anstatt nur einer Maskierung bietet EUA eine Verteidigung, die gegen sich entwickelnde adversarische Strategien robust ist, im Gegensatz zu DR-Methoden, die auf statischem Wissen beruhen, das wieder extrahiert werden kann.
Kohärenz: Der Ansatz stellt sicher, dass das Modell, wenn es sich weigert zu antworten, dies mit kohärenten, kontextbewussten Antworten tut und nicht mit Kauderwelsch, wodurch die Nutzbarkeit des Modells erhalten bleibt.

Die Autoren schließen, dass ihr Ansatz eine prinzipielle, stabile und generalisierbare Lösung für das Unlearning von LLMs bietet, die über die Einschränkungen spezifischer Token-Zwänge hinausgeht, um die zugrundeliegende verflochtene Natur von Wissen in großen Modellen zu adressieren.