💻 computer science

Consistency-Aware Editing for Entity-level Unlearning in Language Models

Dieses Paper stellt Consistency-Aware Editing (CAE) vor, ein neuartiges Framework, das Model-Editing-Techniken für effizientes und robustes Unlearning auf Entitätsebene adaptiert, indem es Low-Rank-Updates über diverse entitätsbezogene Prompts hinweg gemeinsam optimiert, um eine umfassende Wissensentfernung zu gewährleisten und gleichzeitig die Modellfähigkeiten zu bewahren.

Ursprüngliche Autoren: Xiaoqi Han, Víctor Gutiérrez-Basulto, Ru Li, Xiaoli Li, Jiye Liang, Jeff Z. Pan

Veröffentlicht 2026-01-15

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Xiaoqi Han, Víctor Gutiérrez-Basulto, Ru Li, Xiaoli Li, Jiye Liang, Jeff Z. Pan

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Problem: Das Dilemma des „digitalen Amnesie“

Stellen Sie sich ein Large Language Model (LLM) wie eine Super-Enzyklopädie vor, die fast alles im Internet gelesen hat. Manchmal merkt sich diese Enzyklopädie versehentlich Dinge, die sie nicht wissen sollte, wie etwa die private Hausadresse eines Prominenten, urheberrechtlich geschützte Buchkapitel oder schädliche Stereotypen.

Wir wollen der Enzyklopädie beibringen, diese spezifischen Dinge zu vergessen. Es gibt jedoch einen Haken:

Wir wollen nicht die ganze Bibliothek niederbrennen. Wir wollen nur die spezifischen Seiten über „Jackie Chan“ entfernen, nicht die Seiten über „Kampfsport“ oder „Filme“ im Allgemeinen.
Wir können nicht einfach einen Satz löschen. Wenn man fragt: „Wo wurde Jackie Chan geboren?“, sollte das Modell sagen: „Das weiß ich nicht.“ Aber wenn man fragt: „Wer ist der Schauspieler aus Rush Hour?“, sollte es ebenfalls sagen: „Das weiß ich nicht.“

Die Herausforderung: Bestehende Methoden sind so, als würde man versuchen, einen Namen aus einer Liste zu löschen, indem man nur eine spezifische Zeile durchstreicht. Wenn jemand die Frage auf eine leicht andere Weise stellt (eine „Paraphrase“), erinnert sich das Modell vielleicht immer noch an die Antwort, weil es nur den spezifischen Satz vergessen hat, nicht aber das Konzept.

Die Lösung: CAE (Consistency-Aware Editing)

Die Autoren schlagen eine neue Methode namens CAE vor. Betrachten Sie CAE als einen Meister-Radiergummi, der anders arbeitet als die alten.

1. Der alte Weg: Der „Zufalls-Radiergummi“

Stellen Sie sich ein Whiteboard mit 100 verschiedenen Möglichkeiten vor, nach „Jackie Chan“ zu fragen (z. B. „Wo wurde er geboren?“, „Was ist sein Geburtstag?“, „Wer ist der Typ aus Rush Hour?“).

Die alte Methode: Sie nehmen für jede Frage einen separaten Radiergummi. Sie löschen die Antwort auf Frage #1, dann die Antwort auf Frage #2, dann die Antwort auf Frage #3.
Das Problem: Da Sie sie nacheinander ohne Plan löschen, könnten Sie versehentlich die Antwort auf Frage #1 ausradieren, während Sie versuchen, Frage #2 zu korrigieren. Oder Sie lassen Frage #5 unbeachtet, weil Ihr Radiergummi abgerutscht ist. Das Ergebnis ist chaotisch: Das Modell vergisst einige Dinge, erinnert sich aber an andere, oder es wird verwirrt und beginnt zu halluzinieren.

2. Der neue Weg (CAE): Das „Synchronisierte Team“

CAE ändert die Strategie. Anstatt nacheinander zu radieren, behandelt es alle 100 Fragen als ein einziges Team.

Die Strategie: Es sammelt alle verschiedenen Arten, nach „Jackie Chan“ zu fragen.
Die „Konsistenz“-Regel: Es zwingt alle Radiergummis, sich in der exakt gleichen Richtung zu bewegen. Es ist wie ein synchronisiertes Schwimmteam; jeder Schwimmer bewegt seinen Arm im exakt gleichen Winkel und mit der gleichen Geschwindigkeit.
Das Ergebnis: Anstatt 100 winzige, chaotische Kratzer zu hinterlassen, macht das Team ein einziges großes, sauberes, einheitliches Wischverfahren, das das gesamte Konzept von Jackie Chan aus dem Gehirn des Modells entfernt, unabhängig davon, wie die Frage formuliert ist.

Wie es funktioniert (Die Mechanik „unter der Haube“)

Die Arbeit geht der Frage nach, wie das Modell „denkt“, um den besten Ort für den Einsatz dieses Radiergummis zu finden.

Das Finden der Erinnerung: Die Forscher haben entdeckt, dass das Modell Fakten über bestimmte Personen (wie Jackie Chan) in einem spezifischen Teil seines Gehirns speichert, den MLP-Layern (denken Sie an diese als die Aktenschränke des Modells).
Die „Schlüssel“-Auswahl: Sie greifen nicht einfach auf zufällige Fragen zurück. Sie verwenden ein mathematisches Werkzeug (SVD), um die wichtigsten 70 Fragen auszuwählen, die das „Jackie Chan“-Konzept am besten repräsentieren. Es ist, als würde man die 70 aussagekräftigsten Fotos einer Person auswählen, um sicherzustellen, dass man sie aus jedem Blickwinkel erkennt.
Das „Low-Rank“-Update: Anstatt die ganze Enzyklopädie neu zu schreiben (was ewig dauert und viel Geld kostet), nehmen sie eine winzige, präzise Anpassung am Aktenschrank vor. Es ist, als würde man nur ein einzelnes Etikett in einem Regal ändern, anstatt das ganze Lagerhaus neu aufzubauen.

Was sie herausgefunden haben (Die Ergebnisse)

Das Team hat dies an zwei wichtigen Benchmarks (RWKU und ToFU) getestet und mit anderen Methoden verglichen.

Besseres Vergessen: CAE ist viel besser darin, das Modell dazu zu bringen, bei jeder Frage nach der Zielentität „Ich weiß es nicht“ zu sagen, selbst bei kniffligen Fragen, in denen der Name nicht direkt erwähnt wird.
Weniger Kollateralschaden: Da die „Radiergummis“ synchron arbeiten, löschen sie nicht versehentlich Wissen über verwandte Themen aus. Das Modell weiß zum Beispiel immer noch, wie man über Filme oder Schauspieler spricht; es weiß nur nichts Spezifisches mehr über Jackie Chan.
Effizienz: Es ist unglaublich schnell. Während andere Methoden das gesamte Modell neu trainieren müssten (als würde man für einen völlig neuen akademischen Grad studieren), nimmt CAE nur eine schnelle, gezielte Bearbeitung vor. Dies kann mit nur wenigen Dutzend Beispielen erfolgen.
Stabilität: Die Arbeit zeigt, dass CAE konsistent funktioniert, selbst wenn man die Reihenfolge der Fragen vertauscht oder verschiedene Modelle verwendet. Es ist robust.

Das Fazum

Die Arbeit argumentet, dass man, um eine bestimmte Person oder Entität wirklich aus einer KI zu „entlernen“, nicht einfach nur einzelne Löcher flicken kann. Man benötigt einen koordinierten, konsistenten Ansatz, der versteht, wie die KI diese Information speichert.

CAE ist wie ein Präzisionslaser, der den gesamten „Jackie Chan“-Ordner im Gedächtnis des Modells anvisiert und ihn sauber löscht, während der Rest der Bibliothek perfekt intakt bleibt. Es löst das Problem, dass das Modell die Antwort immer noch kennt, wenn man die Frage neu formuliert – was die größte Schwäche bisheriger Methoden war.

Technisches Resümee: Konsistenzbewusstes Editieren für das Entitäts-basierte Unlearning in Sprachmodellen

1. Problemstellung

Große Sprachmodelle (LLMs) memorieren unbeabsichtigt sensible, urheberrechtlich geschützte oder schädliche Informationen, was Risiken für die Privatsphäre und Sicherheit darstellt. Während Wissens-Unlearning darauf abzielt, spezifisches unerwünschtes Wissen zu entfernen, stehen bestehende Methoden bei der Anwendung auf Entitäts-basiertes Unlearning vor erheblichen Einschränkungen.

Derzeitige Ansätze konzentrieren sich primär auf das Instanz-basierte Unlearning, welches darauf abzielt, spezifische Fakten oder Ausdrücke aus einem kuratierten Vergessenssatz (Forget Set) zu löschen. Das Entitäts-basierte Unlearning erfordert jedoch die umfassende Eliminierung aller mit einer bestimmten Entität (z. B. „Jackie Chan“) assoziierten Informationen, unabhängig von Formulierung oder Kontext. Bestehende Techniken scheitern in diesem Bereich häufig, weil sie:

Auf Oberflächenformen überfitten: Sie neigen dazu, auf die spezifische Oberflächenform von Trainings-Prompts zu überfitten, und haben Schwierigkeiten, über diverse linguistische Realisierungen (Paraphrasen) derselben Entität hinweg zu generalisieren.
Inkonsistenz beim Editieren aufweisen: Lokationsbasierte Modell-Editierungsmethoden, welche Parameter für spezifische Fakten modifizieren, behandeln jeden Input typischerweise unabhängig. Bei der Anwendung auf mehrere Prompts, die sich auf dieselbe Entität beziehen, führen diese unabhängigen Optimierungen zu inkonsistenten Editier-Richtungen. Updates für verschiedene Fakten können miteinander kollidieren oder das Zielwissen nur teilweise löschen, was zu „Leckagen“ führt, bei denen das Modell auf paraphrasierte Abfragen immer noch korrekt antwortet.
Kollateralschäden verursachen: Die Erweiterung des Vergessenssatzes zur Verbesserung der Abdeckung führt oft zu einer erheblichen Verschlechterung der Leistung des Modells bei nicht verwandten Fakten oder eng verwandten Entitäten.

2. Methodik: Konsistenzbewusstes Editieren (Consistency-Aware Editing, CAE)

Die Autoren schlagen Consistency-Aware Editing (CAE) vor, ein Framework, das Modell-Editierungstechniken für effektives Entitäts-basiertes Unlearning adaptiert. Die zentrale Erkenntnis ist, dass entitätsbasiertes Wissen in den MLP-Modulen (Multi-Layer Perceptron) des Transformers gespeichert ist, spezifisch in den Ausgangsgewichten ( $W_{out}$ ). CAE adressiert das Inkonsistenzproblem durch die gemeinsame Optimierung von Updates über diverse, mit einer Zielentität assoziierte Prompts hinweg.

Kernkomponenten:

Datenaggregation und -selektion:
- Die Methode ruft einen diversen Satz von Fakten über eine Zielentität aus Wikidata ab und wandelt diese in natürliche Sprach-Prompts ( $T_e$ ) um.
- Diese Prompts werden durch Paraphrasierung mittels eines Textgenerierungsmodells erweitert, um einen augmentierten Satz ( $T_g$ ) zu erstellen.
- SVD-basierte Selektion: Um Redundanz und kollidierende Updates zu vermeiden, werden die Schlüsselvektoren ( $K_f$ ), die aus diesen Prompts abgeleitet wurden, mittels Singularwertzerlegung (SVD) verarbeitet. Die Methode wählt die Top- $r$ Schlüsselvektoren aus, die die signifikanteste Projektionsenergie erfassen, wodurch eine kompakte und informative Teilmenge für das Editieren sichergestellt wird.
Konsistenzbewusste Optimierung:
- Anstatt jeden Prompt unabhängig zu editieren, führt CAE eine Konsistenzbeschränkung ein.
- Für jeden Prompt $x_j$ wird ein Residuenvektor $\delta_j$ optimiert, um die faktischen Assoziationen der Entität zu unterdrücken.
- Ein Konsistenzverlust ( $L_{Cons}$ ) wird der Zielfunktion hinzugefügt, welcher die Varianz der aktualisierten verborgenen Zustände ( $h_j^L + \delta_j$ ) über den Prompt-Satz hinweg minimiert. Dies erzwingt, dass alle Residuen in eine gemeinsame Richtung ausgerichtet sind, wodurch sichergestellt wird, dass der Parameter-Update über alle Paraphrasen der Entität hinweg kohärent ist.
- Die finale Zielfunktion kombiniert den Negative Log-Likelihood-Loss (um Unsicherheit zu induzieren, z. B. „Ich weiß es nicht“) mit dem Konsistenz-Regularisierer.
Multi-Layer-Propagation:
- Die optimierten Residuen werden über nachfolgende Schichten verteilt, um sicherzustellen, dass der Unterdrückungseffekt durch das Netzwerk propagiert wird.
- Eine Low-Rank-Aktualisierung (Rank-One-Modifikation) wird auf die $W_{out}$ -Matrizen der MLP-Schichten angewendet, was die Wissenslöschung der Entität effektiv ermöglicht, ohne das gesamte Modell neu trainieren zu müssen.

3. Zentrale Beiträge

Identifizierung von Limitationen: Die Arbeit zeigt auf, dass bestehende lokationsbasierte Editierungsmethoden aufgrund der durch das unabhängige Editieren mehrerer mit derselben Entität assoziierter Prompts entstehenden Inkonsistenz beim Entitäts-basierten Unlearning versagen. Zudem wird identifiziert, dass entitätsbasiertes Wissen primär in MLP-Modulen gespeichert ist.
Neuartiges Framework (CAE): Die Autoren führen ein konsistenzbewusstes Editier-Framework ein, das wertvolle Fakten unter einer Konsistenzbeschränkung gemeinsam optimiert. Dies ermöglicht ein kohärentes und umfassendes Unlearning einer gesamten Entität.
SVD-basierte Faktenselektion: Es wird eine Strategie vorgeschlagen, um die wertvollsten Fakten einer Entität mittels SVD auszuwählen, wodurch die Anzahl der benötigten Prompts reduziert und die Effektivität des Unlearnings maximiert wird.
Empirische Validierung: Die Methode wird rigoros auf zwei anspruchsvollen Benchmarks, RWKU (100 Entitäten) und ToFU (20 Entitäten), evaluiert, wobei sie bestehende Unlearning- und Editierungs-Baselines übertrifft.

4. Experimentelle Ergebnisse

Die Autoren evaluierten CAE auf LLaMA3-Instruct (8B) und LLaMA3.1-Instruct (8B) im Vergleich zu Gradienten-basierten Methoden (GA, DPO, NPO), Prompt-basierten Methoden (ICU, RepE) und Editierungs-basierten Methoden (MEMIT, EMMET, AlphaEdit).

Vergessensleistung (Forgetting Performance): CAE erreichte die niedrigsten Scores in den Vergessens-Sets (was auf eine erfolgreiche Wissenslöschung hindeutet) über Fill-in-the-Blank (FB), Question-Answer (QA) und Adversarial Attack (AA) Probes hinweg. Beispielsweise erreichte CAE bei RWKU mit LLaMA3 einen „All“-Forget-Score von 15,9, womit es die nächstbeste Editierungs-Methode (EMMET mit 29,0) und die trainingsbasierten Methoden übertraf.
Robustheit und Generalisierung: CAE behielt eine hohe Leistung in Neighbor Sets (nicht verwandte, aber semantisch nahe Fakten) und Utility Sets (allgemeine Fähigkeiten wie MMLU, TruthfulQA) bei. Es erreichte den höchsten Mean FN (eine Metrik, die Vergessen und Nachbarschaftserhaltung ausbalanciert), was auf einen überlegenen Trade-off zwischen der Löschung des Zielwissens und dem Erhalt nützlicher Kontexte hindeutet.
Effizienz: CAE benötigt signifikant weniger Beispiele (so wenig wie 100, oft weniger) und geringere Rechenressourcen (einzelne 40GB GPU) im Vergleich zu Full Fine-Tuning-Ansätzen.
Sequentielles Unlearning: Die Methode zeigte Stabilität beim sequentiellen Entfernen mehrerer Entitäten, ohne die Vergessensleistung zuvor gelernter Entitäten zu beeinträchtigen.
Ablationsstudien:
- Token-Selektion: Das Editieren des Last Subject Token (LST) erwies sich als effektiver und stabiler als das Editieren des Last Token (LT).
- Konsistenzgewicht: Die Methode blieb robust gegenüber unterschiedlichen Gewichtungen der Konsistenzbeschränkung.
- Datenquelle: Die Methode generalisierte gut, wenn LLM-generierte synthetische Daten anstelle von Wikidata verwendet wurden.

5. Bedeutung und Ansprüche

Das Paper behauptet, dass Consistency-Aware Editing einen bedeutenden Fortschritt im Bereich des Wissens-Unlearnings darstellt, indem es die Lücke zwischen Instanz-basierter Editierung und der komplexeren Anforderung des Entitäts-basierten Unlearnings schließt.

Skalierbarkeit: CAE bietet eine skalierbare Lösung zur Entfernung von Entitäten unter Verwendung von nur wenigen, sorgfältig ausgewählten Prompts, wodurch die Rechenkosten eines vollständigen Retrainings vermieden werden.
Präzision: Durch die Ausrichtung der Editier-Richtungen mittels einer Konsistenzbeschränkung verhindert CAE das „partielle Vergessen“ und die Wissensleckage, die bei unabhängigen Editierungsansätzen üblich sind.
Erkenntnisgewinn: Die Arbeit liefert Erkenntnisse darüber, wie entitätsbasiertes Wissen intern in LLMs (primär in MLPs) repräsentiert wird und wie es systematisch gelöscht werden kann.

Die Autoren kommen zu dem Schluss, dass CAE einen günstigeren und stabileren Trade-off zwischen Vergessen und Erhalt bietet, was es zu einem vielversprechenden Ansatz für den sicheren und verantwortungsvollen Einsatz von LLMs macht, bei denen spezifische Entitäten umfassend „entlernt“ werden müssen.