💻 computer science

Output Vector Editing for Memorization Mitigation in Large Language Models

Dieses Paper schlägt „Output Vector Editing“ vor, eine Technik der beschränkten Optimierung, die die Output-Vektoren spezifischer MLP-Neuronen minimal modifiziert, um memorisierte Sequenzen in großen Sprachmodellen zu unterdrücken, wobei signifikant höhere Minderungsraten als traditionelle Zero-Ablation-Methoden erzielt werden, während gleichzeitig Aufmerksamkeitsmechanismen als notwendige komplementäre Fallback-Lösung für eine Teilmenge unerreichbarer Fälle identifiziert werden.

Ursprüngliche Autoren: Ahmad Dawar Hakimi, Kaiwei Lei, Isabelle Augenstein, Hinrich Schütze

Veröffentlicht 2026-06-19

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Ahmad Dawar Hakimi, Kaiwei Lei, Isabelle Augenstein, Hinrich Schütze

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das Problem: Das „schlechte Gedächtnis“ des Modells

Stellen Sie sich ein Large Language Model (LLM) wie einen Studenten vor, der das gesamte Internet gelesen hat. Manchmal lernt dieser Student nicht nur Konzepte, sondern er merkt sich spezifische Sätze Wort für Wort aus seinen Lehrbüchern (den Trainingsdaten).

Das ist gefährlich. Wenn man den Studenten bittet, einen Satz zu vervollständigen, könnte er versehentlich eine private E-Mail, ein urheberrechtlich geschütztes Buch oder ein geheimes Passwort rezitieren, das er „aus Versehen“ gelernt hat. Dies nennt man Memorierung (Auswendiglernen).

Die alte Lösung: Der „Brute-Force“-Ansatz

Früher versuchten Forscher dies zu beheben, indem sie die spezifischen „Gehirnzellen“ (Neuronen) im Modell fanden, die für den auswendig gelernten Satz verantwortlich waren, und sie einfach ausschalteten.

Die Analogie: Stellen Sie sich vor, das Gehirn des Modells ist eine geschäftige Küche. Wenn ein bestimmter Koch (Neuron) ständig eine private Telefonnummer herausschreit, bestand die alte Methode darin, dem Koch die Hände auf den Rücken zu binden, damit er gar nicht erst kochen kann.
Der Fehler: Dieser Koch könnte auch gut darin sein, andere Dinge zu kochen (wie Suppe zu machen oder Gemüse zu schneiden). Das Fesseln der Hände stoppt zwar die Telefonnummer, ruiniert aber auch die Suppe. Das Modell verliert nützliches Wissen, nur um ein einzelnes schlechtes Gedächtnis zu stoppen.

Die neue Lösung: „Output Vector Editing“

Die Autoren schlagen einen klügeren Weg vor: Output Vector Editing. Anstatt dem Koch die Hände zu fesseln, geben sie dem Koch eine neue Rezeptkarte, die ändert, was er herausschreit, ohne ihn daran zu hindern, zu arbeiten.

Wie es funktioniert:
1. Den Schuldigen finden: Sie lokalisieren die spezifischen Neuronen, die kurz davor sind, den auswendig gelernten Text auszuspucken.
2. Der „Ablenkungs“-Trick: Anstatt das Neuron stummzuschalten, verändern sie dessen „Output Vector“ (die spezifische Richtung, in die es im Gehirn des Modells zeigt). Sie bewegen es leicht, sodass es nicht mehr in Richtung des auswendig gelernten Wortes zeigt, sondern in Richtung eines Distraktors (eines Ablenkungsmanövers).
3. Das Ergebnis: Das Neuron feuert immer noch (es ist immer noch aktiv), aber es schlägt nun ein anderes, harmloses Wort vor. Der auswendig gelernte Satz wird unterbrochen, aber das Neuron ist immer noch frei für seine anderen Aufgaben (wie das Kochen der Suppe).

Die vier „Modi“ des Editierens

Die Forscher testeten vier verschiedene Arten, das „Distraktor“-Wort zu wählen, wodurch ein Spektrum von sanft bis aggressiv entsteht:

Redact (Der „Zensor“): Das Modell wird dazu gebracht, eine Folge von Sternchen (****) auszugeben. Es ist, als würde man einen schwarzen Balken über den sensiblen Text legen. Dies ist sehr sicher für die allgemeine Intelligenz des Modells, stoppt aber nur etwa 32 % der auswendig gelernten Sätze.
Next-Best (Der „Intelligente Austausch“): Das Modell wird dazu gebracht, das zweitwahrscheinlichste Wort anstelle des auswendig gelernten Wortes zu sagen. Dies wirkt natürlich und flüssig. Es stoppt etwa 81,5 % der auswendig gelernten Sätze und beeinträchtigt die Fähigkeit des Modells, andere Fragen zu beantworten, kaum.
EOS (Das „Stoppschild“): Das Modell wird dazu gebracht, den Satz sofort zu beenden (End of Sequence). Dies ist am aggressivsten und stoppt 87,9 % der auswendig gelernten Sätze, führt aber gelegentlich dazu, dass das Modell bei anderen Aufgaben „durchdreht“ (wie ein Auto, das zu hart bremst und aus der Kurve fliegt).
Suppress (Das „Stummschalten“): Das Modell wird dazu gebracht, die Wahrscheinlichkeit, dass das schlechte Wort erscheint, aktiv zu senken, ohne ein spezifisches Ersatzwort vorzuschlagen.

Zentrale Erkenntnisse

Es geht um die „Richtung“, nicht um die „Lautstärke“: Das Paper beweist, dass das Problem nicht darin besteht, dass die Neuronen „zu laut“ sind (Aktivierung), sondern dass sie in die „falsche Richtung“ zeigen (Output Vector). Die Änderung der Richtung funktioniert viel besser als das Herunterdrehen der Lautstärke.
Der „Sweet Spot“: Der „Next-Best“-Modus ist der Gewinner. Er stoppt die meisten schlechten Erinnerungen (81,5 %), ohne „katastrophale Ausfälle“ zu verursachen (bei denen das Modell vergisst, wie man Englisch spricht).
Größe spielt eine Rolle: Größere Modelle (wie die mit 7 Milliarden Parametern) sind leichter zu korrigieren als kleinere. Je größer das Modell ist, desto mehr „Raum“ hat es, um diese winzigen Änderungen zu absorbieren, ohne zu kapitulieren.
Die Grenze: Etwa 14 % der auswendig gelernten Sequenzen sind zu komplex für diese Methode. Sie verlassen sich auf einen anderen Teil des Gehirns (den „Attention“-Mechanismus) anstatt auf die Neuronen, die die Autoren editieren. Für diese Fälle schlagen die Autoren vor, dass ein hybrider Ansatz erforderlich sein könnte.

Das Fazit

Dieses Paper führt ein chirurgisches Werkzeug ein, das den Inhalt des Gedächtnisses eines Modells editiert, anstatt die Hardware zu löschen, die es enthält. Es ermöglicht uns, private oder urheberrechtlich geschützte Texte aus KI-Modellen zu entfernen, ohne versehentlich deren allgemeine Intelligenz zu lobotomieren.

Technisches Resümee: Output Vector Editing zur Milderung von Auswendiglernen in Large Language Models

1. Problemstellung

Large Language Models (LLMs) merken sich und reproduzieren Sequenzen aus ihren Trainingsdaten, was erhebliche Risiken für den Datenschutz, das Urheberrecht und die Sicherheit schafft. Bestehende Minderungsstrategien stehen vor Einschränkungen: Prävention während der Trainingszeit erfordert ein vollständiges Retraining; Post-hoc-Unlearning lässt oft die zugrunde liegenden Kodierungen intakt, was eine Wiederherstellung durch benignes Relearning ermöglicht; und Decoder-Level-Filterung fügt Inferenz-Overhead hinzu, ohne die Gewichte zu modifizieren.

Innerhalb des „Locate-then-Edit“-Paradigmas beschränkte sich vorangegangene Arbeit zum Auswendiglernen weitgehend auf die Reduktion der „Edit“-Phase auf das Nullsetzen der Aktivierungen identifizierter Neuronen. Die Autoren argumentieren, dass dies unnötig destruktiv ist. Da Neuronen an der Repräsentation multipler Merkmale durch Superposition teilnehmen, zerstört das Nullsetzen einer Aktivierung alle Informationen, die das Neuron kodiert, und nicht nur den memorisierten Inhalt. Zudem verlassen sich bestehende Methoden oft auf strukturierte Templates (z. B. <Subjekt, Relation, Objekt>), die in der freiformbasierten sequentiellen Memorierung nicht existieren.

2. Methodik: Output Vector Editing

Das Paper schlägt Output Vector Editing vor, eine gewichtsbasierte Optimierung unter Nebenbedingungen, die die Output-Vektoren der MLP-Neuronen modifiziert, die für eine memorisierte Fortsetzung verantwortlich sind, anstatt deren Aktivierungen auf Null zu setzen.

Kernmechanismus

Der Output einer MLP-Schicht ist die Summe der Beiträge pro Neuron: $MLP(x) = \sum a_i \cdot v_i$ , wobei $a_i$ die skalare Aktivierung und $v_i$ der Output-Vektor ist.

Aktivierung vs. Vektor: Die Aktivierung $a_i$ steuert, ob ein Neuron aktiv wird, während der Output-Vektor $v_i$ bestimmt, was in den Residual Stream geschrieben wird.
Das Edit: Anstatt $a_i = 0$ zu setzen, behält die Methode $a_i > 0$ bei, modifiziert jedoch $v_i$ zu $v'_i$ . Dies wird durch ein Rank-One-Update entlang der Unembedding-Richtung eines gewählten „Distraktor“-Tokens $s$ erreicht.
Optimierung: Das Edit minimiert die Distanz zwischen dem ursprünglichen und dem neuen Vektor, während es den neuen Vektor auf die Logit-Richtung des Distraktor-Tokens auf einen Zielwert $\Delta_i$ projiziert. Die geschlossene Lösung lautet:
$v'_i = v_i + \frac{\Delta_i - u_s^\top v_i}{\|u_s\|^2} u_s$
wobei $u_s$ der Unembedding-Vektor für das Token $s$ ist. Dies erfordert keine Gradientenberechnung und wird direkt auf die Gewichte angewendet.

Pipeline-Schritte

Mining memorisierter Sequenzen: Unter Verwendung von Teacher-Forced-Prediction auf dem Pretraining-Korpus identifizieren die Autoren Sequenzen, in denen die Ausgabe des Modells mit der Ground Truth übereinstimmt (BLEU > 0,5).
Zweistufige Lokalisierung:
- Layer-Selektion: Identifiziert die Top-5-MLP-Layer, in denen das Ziel-Token den stärksten Logit-Boost erhält (mittels „Logit Lens“).
- Neuron-Selektion: Innerhalb der selektierten Layer werden Neuronen basierend auf ihrer L1-Nähe zum Residual Stream bewertet und gefiltert, die das Ziel-Token direkt fördern oder unterdrücken (Ranking in den Top oder Bottom 50 des Vokabulars).
Edit-Modi: Die Methode definiert vier Modi basierend auf dem Distraktor-Token $s$ $s$ :
- EOS: Leitet zu einem End-of-Sequence-Token um (aggressive Terminierung).
- Redact: Leitet zu einem Redaktionsmarker (****) um.
- Next-best: Leitet zum zweitbesten Token des Modells um (plausible Alternative).
- Suppress: Dämpft das Logit des Ziel-Tokens direkt, ohne einen Distraktor einzuführen.

3. Zentrale Beiträge

Entkopplung von Aktivierung und Output: Das Paper zeigt, dass Aktivierungen und Output-Vektoren unterscheidbare Rollen in MLP-Neuronen spielen. Die Modifikation des Output-Vektors zur Einführung eines Distraktors ist eine distinkte, weniger destruktive Intervention als das Nullsetzen von Aktivierungen.
Rank-One Output Editing: Adaption des Rank-One-Update-Mechanismus (zuvor verwendet für faktisches Editing wie ROME) auf die per-Neuron Output-Umleitung zur Milderung von Memorization.
Umfassende Evaluierung: Evaluierung über vier Modelle (SmolLM-360M, OLMo-1B, OLMo-7B, Llama2-7B) und vier Edit-Modi, im Vergleich zu Zero Ablation, zufälligen Neuronen und Activation Steering Baselines.
Mechanistische Grenzen: Identifikation einer ~14%igen „harten Grenze“, an der MLP-only Editing versagt, was auf eine komplementäre Rolle der Attention-Mechanismen in diesen spezifischen Fällen hindeutet.

4. Ergebnisse

Primär evaluiert auf OLMo-7B (6.831 memorisierte Sequenzen):

Überlegenheit gegenüber Zero Ablation: Bei gleicher Lokalisierung ( $k=5$ ) erreichte EOS eine Suppression von 85,7 % im Vergleich zu 31,3 % bei Zero Ablation auf denselben Neuronen. Diese 2,7-fache Differenz bestätigt, dass der Erfolg auf dem Output-Vector-Edit beruht und nicht nur auf der Lokalisierung.
Success-Locality-Trade-off:
- Aggressiv (EOS, k=10): 87,9 % Suppression, aber Risiko von katastrophalen Locality-Fehlern (Perplexity-Spikes > 100) bei ~1,8 % der Edits.
- Praktisch (Next-best, k=5): 81,5 % Suppression mit null katastrophalen Edits und minimaler medianer Perplexity-Verschiebung (+0,13). Dies wird als optimaler Betriebspunkt identifiziert.
- Konservativ (Redact, k=5): 31,7 % Suppression mit nahezu null Locality-Schaden.
Komplementarität der Modi: Die vier Modi sind nicht redundant. Ein Ensemble aller Modi deckt 96,5 % der memorisierten Sequenzen ab. „Next-best“ unterdrückt einzigartig 161 Sequenzen, die kein anderer Modus erreicht.
Modellgrößen-Generalisierung: Die Erfolgsraten skalieren mit der Modellgröße statt mit der Architekturfamilie. Kleinere Modelle (360M) zeigen niedrigere Erfolgsraten (34,9 %), was primlich auf höhere Skip-Raten im Lokalisierungsfilter zurückzuführen ist.
Vergleich mit Activation Steering: Die vorgeschlagene Methode erreicht vergleichbare Erfolgsraten wie Activation Steering (73,3 %), aber mit signifikant besserer Locality (median $\Delta$ PPL +0,13 vs. +0,90) und per-Sequenz-Targeting.

Limitationen und Fehler

MLP-Limit: Etwa 14 % der Sequenzen leisten gegen alle MLP-basierten Konfigurationen Widerstand. Die Analyse deutet darauf hin, dass dies nicht primär Attention-getrieben ist, aber das Ablaten der Top-Attention-Heads 60–64 % dieser Fehler behebt, was die Attention als komplementären Fallback positioniert.
Kumulatives Risiko: Während Einzel-Edits sicher sind, führt Bulk-Editing ohne Gewicht-Restaurierung zum katastrophalen Kollaps (z. B. kollabiert der EOS-Modus innerhalb von 10 kumulativen Edits).

5. Bedeutung und Ansprüche

Das Paper beansprucht, eine mechanistisch fundierte Intervention auf Gewichtsebene bereitzustellen, die das Auswendiglernen mildert, ohne die destruktiven Nebenwirkungen von Neuron-Ablation oder den Runtime-Overhead von Filtern.

Präzision: Durch das Editieren des Output-Vektors anstelle der Aktivierung modifiziert die Methode die Beiträge im Residual Stream chirurgisch, um spezifische memorisierte Fortsetzungen umzulenken, während die anderen kodierten Merkmale des Neurons erhalten bleiben.
Praktikabilität: Der „Next-best“-Modus bietet eine hochgradig erfolgreiche und risikoarme Konfiguration, die katastrophale Ausreißer vermeidet, wie sie bei aggressiven Modi auftreten.
Skalierbarkeit: Die Methode überträgt sich über Modellfamilien und Skalen hinweg, wobei die Erfolgsraten mit der Modellgröße korrelieren.
Heilung vs. Verteidigung: Die Autoren positionieren dies als Heilmittel für bekannte Memorierungen (das Mining von Sequenzen erfordert Zugriff auf den Pretraining-Korpus) statt als Runtime-Verteidigung gegen adversarielles Extraction. Sie räumen ein, dass das Editing Beiträge umleitet, statt die zugrunde liegenden Repräsentationen zu entfernen, was bedeutet, dass unterdrückte Inhalte potenziell durch benignes Relearning wiederhergestellt werden könnten.

Die Arbeit etabliert, dass effektive Milderung von Auswendiglernen über die einfache Unterdrückung von Aktivierungen hinausgehen muss und eine präzise Manipulation der Residual-Stream-Beiträge via Output-Vector-Editing erfordert.