💬 NLP

Knowledge Editing in Masked Diffusion Language Models

Diese Arbeit untersucht die Übertragbarkeit von Locate-and-Edit-Methoden des Wissenseditierens von autoregressiven Modellen auf Masked-Diffusion-Modelle und zeigt auf, dass, während der optimale Editierort konsistent bleibt, Diffusion-Modelle unter einer degradierten Multi-Token-Editierleistung aufgrund nicht optimierter Zwischenzustände leiden – eine Einschränkung, die durch eine vorgeschlagene Korrektur, welche Edits für diese Zustände optimiert, effektiv behoben wird.

Ursprüngliche Autoren: Haewon Park, Yohan Jo

Veröffentlicht 2026-06-03

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Haewon Park, Yohan Jo

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Ganze: Das Gedächtnis eines Roboters reparieren

Stellen Sie sich vor, Sie haben einen sehr intelligenten Roboter (ein Large Language Model), der Millionen von Fakten kennt. Manchmal liegen die Informationen des Roboters falsch – vielleicht denkt er, dass Lionel Messi für den FC Barcelona spielt, obwohl er tatsächlich für Inter Miami spielt.

Normalerweise müsste man, um das zu beheben, den gesamten Roboter neu trainieren, was so ist, als würde man ein ganzes Haus umbauen, nur um eine Glühbirne auszutauschen. Das ist teuer und riskant. Eine bessere Methode, genannt „Locate-then-Edit“ (Lokalisieren-dann-Editieren), ist wie das Finden der exakten Glühbirne, die kaputt ist, und deren Austausch, ohne das restliche Haus anzupassen.

Diese Methode funktionierte perfekt für Roboter, die lesen und schreiben wie Menschen: von links nach rechts, Wort für Wort (genannt autoregressive Modelle). Aber ein neuer Typ von Roboter ist aufgetaucht, der anders arbeitet: Er liest in beide Richtungen (links und rechts) und errät den ganzen Satz auf einmal, um dann die Wörter langsam zu enthüllen, wie beim Schälen einer Zwiebel (genannt Masked Diffusion Models).

Die große Frage, die diese Arbeit stellt, lautet: Funktioniert der „Glühbirnen-Austausch“-Trick auch bei dieser neuen Art von Roboter?

Teil 1: Die gute Nachricht (Das „Wo“ ist dasselbe)

Die Forscher fragten zuerst: Wo genau ist der Fakt im Gehirn des Roboters gespeichert?

Der alte Roboter (Links-nach-Rechts): Sie fanden heraus, dass Fakten in einem spezifischen „Aktenschrank“ (einer bestimmten Schicht des Gehirns) gespeichert sind, direkt nachdem der Roboter das Subjekt gelesen hat (z. B. „Lionel Messi“).
Der neue Roboter (Das Schälen der Zwiebel): Überraschenderweise ist der Fakt, obwohl dieser Roboter anders arbeitet, im exakt gleichen Aktenschrank gespeichert.

Die Analogie: Stellen Sie sich zwei verschiedene Arten von Köchen vor. Der eine kocht, indem er Zutaten nacheinander in einen Topf gibt. Der andere mischt alles in einer Schüssel zusammen und nimmt dann langsam den Deckel ab, um zu sehen, was gerade kocht. Obwohl ihre Kochstile völlig unterschiedlich sind, bewahren beide das Geheimrezept für „Spaghetti“ im exakt gleichen Gewürzglas im selben Regal auf.

Fazwendung: Die „Locate-then-Edit“-Methode funktioniert hervorragend, um zu finden, wo man die Änderung vornehmen muss, sowohl bei beiden Arten von Robotern.

Teil 2: Die schlechte Nachricht (Das „Wie“ bricht zusammen)

Hier wird es knifflig. Obwohl sie den richtigen Aktenschrank gefunden hatten, war das Ergebnis der Korrektur unterschiedlich.

Kurze Antworten (1 Wort): Wenn Sie „Messi“ durch „Miami“ ersetzen wollen (ein Wort), funktioniert der neue Roboter perfekt.
Lange Antworten (Viele Wörter): Wenn Sie einen Fakt durch eine lange Phrase ersetzen wollen (z. B. „Die Hauptstadt von Frankreich ist Paris“ -> „Die Hauptstadt von Frankreich ist Lyon“), beginnt der neue Roboter zu scheitern. Je länger die Antwort, desto schlechter wird es.

Warum passiert das?
Die Forscher erkannten, dass das Problem nicht darin liegt, wo sie editiert haben, sondern wie der Roboter die Antwort generiert.

Der alte Roboter: Er generiert Wörter eins nach dem anderen. Wenn er „Lyon“ schreibt, befindet er sich im exakt gleichen mentalen Zustand, für den die „Korrektur“ konzipiert wurde.
Der neue Roboter: Er beginnt mit einem leeren, maskierten Bildschirm. Er enthüllt Wörter Schritt für Schritt.
- Schritt 1: Er enthüllt ein „L“.
- Schritt 2: Er sieht das „L“ und versucht, den nächsten Buchstaben zu erraten.
- Schritt 3: Er sieht „Ly“ und versucht, das Nächste zu erraten.

Die Analogie: Stellen Sie sich vor, Sie bringen einem Schüler das Schreiben eines Satzes bei.

Der alte Roboter ist wie ein Schüler, der auf einem leeren Blatt schreibt. Sie geben ihm am Anfang einen Hinweis, und er schreibt den ganzen Satz.
Der neue Roboter ist wie ein Schüler, der auf einer Seite schreibt, auf der die Wörter mit Klebezetteln bedeckt sind. Sie sagen ihm: „Schreibe ‚Lyon‘.“
- Zuerst heben Sie den Zettel auf dem „L“ an. Der Schüler schreibt „L“.
- Nun sieht der Schüler das „L“ und muss den Rest erraten.
- Das Problem: Die „Korrektur“, die Sie dem Schüler gegeben haben, war nur für den Moment konzipiert, als die Seite vollständig bedeckt war. Sie hat ihn nicht gelehrt, was er tun soll, wenn er nur „L“ oder „Ly“ sieht und dann weitermachen muss. Da der Roboter diese „halb geschriebenen“ Zustände durchlaufen muss, bricht die Korrektur zusammen.

Teil 3: Die Lösung (Dem Roboter die „Zwischenschritte“ beibringen)

Die Forscher erkannten, dass die Korrektur fehlschlug, weil sie nur auf dem „vollständig bedeckten“ Zustand trainiert wurde. Sie mussten auch auf den „halb bedeckten“ Zuständen trainieren.

Die Lösung:
Sie passten den Trainingsprozess an. Anstatt den Roboter nur darauf zu trainieren, den Fakt zu korrigieren, wenn die Antwort vollständig verborgen ist, brachten sie ihm bei, den Fakt in jeder einzelnen Phase des Enthüllungsprozesses zu korrigieren.

Übe das Korrigieren, wenn die Antwort zu 100 % verborgen ist.
Übe das Korrigieren, wenn 1 Buchstabe enthüllt ist.
Übe das Korrigieren, wenn 2 Buchstaben enthüllt sind.

Das Ergebnis:
Indem sie den Roboter darauf trainierten, wie er mit diesen „Zwischenschritten“ umgeht, funktionierten die langen Antworten plötzlich wieder. Der Roboter verbesserte sich von einem katastrophalen Scheitern bei langen Phrasen hin zu einem Erfolg, der fast so gut ist wie der des alten Roboters.

Zusammenfassung

Ort: Der „Speicher“ für Fakten befindet sich an der gleichen Stelle sowohl für alte (Links-nach-Rechts) als auch für neue (Diffusion) Roboter.
Der Fehler: Der neue Roboter scheitert an langen Antworten, weil die „Korrektur“ nur für den Beginn des Prozesses trainiert wurde, nicht für die Zwischenschritte, in denen der Roboter basierend auf Teilinformationen rät.
Die Heilung: Durch das Training der Korrektur für jede Phase des Ratesprozesses (und nicht nur für den Anfang) kann der neue Roboter auch lange, komplexe Fakten erfolgreich aktualisieren.

Das Fazit: Wenn Sie das Gehirn eines Roboters aufrüsten, können Sie nicht nur das Teil austauschen, in dem das Gedächtnis lebt; Sie müssen auch sicherstellen, dass der neue Roboter weiß, wie er dieses Gedächtnis nutzt, während er noch „denkt“ und sich durch eine lange Antwort „durchrät“.

Technisches Resümee: Wissenseditierung in Maskierten Diffusions-Sprachmodellen

Problemstellung
Wissenseditierung (Knowledge Editing) zielt darauf ab, spezifisches faktisches Wissen innerhalb von Large Language Models (LLMs) zu aktualisieren oder zu korrigieren, ohne das gesamte Modell neu trainieren zu müssen. Das dominante Paradigma „Locate-then-Edit“ (z. B. ROME, MEMIT) wurde ausschließlich für autoregressive Modelle (ARMs) entwickelt. Diese Methoden basieren auf kausaler Verfolgung (Causal Tracing), um zu identifizieren, dass der faktische Abruf lokalisiert in den MLP-Schichten (Multi-Layer Perceptrons) der frühen bis mittleren Schichten am letzten Token des Subjekts stattfindet. Sie modifizieren dann die Gewichte an dieser Stelle, um ein neues Objekt mit dem Subjekt zu assoziieren.

Maskierte Diffusionsmodelle (MDMs) stellen jedoch ein grundlegend anderes Paradigma dar. Im Gegensatz zu ARMs, die Token sequenziell von links nach rechts vorhersagen, modellieren MDMs Text bidirektional und generieren Text durch iteratives Denoising, indem sie maskierte Token aus einem vollständig maskierten Zustand heraus rekonstruieren. Es bleibt eine offene Frage, ob die Annahmen, die der „Locate-then-Edit“-Methode zugrunde liegen – insbesondere die Lokalisierung von Fakten und die Wirksamkeit der Editierung an diesem Ort – auch für MDMs gelten, angesichts ihrer grundlegend anderen Trainingsziele und Generierungsprozesse.

Methodik
Die Autoren übertragen das „Locate-then-Edit“-Framework (speziell den MEMIT-Algorithmus) auf MDMs, ohne dessen Kernalgorithmus zu verändern, wobei nur minimale Anpassungen vorgenommen werden, um den maskierten Vorhersagemechanismus des MDM zu berücksichtigen.

Experimentelles Setup: Die Studie vergleicht zwei passende Paare von Modellen:
- ARMs: LLaMA-3-8B und Qwen2.5-7B.
- MDMs: LLaDA-8B (von Grund auf trainiert) und Dream-v0-7B (initialisiert mit Qwen2.5-Gewichten).
- Datensätze: COUNTERFACT (Standard-Benchmark, hauptsächlich Single-Token-Targets) und KAMEL (angepasst für die Analyse von Multi-Token-Targets).
Kausale Verfolgung (Causal Tracing): Die Autoren führen Causal Tracing durch, um zu bestimmen, wo Fakten in MDMs kausal lokalisiert sind. Dabei werden die Embeddings der Subjekt-Token korrumpiert und die Wiederherstellung der korrekten Vorhersagen gemessen, indem die Hidden States an spezifischen Layer- und Token-Positionen wiederhergestellt werden.
Evaluierung der Editierung: Sie messen die Editierungsleistung (Effektivität, Generalisierung, Spezifität) über verschiedene Token-Positionen und Layer-Bereiche hinweg. Entscheidend ist, dass sie die Leistung über variierende Target-Längen (Single-Token vs. Multi-Token) und Generierungseinstellungen hinweg evaluieren, um spezifische Brüche im MDM-Generierungsprozess zu identifizieren.
Vorgeschlagene Korrektur: Nach Identifizierung einer Leistungsdegradation bei MDMs für Multi-Token-Targets schlagen die Autoren eine Korrektur vor. Das Standard-Edit optimiert die Gewichtsaktualisierung ( $\delta$ ) für einen einzigen Konditionierungszustand (den vollständig maskierten Antwort-Zustand). Die vorgeschlagene Korrektur erweitert die Optimierung auf intermediäre, teilweise unmaskierte Zustände, durch die das Modell während des iterativen Denoising navigiert.

Wesentliche Erkenntnisse

Gemeinsame Lokalisierung: Die Kernannahme von „Locate-then-Edit“ überträgt sich auf beide Paradigmen. Trotz bidirektionalem Training lokalisieren MDMs den faktischen Abruf an derselben Stelle wie ARMs: im MLP des Subjekt-Tokens in den frühen bis mittleren Schichten. Causal Tracing bestätigt, dass sowohl die „frühe Stelle“ (Fakt-Abruf) als auch die „späte Stelle“ (Vorhersage-Readout) in beiden Modelltypen existieren.
Divergierende Ergebnisse (Der Multi-Token-Bruch): Während der Ort gemeinsam ist, ist das Ergebnis dies nicht.
- Single-Token Targets: Die Editierung verhält sich in ARMs und MDMs vergleichbar.
- Multi-Token Targets: Die Editierungsleistung in MDMs sinkt systematisch mit zunehmender Target-Länge. Beispielsweise sinkt die Effektivität von LLaDA bei 4-Token-Targets von ~~0,92 (1-Token) auf ~0,27, während LLaMA hoch bleibt (~~0,89).
- Ursache: Das Versagen resultiert aus einer Diskrepanz zwischen dem Optimierungszustand und dem Generierungsprozess. MEMIT optimiert das Edit für den vollständig maskierten Zustand. In ARMs erfolgt die Generierung von links nach rechts, was diesem Zustand entspricht. In MDMs erfolgt die Generierung durch eine Kette von intermediären Zuständen, in denen einige Token unmaskiert und andere noch maskiert sind. Das Edit, das nur für den vollständig maskierten Zustand optimiert wurde, berücksichtigt nicht den sich ändernden Kontext, der durch diese intermediären unmaskierten Token entsteht.
Wiederherstellung durch Optimierung intermediärer Zustände: Durch die Modifikation des Optimierungsziels, um das Residuum $\delta$ über alle intermediären, teilweise unmaskierten Zustände hinweg anzupassen (indem durch die Anzahl der enthüllten Token zyklisch iteriert wird), stellen die Autoren die Multi-Token-Editierungsleistung erheblich wieder her. Für LLaDA steigt die Effektivität bei 4-Token-Targets von 0,27 auf 0,73.

Bedeutung und Ansprüche
Das Paper beansprucht, die erste Analyse von „Locate-then-Edit“-Wissenseditierung in MDMs zu liefern. Seine primären Beiträge sind:

Validierung der Lokalisierung: Der Nachweis, dass die kausale Lokalisierung von Fakten in den Subjekt-Token-MLP eine paradigmenunabhängige Eigenschaft ist, die sowohl für autoregressive als auch für diffusionsbasierte Sprachmodelle gilt.
Identifizierung eines generationsbedingten Fehlers: Aufzeigen, dass Standard-Benchmarks (die von Single-Token-Targets dominiert werden) ein systematisches Versagen von „Locate-then-Edit“ in MDMs für Multi-Token-Fakten maskieren. Dieses Versagen wird dem Mismatch zwischen Single-State-Optimierung und iterativem Denoising zugeschrieben.
Eine einfache Korrektur: Vorschlag einer Methode, um Edits für intermediäre Zustände zu optimieren, was die Performance-Lücke bei der Multi-Token-Editierung in MDMs effektiv schließt, ohne den zugrunde liegenden Edit-Ort oder die Algorithmenstruktur zu verändern.

Die Autoren kommen zu dem Schluss, dass das Portieren von Editierungs-Methoden auf andere Architekturen nicht nur den Ort des Edits, sondern auch den Generierungsprozess erfordert, durch den der editierte Fakt realisiert wird. Sie merken an, dass ihre Korrektur zwar die Hauptursache des Versagens behebt, aber dennoch eine Performance-Lücke bei den längsten Targets bestehen bleibt, was darauf hindeutet, dass zukünftige Arbeiten die spezifische Reihenfolge berücksichtigen müssen, in der MDMs Tokens unmaskieren.