🤖 machine learning

One Mask to Rule Them All: On Hidden Facts after Editing and How to Find Them

Diese Arbeit zeigt, dass diverse Wissenseditierungen in Transformer-Modellen, wie ROME und MEMIT, auf einem gemeinsamen funktionalen Unterraum von Gewichten beruhen, der eine Überaufmerksamkeit in späteren Schichten unterdrückt, anstatt Wissen zu überschreiben, wobei ein solcher Mechanismus durch eine binäre Maske isoliert werden kann, um Editierungen rückgängig zu machen und Abwehrmaßnahmen gegen unerwünschte Modifikationen zu informieren.

Ursprüngliche Autoren: Ali Holmov, Paul Youssef, Nandi Schoots, Christin Seifert

Veröffentlicht 2026-05-29

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Ali Holmov, Paul Youssef, Nandi Schoots, Christin Seifert

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich ein großes Sprachmodell (wie das, das diesen Chat antreibt) als eine riesige, hochtechnologische Bibliothek vor. In dieser Bibliothek sind Fakten auf Regalen gespeichert. Normalerweise findet das interne System der Bibliothek, wenn Sie fragen: „Wer entdeckte Radium?", das Buch auf dem Regal mit der Beschriftung „Marie Curie" und reicht es Ihnen.

Vor kurzem entwickelten Wissenschaftler eine Möglichkeit, diese Bibliothek zu „bearbeiten", ohne das Ganze neu aufzubauen. Sie verwenden Methoden namens ROME und MEMIT. Die Idee war, dass diese Methoden das spezifische Regal finden, auf dem das Buch „Marie Curie" steht, es herausnehmen und durch ein neues Buch ersetzen, das „Krypton" besagt.

Die Forscher hinter diesem Papier wollten wissen: Haben sie das Buch tatsächlich ersetzt, oder haben sie nur ein Schild über das alte gesetzt?

Die große Entdeckung: Es ist eine Entführung, kein Ersatz

Das Papier argumentiert, dass ROME und MEMIT das ursprüngliche Wissen tatsächlich nicht löschen oder überschreiben. Stattdessen „entführen" sie das Aufmerksamkeitsystem der Bibliothek.

Hier ist die Analogie:
Stellen Sie sich vor, die Bibliothek verfügt über ein sehr lautes, blinkendes Scheinwerfersystem (den Aufmerksamkeitsmechanismus), das den Bibliothekar zum richtigen Buch führt.

Der alte Weg: Sie dachten, die Bearbeiter würden das Buch auf dem Regal leise austauschen.
Die Realität: Die Bearbeiter haben das Buch „Marie Curie" überhaupt nicht berührt. Stattdessen installierten sie einen blendend hellen, blinkenden Scheinwerfer direkt über dem Buch „Krypton". Dieser Scheinwerfer ist so intensiv, dass die Augen des Bibliothekars gezwungen werden, nur auf „Krypton" zu schauen. Das Buch „Marie Curie" sitzt immer noch genau dort auf dem Regal, völlig intakt, aber der Bibliothekar kann es nicht sehen, weil der Scheinwerfer so ablenkend ist.

Das Papier nennt dies „Überaufmerksamkeit". Die Bearbeitung funktioniert, indem sie das Modell zwingt, zu viel Aufmerksamkeit auf den neuen Fakt zu richten, wodurch der alte effektiv übertönt wird, anstatt den alten zu löschen.

„Eine Maske, die alle regiert"

Um dies zu beweisen, versuchten die Forscher, den „Schalter" zu finden, der den Scheinwerfer ausschaltet. Sie trainierten eine winzige, digitale Maske (denken Sie daran wie an eine Sonnenbrille oder eine Augenbinde für das Modell).

Das Experiment: Sie nahmen diese einzelne Sonnenbrille und probierten sie bei Tausenden verschiedener Bearbeitungen aus (Ändern von „Marie Curie" zu „Krypton", Ändern von „Eiffelturm" zu „Big Ben" usw.).
Das Ergebnis: Diese eine einzige Maske funktionierte bei fast allen! Als sie die Maske auf das Modell setzten, ging der blendende Scheinwerfer aus. Plötzlich konnte der Bibliothekar das ursprüngliche Buch „Marie Curie" wieder sehen.
Der Beweis: Die Maske rückte etwa 80 % der Bearbeitungen im Trainingsdatensatz und 70 % bei neuen, unbekannten Bearbeitungen zurück.

Das ist enorm, weil es bedeutet, dass all diese verschiedenen Bearbeitungen auf dem selben winzigen Mechanismus beruhen. Sie schreiben nicht die gesamte Bibliothek um; sie schalten alle nur dieselbe Art von blendendem Scheinwerfer ein.

Der Test mit dem „Rückwärtsschalter"**

Um absolut sicherzugehen, dass dieser Scheinwerfer die Ursache der Bearbeitung war (und nicht nur ein Nebeneffekt), versuchten die Forscher etwas Kluges: Sie setzten die Sonnenbrille auf das Modell, bevor sie versuchten, es zu bearbeiten.

Das Ergebnis: Die Bearbeitung schlug fehl. Das Modell weigerte sich, den neuen Fakt („Krypton") auszugeben. Die Erfolgsrate sank von 98 % auf 38 %.
Die Bedeutung: Dies beweist, dass der „blendende Scheinwerfer" nicht nur ein Nebeneffekt ist; er ist der wesentliche Motor, der die Bearbeitung funktionsfähig macht. Wenn Sie den Scheinwerfer blockieren, kann die Bearbeitung nicht stattfinden.

Warum das wichtig ist

Wissen ist nicht weg: Die ursprünglichen Fakten sind immer noch im Gedächtnis des Modells, nur hinter einer Wand aus Rauschen verborgen. Dies erklärt, warum bearbeitete Modelle manchmal „ausrutschen" und den alten Fakt sagen, wenn sie auf eine trickreiche Weise gefragt werden.
Keine Welleneffekte: Da die Bearbeiter nicht tatsächlich den Katalog der Bibliothek (das Wissensgraph) umschreiben, breiten sich die Änderungen nicht auf verwandte Fakten aus. Wenn Sie die Hauptstadt Frankreichs ändern, aktualisiert das Modell sein Wissen über die französische Geographie nicht automatisch; es zwingt Sie lediglich, die neue Hauptstadt anzusehen.
Ein Abwehrmechanismus: Da all diese Bearbeitungen denselben Trick mit dem „blendenden Scheinwerfer" verwenden, können wir diese einzelne Maske nutzen, um unerwünschte Bearbeitungen zu erkennen oder sie vollständig zu blockieren, bevor sie geschehen. Es ist wie ein universelles „Anti-Entführungs"-Werkzeug für KI-Modelle.

Zusammenfassung

Das Papier enthüllt, dass aktuelle KI-Bearbeitungswerkzeuge alte Fakten nicht tatsächlich löschen. Sie installieren lediglich einen sehr lauten, ablenkenden Scheinwerfer, der die KI zwingt, die Wahrheit zu ignorieren und sich auf die neue Lüge zu konzentrieren. Indem die Forscher eine winzige „Maske" fanden, die diesen Scheinwerfer ausschaltet, zeigten sie, dass sie die ursprüngliche Wahrheit wiederherstellen und sogar verhindern können, dass neue Lügen überhaupt installiert werden.

Technischer Zusammenfassung: „Eine Maske, um sie alle zu beherrschen: Zu versteckten Fakten nach Bearbeitung und wie man sie findet"

Problemstellung
Wissensbearbeitungsmethoden (Knowledge Editing, KE), insbesondere Locate-and-Edit-Ansätze wie ROME und MEMIT, zielen darauf ab, faktische Assoziationen in Transformer-Modellen zu aktualisieren, indem sie MLP-Gewichte direkt modifizieren. Diese Methoden basieren auf der Hypothese, dass MLP-Schichten als assoziative Speicher fungieren, in denen gezielte Aktualisierungen spezifische Fakten überschreiben können. Die internen Mechanismen dieser Bearbeitungen bleiben jedoch weitgehend unerforscht. Es besteht ein konzeptionelles Rätsel: Wenn faktisches Wissen in Transformern über redundante Pfade verteilt ist (der „Hydra-Effekt"), wie kann dann die Modifikation einer einzigen Schicht oder eines kleinen Schichtbereichs den Abruf von Wissen erfolgreich überschreiben? Aktuelle Evaluierungen stützen sich ausschließlich auf das Ausgabeverhalten (d. h. gibt das Modell den neuen Fakt aus?), wodurch die Frage, ob Wissen tatsächlich überschrieben oder lediglich unterdrückt wird, unbeantwortet bleibt.

Methodik
Die Autoren hypothesieren, dass ROME und MEMIT das ursprüngliche Wissen nicht überschreiben, sondern dessen Abruf unterdrücken, indem sie verstärkte Signale injizieren, die die nachgelagerte Aufmerksamkeit kapern. Um dies zu verifizieren, schlagen sie vor, einen gemeinsamen funktionalen Unterraum zu isolieren, der für die Aufrechterhaltung von Bearbeitungen über diverse Fakten hinweg entscheidend ist.

Training einer gemeinsamen Maske: Die Kernmethode umfasst das Training einer kompakten binären Maske ( $K$ ) über die bearbeiteten Gewichtsmatrizen ( $\hat{W}$ ) mehrerer diverser Bearbeitungen gleichzeitig. Die Maske wird durch trainierbare Parameter $\Theta$ parametrisiert und während eines bedingten Vorwärtsdurchlaufs elementweise angewendet ( $\hat{W} \odot K$ ).
Optimierungsziel: Die Maske wird so trainiert, dass sie drei Bedingungen über eine kombinierte Verlustfunktion erfüllt:
- Wiederherstellung: Das beschnittene Modell ( $M_p$ ) muss das ursprüngliche Objekt ( $o$ ) dem bearbeiteten Objekt ( $o^*$ ) vorziehen.
- Minimalität: Die Maske sollte die kleinstmögliche Teilmenge von Gewichten beschneiden (Sparsity-Bedingung).
- Erhalt des Verhaltens: Die allgemeinen Sprachfähigkeiten des beschnittenen Modells (gemessen durch die KL-Divergenz zum ursprünglichen Modell) müssen intakt bleiben.
Experimentelles Setup: Die Studie nutzt den CounterFact-Datensatz über drei Modelle (GPT-2 XL, LLaMA-3.2, Qwen2.5) und zwei Bearbeitungsmethoden (ROME für Einzelbearbeitungen, MEMIT für Stapelbearbeitungen). Die Maske wird auf einem Satz von Bearbeitungen trainiert und sowohl auf Trainings- als auch auf zurückgehaltenen Testsets evaluiert, einschließlich out-of-distribution (OOD) Relationen.

Hauptergebnisse

Universelle Umkehrung: Eine einzelne, sparse binäre Maske (die typischerweise <10 % der Gewichte beschneidet) kehrt über 80 % der Bearbeitungen im Trainingsset und über 70 % der unbeobachteten Testbearbeitungen erfolgreich um. Diese Generalisierung gilt über verschiedene Modelle und Bearbeitungsmethoden hinweg und deutet auf einen gemeinsamen strukturellen Mechanismus hin.
Identifikation des Mechanismus: Die Zerlegung des Residualstroms zeigt, dass die Maske Bearbeitungen umkehrt, indem sie Überaufmerksamkeit in späteren Schichten eliminiert. Während die bearbeiteten Modelle massive Spitzen in den Aufmerksamkeitsbeiträgen stromabwärts der Bearbeitungsschicht aufweisen, stellen die beschnittenen Modelle die Aufmerksamkeitslevel wieder so her, dass sie mit dem ursprünglichen Modell übereinstimmen. Entscheidend bleibt, dass die MLP-Pfade, die weiterhin das ursprüngliche Wissen kodieren, von der Maske weitgehend unbeeinflusst bleiben.
Notwendigkeit des Mechanismus: Das Einbringen der gelernten Maske während des Bearbeitungsprozesses (Blockieren des identifizierten Unterraums) lässt die Erfolgsrate der Bearbeitung von 98 % auf 38 % sinken. Dies bestätigt, dass der identifizierte Gewichtsunterraum nicht nur für die Umkehrung ausreichend ist, sondern strukturell notwendig ist, damit die Bearbeitungen erfolgreich sind.
Wiederherstellung von Fähigkeiten: Das Anwenden der Maske stellt allgemeine Sprachmodellierungsfähigkeiten (Perplexität) wieder her, die durch ROME-Bearbeitungen beeinträchtigt wurden, und reduziert Perplexitätsspitzen oft von Millionen zurück auf Basislinienlevel.

Bedeutung und Behauptungen
Die Arbeit beansprucht, das Verständnis von Locate-and-Edit-Methoden grundlegend neu zu rahmen:

Unterdrückung vs. Überschreiben: ROME und MEMIT überschreiben gespeichertes Wissen nicht; sie unterdrücken dessen Abruf, indem sie Aufmerksamkeitsmechanismen kapern. Die ursprünglichen Fakten bleiben in den MLP-Pfaden kodiert, werden aber aufgrund unverhältnismäßiger Aufmerksamkeit auf das bearbeitete Signal daran gehindert, an die Oberfläche zu treten.
Gemeinsamer funktionaler Unterraum: Trotz faktenspezifischer Gewichtsänderungen verlassen sich diverse Bearbeitungen auf eine gemeinsame, kleine Teilmenge von Gewichten, um die Bearbeitung aufrechtzuerhalten. Dieser gemeinsame Mechanismus erklärt, warum diese Methoden scheitern, Änderungen auf verwandte Fakten zu übertragen (Ripple-Effekte), und warum sie anfällig für Umkehrung sind.
Verteidigung und Detektion: Die Existenz eines gemeinsamen Mechanismus impliziert, dass Bearbeitungen eine gemeinsame Signatur hinterlassen. Eine einzelne sparse Maske kann nicht nur unerwünschte Bearbeitungen umkehren, sondern auch ein Modell gegen zukünftige Bearbeitungen „sperren", indem sie den notwendigen Unterraum blockiert. Dies bietet einen praktischen Weg, um Open-Weight-Modelle gegen böswillige Bearbeitung zu verteidigen und bearbeitete Fakten basierend auf ihrem gemeinsamen strukturellen Abdruck zu erkennen.

Die Autoren schließen, dass die assoziative Speicherhypothese, die diesen Methoden zugrunde liegt, unvollständig ist; während Fakten möglicherweise in MLPs gespeichert sind, hängt der Abruf stark von der Aufmerksamkeit ab, die aktuelle Bearbeitungsmethoden ausnutzen, anstatt sie zu aktualisieren. Diese Einschränkung deutet auf eine Obergrenze dessen hin, was Locate-and-Edit-Methoden erreichen können: Sie können den Abruf unterdrücken, aber den zugrunde liegenden Wissensgraphen nicht wirklich modifizieren.