🤖 machine learning

Scalable Knowledge Editing for Mixture-of-Experts LLMs via Tensor-Structured Updates

Dieser Artikel schlägt einen skalierbaren, geschlossenen Rahmen für das Wissens-Editing bei Mixture-of-Experts-LLMs vor, der Tensorstrukturen und die Woodbury-Matrix-Identität nutzt, um Updates pro Experte mit bis zu einer sechsfachen Beschleunigung zu erreichen, während gleichzeitig eine Editing-Qualität auf dem Niveau von Baselines mit dichten Schichten beibehalten wird.

Ursprüngliche Autoren: Roman Maksimov, Vladimir Aletov, Dmitry Bylinkin, Daniil Medyakov, Vladimir Solodkin, Aleksandr Beznosikov

Veröffentlicht 2026-05-19

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Roman Maksimov, Vladimir Aletov, Dmitry Bylinkin, Daniil Medyakov, Vladimir Solodkin, Aleksandr Beznosikov

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Problem: Aktualisierung einer riesigen Bibliothek

Stellen Sie sich ein Large Language Model (LLM) als massiven, superschlauen Bibliothekar vor, der fast alles weiß. Sobald dieser Bibliothekar jedoch trainiert ist, ist sein Wissen „eingefroren". Wenn sich die Welt verändert (z. B. ein neuer Präsident gewählt wird oder ein wissenschaftlicher Fakt korrigiert wird), liefert der Bibliothekar weiterhin alte, falsche Antworten.

Normalerweise müssen Sie den Bibliothekar für eine lange, teure Nachschulung zurück in die Schule schicken, um dies zu beheben. Dies ist langsam, kostet ein Vermögen an Rechenleistung und birgt das Risiko, dass der Bibliothekar andere Dinge vergisst, die er bereits wusste.

Knowledge Editing ist ein Shortcut. Anstatt den gesamten Bibliothekar neu zu trainieren, gehen Sie einfach hinein und tauschen eine bestimmte Datei in seinem Gedächtnis aus. Bisherige Methoden funktionierten hervorragend für „dichte" Modelle (bei denen jeder Teil des Gehirns aktiv ist), hatten jedoch Schwierigkeiten mit modernen Modellen.

Die neue Herausforderung: Das „Experten"-Team

Moderne KI-Modelle (wie die von OpenAI oder DeepSeek verwendeten) nutzen kein einzelnes riesiges Gehirn. Sie verwenden eine Mixture-of-Experts (MoE)-Architektur.

Die Analogie: Stellen Sie sich vor, anstelle eines einzigen riesigen Bibliothekars haben Sie ein Team von 100 spezialisierten Experten (ein Historiker, ein Programmierer, ein Koch, ein Arzt usw.).
Funktionsweise: Wenn Sie eine Frage stellen, betrachtet ein „Router" (ein Manager) die Frage und weckt nur die 4 oder 8 relevanten Experten. Die anderen bleiben schlafen.
Das Problem: Wenn Sie einen Fakt aktualisieren möchten (z. B. „Die Hauptstadt von Frankreich ist Paris"), wussten die alten Editier-Tools nicht, wie sie mit diesem spezifischen Team sprechen sollten. Sie versuchten, das gesamte Team als einen großen Klumpen zu behandeln, was ineffizient und unübersichtlich ist. Die bestehende Methode zur Behebung dieses Problems (genannt MoE-Edit) war wie der Versuch, die Experten nacheinander in einer langen Schlange zu aktualisieren, was ewig dauerte.

Die Lösung: MoTE (Der intelligente Teammanager)

Die Autoren schlagen eine neue Methode namens MoTE (Mixture-of-Experts Tucker Editor) vor. Sie lösten das Problem mit zwei Haupttricks:

1. Die „Shortcut"-Mathematik (Woodbury-Identität)

Der alte Weg, die Experten zu aktualisieren, erforderte das Lösen eines massiven, komplexen mathematischen Rätsels, das das Invertieren einer riesigen Matrix (ein Gitter von Zahlen) beinhaltete. Es war wie der Versuch, ein Sudoku-Rätsel mit einer Million Feldern zu lösen.

Die Autoren verwendeten einen mathematischen Trick namens Woodbury-Identität.

Die Analogie: Anstatt das Rätsel mit einer Million Feldern zu lösen, stellten sie fest, dass sie nur ein winziges 50-Felder-Rätsel lösen mussten, das die Änderungen darstellt, die Sie vornehmen möchten.
Das Ergebnis: Dies verwandelt eine Aufgabe, die Stunden dauert, in eine, die Minuten dauert. Sie können das Wissen aktualisieren, ohne jemals das volle Gewicht jedes einzelnen Experten gleichzeitig „aufzuwecken" oder zu berechnen.

2. Respektierung der Teamstruktur (Tensor-Zerlegung)

Der zweite Trick bestand darin zu erkennen, dass die Experten nicht zufällig sind; sie sind miteinander verbunden. Sie wurden gemeinsam trainiert, sodass ihr Wissen in einer spezifischen 3D-Form verbunden ist (wie ein Block Käse und nicht wie ein flaches Blatt Papier).

Die Analogie: Stellen Sie sich die Experten als einen Chor vor. Wenn Sie die Tonhöhe des Songs ändern möchten, schreien Sie nicht nur eine Person an; Sie passen die Harmonie der gesamten Gruppe an.
Die Methode: Die Autoren verwendeten die Tucker-Zerlegung. Dies ist eine Möglichkeit, den „Käseblock" (die Experten-Gewichte) in eine kleinere, Kernform zu komprimieren, die das Wesentliche der Gruppe einfängt.
Der Vorteil: Durch das Editieren dieser kleineren „Kern"-Form aktualisieren sie automatisch alle Experten auf eine Weise, die ihre Beziehungen respektiert. Dies verhindert, dass das Modell verwirrt wird oder andere Dinge „vergisst".

Die Ergebnisse: Schnell und präzise

Das Papier testete MoTE an mehreren modernen KI-Modellen (wie Qwen und GPT-OSS) und verglich es mit der bisherigen besten Methode (MoE-Edit) und dem Standard-Neu-Training.

Geschwindigkeit: MoTE ist bis zu 6-mal schneller als die bisher beste Methode. Es kann 1.000 Fakten in einem Bruchteil der Zeit bearbeiten.
Qualität: Es ist genauso gut darin, Fakten zu korrigieren (Wirksamkeit) und andere Teile des Modells nicht zu beschädigen (Spezifität), wie die langsameren Methoden.
Effizienz: Dies wird erreicht, indem die schwere mathematische Berechnung nur einmal ganz am Ende des Prozesses durchgeführt und das Ergebnis dann auf die anderen Schichten verteilt wird, anstatt für jede einzelne Schicht neu zu berechnen.

Zusammenfassung

Das Papier stellt MoTE vor, ein Werkzeug, das es uns ermöglicht, moderne, „expertenbasierte" KI-Modelle schnell und präzise zu aktualisieren. Dies geschieht durch:

Die Verwendung eines mathematischen Shortcuts, um unnötige schwere Berechnungen zu vermeiden.
Die Respektierung der Teamstruktur der Experten, damit die Aktualisierungen Sinn ergeben.

Dies bedeutet, dass wir KI-Modelle mit der realen Welt auf dem neuesten Stand halten können, ohne sie von Grund auf neu trainieren zu müssen, was enorme Mengen an Zeit und Energie spart.

Technischer Überblick: Skalierbare Wissensbearbeitung für Mixture-of-Experts-LLMs mittels tensorstrukturierter Updates

Problemstellung
Wissensbearbeitung (Knowledge Editing, KE) bietet eine leichte Alternative zum vollständigen Fine-Tuning, um faktisches Wissen in Large Language Models (LLMs) zu aktualisieren. Während etablierte Methoden wie ROME und MEMIT effiziente, geschlossene Formeln für Updates in dichten Feed-Forward-Netzen (FFNs) bereitstellen, sind sie mit modernen Mixture-of-Experts (MoE)-Architekturen inkompatibel. In MoE-Modellen sind faktische Assoziationen über einen Pool von Experten verteilt, die durch einen Router gesteuert werden, und nicht in einer einzigen dichten Matrix gespeichert. Bestehende MoE-spezifische Bearbeitungsmethoden, wie MoE-Edit, verlassen sich auf iterative Block-Koordinatenabstiege (BCD) oder eine sequenzielle Verarbeitung der Experten. Dieser Ansatz erzeugt einen rechenintensiven Engpass, der wiederholte Aktivierungssammlungen und sequenzielle Solver-Iterationen erfordert, die sich schlecht mit der Anzahl der Experten und Bearbeitungen skalieren, wodurch sie für großskalige Produktionsmodelle unpraktisch werden.

Methodik: MoTE (MoE Tucker Editor)
Die Autoren schlagen MoTE vor, ein Framework, das das geschlossene, gebündelte Bearbeitungsparadigma von MEMIT auf MoE-Schichten anpasst, indem es deren Tensorstruktur ausnutzt. Die Methode besteht aus drei Kernkomponenten:

Woodbury-Reduktion für Skalierbarkeit:
Das globale Optimierungsziel für MoE-Bearbeitung beinhaltet die Inversion eines massiven Systems der Größe $(E \cdot d_{hidden}) \times (E \cdot d_{hidden})$ , wobei $E$ die Anzahl der Experten ist. MoTE nutzt die Woodbury-Matrix-Identität, um dieses Problem neu zu formulieren. Indem erkannt wird, dass die Gram-Matrix, die die Inversion antreibt, eine Summe von $T$ Rang-eins-Termen ist (wobei $T$ die Batch-Größe der Bearbeitungen ist), reduziert die Methode die Inversionskomplexität von kubisch in der Anzahl der Experten auf kubisch in der Batch-Größe ( $T \times T$ ). Dies ermöglicht eine geschlossene Lösung ohne Materialisierung oder Inversion der vollen gestapelten Expertenmatrix.
Tensorstrukturierte Neuformulierung (Tucker-Zerlegung):
Die Autoren identifizieren, dass die Behandlung von Experten-Updates als unabhängige Blöcke (ein flacher Matrixansatz) die strukturellen Korrelationen zwischen Experten ignoriert, die während des Pretrainings gelernt wurden. Stattdessen stellt MoTE das Update $\Delta W$ als Tensor dritter Ordnung ( $E \times d_{model} \times d_{hidden}$ ) dar und beschränkt es auf eine niedrigrangige Tucker-Mannigfaltigkeit.
- Faktorisierung: Das Update wird in einen kleinen Kern-Tensor $G$ und drei Faktormatrizen ( $U_e, U_{out}, U_{in}$ ) zerlegt, die über eine Higher-Order-SVD (HOSVD) der ursprünglichen Gewichte abgeleitet werden.
- Optimierung: Das Optimierungsproblem wird vom hochdimensionalen Raum aller Experten auf den viel kleineren Kern-Tensor $G$ reduziert. Dies verringert die Dimensionalität der Optimierungsvariable um Größenordnungen, während die geometrische Struktur der MoE-Schicht erhalten bleibt.
MEMIT-artige Mehrschicht-Verteilung:
Ähnlich wie bei MEMIT verteilt MoTE Bearbeitungen über mehrere kritische Schichten, um Generalisierung sicherzustellen. Im Gegensatz zu früheren MoE-Ansätzen, die eine Neuberechnung für jede Schicht erfordern, berechnet MoTE die geschlossene Lösung nur einmal an der letzten kritischen Schicht. Das resultierende Kern-Tensor-Update wird dann mit einem abklingenden Koeffizienten auf vorhergehende Schichten propagiert, wodurch redundante Berechnungen und Rückwärtsdurchläufe vermieden werden.

Hauptbeiträge

Tensorbewusste Formulierung: Der Artikel formuliert das KE-Ziel für MoE-Schichten unter Berücksichtigung der Tensorstruktur gestapelter Expertengewichte und vermeidet naive Verkettungen oder Einzel-Experten-Näherungen.
Effiziente geschlossene Lösung: Durch die Kombination der Woodbury-Identität mit der Tucker-Zerlegung erreicht die Methode eine vollständig geschlossene, rückwärtsdurchlauf-freie Aktualisierung. Sie erfordert nur die Inversion fester niedrigrangiger Matrizen (Größe bestimmt durch die Batch-Größe oder den Kernrang), unabhängig von der Gesamtzahl der Experten.
Skalierbarkeit: Der Ansatz ermöglicht gebündelte Bearbeitungen ähnlich wie bei MEMIT und macht es machbar, moderne, sparse LLMs zu bearbeiten, ohne die sequenziellen Engpässe früherer MoE-spezifischer Methoden.

Experimentelle Ergebnisse
Die Autoren bewerteten MoTE an drei modernen MoE-LLMs (Qwen3-30B-A3B, GPT-OSS-20B und Qwen3.6-35B-A3B) unter Verwendung der COUNTERFACT- und ZsRE-Benchmarks.

Bearbeitungsqualität: MoTE erreicht eine Bearbeitungsqualität (Wirksamkeit, Generalisierung und Spezifität), die mit starken Baselines wie MoE-Edit vergleichbar ist. In einigen Szenarien (z. B. GPT-OSS-20B auf ZsRE) übertrifft es MoE-Edit in der Lokalität (Spezifität).
Geschwindigkeit: Die Methode beschleunigt den Bearbeitungsprozess um bis zu 6-fach im Vergleich zu MoE-Edit. Diese Beschleunigung wird darauf zurückgeführt, dass Aktivierungen nur einmal an der letzten Schicht gesammelt und das geschlossene System nur einmal gelöst werden, anstatt Experten und Schichten sequenziell zu iterieren.
Ablation: Experimente bestätigen, dass die naive Kombination von Woodbury-Reduktion mit Mehrschicht-Verteilung (ohne Tucker-Zerlegung) die Leistung von MoE-Edit nicht erreicht, was die Notwendigkeit des tensorstrukturierten Priors validiert.

Bedeutung und Behauptungen
Der Artikel behauptet, dass parametermodifizierende Wissensbearbeitung in geschlossener Form nicht intrinsisch an dichte Architekturen gebunden ist. Durch die Anwendung der richtigen algebraischen Behandlung auf die Struktur der Schicht können diese Techniken auf komplexe sparse Architekturen erweitert werden. Die Autoren positionieren MoTE als einen Schritt hin zu skalierbarer Wissensbearbeitung in modernen LLMs und zeigen, dass prinzipielle, optimierungsbasierte Bearbeitung mit der architektonischen Evolution Schritt halten kann. Sie betonen, dass ihre Methode einen praktischen Weg zur effizienten Aktualisierung von Produktions-MoE-Modellen bietet, weisen jedoch auf Einschränkungen hinsichtlich hoher Rechenkosten bei extrem großen Batch-Größen ( $>>1000$ ) und dem anfänglichen Overhead der HOSVD-Berechnung hin.