🤖 machine learning

Memory as a Markov Matrix: Sample Efficient Knowledge Expansion via Token-to-Dictionary Mapping

Dieser Artikel schlägt ein stichproben-effizientes Framework für die kontinuierliche Wissenserweiterung in großen Sprachmodellen vor, indem es Gedächtnis als eine Markov-Übergangsmatrix darstellt und eine Token-zu-Wörterbuch-Zuordnungsstrategie mit minimalen Embedding-Aktualisierungen nutzt, um ein katastrophales Vergessen zu vermeiden.

Ursprüngliche Autoren: Kaustubh Pethkar, Ziyang Xiong, Zuofeng Shang, Yingcong Li

Veröffentlicht 2026-05-07

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Kaustubh Pethkar, Ziyang Xiong, Zuofeng Shang, Yingcong Li

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich ein Large Language Model (LLM) als eine riesige, hochorganisierte Bibliothek von Geschichten vor. Jedes Mal, wenn das Modell einen Satz liest, ist es so, als würde ein Bibliothekar das letzte Wort betrachten und erraten, welches Wort als Nächstes kommt.

Normalerweise müssen Sie, wenn Sie diesem Bibliothekar ein brandneues Wort beibringen wollen (wie einen neuen wissenschaftlichen Begriff oder einen Slang-Ausdruck), die gesamte Bibliothek neu trainieren. Doch hier liegt das Problem: Wenn Sie die gesamte Bibliothek neu trainieren, um das neue Wort zu lernen, vergisst der Bibliothekar oft, wie man die alten Geschichten korrekt erzählt. Dies wird als „katastrophales Vergessen" bezeichnet.

Dieser Artikel schlägt einen cleveren, wenig aufwendigen Weg vor, neue Wörter hinzuzufügen, ohne die alten zu beschädigen. Hier ist die Aufschlüsselung mit einfachen Analogien:

1. Die Bibliothek als „Verkehrskarte" (Die Markov-Idee)

Die Autoren betrachten das Sprachmodell nicht als komplexes Gehirn, sondern als eine Verkehrskarte.

Die Knoten: Jedes Wort im Wörterbuch ist eine Stadt auf der Karte.
Die Straßen: Die Verbindungen zwischen den Wörtern sind Straßen. Wenn Sie in der Stadt „The" sind, führen bestimmte Straßen zu „cat", „dog" oder „sun".
Das Gedächtnis: Das „Gedächtnis" des Modells ist lediglich die Karte dieser Straßen. Es weiß, dass „The" mit einer bestimmten Wahrscheinlichkeit normalerweise zu „cat" führt.

2. Das Problem: Eine neue Stadt hinzufügen

Wenn Sie dem Modell ein neues Wort beibringen wollen (nennen wir es „Zorp"), fügen Sie im Wesentlichen eine neue Stadt zur Karte hinzu.

Der alte Weg (Vollständiges Fine-Tuning): Sie versuchen, die gesamte Karte neu zu zeichnen, um „Zorp" einzubeziehen. Dabei löschen oder verändern Sie versehentlich die Straßen zwischen den alten Städten. Der Bibliothekar vergisst, dass „The" zu „cat" führt, und beginnt stattdessen zu sagen, dass „The" zu „Zorp" führt.
Der Weg des Artikels: Anstatt die gesamte Karte neu zu zeichnen, fügen Sie einfach ein Schild für „Zorp" hinzu. Sie sagen: „Hey, wenn du 'Zorp' siehst, behandle es genau so, wie du 'The' oder 'Cat' behandelst."

3. Die Lösung: Die „Token-zu-Wörterbuch"-Karte

Der Artikel schlägt eine Strategie namens Token-to-Dictionary Mapping (Token-zu-Wörterbuch-Zuordnung) vor.

Stellen Sie sich vor, Sie haben ein neues, seltsames Wort „Zorp". Anstatt dem Modell die Bedeutung von „Zorp" von Grund auf beizubringen, sagen Sie dem Modell: „Wenn du 'Zorp' siehst, tue einfach so, als wäre es das Wort 'Star'."
Das Modell muss keine neuen Straßen für „Zorp" lernen. Es muss nur wissen, dass „Zorp" auf dasselbe Ziel zeigt wie „Star".
Da das Modell die bestehenden Straßen (die Übergangswahrscheinlichkeiten zwischen alten Wörtern) nicht ändern muss, vergisst es niemals die alten Geschichten.

4. Die „Stichprobeneffizienz" (Warum es schnell ist)

Die Autoren beweisen mathematisch, dass dies unglaublich effizient ist.

Die Analogie: Wenn Sie ein neues Wort lernen wollen, müssen Sie nicht die gesamte Bibliothek erneut lesen. Sie müssen nur einige Beispiele lesen, wie dieses neue Wort in Sätzen verwendet wird.
Die Mathematik: Die Anzahl der Beispiele, die Sie benötigen, hängt davon ab, wie viele bestehende Wörter Sie dem neuen Wort zuordnen. Wenn Sie „Zorp" nur 5 gängigen Wörtern zuordnen, benötigen Sie nur eine winzige Menge an Daten, um es zu lernen. Sie müssen sich nicht um die Größe der gesamten Bibliothek kümmern (die möglicherweise 100.000 Wörter hat).

5. Das Experiment: Mathematik und erfundene Wörter lehren

Die Forscher testeten dies mit zwei Szenarien:

Der magische Operator: Sie brachten einem Modell ein spezielles Symbol bei (wie ⟨spec⟩), das „multiplizieren" bedeutete.
- Ergebnis: Das Modell lernte sehr schnell, mit dem neuen Symbol zu multiplizieren.
- Der Gewinn: Entscheidend ist, dass das Modell immer noch wusste, wie man Zahlen addiert. Bei anderen Methoden führte das Erlernen des neuen Symbols dazu, dass das Modell das Addieren vergaß. Diese Methode hielt die Additionsfähigkeiten perfekt.
Erfundene Wörter: Sie erfanden 100 Unsinnswörter (wie „glor" und „zorp") und fügten sie in Sätze ein.
- Ergebnis: Das Modell lernte, diese erfundenen Wörter korrekt zu verwenden, ohne zu vergessen, wie man Englisch spricht.
- Vergleich: Andere Methoden (wie Standard-Fine-Tuning oder LoRA) führten dazu, dass das Modell das Englische vergaß, während es die erfundenen Wörter lernte. Die neue Methode verursachte kein einziges Vergessen.

Zusammenfassung

Betrachten Sie diese Methode als das Hinzufügen eines neuen Raums zu einem Haus, ohne die Wände der bestehenden Räume niederzureißen.

Alter Weg: Um einen neuen Raum hinzuzufügen, bauen Sie das gesamte Fundament neu auf. Die alten Räume reißen und fallen auseinander.
Neuer Weg: Sie bauen den neuen Raum und befestigen eine Tür, die direkt in einen bestehenden Flur führt. Der alte Flur bleibt genau so, wie er war, und der neue Raum passt perfekt hinein.

Der Artikel behauptet, dies sei ein mathematisch bewiesener Weg, den Wortschatz eines Sprachmodells mit sehr wenigen Daten zu erweitern und dabei absolut keine Verluste an vorherigem Wissen zu erleiden.

Technische Zusammenfassung: Gedächtnis als Markov-Matrix

Problemstellung

Large Language Models (LLMs) stehen vor einer kritischen Herausforderung beim kontinuierlichen Lernen: die Integration neuen Wissens (z. B. neuer Vokabeln, Entitäten oder Domänen) ohne das Auftreten von katastrophalem Vergessen. Bestehende Ansätze wie vollständiges Fine-Tuning, Regularisierung oder replay-basierte Methoden führen häufig zu einer Verschlechterung zuvor erlernter Verhaltensweisen, sobald neues Wissen eingefügt wird. Darüber hinaus verlassen sich diese Methoden typischerweise auf groß angelegte Gewichtsaktualisierungen, die oft irreversibel und rechnerisch teuer sind. Die zentrale Frage, die diese Arbeit adressiert, lautet: Wie können LLMs eine kleine Menge neuen Wissens integrieren, ohne katastrophales Vergessen zu erleiden?

Methodik

1. Markovsche Formulierung der Sprachgenerierung

Die Autoren schlagen einen fundierten Rahmen vor, der die autoregressive Sprachgenerierung als Markov-Prozess über Tokens modelliert.

Zustandsraum: Tokens entsprechen den Zuständen der Markov-Kette.
Übergangsmatrix: Das Gedächtnis des Modells wird durch eine Markov-Übergangsmatrix dargestellt, wobei die Wahrscheinlichkeit des nächsten Tokens $p_\theta(v | u)$ die Übergangsdynamik vom Token $u$ zu $v$ definiert.
Wissenserweiterung als Zustandserweiterung: Die Integration neuer Tokens ( $U$ ) wird formalisiert als Erweiterung des Zustandsraums von $V$ auf $V \cup U$ .
Bedingung des Null-Vergessens: Um Vergessen zu verhindern, müssen die Übergangswahrscheinlichkeiten zwischen den bereits existierenden Tokens ( $V \times V$ ) invariant bleiben. Neue Tokens werden integriert, indem ihre Übergangsverteilungen ( $q(u)$ ) über das bestehende Vokabular $V$ definiert werden, ohne die ursprünglichen $V \to V$ -Übergänge zu verändern.

2. Token-zu-Wörterbuch-Mapping

Um diese Erweiterung zu realisieren, ohne die ursprüngliche Übergangsstruktur zu modifizieren, führen die Autoren eine Token-zu-Wörterbuch-Mapping-Strategie ein:

Konzept: Neue Tokens werden nicht als unabhängige Entitäten mit einzigartigen Übergangsdynamiken gelernt. Stattdessen wird jeder neue Token $u \in U$ auf eine sparse Kombination bestehender Tokens in $V$ abgebildet.
Embedding-Tuning: Dieses Mapping wird durch einen Embedding-Tuning-Algorithmus implementiert. Nur die Embedding-Vektoren, die den neu eingeführten Tokens entsprechen, werden aktualisiert (oder erweitert). Die ursprünglichen Token-Embeddings und der Übergangs-Berechnungsgraph des Modells bleiben eingefroren.
Mechanismus: Durch die Aktualisierung nur des Embeddings des neuen Tokens lernt das Modell, den neuen Token als lineare Kombination bestehender semantischer Strukturen (Embeddings) darzustellen und nutzt effektiv die erlernten Übergangsdynamiken des Basisvokabulars wieder.

3. Theoretische Analyse

Die Arbeit leitet Schranken für die Stichprobenkomplexität für das Erlernen dieser neuen Tokens unter der Mapping-Strategie her:

Eins-zu-Eins-Mapping: Wenn ein neuer Token sich identisch zu einem einzelnen existierenden Token verhält, skaliert die Stichprobenkomplexität mit dem KL-Trennungsrand ( $\gamma$ ) zwischen Token-Verteilungen, unabhängig von der Gesamtgröße des Vokabulars $T$ .
Sparse Kombination: Im allgemeineren Fall, in dem ein neuer Token eine sparse Kombination von $s$ existierenden Tokens ist, skaliert die erforderliche Anzahl an Stichproben als $\tilde{O}(s)$ . Entscheidend ist, dass diese Komplexität von der Sparsity der Darstellung ( $s$ ) abhängt und nicht von der gesamten Vokabulargröße ( $T$ ) oder der Modelldimensionalität.
Höherordentliche Ketten: Der Rahmen lässt sich auf höherordentliche Markov-Ketten (kontextabhängige Generierung) erweitern, indem der Zustandsraum rekonstruiert wird, wobei die Stichprobenkomplexität vom effektigen Verzweigungsfaktor natürlicher Sprache abhängt und nicht vom exponentiellen Wachstum des Vokabulars.

Hauptbeiträge

Markovsche Formulierung: Die Arbeit formalisiert die Sprachgenerierung als Markov-Prozess und interpretiert das Modellgedächtnis als Übergangsmatrix. Sie fasst die Vokabulerweiterung als Problem der Zustandserweiterung auf, bei dem Vergessen durch die Bewahrung der ursprünglichen Übergangsdynamiken eliminiert wird.
Theoretische Garantien: Sie liefert Garantien für die Stichprobenkomplexität, die zeigen, dass das Erlernen neuer Vokabeln effizient ist, wenn die neuen Tokens sparsam auf existierende Tokens abgebildet werden können. Die Kosten skalieren linear mit der Anzahl der abgebildeten Tokens ( $s$ ) und nicht mit der Gesamtgröße des Vokabulars.
Embedding-Tuning-Algorithmus: Die Autoren schlagen einen praktischen Algorithmus vor, der nur die Embeddings neuer Tokens aktualisiert. Diese Methode induziert durch Konstruktion Null-Vergessen, da sie die ursprünglichen Token-zu-Token-Übergangswahrscheinlichkeiten unberührt lässt.
Empirische Validierung: Umfangreiche Experimente validieren die Theorie in drei Szenarien:
- Arithmetische Operatoren: Das Erlernen eines neuen Tokens für Multiplikation zeigte, dass Embedding-Tuning mit minimalen Daten hohe Genauigkeit erreichte und gleichzeitig die Fähigkeiten zur Addition bewahrte (Null-Vergessen), während vollständiges Fine-Tuning zu katastrophalem Vergessen der Addition führte.
- Synthetisches Vokabular: Bei synthetischen Nonsens-Wörtern erreichte Embedding-Tuning auf dem WikiText-Benchmark starke Leistung mit Null-Vergessen, während LoRA und vollständiges Fine-Tuning signifikantes Vergessen verursachten.
- Sprachübergreifende Erweiterung: Bei der Erweiterung des Vokabulars für Spanisch, Deutsch und Arabisch behielt Embedding-Tuning nahezu Null-Vergessen im Englischen bei und erreichte gleichzeitig die beste Anpassung an die Zielsprache.

Ergebnisse und Bedeutung

Die Arbeit zeigt, dass groß angelegte Gewichtsaktualisierungen für den Erwerb kleiner Mengen neuen Wissens unnötig sind. Indem neue Tokens als sparsame Erweiterungen des bestehenden Embedding-Wörterbuchs behandelt werden, erreicht die vorgeschlagene Methode:

Stichprobeneffizienz: Hohe Leistung mit deutlich weniger Trainingsstichproben im Vergleich zum vollständigen Fine-Tuning.
Null-Vergessen: Theoretische und empirische Belege bestätigen, dass die Aktualisierung nur der Embeddings neuer Tokens die ursprünglichen Fähigkeiten des Modells vollständig bewahrt.
Skalierbarkeit: Der Ansatz ist rechnerisch effizient und erfordert Aktualisierungen nur eines winzigen Bruchteils der Parameter (der Embeddings neuer Tokens).

Die Autoren behaupten, dass diese Arbeit die Lücke zwischen theoretischer Stichprobenkomplexität und praktischem kontinuierlichem Lernen schließt. Durch die Modellierung von LLMs als Markov-Prozesse liefern sie eine formale Begründung dafür, warum Embedding-Tuning Vergessen verhindert, und bieten eine fundierte Alternative zu heuristischen, parameter-effizienten Fine-Tuning-Methoden. Der Rahmen legt nahe, dass die „Kosten" des Erlernens neuen Wissens durch die semantische Sparsity der neuen Konzepte relativ zum bestehenden Vokabular bestimmt werden und nicht durch die reine Größe des Modells.