💬 NLP

MeMo: Towards Language Models with Associative Memory Mechanisms

Dieses Paper stellt MeMo vor, eine neuartige Architektur für Sprachmodellierung, die Token-Sequenzen explizit in geschichteten assoziativen Gedächtnissen speichert, um Transparenz, Modell-Editierung und die Fähigkeit zum Vergessen spezifischer Texte zu ermöglichen.

Ursprüngliche Autoren: Fabio Massimo Zanzotto, Elena Sofia Ruzzetti, Giancarlo A. Xompero, Leonardo Ranaldi, Davide Venditti, Federico Ranaldi, Cristina Giannone, Andrea Favalli, Raniero Romagnoli

Veröffentlicht 2026-06-01

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Fabio Massimo Zanzotto, Elena Sofia Ruzzetti, Giancarlo A. Xompero, Leonardo Ranaldi, Davide Venditti, Federico Ranaldi, Cristina Giannone, Andrea Favalli, Raniero Romagnoli

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, einem Roboter das Sprechen beizubringen. Die aktuelle Art und Weise, wie wir dies tun (mit „Transformern“), ist so, als würde man den Roboter zwingen, eine Bibliothek voller Bücher zu lesen und dann zu versuchen, das nächste Wort basierend auf einem vagen, unscharfen Gefühl vorherzusagen, was er vielleicht schon einmal gesehen hat. Er lernt, indem er unsichtbare Regler im Inneren seines Gehirns anpasst, bis er die richtige Antwort erhält. Das ist leistungsstark, aber es ist eine „Black Box“ – wir wissen nicht wirklich, wo der Roboter einen bestimmten Fakt speichert, und wenn wir wollen, dass er etwas vergisst, müssen wir das gesamte Gehirn neu trainieren.

Das Paper „MeMo“ schlägt einen völlig anderen Ansatz vor. Anstatt auf Basis von vagen Gefühlen zu raten, baut MeMo einen buchstäblichen, organisierten Aktenschrank für das Gedächtnis des Roboters.

So funktioniert MeMo, heruntergebrochen auf einfache Konzepte:

1. Die Kernidee: „Erst merken, dann lernen“

Aktuelle Modelle versuchen, Muster zu lernen, während sie auswendig lernen. MeMo dreht dies um. Es sagt: „Lass uns die Fakten zuerst in eine Schublade legen.“

Denken Sie an den Vergleich Bibliothek vs. Bauchgefühl.

Aktuelle Modelle: Wie eine Person, die so viele Bücher gelesen hat, dass sie das Ende einer Geschichte erraten kann, weil es sich „richtig anfühlt“. Sie könnten falsch liegen oder ein Detail aus einem anderen Buch vermischt haben.
MeMo: Wie ein Bibliothekar, der für jeden Satz eine spezifische Karte hat. Wenn Sie fragen: „Was kommt nach ‚Die Katze saß auf der...‘“, rät der Bibliothekar nicht; er zieht genau die Karte heraus, auf der „Matte“ steht, weil er es dort aufgeschrieben hat.

2. Das magische Werkzeug: „Correlation Matrix Memories“ (Das Klebezettel-System)

Um diesen Aktenschrank zum Funktionieren zu bringen, nutzt MeMo einen mathematischen Trick namens Correlation Matrix Memories (CMM).

Stellen Sie sich vor, Sie haben ein riesiges Whiteboard.

Der Input (Der Schlüssel): Sie nehmen einen Satz (wie „Die Katze saß auf der“) und verwandeln ihn in ein einzigartiges, zufälliges Muster aus Punkten (einen Vektor).
Der Output (Der Wert): Sie nehmen das nächste Wort (wie „Matte“) und verwandeln es in ein anderes Muster aus Punkten.
Die Speicherung: Sie zeichnen eine Linie, die das „Satz-Muster“ mit dem „Wort-Muster“ auf dem Whiteboard verbindet.

Wenn Sie eine Million Sätze haben, zeichnen Sie einfach eine Million Linien auf dasselbe Whiteboard. Da die Muster so konzipiert sind, dass sie einzigartig sind, verheddern sich die Linien nicht. Wenn Sie etwas erinnern wollen, zeigen Sie einfach auf das „Satz-Muster“, und das Whiteboard leuchtet das verbundene „Wort-Muster“ auf.

Warum ist das cool?

Transparenz: Sie können auf das Whiteboard schauen und genau sehen, welcher Satz mit welchem Wort verbunden ist. Es gibt keine verborgenen Geheimnisse.
Editierbarkeit: Wenn Sie möchten, dass der Roboter einen bestimmten Satz vergisst, müssen Sie nicht das ganze Gehirn neu trainieren. Sie nehmen einfach einen Radiergummi und wischen diese eine Linie vom Whiteboard weg.

3. Das Problem mit kurzen Gedächtnissen (Das Single-Layer-Limit)

In dem ersten Experiment bauten die Forscher ein einzelnes Whiteboard. Es funktionierte großartig für kurze Sätze (wie 4 Wörter lang). Aber wenn man versuchte, ihm einen langen Absatz einzufüttern, wurden die Linien zu gedrängt und der Roboter begann, verwirrt zu werden. Es war, als würde man versuchen, einen ganzen Roman auf einen einzigen Klebezettel zu schreiben.

4. Die Lösung: Der Multi-Layer-Turm (Die MeMo-Architektur)

Um lange Texte zu verarbeiten, stapelt MeMo diese Whiteboards übereinander, wie eine mehrstöckige Bibliothek.

Etage 1: Merkt sich Wortpaare (z. B. „Katze“ + „saß“).
Etage 2: Merkt sich Gruppen von vier Wörtern (z. B. „Die Katze saß auf“).
Etage 3: Merkt sich sogar noch längere Textstücke.

Wenn Sie eine Frage stellen, prüft der Roboter die unterste Etage, dann die nächste Etage darüber und so weiter, und kombiniert die Hinweise aus jeder Ebene, um die Antwort zu finden. Dies ermöglicht es ihm, viel längere Sequenzen zu speichern, ohne verwirrt zu werden, genau wie ein Mensch das Kurzzeitgedächtnis nutzt, um sich zu einem vollständigen Satz aufzubauen.

5. Was die Experimente zeigten

Die Forscher testeten dieses System mit zufälligen Sätzen und Wörtern:

Kapazität: Sie fanden heraus, dass das System mehr Sätze speichern kann, je mehr „Platz“ (Parameter) sie den Whiteboards gaben. Es besteht ein direkter, linearer Zusammenhang: größeres Board = mehr Gedächtnis.
Komplexität: Als sie die Sätze schwieriger machten (indem sie „Lockvögel“ oder ähnlich aussehende, verwirrende Wörter hinzufügten), stellten sie fest, dass mehr Etagen (Layer) notwendig waren. Eine einstöckige Bibliothek konnte die Verwirrung nicht bewältigen, aber eine dreistöckige Bibliothek schon.
Genauigkeit: Mit genügend Etagen und Platz konnte das System über 250.000 Sequenzen mit sehr hoher Genauigkeit auswendig lernen, selbst wenn die Sätze knifflig waren.

Zusammenfassung

MeMo ist eine neue Art, Sprachmodelle aufzubauen, die das Gedächtnis wie ein transparentes, editierbares Ablagesystem behandelt und nicht wie ein Black-Box-Ratespiel.

Es speichert Text direkt durch mathematische Verbindungen.
Es ruft Text ab, indem es diese Verbindungen nachschlägt.
Es vergisst Text, indem es einfach die Verbindung löscht.

Das Paper behauptet, dass dies Sprachmodelle ehrlicher macht (man kann sehen, was sie wissen), leichter zu korrigieren (man kann spezifische schlechte Erinnerungen löschen) und in der Lage ist, lange Texte zu verarbeiten, indem man diese Gedächtnisschichten stapelt. Die Autoren merken an, dass es, da dies eine neue Architektur ist, noch nicht perfekt in die bestehenden Software-Tools passt, die von den meisten KI-Entwicklern verwendet werden, aber die Gedächtnisfähigkeiten selbst funktionieren sehr gut.

Technisches Resümee: MeMo – Auf assoziative Gedächtnismechanismen ausgerichtete Sprachmodelle

Problemstellung

Aktuelle Transformer-basierte Large Language Models (LLMs) erzielen eine hohe Leistungsfähigkeit, indem sie komplexe sequentielle Abhängigkeiten durch extensives Training erlernen, wobei das Auswendiglernen ein emergentes Nebenprodukt der Gewichtungsoptimierung ist. Während dieser Ansatz bei der Generalisierung exzellent ist, mangelt es ihm oft an Transparenz und expliziter Kontrolle über gespeicherte Informationen. Die Autoren argumentieren, dass das vorherrschende Paradigma das Lernen als primären Mechanismus betrachtet, während das Auswendiglernen lediglich ein sekundäres Ergebnis darstellt. Für Aufgaben, die eine exakte faktische Erinnerung, Beantwortung von Fragen und Informationsabruf erfordern, ist die Fähigkeit eines Modells, Daten explizit zu speichern, jedoch entscheidend. Bestehende Methoden zur Editierung oder Kontrolle von LLMs verlassen sich oft auf Post-hoc-Interventionen, wohingegen die Autoren einen grundlegenden Wandel vorschlagen: das Design von Architekturen, in denen das Auswendiglernen dem Lernen vorausgeht. Das Ziel ist die Schaffung eines Sprachmodells, das Tokensequenzen in einer transparenten, editierbaren Weise explizit speichert und so eine kontrollierte Vergessenskontrolle sowie die direkte Manipulation gespeicherten Wissens ermöglicht.

Methodik

Das Paper stellt MeMo vor, eine neuartige Architektur für die Sprachmodellierung, die das standardmäßige gewichtsbasierte Lernen von Transformern durch geschichtete Korrelationsmatrix-Gedächtnisse (Correlation Matrix Memories, CMMs) ersetzt. Die Architektur basiert auf drei zentralen theoretischen Säulen:

Multivariate Gaußsche Zufallsvektoren: Token und Sequenzen werden als Zufallsvektoren in einem hochdimensionalen Raum repräsentiert. Unter Nutzung des Johnson-Lindenstrauss-Lemmas werden diese Vektoren in einen niederdimensionalen Raum ( $R^d$ ) abgebildet, wobei ihre Distanzen erhalten bleiben. Dies stellt sicher, dass distinkte Token nahezu orthogonal sind ( $a^T b \approx 0$ , falls $a \neq b$ ) und identische Token hoch korreliert sind ( $a^T b \approx 1$ , falls $a = b$ ).
Korrelationsmatrix-Gedächtnisse (CMMs): Anstatt Gewichte zu lernen, speichert MeMo Assoziationen als Summe von äußeren Produkten von Key-Value-Paaren. Ein CMM $C$ ist definiert als $C = \sum k_i v_i^T$ , wobei $k_i$ eine Sequenz (Key) und $v_i$ das nächste Token (Value) darstellt. Der Abruf erfolgt durch Multiplikation des Eingangssequenz-Vektors mit der CMM-Matrix.
Johnson-Lindenstrauss-Transformation (JLT): Diese Transformation wird verwendet, um Sequenzen von Token in den Zielraum $R^d$ einzubetten, wodurch sichergestellt wird, dass sowohl die Eingangssequenzen als auch die Ausgabevektoren im selben dimensionalen Raum liegen, was den assoziativen Abruf erleichtert.

Architekturvarianten

Das Paper beschreibt zwei Konfigurationen:

Single-Layer MeMo: Verwendet ein einzelnes CMM, um fest vorgegebene Fenster von Token ( $h$ ) zu memorieren und das nächste Token vorherzusagen. Es zeigt, dass eine einzelne Matrix über partielle Sequenzen basierend auf dem Überlapp der Token generalisieren kann.
Multi-Layer MeMo: Um längere Sequenzen zu handhaben, stapelt die Architektur mehrere CMM-Schichten.
- Memorierungsphase: Niedrigere Schichten kodieren Sequenzen von Elementen in eindeutige Repräsentationen. Diese Repräsentationen werden als Keys im CMM gespeichert, wobei die Values die kodierte Sequenz als Ganzes sind. Die letzte Schicht speichert die Beziehung zwischen langen Sequenzen und dem nächsten Token.
- Abrufphase: Zwischengeschaltete Schichten rufen Kodierungen wachsender Sequenzlängen ab, welche aufsummiert werden, um die letzte Schicht für die Vorhersage des nächsten Tokens abzufragen.
- Vergessen: Ein einziges Merkmal von MeMo ist die Fähigkeit, gespeicherte Texte explizit zu „vergessen“. Dies wird erreicht, indem das äußere Produkt der Sequenz und des Tokens von der CMM-Matrix subtrahiert wird, wodurch die spezifische Assoziation effektiv gelöscht wird, ohne ein Retraining durchzuführen.

Zentrale Beiträge

Paradigmenwechsel: Das Paper schlägt einen Wechsel vom „Lernen zum Auswendiglernen“ hin zum „Auswendiglernen zum Lernen“ vor, indem eine Architektur entworfen wird, in der das Gedächtnis explizit und strukturell statt implizit in den Gewichten existiert.
MeMo-Architektur: Die Einführung eines Sprachmodells basierend auf geschichteten CMMs und Zufallsvektor-Repräsentationen, das einen mathematisch transparenten Mechanismus für die Sequenzvorhersage bietet.
Editierbarkeit und Transparenz: Das Design unterstützt inhärent die Modell-Editierung, einschließlich der spezifischen Fähigkeit, Texte zu „vergessen“, was einen Mechanismus zur Milderung von Datenlecks und sozialen Biases durch das Entfernen spezifischer gespeicherter Assoziationen bietet.
Explizite Wissensmodellierung: Die Architektur eröffnet die Möglichkeit, explizite Wissensmodellierung (z. B. Wissensgraphen, linguistische Ontologien) direkt in neuronale Sprachmodelle zu integrieren, was potenziell den Datenhunger reduziert.

Experimentelle Ergebnisse

Die Autoren führten Experimente durch, um die Memorierungskapazität sowohl der Single-Layer- als auch der Multi-Layer-Konfigurationen zu evaluieren:

Single-Layer Kapazität: Experimente mit zufälligen Symbolsequenzen zeigten eine lineare Beziehung zwischen der Gesamtzahl der Parameter im CMM und der Anzahl der Sequenzen, die mit hoher Genauigkeit gespeichert werden können (definiert als durchschnittliche Genauigkeit > 0,9). Dies steht im Einklang mit den beobachteten linearen Skalierungsgesetzen traditioneller Transformer, findet jedoch Anwendung auf das explizite Auswendiglernen.
Multi-Layer Kapazität:
- Dimensionalität: Eine Erhöhung der inneren Dimension $d$ verbesserte die Memorierungsleistung signifikant. Eine Dimension von $d=4096$ war erforderlich, um eine hohe Genauigkeit (> 0,97) bei einfachen Sequenzen aufrechtzuerhalten, während $d=8192$ für komplexe Sequenzen mit hohen „Decoy“-Raten (wiederholte Token, die unterschiedliche Kontexte erfordern) notwendig war.
- Schichttiefe: Die Erhöhung der Anzahl der Schichten ( $l$ ) verbesserte die Fähigkeit, längere Sequenzen zu memorieren und komplexe Kontexte zu handhaben. Beispielsweise waren bei 40 Decoys mindestens drei Schichten erforderlich, um eine Speicherkapazität von über 0,88 für 250.000 Sequenzen zu erreichen.
- Generalisierung: Der Multi-Layer-Ansatz konnte die Memorierungskapazität erfolgreich über das hinaus erweitern, was eine einzelne Schicht leisten konnte, wodurch der gestapelte CMM-Ansatz für längere Kontexte validiert wurde.

Bedeutung und Behauptungen

Das Paper behauptet, dass MeMo einen bedeutenden Schritt in Richtung transparenter und editierbarer Sprachmodelle darstellt. Durch die Entkopplung des Auswendiglernens von den opaken Gewichtsupdates standardmäßiger Transformer bietet MeMo:

Kontrolle: Direkte Kontrolle darüber, was memoriert, wie es gespeichert und wie es abgerufen wird.
Sicherheit: Die Fähigkeit, Datenlecks und soziale Biases durch explizite Vergessensmechanismen zu mildern.
Integration: Das Potenzial, traditionelle linguistische Studien und explizite Wissensstrukturen in der Ära großer Sprachmodelle zu nutzen.

Die Autoren räumen Einschränkungen ein und merken an, dass die aktuelle Implementierung Kompatibilitätsprobleme mit dem bestehenden Hugging Face-Ökosystem aufweist, was einen direkten Vergleich mit State-of-the-Art-Transformern unter Verwendung von Standard-Evaluations-Suites verhindert. Sie betonen jedoch, dass dies die demonstrierten Memorierungseigenschaften der Architektur nicht schmälert. Die Arbeit zielt darauf ab, die Kontrolle an Wissensexperten und Linguisten zurückzugeben und einen Weg aufzuzeigen, den Datenhunger von LLMs zu reduzieren, indem Gedächtnismechanismen explizit und handhabbar gemacht werden.