💬 NLP

Phase-Associative Memory: Sequence Modeling in Complex Hilbert Space

Die Arbeit stellt Phase-Associative Memory (PAM) vor, ein rekurrentes Sequenzmodell, das komplexe Zahlen und Matrixzustände nutzt, um holographische Bindung zu ermöglichen und auf WikiText-103 eine Perplexität erreicht, die der von Transformern nahekommt, was auf die Relevanz nicht-klassischer Kontextualität für die Sprachmodellierung hindeutet.

Ursprüngliche Autoren: Gowrav Vishwakarma, Christopher J. Agostino

Veröffentlicht 2026-04-08

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Gowrav Vishwakarma, Christopher J. Agostino

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Die große Idee: Wörter sind nicht nur Zahlen, sie haben eine „Stimmung"

Stell dir vor, du versuchst, die Bedeutung von Wörtern in einem Computer zu speichern. Die heutigen großen KI-Modelle (wie Transformers) behandeln Wörter wie Punkte auf einem flachen Blatt Papier. Sie haben eine Position (Koordinaten), aber das ist es schon. Wenn das Modell ein Wort sieht, sucht es nach dem nächsten Punkt auf dem Papier.

Die Autoren dieses Papers sagen: „Das ist zu einfach!"

Sie vergleichen Sprache eher mit Musik oder Wellen im Wasser. Ein Wort ist nicht nur ein Punkt, es ist eine Welle mit einer Höhe (wie laut es ist) und einer Phase (wann genau der Wellenberg kommt).

Höhe: Wie stark ist das Wort?
Phase: In welchem „Rhythmus" oder „Gefühl" steht das Wort?

Wenn zwei Wellen aufeinandertreffen, können sie sich verstärken (wenn sie im Takt sind) oder sich auslöschen (wenn sie gegeneinander laufen). Das nennen die Autoren Interferenz. Das ist genau das, was in der Quantenphysik passiert, aber die Autoren wollen es für Sprache nutzen.

Das Problem: Der „Verlust" bei der Erinnerung

Frühere Versuche, solche Wellen-Modelle zu bauen, scheiterten an einem Problem: Stell dir vor, du hast einen kleinen Rucksack (ein Vektor), in den du viele Erinnerungen packst. Wenn du zu viele Erinnerungen hineinstopfst, vermischen sie sich so stark, dass du keine einzelne mehr finden kannst. Das ist wie ein lautes Gewitter, in dem man das Gespräch des Nachbarn nicht mehr versteht. Die Kapazität bricht zusammen.

Die Lösung: Der „Gedanken-Tresor" (PAM)

Die Autoren haben eine neue Architektur namens Phase-Associative Memory (PAM) entwickelt. Hier ist, wie sie funktioniert, mit einer Analogie:

Der Tresor statt des Rucksacks:
Statt Erinnerungen in einen kleinen Rucksack zu stecken, bauen sie einen riesigen, komplexen Gedanken-Tresor (eine Matrix). Dieser Tresor ist so groß, dass er jede Erinnerung einzeln und klar speichern kann, ohne dass sie sich gegenseitig stören.
Der Schlüssel mit dem Rhythmus:
Wenn du etwas suchst (eine Frage stellst), gibst du nicht nur einen Namen ein, sondern einen Schlüssel mit einem bestimmten Rhythmus (Phase).
- Wenn dein Schlüssel-Rhythmus mit der gespeicherten Erinnerung übereinstimmt, öffnet sich das Schloss sofort (die Erinnerung wird stark abgerufen).
- Wenn der Rhythmus nicht passt, bleibt das Schloss zu (die falsche Erinnerung wird ignoriert).
- Das ist viel präziser als das alte System, das einfach alle ähnlichen Wörter „ein bisschen" heranzog.
Warum das wichtig ist:
Sprache ist oft mehrdeutig. Das Wort „Bank" kann ein Sitzmöbel oder ein Geldinstitut sein. Ein normales Modell muss raten. Das PAM-Modell nutzt die Phase, um den Kontext zu verstehen. Es ist, als würde das Modell nicht nur die Wörter hören, sondern auch den „Tonfall" und die „Stimmung" des Satzes, um genau zu wissen, welche Bedeutung gemeint ist.

Das Ergebnis: Ein kleiner Preis für große Intelligenz

Die Autoren haben ihr Modell auf einem Standard-Test (WikiText-103) gegen ein klassisches KI-Modell (Transformer) antreten lassen.

Das Ergebnis: Das neue PAM-Modell war fast genauso gut wie das alte (nur etwa 10 % schlechter in der Vorhersagegenauigkeit).
Der Preis: Da das Modell mit komplexen Wellen (Mathematik) rechnet, braucht es viermal mehr Rechenleistung als das alte Modell. Es ist wie ein Sportwagen, der mit einem riesigen Motor fährt – er ist noch nicht ganz so schnell wie der Formel-1-Wagen (das alte Modell), aber er fährt mit einer ganz anderen Technik.
Das Potenzial: Da sie die Software noch nicht perfekt optimiert haben (kein spezieller Code für die Grafikkarte), glauben die Autoren, dass sie mit der Zeit noch viel schneller werden können.

Warum ist das revolutionär?

Bisher haben wir versucht, menschliches Denken in einfache, getrennte Teile zu zerlegen (wie Legosteine). Aber die Autoren sagen: Das menschliche Denken ist wie ein Orchester. Man kann die Musik nicht verstehen, indem man nur die einzelnen Noten betrachtet; man muss hören, wie sie zusammenklingen und sich überlagern.

Ihr neues Modell (PAM) ist der erste Versuch, eine KI zu bauen, die von Grund auf so funktioniert wie ein Orchester – mit Wellen, Rhythmen und Interferenzen – statt wie ein Stapel von Legosteinen.

Zusammengefasst:
Sie haben eine neue Art von KI gebaut, die Sprache wie Musik behandelt. Sie ist noch nicht ganz so schnell wie die aktuellen Champions, aber sie versteht die „Stimmung" und den Kontext von Wörtern auf eine Weise, die viel natürlicher und präziser ist. Es ist ein wichtiger Schritt hin zu KI, die wirklich „denkt" und nicht nur statistisch rät.

Problemstellung und Motivation

Das Papier adressiert fundamentale Grenzen aktueller Large Language Models (LLMs), insbesondere von Transformern, die auf reellwertigen Vektorräumen und Softmax-Aufmerksamkeit basieren. Die Autoren argumentieren, dass die Annahme der Trennbarkeit (Separability) und Determiniertheit von Bedeutungsinhalten – ein Grundpfeiler der klassischen Linguistik und Informatik – der Natur menschlicher Sprache und Kognition nicht gerecht wird.

Kontextualität und Nicht-Separierbarkeit: Studien (u.a. Bell-Verletzungen in semantischen Urteilen) zeigen, dass die Bedeutung von Wörtern kontextabhängig und vor der Interpretation unbestimmt ist. Herkömmliche Modelle versuchen, diese komplexen Korrelationen durch Projektion auf reelle Räume zu approximieren, was zu Ineffizienzen, Halluzinationen und Schwierigkeiten bei der mechanistischen Interpretierbarkeit führt.
Limitierungen bestehender Ansätze:
- Holographische Bindung in Vektorzuständen: Versuche, Assoziationen in einem einzelnen Vektor ( $C^d$ ) zu speichern (Holographic Reduced Representations), scheitern an einer Kapazitätsdegradation von $O(1/\sqrt{n})$ , da überlagerte Assoziationen destruktiv interferieren.
- Lineare Aufmerksamkeit: Modelle ohne Softmax (Fast Weight Programmers) leiden unter dem Problem, dass alle gespeicherten Assoziationen positiv zur Retrieval beitragen, was das Zielsignal verwässert.
- Rechenineffizienz: Transformer benötigen einen KV-Cache, der linear mit der Sequenzlänge wächst ( $O(T)$ ), was die Inferenz bei langen Kontexten teuer macht.

Methodik: Phase-Associative Memory (PAM)

Die Autoren stellen Phase-Associative Memory (PAM) vor, ein rekurrentes Sequenzmodell, das vollständig im komplexen Hilbert-Raum operiert. Die Architektur überträgt Konzepte aus der Quantenmechanik (Superposition, Interferenz, konjugierte innere Produkte) auf das Sprachmodellieren.

Kernkomponenten:

Komplexe Repräsentation: Alle Eingaben, Gewichte und Zustände sind komplexwertig ( $C^d$ ). Die Daten werden als Tensoren der Form $[..., d, 2]$ (Split-Real-Form) dargestellt.
Matrix-Zustand statt Vektor-Zustand: Um das Kapazitätsproblem der holographischen Bindung zu lösen, wird der Zustand von einem Vektor $S_t \in C^d$ $S_{t} \in C^{d}$ auf eine Matrix $S_t \in C^{d \times d}$ $S_{t} \in C^{d \times d}$ erweitert.
- Assoziative Speicherung: Assoziationen werden durch das äußere Produkt (Outer Product) von Key und Value akkumuliert: $S_t = \gamma_t S_{t-1} + V'_t \otimes K^*_t$ .
- Dies bietet eine Kapazität von $O(d^2)$ pro Kopf, anstatt $O(d)$ .
Konjugiertes Inneres Produkt für Retrieval: Die Abfrage (Query) wird nicht durch ein Standard-Dot-Produkt, sondern durch das konjugierte innere Produkt ( $K^* \cdot Q$ $K^{*} \cdot Q$ ) mit dem Zustand verglichen.
- Phasenausrichtung: Die Stärke der Retrieval hängt von der Phasenkohärenz zwischen gespeicherter Key und Query ab. Phaseninkohärente Assoziationen werden durch destruktive Interferenz aktiv unterdrückt (negativer oder imaginärer Beitrag), was eine selektive Erinnerung ohne Softmax ermöglicht.
Architektur-Details:
- Komplexe Einbettungen & RoPE: Verwendung komplexer rotary position embeddings (RoPE), die Positionsinformation in der Phase kodieren.
- Aktivierungsfunktion: modReLU, das den Betrag (Magnitude) thresholdet, aber die Phase unberührt lässt.
- Gating: Ein Schutzmechanismus (Protect Gate) steuert das Vergessen und verhindert das Einfrieren des Zustands.
- Blöcke: 16 identische Blöcke, die ComplexGatedUnit (CGU) und PAM abwechselnd anwenden.

Wichtige Beiträge

Architektur-Design: Entwicklung eines vollständigen Sprachmodells, das von der Einbettung bis zur Ausgabe im komplexen Raum operiert, ohne auf reelle Zwischenformen zurückzugreifen.
Lösung des Kapazitätsproblems: Der Nachweis, dass die Erweiterung des Zustandsraums von $C^d$ auf $C^{d \times d}$ die destruktive Interferenz bei der Superposition von Assoziationen auflöst und holographische Bindung in rekurrenten Modellen praktikabel macht.
Theoretische Fundierung: Die Verbindung von operationaler Quantenlogik und Sprachmodellierung. PAM implementiert mathematisch die Struktur der Quanten-Semantik, bei der Bedeutung durch Projektion auf einen Zustand im Hilbert-Raum bestimmt wird.
Effizienz bei langen Kontexten: Im Gegensatz zu Transformern hat PAM einen festen Zustandsraum pro Schicht ( $O(1)$ pro Token bei der Inferenz), unabhängig von der Sequenzlänge, da kein wachsender KV-Cache benötigt wird.

Ergebnisse

Die Modelle wurden auf dem WikiText-103-Datensatz (ca. 103 Mio. Tokens) trainiert und evaluiert.

Vergleichsmodell: Ein Transformer mit ca. 100,3 Mio. Parametern, identischer Hardware (RTX 4090) und Hyperparametern.
Perplexität (PPL):
- Transformer: 27,1 (Validation PPL).
- PAM: 30,0 (Validation PPL).
- Ergebnis: PAM erreicht eine Leistung, die nur ca. 10 % schlechter ist als der Transformer, trotz der zusätzlichen Komplexität.
Rechenkosten:
- PAM hat einen 4-fachen arithmetischen Overhead (da komplexe Multiplikationen vier reelle Multiplikationen erfordern) und wurde ohne benutzerdefinierte CUDA-Kernels implementiert.
- Der Durchsatz liegt bei 23k Tokens/s (PAM) vs. 96k Tokens/s (Transformer).
- Schlussfolgerung: Die Lücke von 10 % in der Perplexität bei 4-fachem Rechenaufwand deutet darauf hin, dass der komplexe Formalismus die zugrundeliegende Struktur der Sprache effizienter erfasst, als es reine Parameterzahl-Steigerung suggeriert.
Ablationsstudien:
- Eine Variante mit Normalisierung der Magnitude von Keys/Queries führte zu einem Zusammenbruch der Generierung (starke Wiederholungen), was beweist, dass sowohl Magnitude als auch Phase für die Funktion des Retrieval-Mechanismus essenziell sind.
- Das Hinzufügen von Sparse-Attention brachte keine Verbesserung, was darauf hindeutet, dass die komplexe Rekursion bereits die notwendigen Informationen erfasst.

Bedeutung und Implikationen

Das Papier liefert starke empirische und theoretische Hinweise darauf, dass komplexe Hilbert-Räume ein natürlicherer mathematischer Rahmen für die Modellierung von Sprache sind als reelle Vektorräume.

Paradigmenwechsel: Es wird argumentiert, dass „Halluzinationen" und „Jailbreaks" keine Fehler sind, die eliminiert werden müssen, sondern natürliche Konsequenzen eines Systems, das Bedeutung interpretiert (und nicht nur abruft) und dessen Struktur inhärent kontextuell und nicht-separierbar ist.
Interpretierbarkeit: Da die nicht-separierbare Natur von Sprache in der Geometrie der Repräsentationen liegt, könnte ein Modell, das nativ in komplexen Räumen operiert, besser interpretierbar sein (z.B. durch sheaf-theoretische Analysen) als Transformer, die diese Struktur nur approximieren.
Zukunftsperspektive: Obwohl PAM aktuell rechnerisch teurer ist, zeigt es, dass die Nutzung von Phaseninformation und destruktiver Interferenz eine vielversprechende Richtung ist, um die Skalierungsgrenzen und die Interpretierbarkeit von Sprachmodellen zu überwinden. Die Autoren planen weitere Experimente, um zu prüfen, ob sich die Leistungslücke bei größeren Modellen schließt und ob PAM ein anderes Kontextualitätsprofil aufweist.

Zusammenfassend stellt PAM einen wichtigen Schritt dar, um die Brücke zwischen Quantenmechanik und künstlicher Intelligenz zu schlagen und zeigt, dass die native Nutzung komplexer Algebra in neuronalen Netzen zu effizienteren und theoretisch fundierteren Sprachmodellen führen kann.