💬 NLP

Phase-Associative Memory: Sequence Modeling in Complex Hilbert Space

Dit paper introduceert Phase-Associative Memory (PAM), een recurrente sequentiemodel met complexe getallen en een matrixtoestand die, ondanks een hogere rekenkosten, een concurrerende prestatie bereikt op WikiText-103 en suggereert dat niet-klassieke contextuele interpretatie een geschikte basis kan zijn voor taalmodellen.

Oorspronkelijke auteurs: Gowrav Vishwakarma, Christopher J. Agostino

Gepubliceerd 2026-04-08

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Gowrav Vishwakarma, Christopher J. Agostino

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Probleem: De "Vaste" Woordenboeken

Stel je voor dat je een taalmodel bouwt als een gigantisch, digitaal woordenboek. De huidige modellen (zoals Transformers) werken als een zeer slimme, maar statische bibliotheek. Als je een woord opzoekt, kijken ze naar de betekenis van dat woord alsof het een vast punt op een kaart is.

Het probleem is dat taal niet statisch is. De betekenis van een woord verandert afhankelijk van de context.

"Bank" kan een zitmeubel zijn of een geldinstelling.
In een zin over "de bank" in de tuin, is het meubel. In een zin over "de bank" in de stad, is het geld.

Huidige modellen proberen dit op te lossen door enorme hoeveelheden rekenkracht te gebruiken om te raden welke betekenis je bedoelt. Maar ze doen dit alsof ze proberen een complexe, driedimensionale dans te beschrijven met alleen een platte, tweedimensionale tekening. Ze missen de diepte en de "flow" van de betekenis.

De Oplossing: PAM (De Dansende Golf)

De auteurs van dit paper, Gowrav Vishwakarma en Christopher Agostino, hebben een nieuw type model bedacht: Phase-Associative Memory (PAM).

In plaats van te werken met vaste punten op een platte kaart, werken ze met golven in een complexe ruimte.

De Vergelijking: De Orkestzaal
Stel je voor dat je een orkest hebt.

Huidige modellen (Transformers): Kijken naar de noten op het papier. Ze weten dat een viool een hoge toon maakt en een cello een lage. Ze proberen de muziek te reconstrueren door alle noten apart te bekijken en ze dan samen te voegen.
PAM (Het nieuwe model): Luistert naar de golven van de geluiden. In de natuurkunde (en quantummechanica) hebben golven niet alleen een sterkte (hoe hard het klinkt), maar ook een fase (wanneer de golf piekt ten opzichte van de andere).

Als twee golven precies op hetzelfde moment pieken, versterken ze elkaar (ze worden luider). Als ze tegenovergesteld zijn, doven ze elkaar uit (stilte). PAM maakt gebruik van dit principe.

Hoe werkt het? (De Magie van de Fase)

Complex Getallen: PAM gebruikt wiskundige getallen die niet alleen een grootte hebben, maar ook een "richting" of fase (zoals een kompasnaald).
Associaties: Wanneer het model een zin leest, slaat het niet alleen de woorden op, maar ook hoe ze met elkaar "in fase" zijn.
Het Ophalen van Informatie: Als je een vraag stelt (een "query"), zoekt PAM niet naar een woord dat het dichtst bij staat. Het zoekt naar een woord dat in harmonie is met je vraag.
- Als de "fase" van het opgeslagen woord overeenkomt met je vraag, klinkt het antwoord helder.
- Als de fase niet overeenkomt, dooft het antwoord uit (alsof ruis wordt geëlimineerd).

Dit is alsof je in een drukke feestzaal probeert iemand te horen. Een oud model probeert elke stem apart te analyseren. PAM luistert naar de resonantie; het hoort de stem die perfect in het ritme van jouw gesprek past en negeert de rest als ruis.

Waarom is dit belangrijk?

De auteurs tonen aan dat taal en betekenis eigenlijk meer lijken op quantummechanica dan op klassieke fysica.

Context is koning: De betekenis van iets is pas vastgelegd op het moment dat je er naar kijkt (net als in de quantumwereld waar een deeltje pas een positie heeft als je het meet).
Geen Hallucinaties? Omdat PAM werkt met deze "fase-synchronisatie", is het beter in het onderscheiden van wat relevant is en wat niet. Het maakt minder fouten (hallucinaties) omdat het de context beter "voelt" dan dat het het "rekent".

De Resultaten: Slim, maar nog niet perfect

Het team heeft PAM getest op een grote dataset (WikiText-103).

De Prestatie: Het model deed het bijna even goed als de beste huidige modellen (de Transformers), hoewel het veel zwaarder rekenwerk moet doen (4 keer zo zwaar).
De Kosten: Omdat het met complexe golven werkt, is het momenteel nog niet zo snel als de huidige modellen. Het is alsof je een Ferrari bouwt die 4 keer meer benzine verbruikt, maar net zo snel rijdt.
De Belofte: De auteurs zeggen: "Wacht maar." Als ze de software optimaliseren, zal dit model waarschijnlijk veel efficiënter en slimmer zijn, omdat het de structuur van taal op een natuurlijker manier nabootst.

Samenvatting in één zin

PAM is een nieuw type taalmodel dat taal niet ziet als een lijst met vaste definities, maar als een dansende symfonie van golven, waarbij de "timing" (fase) van de woorden bepaalt wat er echt wordt bedoeld, net zoals in de quantumwereld.

Het is een eerste stap naar een manier van denken over kunstmatige intelligentie die dichter bij hoe ons eigen brein (en de natuur) werkt, in plaats van hoe we computers tot nu toe hebben gebouwd.

Probleemstelling en Context

Het artikel begint met een fundamentele kritiek op de huidige dominantie van real-waardige vectorruimtes in taalmodellen (zoals Transformers). De auteurs betogen dat de aanname van "separabiliteit" (dat betekeniscomponenten onafhankelijk van elkaar en de context kunnen worden geanalyseerd) onvoldoende is voor het modelleren van menselijke taal.

Kwantum-semantiek: Er is empirisch bewijs (o.a. Bell-testen en schuiftheoretische analyses) dat semantische interpretatie in zowel mensen als grote taalmodellen (LLM's) niet-klassieke contextualiteit vertoont. Betekenis is niet vastgesteld voordat interpretatie plaatsvindt; het is afhankelijk van de context.
Beperkingen van huidige modellen:
- Hallucinaties en Prompt-injectie: Deze worden gezien als natuurlijke gevolgen van systemen die proberen betekenis op te halen uit een niet-ontvouwbaar semantisch veld, in plaats van het te interpreteren.
- Interpreteerbaarheid: Pogingen om neurale netwerken te ontleden in losse, betekenisvolle componenten (bijv. via sparse autoencoders) falen structureel, wat suggereert dat de representaties fundamenteel niet-scheidbaar zijn.
- Vector-state beperkingen: Eerdere pogingen om associaties in een enkel vector (Cd) te bundelen via holografische binding leiden tot destructieve interferentie en een capaciteitsdegradatie van $O(1/\sqrt{n})$ .

De kernvraag is: Kan een model dat natuurlijk werkt in een complexe Hilbertruimte (waar fase en interferentie intrinsiek zijn), deze semantische complexiteit efficiënter modelleren dan real-waardige systemen die deze structuur slechts benaderen?

Methodologie: Phase-Associative Memory (PAM)

De auteurs introduceren Phase-Associative Memory (PAM), een recurrent sequence model dat volledig opereert in complexe getallenruimte ( $\mathbb{C}^{d}$ ).

1. Architectuur en Kerncomponenten:

Complexe Representaties: Alle embeddings, keys, values en queries zijn complex-waardig.
Matrix State ( $S_t$ ): In plaats van associaties in een vector te superponeren (wat leidt tot interferentie), accumuleert PAM associaties in een complexe matrix $S_t \in \mathbb{C}^{d \times d}$ . Dit verhoogt de associatieve capaciteit van $O(d)$ naar $O(d^2)$ per head, wat de destructieve interferentie van superpositie oplost.
Retrieval Mechanisme: Retrieval gebeurt via het geconjugeerde inwendig product ( $K^* \cdot Q$ $K^{*} \cdot Q$ ).
- In tegenstelling tot de standaard dot-product (die altijd positief bijdraagt), kan het complexe product negatief of imaginair zijn.
- Associaties met een fase die niet overeenkomt met de query (phase-incoherent) worden actief onderdrukt door destructieve interferentie, in plaats van alleen af te zwakken.
Complex Rotary Position Embeddings (RoPE): Posities worden gecodeerd in de fase van de complexe getallen, wat relatieve posities behoudt zonder de magnitude te veranderen.
Complex Gated Unit (CGU): Een gating-mechanisme dat magnitude en fase apart reguleert. De activatiefunctie is modReLU, die de magnitude thresholdt maar de fase intact laat.

2. Berekening:

Training: De recurrente relatie wordt parallel geïmplementeerd via een decay-matrix in $O(T^2)$ tijd.
Inferentie: Het model heeft een vaste staatsgrootte ( $H \times d^2$ ) die niet groeit met de sequentielengte, wat resulteert in $O(1)$ kosten per token (geen groeiende KV-cache zoals bij Transformers).

Belangrijkste Bijdragen

PAM Architectuur: Het eerste complete taalmodel dat van embedding tot output volledig in complexe Hilbertruimte werkt, met een matrix-state voor associatieve geheugenopslag.
Oplossing voor Superpositie: Het aantonen dat het upgraden van de staat van een vector ( $\mathbb{C}^d$ ) naar een matrix ( $\mathbb{C}^{d \times d}$ ) de capaciteitsproblemen van holografische binding oplost.
Fase als Essentieel Element: Het bewijs dat zowel magnitude als fase vrij moeten variëren voor effectieve retrieval; normalisatie naar eenheidsmagnitude leidt tot generatief falen (herhaling).
Theoretische Koppeling: Het verbinden van operationele kwantumlogica (niet-Booleaanse algebra) met taalmodelleren, waarbij het model de wiskundige structuur van kwantummeting (projectie via geconjugeerd inwendig product) direct implementeert.

Resultaten

Het model is getraind op WikiText-103 (ongeveer 103 miljoen tokens) met ongeveer 100M parameters.

Prestatie: PAM bereikte een validatie perplexity van 30.0.
Vergelijking: Een gematchte Transformer (zelfde parameters, dataset, hardware en trainingstijd) bereikte een perplexity van 27.1.
- Het verschil is ongeveer 10%, wat opmerkelijk is gezien de extra complexiteit.
Efficiëntie:
- PAM had een 4x hoger rekenkundig overhead (door complexe vermenigvuldigingen) en gebruikte geen aangepaste CUDA-kernen.
- Doorvoersnelheid (throughput): PAM haalde ~23k tokens/sec, de Transformer ~96k tokens/sec.
- Conclusie: De prestatie-kloof is klein in verhouding tot de rekenkosten. Het complexe formalisme lijkt de semantische structuur zeer efficiënt te vangen.
Inferentievoordeel: PAM heeft een vaste geheugengrootte per laag (ong. 49.152 floats), terwijl de Transformer's KV-cache lineair groeit met de contextlengte. Bij lange contexten wordt PAM theoretisch veel efficiënter.

Betekenis en Conclusie

Het artikel concludeert dat de prestaties van PAM consistent zijn met het idee dat taal en betekenis fundamenteel niet-klassiek en contextueel zijn.

Formalisme: Het gebruik van complexe Hilbertruimtes is niet slechts een technische truc, maar een natuurlijke wiskundige taal voor systemen waar betekenis onbepaald is tot interpretatie.
Toekomst: Hoewel PAM op dit moment iets minder goed presteert dan een Transformer (in termen van pure perplexity), biedt het een fundamenteel ander pad. Het suggereert dat hallucinaties en interpretatieproblemen in huidige modellen mogelijk voortkomen uit het forceren van een niet-klassieke realiteit in een real-waardige, separabele ruimte.
Volgende stappen: De auteurs onderzoeken of PAM's representaties beter interpreteerbaar zijn via schuiftheorie (sheaf theory) en of het model een ander "contextualiteit-profiel" vertoont dan Transformers bij CHSH-testen.

Samenvattend biedt PAM een bewijs van concept dat taalmodellen die native werken met fase en interferentie in complexe ruimtes, competitief kunnen zijn met gevestigde architecturen, terwijl ze een theoretisch robuustere basis bieden voor het modelleren van menselijke semantiek.