🤖 machine learning

Complex-Valued Phase-Coherent Transformer

Dit artikel introduceert de Phase-Coherent Transformer (PCT), een nieuwe architectuur die standaard softmax-attention vervangt door een glad, elementonafhankelijk sluitmechanisme op L2-genormaliseerde complexe gelijkenissen om fase-informatie te behouden, waardoor superieure generalisatie en prestaties worden bereikt over diverse langeafstands- en complexewaardige taken in vergelijking met zowel reëelwaardige als bestaande complexewaardige baselines.

Oorspronkelijke auteurs: Leona Hioki

Gepubliceerd 2026-05-12

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Leona Hioki

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een enorme bibliotheek probeert te organiseren waar elk boek een geheime "fase" of verborgen ritme heeft. In de wereld van kunstmatige intelligentie is dit vergelijkbaar met het omgaan met complexe neurale netwerken. Deze netwerken zijn krachtig omdat ze deze extra "fase"-informatie kunnen verwerken (zoals het tijdstip van een geluidsgolf of de richting van een signaal), maar ze hebben moeite gehad om goed te presteren op algemene taken zoals het lezen van tekst of het herkennen van afbeeldingen.

Het hoofdprobleem, volgens dit artikel, is dat de standaardmanier waarop deze netwerken informatie organiseren, lijkt op een competitieve realityshow.

Het Probleem: De "Token-Competitie" Realityshow

In standaard AI-modellen (Transformers) gebruikt het model, wanneer het naar een zin kijkt, een mechanisme genaamd Softmax Attention. Denk hierbij aan een realityshow waarbij alle woorden (tokens) in een zin deelnemers zijn. Ze vechten allemaal om een beperkte hoeveelheid "aandachtmassa" (zoals een prijzenpot). Het model dwingt hen tot competitie zodat de totale aandacht op 100% uitkomt.

Het Probleem: In een complex-waardig netwerk is de "fase" (het verborgen ritme) cruciaal. Als je deze deelnemers tot competitie dwingt, zeg je hen in feite: "Als jij wint, moeten de anderen verliezen." Deze competitie verstoort de delicate fase-relaties. Het is alsof je probeert een groep dansers perfect synchroon te houden terwijl je hen dwingt om met elkaar te vechten om de schijnwerper. Het artikel stelt dat deze "token-competitie" precies de informatie vernietigt die het complexe netwerk nodig heeft om te werken.

De Oplossing: De Fase-Coherente Transformer (PCT)

De auteurs introduceren een nieuw model genaamd de Phase-Coherent Transformer (PCT). In plaats van een realityshow, stel je een samenwerkend orkest voor.

Geen Vechten: In PCT concurreren de woorden niet. Elk woord mag zijn stuk onafhankelijk spelen.
De Zachte Poort: In plaats van een harde competitie gebruikt het model een "zachte poort" (een wiskundige functie genaamd een sigmoid). Denk hierbij aan een volumeknop voor elk woord. Als een woord relevant is, draait de knop omhoog; zo niet, dan draait hij omlaag. Cruciaal is dat het omhoog draaien van de ene knop niet de andere dwingt omlaag te draaien.
Het Ritme Behouden: Omdat de woorden niet vechten, stroomt de verborgen "fase"-informatie door de lagen van het netwerk zonder te worden verstoord. Het is alsof je een stok doorgeeft in een estafettewedstrijd waarbij de loper hem niet laat vallen omdat hij te druk is met duwen tegen de persoon naast hem.

De Experimenten: Het Orkest op de Proef Gesteld

De auteurs testten dit nieuwe "orkest" tegen de oude "realityshow"-modellen in 9 verschillende uitdagingen, variërend van het onthouden van lange reeksen getallen tot het classificeren van afbeeldingen en het decoderen van radiosignalen.

Hier is wat ze vonden, met gebruikmaking van eenvoudige analogieën:

De "Naald in de Hooiberg" Test (NIAH): Stel je een bibliotheek voor met een miljoen boeken, en je moet één specifieke zin vinden die verborgen zit in het midden.
- Oude Complexe Modellen: Faalden volledig (0% succes). Ze verdwaalden in de ruis.
- Oude Real Modellen: Faalden volledig.
- PCT: Vond de naald elke keer (100% succes). Het bewees dat complexe netwerken beter kunnen zijn dan real-waardige netwerken als je ze stopt met vechten.
De "Geheugen Kopiëren" Test: Stel je voor dat je het model vraagt een lange lijst getallen te onthouden en ze later terug te geven.
- Oude Modellen: Naarmate de lijst langer werd, vergaten ze alles.
- PCT: Herinnerde lijsten van 5.000 getallen perfect. Het toonde aan dat zonder de "competitie" het netwerk informatie veel langer kon vasthouden.
De "Diepte" Test: Stel je voor dat je het netwerk steeds dieper stapelt (meer lagen toevoegen).
- Oude Complexe Modellen: Meestal wordt, naarmate je meer lagen toevoegt, het signaal zo luid dat het model crasht (zoals een fluistering die verloren gaat na het passeren van 20 mensen).
- PCT: Werkte perfect, zelfs op 20 lagen diep. Het crashte niet. Het "orkest" bleef synchroon, ongeacht hoeveel muzikanten er werden toegevoegd.
De "Radiosignaal" Test: Ze testten het model op echte radiogegevens (complexe signalen).
- Resultaat: PCT presteerde zeer goed en sloeg de oude complexe modellen. Interessant genoeg was een ander "niet-competitief" real-waardig model (genaamd real_screen) op deze specifieke taak iets beter, wat suggereert dat hoewel PCT een enorme stap voorwaarts is, er nog ruimte is voor afstemming in specifieke fysieke domeinen.

Het "Waarom" Achter de Magie

Het artikel gaat diep in op waarom PCT werkt en identificeert twee gouden regels:

Geen Token-Competitie: Dwang de datapunten niet om te vechten om aandacht.
Fasebehoud: Verwijder niet de "negatieve" of "anti-fase" delen van het signaal.

Ze testten dit door de regels expres te breken:

Als ze een poort gebruikten die negatieve signalen verwijderde (zoals een "ReLU"-poort), stortte het model in en faalde het volledig.
Als ze een poort gebruikten die te wild en onbegrensd was, had het model moeite.
Maar als ze de poort zacht en niet-competitief hielden (zoals PCT), gedijde het model.

De Conclusie

Dit artikel beweert dat de reden waarom complexe-waardige AI tot nu toe geen "algemeen doel" hulpmiddel is geweest, ligt in het feit dat we probeerden het te laten spelen volgens regels die zijn ontworpen voor eenvoudige, real-waardige AI (de "competitie"-regels).

Door over te stappen op een Phase-Coherent Transformer, die informatie laat stromen zonder gedwongen competitie, kunnen complexe netwerken eindelijk generaliseren. Ze kunnen lange geheugens, diepe redeneringen en complexe signalen net zo goed, en soms beter, aan als traditionele modellen. De auteurs concluderen dat deze "niet-competitieve" aanpak de sleutel is tot het ontsluiten van het ware potentieel van complexe AI.

Technische Samenvatting: De Fase-Coherente Transformer (PCT)

1. Probleemstelling

Complexe neurale netwerken (CvNN's) zijn historisch beperkt gebleven tot domeinen voor signaalverwerking (bijv. MRI, draadloze communicatie) waar fase-informatie inherent is. Hun adoptie als algemeen doelgerichte architecturen voor tekst, visie en redeneren is beperkt. Het artikel identificeert een specifiek architectonisch knelpunt: bestaande complexe Transformers erven grotendeels het softmax-attentiemechanisme over van reële architecturen.

De auteurs betogen dat softmax-attentie steunt op rij-genormaliseerde tokenconcurrentie, waarbij de attentiewaarden binnen een rij optellen tot één. Deze structuur is fundamenteel niet in overeenstemming met complexe berekening, die de behoud van fase-informatie over lagen vereist. De "tokenconcurrentie" die door softmax wordt afgedwongen, introduceert een koppeling die fase-superpositie verstoort, wat leidt tot een "complexe straf" waarbij standaard complexe Transformers onderpresteren ten opzichte van hun reële tegenhangers, met name bij taken met lange-afstandsafhankelijkheden.

2. Methodologie: De Fase-Coherente Transformer (PCT)

Om dit aan te pakken, stelt het artikel de Fase-Coherente Transformer (PCT) voor, een nieuw attentieprimitief ontworpen om fasecoherentie over lagen te behouden.

Kernmechanisme

PCT vervangt de rij-genormaliseerde softmax door een token-niet-concurrerend attentiemechanisme:

Substraat: Het maakt gebruik van native complexe lineaire projecties voor Query ( $Q$ ), Key ( $K$ ) en Value ( $V$ ).
Normalisatie: Queries en Keys worden L2-genormaliseerd ( $\bar{q}, \bar{k}$ ).
Scoren: De attentiescore wordt afgeleid uit het reële deel van het inproduct van genormaliseerde vectoren: $s_{ij} = \text{Re}\langle \bar{q}_i, \bar{k}_j \rangle \cdot \sqrt{d}$ .
Gating: In plaats van softmax, past PCT een reële, elementonafhankelijke, gladde poort toe op de score. Het primaire voorbeeld maakt gebruik van een sigmoid-functie met een leerbare bias geïnitieerd op $-\log N$ :
$\alpha_{ij} = \sigma(s_{ij} + b)$
Aggregatie: De output wordt berekend als een gewogen som van complexe waarden: $\text{out}_i = W_o \sum_{j} \alpha_{ij} v_j$ .

Cruciaal is dat er geen rijnormalisatie is. Dit staat tokens toe om onafhankelijk te attenderen, waardoor de fase-superpositie van complexe waarden behouden blijft zonder de destructieve interferentie die wordt veroorzaakt door de concurrerende normalisatie van softmax.

Theoretisch Kader: Twee-Niveau Fasecoherentie

Het artikel formaliseert het succes van PCT via een "twee-niveau fasecoherentie"-kader dat wordt gedefinieerd door vier voorwaarden voor de poortfunctie $f$ :

C1: De poortoutput is reëel.
C2: De poort is begrensd binnen het operationele bereik.
C3: De poort is glad met een niet-nul gradiënt (behoud van anti-fase componenten).
C4: De poort is elementonafhankelijk (geen rijkoppeling).

Niveau 1 (L1) Coherentie: Voldaan door C1 en C4, waardoor per-laag fase-relaties behouden blijven (geen tokenkoppeling).
Niveau 2 (L2) Coherentie: Voldaan door L1, C2 en C3, waardoor wordt gegarandeerd dat fase-ruis niet exponentieel accumuleert over een diepe stapel. Het artikel bewijst dat het schenden van C3 (bijv. door ReLU te gebruiken) leidt tot catastrofale cascade-falen, terwijl het schenden van C2 (bijv. onbegrensde poorten) leidt tot gedeeltelijke degradatie.

3. Experimentele Opzet

De auteurs voerden een systematische 6-cel vergelijking uit over 9 middengrote benchmarks, waarbij ze parameterfairness waarborgden ( $\text{real\_dim} = \text{complex\_dim} \times 1.41$ ).

De 6 Cellen:

real_softmax: Standaard Transformer-baseline.
real_sigmoid: Reële sigmoid-attentie.
real_screen: Reële screening-attentie (Nakanishi 2026).
complex_softmax: Standaard complexe Transformer (softmax van de magnitude).
complex_screen: Een complexe variant met een hard-drempel poort (gedeeltelijke C3-schending).
PCT (complex_sigmoid): De voorgestelde architectuur.

Benchmarks:

Synthetisch/Algoritmisch: Copy Memory (kort/langetermijn), Needle In A Haystack (NIAH), LRA-ListOps, FFT-MNIST, Phase-Memory, Multi-Pitch.
Wereldwereld: RadioML (modulatieclassificatie), MusicNet.
Diepteschaal: Tests van diepte 2 tot 20.

4. Belangrijkste Resultaten

Generalisatie en Prestaties

Superioriteit ten opzichte van Standaard Complex: PCT presteert consistent beter dan complex_softmax over alle taken. Bij Copy-taken met lange afstand stort complex_softmax in tot willekeurig niveau, terwijl PCT een nauwkeurigheid van 1.000 bereikt.
Superioriteit ten opzichte van Reële Baselines: Onder parameter-faire omstandigheden presteert PCT beter dan real_softmax op elke geteste taak, inclusief ophaaltaken op lange afstand en algoritmisch redeneren.
Concurrentie met Sterkste Reële Baselines: PCT komt overeen met of overtreft real_screen (de sterkste niet-softmax reële baseline) op synthetische en algoritmische taken. Bij de fysieke complexe domeintaak (RadioML) heeft real_screen PCT net iets voor, maar PCT presteert nog steeds significant beter dan complex_softmax.

Specifieke Taakbevindingen

NIAH (Needle In A Haystack): PCT bereikt een nauwkeurigheid van 1.000 op NIAH (L=2048), een taak waarbij complexe Q/K geen inductief voordeel bieden (puur positioneel). Dit tegenspreekt het idee dat complexe netwerken inherent zwak zijn op dergelijke taken; het falen was te wijten aan het attentiemechanisme, niet aan het substraat.
Robuustheid op Lange Afstand: PCT is uniek robuust tegen hyperparametervariaties (leersnelheid en batchgrootte) bij Copy-taken op lange afstand, waarbij het een nauwkeurigheid van 1.000 behoudt over een breed venster waar andere cellen falen.
Diepteschaal: PCT vertoont geen diepte-gerelateerde nauwkeurigheidsinstorting over dieptes 2 tot 20. De nauwkeurigheid blijft stabiel, wat een langdurige zorg over fase-ruisaccumulatie in diepe complexe netwerken aanpakt.

Ablatie en Isolatie

Poortschendingen: Experimenten met poorten die PCT-voorwaarden bewust schenden, bevestigen het theoretische kader:
- C3-schending (Anti-fase verwijdering): Poorten zoals ReLU of Clamped ReLU veroorzaken onmiddellijke instorting tot willekeurig niveau bij taken op lange afstand, ongeacht de diepte.
- C2-schending (Onbegrensheid): Poorten zoals Cubic (onbegrensd in het operationele bereik) veroorzaken significante prestatiedegradatie (bijv. dalen van 1.000 naar 0.200 bij Copy-taken), maar veroorzaken geen totale instorting als C3 intact is.
Substraatrobustheid: Het complexe substraat is noodzakelijk, maar geen enkel component (Q, K, V of Output) is onherleidbaar verantwoordelijk; de architectuur is robuust voor parametrisatiekeuzes zolang de complexe aard behouden blijft.

5. Betekenis en Claims

Het artikel stelt dat de introductie van token-niet-concurrerend attentie en meerdere-laag fasebehoud complexe neurale netwerken in staat stelt om te generaliseren buiten hun traditionele signaalverwerkingsdomeinen.

Architectonisch Principe: De primaire bijdrage is de identificatie dat softmax structureel incompatibel is met fasebehoudende complexe berekening. De "tokenconcurrentie" die inherent is aan softmax, is een onnodige beperking die fasecoherentie breekt.
Ontwerprichtlijn: Het artikel stelt een "closeness-to-PCT"-taxonomie vast. Architecturen die voldoen aan de C1–C4-voorwaarden (of gedeeltelijke/omzeilde schendingen hebben) generaliseren goed, terwijl die met strikte schendingen (zoals ReLU of Softmax) falen.
Bescheiden Scope: De auteurs stellen expliciet dat hoewel PCT sterke generalisatie demonstreert op de geteste benchmarks, ze geen kwantitatieve schaalwet (bijv. Chinchilla-stijl) voor diepte claimen. De claim is kwalitatief: PCT elimineert de diepte-instortingsfaalmodus die eerder werd waargenomen in complexe netwerken.
Open Vraag: Het artikel merkt een anomalie op waarbij real_screen PCT overtreft bij de RadioML-taak, en markeert dit als een open vraag met betrekking tot de specifieke mechanismen van fysieke complexe-domein data, hoewel dit de kernclaim tegen softmax niet ongeldig maakt.

Kortom, het artikel betoogt dat voor complexe Transformers de sleutel tot generalisatie niet alleen het overbrengen van reële componenten naar complexe ruimte is, maar het herontwerpen van het attentieprimitief om te voldoen aan de structurele vereisten van fasecoherentie.