Language as a Wave Phenomenon: Semantic Phase Locking and Interference in Neural Networks

Probleemstelling

In standaard Transformer-architecturen wordt semantische belangrijkheid vaak weergegeven door de grootte (magnitude) van activaties: relevante kenmerken worden onderscheiden van ruis door versterking van hun amplitude. Dit maakt het moeilijk om te bepalen of een geleerde representatie structurele relevantie reflecteert of slechts hoge statistische frequentie.

De centrale vraag van dit onderzoek is: Wat kan fase (phase) alleen coderen als magnitude als informatiekanaal wordt verwijderd? Hoewel complexwaardige neurale netwerken bestaan, vertrouwen ze in de praktijk vaak nog steeds op magnitude-gebaseerde heuristieken tijdens training, waardoor de rol van fase onderbelicht blijft.

Methodologie: Het PRISM-Model

Om deze vraag te isoleren, introduceren de auteurs PRISM (Phase-Rotating Interference Spectral Model), een complexwaardige encoder met de volgende kernkenmerken:

1. Unit-Norm Constraint ($|z| = 1$): De auteurs dwingen een eenheidsnorm-constraint af op de representaties. Hierdoor is de grootte van het signaal constant en kan het model informatie uitsluitend coderen via de fasehoek ($\theta$). Dit elimineert magnitude als variabele.
2. Gated Spectral Filtering i.p.v. Attention: In plaats van de kwadratische $O(N^2)$-complexiteit van attention-mechanismen, vervangt PRISM attention door gegateerde spectrale filtering in het frequentiedomein. Dit gebeurt via FFT (Fast Fourier Transform) en leertbare filters.
3. Rotary Semantic Embeddings (RoSE): Om positie en semantiek in dezelfde fase-ruimte te coderen, gebruiken ze een rotatie-benadering waarbij token-embeddings worden vermenigvuldigd met een positie-afhankelijke fase ($e^{i\omega t}$).
4. Fase-bewarende Componenten:
   • ModReLU: Een niet-lineariteit die de grootte rectificeert maar de fasehoek behoudt.
   • Fase-bewarende Dropout: Drop-out wordt toegepast op het volledige complexe feature (zowel reëel als imaginair) om fasecoherentie te behouden.
   • Fase-bewarende Layer Normalization: Normaliseert de grootte zonder de hoekstructuur te vervormen.

Belangrijkste Bijdragen en Experimenten

De auteurs testen drie hypothesen over fase-gebaseerde codering:

1. Fasecoherentie reflecteert semantische relaties:

   • Synoniemen en antoniemen vertonen een significant hogere fasecoherentie dan willekeurige woordparen.
   • Resultaat: Synoniemen hebben een gemiddelde coherentie $R = 0.198$, antoniemen $R = 0.133$, en willekeurige paren $R = 0.072$ (p < 0.001). Dit suggereert dat fase relaties (deel van hetzelfde domein) codeert, niet noodzakelijk identieke betekenis.

2. Oplossing van ambiguïteit via fase-rotatie:

   • Polyseme woorden (woorden met meerdere betekenissen, zoals "bank") worden opgelost door de fasehoek te draaien naar een context-appropriete regio, zonder dat de signaalversterking (gain) toeneemt.
   • Resultaat: De signaalgain blijft dicht bij 1.0, terwijl de fase-rotatie ($\Delta\theta$) voor ambigu woorden significant groter is dan voor eenduidige woorden, vooral in diepere lagen.

3. Spectrale dichtheid drempel:

   • Het model faalt bij zeer korte sequenties (L=1 of L=2). Een enkel token produceert slechts een DC-component onder FFT; er is onvoldoende spectrale resolutie voor interferentiepatronen om te werken.
   • Conclusie: Fase-gebaseerde berekening vereist een minimale sequentielengte om coherent output te genereren.

Resultaten

De prestaties zijn getest op twee taken: WMT14 (De-En vertaling) en WikiText-103 (Masked Language Modeling).

• WMT14 (Vertaling):

  • PRISM bereikt een COMET-score van 0.799, wat iets lager is dan de Transformer-baseline (0.821) en FNet (0.805), maar dit wordt gedaan met minder parameters in de encoder (13.0M vs 18.9M bij de Transformer).
  • Het model is robuust tegen scalare verzwakking: bij een uniforme vermindering van de signaalgrootte met factor 0.74, blijft 97% van de vertaalkwaliteit behouden, wat bevestigt dat de informatie in de hoekstructuur zit.

• WikiText-103 (MLM):

  • De auteurs introduceren een hybride architectuur, de Wave-Particle Transformer (WPT), die een PRISM-encoder (voor globale structuur via fase) combineert met een standaard Transformer-encoder (voor lokale interacties via magnitude en attention).
  • Bij 33M parameters behaalt de WPT een perplexiteit van 4.94, wat beter is dan de standaard Transformer-baseline (5.28) en FNet-hybride (9.87).
  • De WPT gebruikt 18% minder niet-embeddings parameters dan de baseline, wat aantoont dat fase-gebaseerde filtering efficiënter kan zijn voor het modelleren van lange-afstandsafhankelijkheden.

• Vergelijking met FNet:

  • FNet (reëelwaardig) is beperkt tot fasen van $\{0, \pi\}$ (teken-gebaseerd). PRISM gebruikt het volledige complexe vlak, waardoor het fijner afgestemde semantische verschillen kan coderen via continue faseverschuivingen.

Betekenis en Conclusie

Dit werk biedt gecontroleerd bewijs dat fasehoeken in complexwaardige netwerken semantische informatie kunnen coderen.

• Fundamenteel inzicht: Semantische relaties en het oplossen van ambiguïteit kunnen plaatsvinden via rotatie in de fase-ruimte, zonder afhankelijkheid van amplitude-versterking.
• Beperkingen: De inductieve bias van PRISM (vastgrootte, frequentiedomein) is niet ideaal voor taal op grote schaal, maar werkt goed op kleine tot middelgrote schaal (tot ~128M parameters). De prestaties generaliseren mogelijk niet direct naar zeer grote modellen zonder aanpassingen.
• Toekomstige toepassingen: De auteurs suggereren dat deze architectuur beter geschikt is voor domeinen met intrinsieke frequentie-inhoud, zoals tijdreeksvoorspelling en telecommunicatie (I/Q-signalen), waar fase-codering fysiek natuurlijk is.

Samenvattend demonstreert dit paper dat taal als een golfverschijnsel kan worden benaderd, waarbij interferentiepatronen en fase-locking cruciale rollen spelen in semantische representatie, mits aan specifieke voorwaarden (zoals minimale sequentielengte en voldoende dimensie) wordt voldaan.