Technische Samenvatting: Beyond Sinusoids: Een Morlet Wavelet Framework voor Transformer Positional Encoding

1. Probleemstelling

Standaard positionele encodings voor Transformers, specifiek sinusvormige (sin/cos) en Rotary Position Embedding (ROPE), behandelen elke positie als even lokaal. Hoewel ze coderen waar een token zich bevindt, falen ze in het coderen van hoe ver de positionele invloed van een token moet reiken.

• Sinusvormige PE: Gebruikt vaste frequenties met een uniforme amplitude over alle posities.
• ROPE: Codeert relatieve positie als een rotatie in de complexe ruimte, maar behoudt een constante amplitude-envelope (alle posities zijn even aanwezig).
• Theoretische Kloof: Deze methoden missen een verenigend wiskundig kader. Bovendien gaan ze uit van stationaire signalen (oneindige positie-onzekerheid), wat suboptimaal is voor taal, een niet-stationair signaal waarbij de distributie van karakters en syntactische structuren varieert met de positie.

2. Methodologie: Morlet Positional Encoding (MOPE)

De auteurs stellen Morlet Positional Encoding (MOPE) voor, die de complexe Morlet-wavelet gebruikt als de natuurlijke basis voor positionele encoding. De Morlet-wavelet minimaliseert simultaan de onzekerheid in zowel positie als frequentie, in overeenstemming met het Heisenberg onzekerheidsprincipe.

2.1 Definitie

Voor een token op positie $b$ en embedding dimensie $i$ is MOPE gedefinieerd als:
$$\text{MOPE}(b, i) = e^{i\omega_i b} \cdot e^{-b^2/2\sigma_i^2}$$
Deze formulering introduceert twee leerbare parameters per dimensie:

1. Centrale Frequentie ($\omega_i$): Bepaalt de oscillatiesnelheid (fase).
2. Bandbreedte ($\sigma_i$): Bepaalt de Gaussische lokaliteit-envelope (amplitude-afname).

2.2 Geometrische Interpretatie

• Fase: Het fasecomponent $\omega_i b$ is identiek aan de rotatiehoek in ROPE. Het codeert de relatieve positie binnen de oscillatiecyclus.
• Amplitude: De term $e^{-b^2/2\sigma_i^2}$ fungeert als een Gaussische envelope gecentreerd rond de sequentie-oorsprong ($b=0$). In tegenstelling tot standaard encodings waar de amplitude vast staat op 1 (wat impliceert dat $\sigma_i \to \infty$), leert MOPE een eindige $\sigma_i$, waardoor het positionele signaal afneemt naarmate de afstand tot het begin van de sequentie groter wordt.
• Onzekerheid-trade-off: MOPE leert de optimale balans tussen positie-onzekerheid ($\Delta b_i = \sigma_i$) en frequentie-onzekerheid ($\Delta \omega_i = 1/\sigma_i$), waarbij voldaan wordt aan de grenswaarde $\Delta b_i \cdot \Delta \omega_i \geq 1/2$.

2.3 Unificatie van Bestaande Methoden

Het paper bewijst dat standaard encodings beperkte gevallen zijn van MOPE:

• Sinusvormige PE: Ontstaat wanneer $\sigma_i \to \infty$ (oneindige lokaliteit, geen afname).
• ROPE: Ontstaat wanneer $\sigma_i \to \infty$. De MOPE cross-correlatie kern herstelt de ROPE attention score exact in deze limiet, gemoduleerd door een geleerde Gaussische lokaliteit kern in het algemene geval.
• ALiBi: Conceptueel analoog als een zero-frequency lokaliteitslimiet (exponentiële afname zonder oscillatie).

3. Belangrijkste Bijdragen

1. Theoretische Unificatie: Gedemonstreerd dat sin/cos PE en ROPE degeneratieve gevallen zijn van MOPE (waarbij lokaliteit is uitgeschakeld).
2. Fase-equivalentie: Vastgesteld dat het MOPE faseverschil wiskundig identiek is aan de ROPI rotatiehoek. Het primaire verschil is de toevoeging van een geleerde Gaussische lokaliteit kern in MOPE.
3. Empirische Combinatie: MOPE gecombineerd met Energy-Gated Attention (EGA). Het resulterende model (EGA-MORLET) behaalde een verbetering van +0.119 in validatie-perplexiteit ten opzichte van standaard attention op de TinyShakespeare dataset, waarmee het beide componenten wanneer ze geïsoleerd worden gebruikt, overtrof.
4. Parameteranalyse: Geanalyseerd dat alle 128 frequentie-bandbreedte paren exact convergeren naar de wavelet admissibility boundary ($\omega_i \sigma_i = 5$).

4. Experimentele Resultaten

Experimenten werden uitgevoerd op een character-level TinyShakespeare dataset met een contextlengte van $T=256$ met behulp van een 6-laagse, 8-head Transformer architectuur.

• Prestaties:

  • EGA-MORLET: 1.3550 Val Perplexity (+0.119 t.o.v. baseline).
  • EGA-1 (Baseline): 1.3821 (+0.092).
  • ROPE: 1.4637 (+0.011).
  • Sin/Cos: 1.5863 (-0.112).
  • MOPE Alleen: 1.5060 (-0.032).
  • Noot: MOPE alleen presteerde slechter dan de geleerde embedding baseline, waarschijnlijk door de beperkte capaciteit van het kleine model (512 parameters voor PE versus 65.536 voor een lookup table) en de structurele bias van de oorsprong-gecentreerde Gaussische verdeling. Echter, wanneer gecombineerd met EGA, was de synergie significant.

• Geleerde Parameters:

  • Admissibility Boundary: Alle 128 dimensies convergeerden exact naar $\omega_i \sigma_i = 5.000$. De optimizer duwde de parameters consistent richting deze grens, wat suggereert dat er een voorkeur is voor sterkere lokaliteit en lagere frequenties dan de restrictie toestaat.
  • Schaalconcentratie: Geleerde bandbreedtes ($\sigma_i$) varieerden van 1.49 tot 4.50 tokens. Dit geeft aan dat het model alle positionele capaciteit concentreerde op de karakter-naar-woord schaal, in plaats van bredere schalen te bestrijken (zinnen, clausules), wat verwacht zou worden bij langere contexten.
  • Frequentiecompressie: Geleerde frequenties werden gecomprimeerd in een smalle band ($\omega_i \in [1.11, 3.35]$), ver boven de initiële dyadische range.

5. Betekenis en Claims

Het paper claimt het eerste verenigende wiskundige kader te bieden voor oscillerende positionele encodings, waarbij zij worden onthuld als speciale gevallen van een tijd-frequentie gelokaliseerde wavelet basis.

• Theoretisch Inzicht: Het werk stelt dat taal niet-stationair is, en dus dat positionele encodings niet moeten uitgaan van oneindige lokaliteit ($\sigma = \infty$). MOPE maakt het mogelijk om de passende "temporele reikwijdte van invloed" voor elke dimensie te leren.
• Complementariteit: De resultaten suggereren dat spectrale salientie (behandeld door EGA, bepaalt waarop men moet letten) en tijd-frequentie lokaliteit (behandeld door MOPE, bepaalt hoe ver de invloed reikt) complementaire mechanismen zijn. Hun combinatie levert super-additieve voordelen op.
• Reproduceerbaarheid: De convergentie naar de admissibility boundary ($\omega \sigma = 5$) werd waargenomen in zowel de positionele encoding experimenten als in een apart Energy Gate experiment (Paper 1), wat wijst op een reproduceerbare empirische eigenschap van character-level taal-signalen.

6. Limitaties en Toekomstig Werk

De auteurs hanteren een bescheiden toon met betrekking tot de huidige bevindingen:

• Schaal: Experimenten zijn beperkt tot character-level, korte context ($T=256$), en een enkele seed.
• Oorsprong Bias: De huidige formulering gebruikt een Gaussische verdeling gecentreerd op $b=0$, wat een "absolute oorsprong prior" creëert waarbij tokens nabij het begin een sterkere positionele amplitude hebben dan tokens aan het einde. Dit verbreekt translationele invariantie. De auteurs stellen een toekomstige generalisatie voor met een leerbare center $b_{0,i}$.
• Admissibility Constraint: De convergentie naar de boundary $\omega \sigma = 5$ kan een artefact zijn van de projectie-gebaseerde implementatie (clamping), in plaats van een echte onbeperkte optimum. Het versoepelen van deze restrictie is een prioriteit voor toekomstig onderzoek.
• Volgende Stappen: Toekomstig werk zal MOPE valideren bij word-level tokenisatie, langere contexten, en de exploratie van Morlet-ROPE (het toepassen van de Gaussische envelope op het ROPE rotatiemechanisme).