Technische Samenvatting: Energie-gestuurde Aandacht en Wavelet Positieve Encodering

1. Probleemstelling

Standaard Transformer-aandachtsmechanismen berekenen paren-token gelijkenis via dot-product-aandacht, maar lijden aan twee structurele beperkingen met betrekking tot inductieve biases:

1. Gebrek aan Spectrale Salientie: Standaard aandacht behandelt alle tokens als even salient, waarbij ze uitsluitend worden gewogen op basis van inhoudsgelijkenis met de query. Er ontbreekt een mechanisme om tokens met een hoge intrinsieke informatiedichtheid (bijv. morfologische grenzen, syntactische hoofden) te onderscheiden van achtergrondtokens (bijv. functiewoorden, herhaalde patronen).
2. Gebrek aan Adaptieve Localiteit: Standaard positieve encoderingen (bijv. vaste sinusvormige PE) wijzen vaste frequenties toe aan inbeddingsdimensies zonder ruimtelijke enveloppen. Bijgevolg draagt elke positie op elke schaal evenveel bij, waardoor het aanpassen van de omvang van positieve invloed aan de natuurlijke schaal van linguïstische fenomenen of contextlengte niet mogelijk is. Hoewel Rotary Positional Embeddings (ROPE) relatieve positie coderen, maken ze nog steeds gebruik van vaste frequenties zonder Gaussische localiteit.

Het artikel stelt dat deze twee hiaten—wat er aandacht moet worden besteed (salientie) en waar aandacht op elke schaal werkt (localiteit)—complementair en orthogonaal zijn.

2. Methodologie

De auteurs stellen twee eenvoudige, leerbare componenten voor om deze hiaten aan te pakken: Energie-gestuurde Aandacht (EGA) en Morlet Positieve Encodering (MOPE).

2.1 Energie-gestuurde Aandacht (EGA)

EGA introduceert een salientiemechanisme door waarde-aggregatie te sturen op basis van een geleerde energie-schatting van key-token-inbeddings.

• Mechanisme: Een enkele lineaire projectie ($w_{proj}^T x_j$) schat de "energie" van een token. Deze scalair wordt genormaliseerd met z-score en door een sigmoid-gate ($g_j$) geleid.
• Functie: De gate onderdrukt tokens met lage energie (achtergrond/vuller) en versterkt tokens met hoge energie (informatiedicht).
• Efficiëntie: Het voegt minimale parameters toe ($d+2$ per hoofd, <0,3% overhead) en geen rekenkosten.
• Theoretische Basis: De projectie wordt geïnterpreteerd als het schatten van spectraal gewogen energie via de identiteit van Parseval, hoewel de auteurs opmerken dat het geleerde signaal algemene informatieve salientie kan vertegenwoordigen (bijv. zeldzaamheid, grenzen) in plaats van strikte spectrale energie.

2.2 Morlet Positieve Encodering (MOPE)

MOPE vervangt vaste sinusvormige positieve encoderingen door geleerde Gauss-gevensterde wavelets om adaptieve tijd-frequentielocalisatie te bieden.

• Formulering: Voor inbeddingsdimensie $i$ en positie $b$:
  $$MOPE(b, 2i) = \cos(\omega_i b) \cdot e^{-b^2/2\sigma_i^2}$$
  $$MOPE(b, 2i + 1) = \sin(\omega_i b) \cdot e^{-b^2/2\sigma_i^2}$$
  waarbij $\omega_i$ (centralfrequentie) en $\sigma_i$ (localiteitsbandbreedte) geleerde parameters zijn.
• Generalisatie: MOPE generaliseert strikt standaard sinusvormige PE (herwonnen als $\sigma_i \to \infty$) en verbindt met ROPE (fasestructuur in de limiet) en ALiBi (localiteit bij nul-frequentie).
• Kruiscorrelatiestructuur: Het substitueren van MOPE in de kruiscorrelatie van aandacht levert een Morlet-kern in vertragingstijdruimte op, $C_i(\tau) \propto e^{-\tau^2/4\sigma_i^2} \cdot \cos(\omega_i \tau)$. Dit stelt dimensies in staat om verschillende schalen van linguïstische structuur (bijv. op karakterniveau versus op zinsniveau) te vangen op basis van hun geleerde $\sigma_i$.

2.3 Gecombineerd Model

Het EGA-MORLET-model past EGA-gating toe op aandachtsgewichten die zijn berekend met MOPE. De auteurs hypothetiseren superadditiviteit: aangezien EGA controleert welke tokens er aandacht aan worden besteed en MOPE controleert waar invloed zich uitstrekt op elke schaal, zou hun combinatie prestaties moeten opleveren die groter zijn dan de som van hun afzonderlijke delen.

3. Belangrijkste Bijdragen

1. Kruiscorrelatie-interpretatie: Het artikel herformuleert dot-product-aandacht als de waarde bij nul-vertraging ($C_{ij}(0)$) van een rijker kruiscorrelatiefunctie, en identificeert dat standaard aandacht schaalselectiviteit, vertragingstructuur en spectrale salientie verworpt.
2. MOPE-architectuur: Een gelokaliseerde wavelet-positieve encodering die sin/cos-PE strikt generaliseert en een theoretische brug biedt naar ROPE en ALiBi, met adaptieve frequentie en localiteit.
3. Empirische Complementariteit: Demonstratie dat EGA en MOPE complementaire inductieve biases zijn. Hun combinatie bereikt superadditieve resultaten, terwijl afzonderlijke componenten in isolatie gemengde of neutrale prestaties vertonen.
4. Gestructureerde versus Geleerde Priors: Een gestructureerde ablatie toont aan dat onbeperkte geleerde projecties consequent beter presteren dan gestructureerde spectrale priors (bijv. Daubechies-filters, vaste schaalinitialisatie) in taalsmodellen, behalve wanneer een gestructureerde component (MOPE) echt complementaire informatie biedt (adaptieve localiteit) die niet ontdekt kan worden door standaard gradiëntafname op dot-producten.

4. Experimentele Resultaten

Experimenten werden uitgevoerd op TinyShakespeare (op karakterniveau, $L=6, H=8, d=256$, $\le 6M$ parameters) over 5.000 stappen.

• Hoofdbevinding (Superadditiviteit):

  • Basislijn (Standaard Aandacht): Validatieverlies = 1,4742.
  • Alleen EGA: +0,092 verbetering (Verlies = 1,3821). Salientie is een sterke inductieve bias.
  • Alleen MOPE: -0,032 verslechtering (Verlies = 1,5060). Adaptieve localiteit zonder salientie is onvoldoende en licht schadelijk.
  • EGA + MOPE: +0,119 verbetering (Verlies = 1,3550).
  • Analyse: De gecombineerde winst (+0,119) overtreft de som van de afzonderlijke winsten (+0,092 - 0,032 = +0,060) met +0,059. Dit ondersteunt de complementariteitshypothese.

• Ablatiestudies:

  • Convolution Aandacht: Het uitbreiden van aandacht naar niet-nul vertragingen (+0,007) bevestigt dat vertragingstructuur informatie draagt.
  • Schaalinitialisatie: Het initialiseren van hoofden op specifieke frequenties bood geen voordeel (-0,007), wat suggereert dat gradiëntafname optimale schalen ontdekt vanuit willekeurige initialisatie.
  • Spectrale Flux: Het gebruik van energieveranderingsraten als stuursignaal bood een kleine positieve winst (+0,012), wat suggereert dat grensdetectie nuttig is.
  • Fasecoherentie: Het gebruik van fase-informatie resulteerde in een licht negatief effect (-0,007).

• Geleerde Parameters: MOPE-parameters clusterden in vier distincte regio's die overeenkomen met karakters-, woord-, zinsdeel- en zin-schalen, wat suggereert dat het model linguïstisch natuurlijke tijdschalen uit de data leert.

5. Betekenis en Claims

Het artikel claimt dat spectrale salientie en schalenselectieve localiteit complementaire inductieve biases zijn die standaard aandacht mist.

• Complementariteit: Geen enkele bias is op deze schaal voldoende op zichzelf; hun interactie is superadditief.
• Leren versus Priors: Het consistente falen van gestructureerde priors (zoals vaste wavelet-gates) suggereert dat de optimale basis voor inbeddings op karakterniveau niet-sinusvormig en corpus-specifiek is. Onbeperkt leren wordt geprefereerd, tenzij een gestructureerde component (zoals MOPE's adaptieve localiteit) informatie biedt die orthogonaal is aan wat gradiëntafname op natuurlijke wijze ontdekt.
• Bescheidenheid: De auteurs stellen expliciet dat alle experimenten kleinschalig zijn (enkele seed, op karakterniveau). Het primaire resultaat wordt op deze schaal geloofwaardig geacht, maar secundaire effecten vereisen validatie met meerdere seeds. Het artikel claimt niet dat deze methoden lange-contextproblemen oplossen, maar identificeert ze als een hoge prioriteit voor toekomstig werk (specifiek voor $T \ge 4096$).

Het werk wordt gepresenteerd als onderdeel van een serie over spectrale methoden in transformer-aandacht, met code beschikbaar voor reproduceerbaarheid.