SpikeDecoder: Realizing the GPT Architecture with Spiking Neural Networks

Technische Samenvatting: SpikeDecoder

Probleemstelling
De Transformer-architectuur, in het bijzonder de decoder-only GPT-modellen, heeft zichzelf gevestigd als het dominante paradigma voor natuurlijke taalverwerking (NLP). Deze modellen vertrouwen echter op kunstmatige neurale netwerken (ANN's) die complexe, energie-intensieve matrixoperaties (specifiek Multiply-Accumulate of MAC-operaties) uitvoeren tijdens inferentie. Dit resulteert in een hoog energieverbruik, wat de inzet ervan op edge-apparaten of energiebeperkte omgevingen beperkt. Hoewel Spiking Neural Networks (SNN's) een veelbelovend, energiezuinig alternatief bieden vanwege hun event-gestuurde, binaire aard, zijn ze berucht moeilijk direct te trainen. Bestaande SNN-gebaseerde aanpassingen van Transformers zijn grotendeels beperkt gebleven tot computervisie-taken (bijv. Spikformer) of encoder-only architecturen. Bovendien hebben de weinige pogingen tot NLP (bijv. SpikeGPT) geleund op Recurrent Neural Network (RNN) structuren zoals RWKV in plaats van self-attention, of hebben ze gebruikgemaakt van ANN-naar-SNN conversie in plaats van directe training. Er is momenteel geen volledig trainbare, spiking-only implementatie van een Transformer decoder-blok voor NLP beschikbaar.

Methodologie
De auteurs stellen SpikeDecoder voor, een volledig spiking implementatie van de Transformer decoder-blok ontworpen voor natuurlijke taalgeneratie. Het ontwikkelingsproces omvatte een systematische transitie van een standaard ANN-gebaseerde decoder naar een zuivere spiking architectuur, waarbij de impact van elke componentwijziging werd geanalyseerd.

1. Neuron Model: De architectuur maakt gebruik van het Multi-Step Leaky Integrate-and-Fire (LIF) neuron model, geïmplementeerd via de SpikingJelly library. Dit model integreert inputs over tijdstappen, past een drempelwaarde toe en reset, wat de biologische neuron-dynamica nabootst.
2. Embedding Strategieën: Het paper evalueert verschillende methoden om teksttekens te projecteren in spike-compatibele formaten. Opties omvatten one-hot, binair, statisch (sine/cosine) en geleerde embeddings. De auteurs ontdekten dat het concateneren van geleerde token embeddings met statische positionele encoding het beste evenwicht bood tussen prestaties en parameter-efficiëntie, hoewel zij opmerken dat statische positionele encoding specifieke afhandeling vereist (bijv. lookup tables of Heaviside mapping) om aan binaire restricties te voldoen.
3. Residual Connections: Een kritieke uitdaging die werd geïdentificeerd, was de introductie van floating-point waarden bij het optellen van residual connections tussen binaire spike-lagen. De auteurs adopteerden een herstructureringsstrategie (geïnspireerd door Zhou et al., 2023) waarbij LIF-neuronen direct na de sommatie-operators worden geplaatst (zowel in de Multi-Head Self-Attention als de MLP blokken). Dit zorgt ervoor dat de inputs naar de daaropvolgende lineaire lagen binair blijven, waardoor floating-point vermenigvuldigingen veroorzaakt door residuals worden geëlimineerd.
4. Normalisatie: Standaard Layer Normalization (LN) bleek ongeschikt voor volledig spiking modellen vanwege de dynamische berekening van gemiddelde en variantie tijdens inferentie. De auteurs evalueerden Batch Normalization (BN) en Power Normalization (PN). Terwijl BN de prestaties verslechterde, werd Power Normalization (PN) geïdentificeerd als een levensvatbaar alternatief dat de fusie van lineaire en normalisatie-lagen tijdens deployment mogelijk maakt, hoewel het hogere trainingstijden en geheugengebruik met zich meebrengt.
5. Time-Step Unificatie: Om de temporele dimensie die inherent is aan SNN's te behandelen, vergeleken de auteurs vier strategieën voor het aggregeren van tijdstap-outputs vóór de classificatie-head: Average, Accumulate, Concatenate en Final. Zij bepaalden dat Concatenation op spikes de meest geschikte methode is voor een pure spiking architectuur, omdat het informatie behoudt en spike-compatibele outputs produceert voor de laatste lineaire laag.
6. Hybride Transitie: De auteurs introduceerden een "Spike Degree" framework (0 tot 4) om de transitie van ANN naar SNN te analyseren. Dit maakte het mogelijk om de prestatieverliezen bij specifieke stadia te isoleren: embedding conversie, attention mechanisme conversie, MLP conversie en classificatie head conversie.

Belangrijkste Bijdragen

• SpikeDecoder Architectuur: De eerste volledig trainbare, spiking-only implementatie van een Transformer decoder-blok voor NLP, die verder gaat dan encoder-only of visie-gebaseerde SNN Transformers.
• Systematische Transitie Analyse: Een gedetailleerde uitsplitsing van de prestatie-trade-offs wanneer specifieke Transformer-componenten (embedding, attention, MLP, residuals) worden omgezet naar spiking equivalenten.
• Component Optimalisatie:
  • Validatie van Power Normalization als een levensvatbaar alternatief voor Layer Normalization voor volledig spiking Transformers.
  • Demonstratie dat leerbare LIF drempelwaarden de prestaties kunnen verbeteren (een stijging in nauwkeurigheid van ~78% naar ~89% in specifieke configuraties), hoewel zij opmerkten dat dit biologisch inconsistent is (negatieve drempels) in sommige lagen.
  • Identificatie van Concatenation als de optimale tijdstap-unificatiestrategie voor het behoud van spike-compatibiliteit.
• Energie-efficiëntie Analyse: Een theoretische schatting van het energieverbruik waarbij de SpikeDecoder wordt vergeleken met de ANN baseline.

Resultaten

• Prestaties: De volledig spiking SpikeDecoder (Spike Degree 4) behaalde een nauwkeurigheid van 87,0% op een character-level voorspellingsopdracht met een subset van "War and Peace", vergeleken met 98,5% voor de niet-spiking ANN baseline. Het transitieproces onthulde dat de conversie van de Multi-Head Self-Attention (SMHA) de grootste prestatiedaling veroorzaakte (ongeveer 25%), wat gedeeltelijk werd gemitigeerd door meer decoder-blokken toe te voegen en het aantal attention heads te verminderen.
• Energieverbruik: Theoretische analyse schatte dat de SpikeDecoder het energieverbruik met 86,7% tot 92,3% vermindert ten opzichte van de ANN baseline. Deze reductie wordt toegeschreven aan de vervanging van MAC-operaties door Synaptic Operations (SOPS) en de eliminatie van floating-point rekenkunde in de kernprocessingsblokken.
• Ablatie Studies:
  • Het verwijderen van floating-point optellingen in residual connections (waardoor deze puur binair werden) veroorzaakte een catastrofale prestatiedaling (naar 18,1%), wat aangeeft dat de huidige spiking gradiënten zwaar leunen op floating-point residuals voor stabiele backpropagation.
  • Het gebruik van Power Normalization in plaats van Layer Normalization resulteerde in een stabiele nauwkeurigheid van 81,7% voor de volledig spiking variant, wat de haalbaarheid bevestigt ondanks de langere trainingstijden.

Betekenis en Claims
Het paper positioneert SpikeDecoder niet als een state-of-the-art taalmodel dat de capaciteiten van GPT overtreft, maar als een functioneel proof-of-concept en een stabiel startpunt voor de ontwikkeling van direct getrainde, spiking Transformer-modellen. De auteurs claimen bescheiden dat hun werk de kloof overbrugt tussen de krachtige decoder-only Transformer-architectuur en de energie-efficiëntie van neuromorphic computing. Zij benadrukken dat hoewel de prestaties momenteel lager zijn dan die van ANN-tegenhangers, de architectuur succesvol demonstreert dat een volledig spiking, direct trainbare decoder haalbaar is. Het werk biedt een fundamenteel kader voor toekomstig onderzoek naar het optimaliseren van spiking NLP-modellen, het verkennen van grotere datasets en het verfijnen van spike-encoding strategieën voor natuurlijke taal.