Neural Dynamics Self-Attention for Spiking Transformers

Titel: Neural Dynamics Self-Attention voor Spiking Transformers

Publicatie: ICLR 2026
Auteurs: Dehao Zhang et al. (Universiteit voor Wetenschap en Technologie van China, etc.)

1. Het Probleem

De integratie van Spiking Neural Networks (SNN's) met Transformer-architecturen belooft een evenwicht tussen energie-efficiëntie en prestaties, vooral voor randapparaten (edge devices). Echter, bestaande Spiking Transformers (zoals Spikformer) kampen met twee kritieke beperkingen die hun prestaties en toepasbaarheid beperken:

1. Prestatiekloof door gebrek aan lokale modellering:
   • In traditionele Vision Transformers (ViT) gebruikt de Self-Attention (VSA) een softmax-operatie die zorgt voor een scherpe, lage-entropie verdeling van aandachtswaarden. Dit zorgt ervoor dat het model sterke lokale relaties tussen naburige tokens kan modelleren (lokaliteit bias).
   • Spiking Self-Attention (SSA) verwijdert de softmax-operatie om de "spike-vriendelijke" en gebeurtenisgedreven aard van SNN's te behouden. Dit resulteert echter in een bijna uniforme verdeling van aandachtswaarden over alle tokens. Het model mist hierdoor het vermogen om zich te focussen op lokale, relevante regio's, wat leidt tot een aanzienlijke prestatiekloof ten opzichte van hun ANN-tegenhangers.
2. Hoge geheugenvraag tijdens inferentie:
   • Hoewel SSA de computationele complexiteit kan reduceren door matrixoperaties te hergroeperen, vereist het nog steeds de expliciete opslag van grote attentiematrices (zoals $Q \times K^T$ of $K \times V$ matrices) tijdens de inferentie.
   • Voor een sequentielengte $N$ en dimensie $d$ leidt dit tot een geheugenvraag van $O(Nd^2)$ of $O(d^2)$ per tijdstap, wat de implementatie op hulpbronnenbeperkte neuromorfe chips onmogelijk maakt.

2. Methodologie: LRF-Dyn

De auteurs stellen LRF-Dyn voor (Local Receptive Field Dynamics), een methode die de beperkingen van SSA aanpakt door biologisch geïnspireerde mechanismen te integreren. De aanpak bestaat uit twee hoofdcomponenten:

A. Local Receptive Field (LRF) in SSA

Om het gebrek aan lokale modellering op te lossen, introduceren de auteurs LRF-SSA.

• Mechanisme: Ze voegen een lokaal convolutiemodule toe aan de SSA-mechanisme. In plaats van alleen globale dot-producten te gebruiken, worden hogere gewichten toegekend aan naburige tokens via multi-schaal dilated convoluties (3x3 kernels met verschillende uitdijingsfactoren).
• Theoretisch Fundament: Door theorema's te bewijzen, tonen ze aan dat LRF-SSA de verwachte receptieve straal verkleint (van globaal naar lokaal) en de entropie van de attentieverdeling verlaagt. Dit benadert de lage-entropie, scherpe verdeling van VSA zonder de softmax-operatie te gebruiken.

B. Neurale Dynamica voor Geheugenreductie (LRF-Dyn)

Om het geheugenvraagprobleem op te lossen, herschrijven ze de berekening van LRF-SSA via neurale dynamica (charge-fire-reset).

• Concept: Ze benaderen de zelf-attentie-aggregatie met het gedrag van biologische neuronen (membranpotentiaal). In plaats van de volledige $Q, K, V$ matrices en de tussenliggende attentiematrices op te slaan, wordt de attentie berekend als een dynamisch proces:
  • De vorige toestand (membranpotentiaal) wordt opgeslagen.
  • De huidige input (presynaptische input) wordt toegevoegd.
  • De output wordt gegenereerd via een "fire-reset" mechanisme.
• Implementatie: De berekening wordt omgezet in een recursieve vorm waarbij alleen de huidige membranpotentiaal per positie hoeft te worden opgeslagen. Dit elimineert de noodzaak om expliciete $N \times N$ of $d \times d$ attentiematrices op te slaan.
• Complexiteit: De geheugencomplexiteit tijdens inferentie wordt gereduceerd van $O(Nd^2)$ of $O(d^2)$ naar $O(kd)$, waarbij $k$ het aantal dendrieten is (een kleine constante).

3. Belangrijkste Bijdragen

1. Identificatie van de oorzaken: De auteurs identificeren en analyseren theoretisch dat de prestatiekloof en het geheugenprobleem in Spiking Transformers direct voortvloeien uit het ontbreken van lokale bias en de noodzaak tot expliciete matrixopslag.
2. LRF-SSA: Een nieuwe variatie van Spiking Self-Attention die lokale convoluties integreert om de lokale modellering te versterken en de prestaties te verbeteren zonder softmax.
3. LRF-Dyn: Een volledig nieuwe architectuur die zelf-attentie simuleert via neurale dynamica. Dit elimineert de opslag van attentiematrices volledig, waardoor de geheugenoverhead drastisch daalt terwijl de prestaties behouden blijven.
4. Empirische Validatie: Uitgebreide experimenten op diverse visuele taken (classificatie en segmentatie) tonen aan dat de methode superieure resultaten levert ten opzichte van bestaande SNN-Transformers.

4. Resultaten

De methode is getest op ImageNet-1K (classificatie) en ADE20K (semantische segmentatie) met bestaande architecturen zoals Spikformer, QKFormer en Spike-Driven-v3.

• Prestaties:
  • Op Spikformer (ImageNet-1K) resulteerde LRF-SSA in een accuratenheidswinst van 1,24% (bij 512 dimensies) en 0,85% (bij 768 dimensies).
  • Op Spike-Driven-v3 werd een accuratenheid van 76,22% bereikt met slechts 5,24M parameters, wat aanzienlijk beter is dan vergelijkbare modellen.
  • Bij Semantische Segmentatie (ADE20K) werd een verbetering van 2,6% (mIoU) waargenomen ten opzichte van de baseline SDT-V3.
• Geheugen en Efficiëntie:
  • LRF-Dyn behoudt vergelijkbare prestaties met LRF-SSA maar reduceert het geheugengebruik tijdens inferentie met ongeveer 49,4% (in tests op Spikformer-8-512).
  • De geheugencomplexiteit wordt gereduceerd naar lineair afhankelijk van de token-dimensie ($O(kd)$) in plaats van kwadratisch of afhankelijk van de sequentielengte.
• Visuele Analyse: Visualisaties tonen aan dat LRF-SSA en LRF-Dyn een "ViT-achtig" patroon van aandacht vertonen met een sterkere lokale concentratie, in tegenstelling tot de diffuse verdeling van standaard SSA.

5. Betekenis en Impact

Dit paper biedt een cruciale doorbraak voor de implementatie van energie-efficiënte Spiking Transformers op randapparaten en neuromorfe hardware.

• Oplossing voor het "Memory Wall": Door de expliciete opslag van attentiematrices te elimineren, maakt LRF-Dyn het mogelijk om grote Transformer-modellen uit te voeren op chips met beperkt geheugen (zoals Loihi of Tianjic).
• Biologische Plausibiliteit: De methode sluit beter aan bij biologische visuele systemen door lokale receptieve velden en dynamische membraanpotentiaal-modellen te gebruiken, wat de kloof tussen biologische neuronen en kunstmatige netwerken verkleint.
• Toekomstperspectief: Het biedt een praktische route naar het deployen van high-performance, low-power AI-modellen voor real-time visuele taken in IoT en mobiele toepassingen, zonder in te leveren op nauwkeurigheid.

Kortom, LRF-Dyn combineert de energie-efficiëntie van SNN's met de krachtige modellering van Transformers, terwijl het de twee grootste obstakels (prestatiekloof en geheugenoverhead) effectief oplost.