Technische Samenvatting: Elastische Spiking Transformers voor Efficiënt Gebaarbegrip

1. Probleemstelling

De implementatie van Spiking Neural Networks (SNN's), met name Spiking Transformers, op neuromorfe hardware (bijvoorbeeld Intel Loihi, IBM TrueNorth) voor gezondheidszorg en gebaarherkenning staat voor twee kritieke knelpunten:

1. Architectonische Rigiditeit: Bestaande SNN-architecturen zijn statisch, met vaste aantallen parameters en computationele grafieken. Het implementeren van deze modellen op diverse neuromorfe chips met variërende geheugen- en stroombeperkingen vereist het trainen en implementeren van volledig aparte modellen voor elk hardwaredoel, waardoor de efficiëntievoordelen van een geünificeerde aanpak teniet worden gedaan.
2. Hardware-ineptie en Energie-inefficiëntie: Veel huidige Spiking Transformers vertrouwen op globale matrixvermenigvuldigingen (GEMM) of Batched Matrix Multiply (BMM)-operaties. Deze worden niet natief ondersteund door spike-gedreven neuromorfe chips, waardoor werklasten moeten worden uitbesteed aan energie-intensieve CPU's, wat de energiebesparingen ondermijnt. Bovendien falen standaard schaalstrategieën (verkleinen van modelbreedte/-diepte) vaak om het energieverbruik evenredig te verminderen, omdat het initiële kenmerkextractie-stadium (patch embedding) een dominante bron van spike-activiteit blijft, ongeacht de modelgrootte.

2. Methodologie: De NESTformer Architectuur

De auteurs stellen NESTformer (Neuromorphic Elastic Spiking Transformer) voor, een innovatieve architectuur ontworpen om runtime-aanpasbaarheid direct in het spiking-paradigma in te bouwen. Het raamwerk is gebaseerd op drie kernprincipes:

• Geneste Architectuur: Kleinere configuraties zijn strikte deelverzamelingen van grotere, wat gewichtsdeling mogelijk maakt.
• Spike-bewuste Elastischheid: Groottevermindering is geoptimaliseerd om zowel parameters als spike-activiteit te minimaliseren.
• Hardware-bewust Ontwerp: De architectuur vermijdt CPU-afhankelijke operaties en maakt gebruik van structuren die natief zijn voor neuromorfe hardware.

Het model verwerkt gebeurtenisgebaseerde invoer via drie elastische bouwstenen die worden gecontroleerd door een granulariteitsparameter $g$:

A. Elastische Spiking Self-Attention

Geïnspireerd door Matryoshka-representatieleren, maakt dit blok dynamische snijbewegingen mogelijk van de Query ($Q$), Key ($K$) en Value ($V$) tensoren om het aantal actieve attention-heads ($h_g$) tijdens inferentie aan te passen.

• Neuromorfe Compatibiliteit: Om globale matrixvermenigvuldigingen te elimineren, introduceren de auteurs een Rijgewijze Attention-mechanisme. In plaats van een dichte attention-kaart te berekenen, wordt de operatie ontbonden in een reeks van twee Leaky Integrate-and-Fire (LIF)-operaties: $attng = LIF(Q_g \cdot K_g^T)$ gevolgd door $O_g = LIF(attng \cdot V_g)$. Dit zet attention-scores om in binaire spikes, waardoor de daaropvolgende vermenigvuldiging een strikt spike-gedreven accumulatie wordt die compatibel is met gebeurtenisgestuurde hardware.

B. Elastische Spiking MLP

De Multi-Layer Perceptron (MLP)-module maakt gebruik van variabele verborgen dimensies op basis van log-spaced filteraantallen. Door de verborgen dimensie ($h_g$) dynamisch aan te passen van een minimum naar een maximum, kan het model het aantal parameters (wat ongeveer 60% van standaard transformers uitmaakt) aanzienlijk verminderen zonder opnieuw te trainen.

C. Elastische Kenmerkextractie (XiSPS)

Om het knelpunt aan te pakken waarbij patch embedding de meerderheid van de spikes genereert, introduceren de auteurs XiSPS (Elastic Spiking Patch Splitting). In tegenstelling tot statische embeddings ondersteunt XiSPS dynamische, runtime-trade-offs tussen kenmerkgranulariteit en stroomverbruik. Het past een instelbare compressiefactor $\gamma$ aan om de rekenlast en het aantal parameters in het invoerstadium te verminderen, waardoor ervoor wordt gezorgd dat energiebesparingen lineair schalen met de modelgrootte.

D. Trainingsstrategie

Het model maakt gebruik van een stochastische bemonsteringsstrategie in plaats van traditionele "sandwich"-training. Tijdens training wordt per stap één granulariteitsconfiguratie bemonsterd uit een vooroordeelverdeling $P(g)$ die grotere configuraties bevoordeelt. Dit zorgt ervoor dat de volledige parameterreeks frequente updates ontvangt, wat de gedeelde gewichten stabiliseert die door alle kleinere sub-netwerken worden gebruikt. Statische tensorvormen met binaire masking worden gebruikt om een consistente computationele grafiek te behouden.

3. Belangrijkste Bijdragen

1. Eerste Elastische Spiking Transformer: NESTformer is de eerste SNN-transformer die runtime-aanpasbaarheid (schalen van geheugenvoetafdruk en rekenkracht) mogelijk maakt zonder opnieuw te trainen, met een energiebereik van 3,8$\times$.
2. Neuromorf-Native Attention: Een nieuw rijgewijs attention-berekeningsschema vervangt globale matrixvermenigvuldigingen door sequentiële synaptische operaties, waardoor echte implementatie op neuromorfe hardware mogelijk is zonder CPU-uitbesteding.
3. Lineaire Energieschaling: De auteurs tonen aan dat, in tegenstelling tot eerdere architecturen waar energiebesparingen sub-lineair zijn, de elastischheid van NESTformer direct de totale spike-ontladingsfrequentie verlaagt. Dit resulteert in een evenredige vermindering van het energieverbruik naarmate de modelgrootte afneemt.
4. State-of-the-Art Prestaties: De aanpak bereikt concurrerende of superieure nauwkeurigheid op gebaar- en afbeeldingsbenchmarks terwijl het aanzienlijk minder energie verbruikt dan huidige state-of-the-art (SOTA) architecturen.

4. Experimentele Resultaten

De auteurs hebben NESTformer gevalideerd op de EHWGesture klinische dataset, evenals op standaard benchmarks: DVS128 Gesture, CIFAR10-DVS en statisch CIFAR-10/100.

• EHWGesture (Klinisch Gebaar):

  • De grootste configuratie ($g_3$) behaalde 75,98% nauwkeurigheid, beter dan de SOTA QKFormer-5-320 (75,28%) en de efficiënte CNN PhiNet (71,25%).
  • Energie-efficiëntie: NESTformer ($g_3$) verbruikte 46,1 $\mu$J per inferentie, minder dan de helft van het energieverbruik van QKFormer-5-320 (100,9 $\mu$J) en ordegroottes lager dan CNN-baselines (6.900–460.000 $\mu$J).
  • Elastischheid: De $g_2$-configuratie behield 99,8% van de pieknauwkeurigheid (75,86%) terwijl het energieverbruik met bijna 40% werd verlaagd (28,7 $\mu$J). De kleinste configuratie ($g_0$) behield 71,01% nauwkeurigheid bij slechts 13,3 $\mu$J.

• Algemene Benchmarks:

  • DVS128 Gesture: NESTformer ($g_3$) kwam overeen met de SOTA Spike-Driven Transformer (99,30%) en deed het beter dan QKFormer (98,60%). De ultralichte $g_0$-configuratie behaalde 97,57% nauwkeurigheid met 5,3$\times$ minder parameters dan de grootste configuratie.
  • CIFAR10-DVS: Behaalde 83,61% nauwkeurigheid ($g_3$), beter dan de standaard Spikformer (80,90%).
  • CIFAR-100: De $g_3$-configuratie behaalde 81,30% nauwkeurigheid, wat een nieuwe SOTA zet voor spiking transformers op deze dataset.

• Temporele Trade-offs: Analyse op EHWGesture toonde aan dat Actiekwaliteitsbeoordeling (AQA) baat heeft bij een hogere temporele resolutie ($T=64$), terwijl gebaarherkenning piekt bij lagere tijdstappen ($T=16$ tot $32$). NESTformer stelt gebruikers in staat om de optimale combinatie van granulariteit en tijdstap te selecteren voor specifieke taakeisen.

5. Betekenis en Claims

Het artikel stelt dat NESTformer de kloof overbrugt tussen efficiënt neuromorfe rekenen en elastische transformer-architecturen. De primaire betekenis ligt in het mogelijk maken van één geünificeerd model om te worden geïmplementeerd over het volledige spectrum van neuromorfe hardware – van ultra-low-power randapparatuur tot servers met hoge nauwkeurigheid – zonder de noodzaak tot opnieuw trainen.

Door het geheugenbeperkte probleem op te lossen via dynamisch snijden en direct de totale spike-ontladingsfrequentie te verlagen, biedt NESTformer een uniek dubbel voordeel:

1. Implementatieflexibiliteit: Directe schaling van parameter-voetafdrukken om aan diverse hardwarespecificaties te voldoen.
2. Ware Energie-efficiëntie: Een lineaire vermindering van het energieverbruik evenredig aan de vermindering van de modelgrootte, een vermogen dat eerder niet beschikbaar was in standaard Artificial Neural Networks (ANN's) en vaste SNN's.

De auteurs concluderen dat deze aanpak continue, real-time gebaarherkenning op randapparatuur met beperkte middelen mogelijk maakt, waarbij gebruikersprivacy wordt behouden en communicatielatentie wordt verminderd terwijl hoge nauwkeurigheid wordt behouden.