Ge$^\text{2}$mS-T: Multi-Dimensional Grouping for Ultra-High Energy Efficiency in Spiking Transformer

Dit paper introduceert Ge²mS-T, een nieuwe architectuur voor Spiking Vision Transformers die door middel van multidimensionale groepering en een hybride attentie-convolutieframework de uitdagingen van geheugenoverhead, leervermogen en energie-efficiëntie oplost.

De kern

Stel je voor dat je brein een superkrachtige, energiezuinige computer is. Het werkt niet zoals de zware, stroomvretende processoren in je laptop of telefoon (die we "Artificial Neural Networks" of ANN noemen). Je brein werkt met impulsen of "spikes": het schakelt alleen in als het echt nodig is. Dit noemen we Spiking Neural Networks (SNN's). Ze zijn fantastisch voor energiebesparing, maar tot nu toe waren ze erg moeilijk om te trainen en niet zo slim als de zware computers.

De auteurs van dit paper hebben een nieuwe architectuur bedacht, genaamd Ge²mS-T. Laten we uitleggen wat ze hebben gedaan, met behulp van een paar creatieve vergelijkingen.

Het Probleem: De "Stroomstoot" Dilemma

Stel je voor dat je een enorme bibliotheek (een Vision Transformer) moet besturen.

• De oude manier (ANN-SNN): Je probeert de zware computer (ANN) om te bouwen naar een impuls-computer. Dit werkt, maar het is alsof je een dure, zware auto probeert te laten rijden op een fiets. Het kost veel tijd om te leren en verbruikt nog steeds veel energie omdat de "impulsen" niet slim genoeg worden geplaatst.
• De andere oude manier (STBP): Je probeert de impuls-computer direct te trainen. Dit is efficiënter, maar het kost zo veel geheugen (zoals een overvolle kofferbak) dat het systeem vastloopt als je te veel informatie tegelijk probeert te verwerken.

Het resultaat? Ofwel te traag, ofwel te duur, ofwel niet slim genoeg.

De Oplossing: Ge²mS-T (De Slimme Groepering)

De auteurs hebben een nieuw systeem bedacht dat werkt met drie soorten groepering. Denk hierbij aan een super-efficiënte postkantoor of een slimme organisatie van een groot feest.

1. Tijds-Groepering (De "Slimme Postbode")

In een normaal SNN schreeuwt elke neuron naar zijn buren elke seconde, ook als er niets te zeggen valt. Dat is zonde van de energie.

• De Analogie: Stel je voor dat je in plaats van elke seconde een briefje te schrijven, een gecodeerd systeem gebruikt. Je zegt: "Ik stuur een briefje alleen op tijdstip 1, 3 en 7, en dan is het klaar."
• Hoe het werkt: Ze hebben een nieuwe methode (ExpG-IF) bedacht die bepaalt precies wanneer een neuron moet "schreeuwen". Het is alsof je een postbode hebt die alleen langs komt op specifieke, vooraf bepaalde tijden. Hierdoor wordt er veel minder "ruis" gemaakt en verbruikt het systeem veel minder energie, zonder dat de boodschap (de informatie) verloren gaat.

2. Ruimtelijke Groepering (De "Wijk-bewoners")

In een Vision Transformer kijkt het systeem naar elk detail van een foto tegelijk. Bij een grote foto zijn dat miljoenen pixels. Dat is alsof je op een feestje met 10.000 mensen probeert om met iedereen tegelijk te praten. Dat is chaos en kost enorm veel energie.

• De Analogie: In plaats van met iedereen te praten, verdeel je het feestje in kleine groepjes (buurten). Mensen praten eerst met hun eigen groepje, en dan pas wordt er samengevat.
• Hoe het werkt: Ze hebben een nieuwe "Aandacht" (Attention) methode bedacht (GW-SSA). In plaats van dat het systeem naar de hele foto kijkt, kijkt het eerst naar kleine blokjes (vensters) en daarna naar de grote lijn. Hierdoor hoeft het niet met elke pixel te "praten", maar alleen met de relevante groepjes. Dit bespaart enorm veel rekenkracht.

3. Netwerk-Groepering (De "Mix van Specialisten")

Soms heb je een specialist nodig die heel goed is in details (zoals een rand van een object), en soms iemand die het grote plaatje ziet (zoals "dit is een hond").

• De Analogie: Stel je voor dat je een team hebt. Sommige leden zijn detectives die door de hele stad lopen om details te vinden (Convolutie), en andere zijn strategen die naar de kaart kijken om het grote plan te zien (Aandacht).
• Hoe het werkt: Ge²mS-T combineert deze twee soorten "specialisten" in één systeem. Het gebruikt de "detectives" voor de eerste, ruwe informatie en de "strategen" voor de complexe verbanden. Door ze slim te combineren, wordt het systeem niet alleen slimmer, maar ook zuiniger.

Het Resultaat: Een Super-efficiënte Machine

Wat levert dit op?

• Minder energie: Het systeem verbruikt een fractie van de energie van de huidige beste modellen. In het paper wordt getoond dat het met minder dan 3 millijoule (een druppel energie!) een foto kan herkennen.
• Beter resultaat: Het is niet alleen zuinig, maar ook slimmer. Op de standaard test (ImageNet) scoort het 79,82% correct, wat heel hoog is voor een systeem dat zo zuinig is.
• Kleinere grootte: Het heeft veel minder "geheugen" nodig (parameters) dan de concurrenten.

Conclusie

Kortom, Ge²mS-T is als het bouwen van een auto die rijdt op zonne-energie, maar net zo snel is als een Formule 1-auto. Ze hebben de "impulsen" (de brandstof) slim ingedeeld in tijd en ruimte, en de auto is zo ontworpen dat hij alleen maar doet wat er echt nodig is.

Dit is een grote stap voorwaarts om slimme, energiezuinige AI te laten werken op kleine apparaten zoals smartphones, horloges of zelfs in ruimtevaartuigen waar batterijen schaars zijn.

Technische samenvatting

Probleemstelling

Spiking Neural Networks (SNN's) worden gezien als de derde generatie neurale netwerken en bieden theoretisch een superieure energie-efficiëntie ten opzichte van traditionele Kunstmatige Neurale Netwerken (ANN's) dankzij hun gebeurtenisgestuurde (event-driven) aard. Wanneer deze echter worden toegepast op Spiking Vision Transformers (S-ViTs), ontstaan er aanzienlijke uitdagingen die de prestaties beperken. Bestaande leeralgoritmen kampen met fundamentele tekortkomingen:

1. ANN-SNN Conversie: Hoewel dit methode een constante geheugenhoeveelheid vereist tijdens het trainen, leidt het tot foutaccumulatie. Dit vereist een groot aantal tijdstappen (time-steps) tijdens de inferentie om de nauwkeurigheid te herstellen, wat de energie-efficiëntie tenietdoet. Bovendien zijn de gconverteerde netwerken niet "native" voor SNN-hardware vanwege het gebruik van floating-point vermenigvuldigingen.
2. STBP-gebaseerde Training (Spatio-Temporal Backpropagation): Deze methode biedt native inferentie, maar de geheugenvraag groeit lineair met het aantal trainings-tijdstappen. Daarnaast leiden benaderingsfouten in de surrogate-gradiënten en de beperkte capaciteit van standaard spiking-modellen om temporele informatie te extraheren tot een lagere inferentienauwkeurigheid.

De kernproblematiek is het vinden van een oplossing die tegelijkertijd geheugenoverhead, leervermogen (nauwkeurigheid) en energiebesteding optimaliseert zonder compromissen te sluiten.

Methodologie: Ge²mS-T

De auteurs stellen Ge²mS-T voor, een nieuwe architectuur die "multi-dimensionale groepering" (multi-dimensional grouping) implementeert over drie dimensies: temporeel, ruimtelijk en netwerkstructuur.

1. Temporele Dimensie: ExpG-IF Model

Om de inefficiëntie van spike-emissie aan te pakken, introduceren de auteurs het Grouped-Exponential-Coding-based IF (ExpG-IF) model.

• Concept: In plaats van uniforme kwantisatie, gebruikt dit model niet-uniforme exponentiële kwantisatie. Dit stelt het netwerk in staat om de spike-emissiepatronen impliciet maar precies te reguleren.
• Voordeel: Het zorgt voor een verliesvrije conversie (lossless conversion) met een constante trainings-geheugenoverhead ($O(1)$). Neuronen zenden alleen spikes uit op specifieke subsets van tijdstippen, wat de totale hoeveelheid spikes reduceert zonder de leercapaciteit te verliezen.
• Efficiëntie: De berekeningskosten tijdens inferentie overschrijden die van het standaard IF-model niet, omdat het zoeken naar het juiste patroon via binaire zoekopdrachten ($O(T)$) gebeurt.

2. Ruimtelijke Dimensie: GW-SSA

Voor de Self-Attention mechanismen in Transformers wordt de Group-wise Spiking Self-Attention (GW-SSA) ontwikkeld.

• Multi-scale Groepering: Tokens worden gegroepeerd op de ruimtelijke dimensie in twee strategieën:
  • Globale attention: Token-subsets worden gepooled voor een benaderde globale context.
  • Window attention: Lokale vensters worden gebruikt voor gedetailleerde lokale interacties.
• Vermenigvuldigingsvrij: De berekeningen binnen deze groepen zijn vermenigvuldigingsvrij (multiplication-free), wat cruciaal is voor energie-efficiëntie op neuromorfe hardware.
• Complexiteitsreductie: De computationele complexiteit van de attention-mechanismen wordt gereduceerd van $O(TN^2C)$ naar $O(\frac{TN^2C}{|G_S|})$, waarbij $|G_S|$ het aantal groepen is.

3. Netwerkstructuur: Hybride Architectuur

De Ge²mS-T architectuur combineert de voordelen van SNN's en Convolutional Neural Networks (S-CNN's) via een hybride ontwerp:

• Conv-Stem & ConvB: De eerste lagen gebruiken gespecialiseerde Spiking Convoluties (SConv) en Conv-SFFN blokken om de hoeveelheid tokens te reduceren voordat ze de attention-lagen bereiken.
• Dual-Branch GW-SSA: Combineert attention en convolutie in één blok.
• Stadia: De architectuur is opgebouwd uit stadia waarbij de eerste stadia zware convolutie gebruiken en latere stadia overgaan op pure attention (SSA) en SFFN, waarbij de token-dichtheid al is gereduceerd.

Kernbijdragen

1. Systematische Analyse: Een grondige analyse van de inherente tekortkomingen van bestaande S-ViT methoden (conversie en STBP) en het aantonen van de noodzaak voor multi-dimensionale groepering.
2. ExpG-IF Model: Een theoretisch onderbouwd model dat verliesvrije conversie en precieze controle over spike-emissie mogelijk maakt met constante trainingskosten.
3. GW-SSA: Een nieuwe attention-mechanisme dat zowel globale als venster-attention kan vastleggen, vermenigvuldigingsvrij is en native SNN-inferentie ondersteunt.
4. Ge²mS-T Architectuur: De eerste werk die systematisch multi-dimensionale groepering toepast om de driehoek van geheugen, leervermogen en energie in S-ViTs op te lossen.

Resultaten

De prestaties van Ge²mS-T zijn gevalideerd op diverse benchmarks, waaronder ImageNet-1k, CIFAR-10/100 en CIFAR10-DVS.

• ImageNet-1k:
  • De Ge²mS-T Large variant bereikt een inferentienauwkeurigheid van 79,82% met minder dan 15M parameters.
  • Het verbruikt minder dan 3 mJ energie per inferentie.
  • Dit is een aanzienlijke verbetering ten opzichte van state-of-the-art (SoTA) modellen zoals Spikformer en Spike-driven Transformer, die vaak meer parameters en energie nodig hebben voor lagere nauwkeurigheid. Bijvoorbeeld, vergeleken met Spikformer-8-768 (66M parameters) gebruikt Ge²mS-T Small slechts 8% van de parameters en 5,4% van de energie, terwijl het een hogere nauwkeurigheid behaalt.
• Downstream Taken:
  • Op CIFAR-10 en CIFAR-100 behaalt het model de beste resultaten, vaak met slechts 4 tijdstappen voor inferentie.
  • Op het neuromorfe dataset CIFAR10-DVS overtreft het bestaande methoden met significante marges (bijv. +4,43% t.o.v. TET).
• Energie-efficiëntie: De analyse toont aan dat de SOPs (Synaptic Operations) en het energieverbruik stabiel blijven, zelfs bij toenemende token-aantallen, dankzij de groeperingsstrategie.

Betekenis en Impact

Ge²mS-T vertegenwoordigt een doorbraak in het veld van energie-efficiënte SNN's. Door de drie fundamentele beperkingen (geheugen, nauwkeurigheid, energie) simultaan aan te pakken, maakt deze architectuur het mogelijk om krachtige Vision Transformers op neuromorfe hardware en in resource-beperkte omgevingen (zoals mobiele apparaten en IoT) te deployen. Het bewijst dat het niet nodig is om te kiezen tussen hoge nauwkeurigheid en extreem laag energieverbruik, mits de juiste architecturale principes (zoals multi-dimensionale groepering en verliesvrije conversie) worden toegepast. Dit opent nieuwe wegen voor de praktische toepassing van SNN's in complexe visuele taken.