🤖 AI

SpikySpace: A Spiking State Space Model for Energy-Efficient Time Series Forecasting

SpikySpace is het eerste volledig spiking state-space model dat door middel van efficiënte spiking selective scanning en vereenvoudigde activatiefuncties een superieure nauwkeurigheid en een energiebesparing van meer dan 96,1% biedt voor tijdreeksvoorspellingen op edge-apparaten.

Oorspronkelijke auteurs: Kaiwen Tang, Jiaqi Zheng, Yuze Jin, Yupeng Qiu, Guangda Sun, Zhanglu Yan, Weng-Fai Wong

Gepubliceerd 2026-02-11

📖 3 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Kaiwen Tang, Jiaqi Zheng, Yuze Jin, Yupeng Qiu, Guangda Sun, Zhanglu Yan, Weng-Fai Wong

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een slimme thermostaat of een verkeerslicht hebt dat moet voorspellen wat er over een uur gaat gebeuren. De meeste huidige AI-systemen zijn als een enorme, hongerige draak: ze zijn superintelligent, maar ze verbruiken gigantische hoeveelheden stroom en hebben een enorme "maag" (geheugen) nodig. Ze werken het beste als ze verbonden zijn met een krachtige supercomputer in de cloud.

Maar wat als die voorspelling moet gebeuren op een klein, batterij-aangedreven apparaatje in een donker kruispunt of een verre fabriek? Dan heb je een probleem. De "draak" zou de batterij in een paar minuten leegtrekken.

De onderzoekers van dit paper hebben SpikySpace bedacht: een soort "slimme muis" in plaats van een "hongerige draak".

Hier is hoe ze dat hebben gedaan, uitgelegd in gewone mensentaal:

1. De "Spiky" manier: Praten in tikjes (SNNs)

De meeste AI praat constant in een vloedgolf van cijfers (zoals een radio die altijd hard aanstaat, zelfs als er stilte is). SpikySpace gebruikt Spiking Neural Networks (SNNs). Dit werkt meer als een gesprek tussen mensen: we zeggen alleen iets als er écht iets belangrijks te melden valt.

De metafoor: In plaats van een lamp die constant op volle sterkte brandt, is SpikySpace een zaklamp die alleen een korte flits geeft als er een beweging is. Dat bespaart enorm veel energie.

2. De "Space" manier: De slimme geheugen-scanner (SSMs)

Normaal gesproken, als een AI naar een lange reeks gebeurtenissen kijkt (zoals de hele dag aan verkeersdata), moet hij elk moment vergelijken met álle andere momenten. Dat is alsof je een boek leest en bij elke nieuwe zin de hele vorige pagina moet herlezen om het te begrijpen. Dat kost bakken met tijd en energie.

SpikySpace gebruikt een State Space Model (SSM). Dit is als een slimme notitieblok-methode. In plaats van alles te onthouden, schrijf je alleen de essentie op in een kort briefje. Als er iets nieuws gebeurt, update je dat briefje. Je hoeft nooit het hele boek opnieuw te lezen.

3. De truc: Geen moeilijke sommen, maar simpele verschuivingen

Zelfs met een slim briefje moeten computers vaak ingewikkelde vermenigvuldigingen doen (zoals $123,45 \times 67,89$ ). Dat is voor een kleine chip heel zwaar.

De onderzoekers hebben twee slimme trucjes bedacht (PTsoftplus en PTSiLU):

De metafoor: In plaats van te rekenen met ingewikkelde breuken en decimalen, gebruiken ze "bit-shifts". Stel je voor dat je niet moet uitrekenen wat de helft van 1000 is door te delen, maar dat je gewoon de cijfers één plekje naar links schuift. Dat is voor een computer bijna gratis qua energie.

Wat is het resultaat?

De resultaten zijn spectaculair. De onderzoekers testten het op verschillende soorten data (zoals elektriciteitsverbruik en verkeer):

Beter dan de rest: Het is vaak nauwkeuriger dan de huidige "slimme" AI-modellen die veel meer stroom verbruiken.
Extreem zuinig: Het verbruikt 96% minder energie dan de huidige standaardmodellen.

Kortom: SpikySpace is een manier om AI te maken die net zo slim is als de grote systemen, maar die zo efficiënt is dat hij kan overleven op een klein batterijtje in de echte wereld. Het is de overgang van een zware vrachtwagen naar een razendsnelle, energiezuinige elektrische scooter.

Technische Samenvatting: SpikySpace

1. Probleemstelling (The Problem)

Tijdreeksvoorspelling (time-series forecasting) is cruciaal voor toepassingen aan de "edge", zoals verkeersbeheer en industriële monitoring. Deze systemen vereisen real-time verwerking met een zeer laag energieverbruik op apparaten met beperkte rekenkracht.

Huidige methoden kampen met twee grote problemen:

Deep Learning (ANNs): Modellen zoals Transformers zijn zeer accuraat, maar vertrouwen op dichte matrixvermenigvuldigingen, wat leidt tot een kwadratische complexiteit ( $O(L^2)$ ) en een enorm energieverbruik.
Spiking Neural Networks (SNNs): Hoewel SNN's energiezuinig zijn door hun gebeurtenisgestuurde (event-driven) aard, maken bestaande SNN-voorspellers vaak nog steeds gebruik van complexe Transformer-blokken of dure activatiefuncties (zoals exponentiële operaties), waardoor de theoretische energievoordelen in de praktijk verloren gaan.

2. Methodologie (Methodology)

De auteurs introduceren SpikySpace, het eerste volledig "spiking" State Space Model (SSM). De kern van de methodologie is het vervangen van rekenintensieve operaties door hardware-vriendelijke, discrete operaties.

De belangrijkste componenten zijn:

Spiking Selective Scan: In plaats van de standaard Mamba-architectuur, die exponentiële operaties ( $\exp(\Delta A)$ ) gebruikt voor de overgangsmatrix, gebruikt SpikySpace een binaire benadering. Door de tijdsschaal ( $\Delta$ ) te beperken tot machten van twee, wordt de state-update een eenvoudige bit-shift operatie en integer-accumulatie. Dit elimineert de noodzaak voor vermenigvuldigingen volledig.
PTsoftplus & PTSiLU: Traditionele activatiefuncties zoals Softplus en SiLU vereisen dure exponentiële berekeningen en divisies. De auteurs introduceren Power-of-Two (PT) benaderingen. Deze functies gebruiken lineaire transformaties en bit-shifts om de oorspronkelijke functies nauwkeurig te benaderen, wat de hardware-efficiëntie drastisch verhoogt.
Quantization-Aware Training (QAT): Om de overgang van een continu model naar een discreet spiking model te waarborgen, gebruiken ze een strategie waarbij gewichten worden gekwantiseerd naar 8-bit integers en activaties worden gecodeerd als binaire spikes.
Temporal Rescaling: Om te voorkomen dat de membraanpotentiaal verzadigt (waardoor de spikes te frequent worden en de energiezuinigheid verdwijnt), passen ze een strategie toe waarbij de drempelwaarde van de neuronen wordt geschaald, wat de gemiddelde spike rate verlaagt van 66% naar 26,8%.

3. Belangrijkste Bijdragen (Key Contributions)

Architectuur: De ontwikkeling van de eerste volledig spiking SSM die lineaire complexiteit ( $O(L)$ ) combineert met neuromorfische efficiëntie.
Multiplicatie-vrije Dynamiek: Een recursief mechanisme dat uitsluitend gebruikmaakt van optellingen en bit-shifts, wat ideaal is voor edge-hardware.
Theoretische Validatie: Het leveren van wiskundige bewijzen voor de foutmarges (error bounds) van de nieuwe PT-activatiefuncties, waardoor de stabiliteit tijdens training wordt gegarandeerd.
Hardware-vriendelijk ontwerp: Een co-design strategie die zowel de algoritmen als de activaties optimaliseert voor energiezuinige implementatie.

4. Resultaten (Results)

De evaluatie op vier multivariate tijdreeks-benchmarks toont indrukwekkende resultaten:

Nauwkeurigheid: SpikySpace presteert beter dan de huidige beste SNN's (zoals SpikeSTAG) met een verbetering van 3,0% op de Metr-la dataset. Op de Electricity-dataset presteert het zelfs beter dan de dichte (dense) iTransformer.
Energie-efficiëntie: Het model reduceert het energieverbruik met meer dan 96,1% vergeleken met de iTransformer. Vergeleken met de iSpikformer is er een reductie van factor 26,6.
Modelgrootte: Het aantal parameters is aanzienlijk kleiner (ongeveer 53-55% van de baseline modellen).

5. Betekenis (Significance)

SpikySpace overbrugt de kloof tussen moderne sequentiemodellering (zoals Mamba/SSM's) en neuromorfische hardware. Het bewijst dat het mogelijk is om hoogwaardige voorspellingen te doen met een fractie van de energie die traditionele deep learning-modellen verbruiken. Dit maakt de weg vrij voor geavanceerde, intelligente systemen in apparaten met een zeer beperkte batterijduur, zoals sensoren in smart cities of industriële IoT-apparatuur.