💻 computer science

Efficiently Training Time-to-First-Spike Spiking Neural Networks from Scratch

Dit artikel stelt een uitgebreid trainingsframework voor dat gespecialiseerde initialisatie, normalisatie, een temporele decoder en gemiddelde pooling incorporeert om de instabiliteit en nauwkeurigheidsbeperkingen van Time-to-First-Spike Spiking Neural Networks te overwinnen, waarbij state-of-the-art prestaties over meerdere datasets wordt bereikt.

Oorspronkelijke auteurs: Kaiwei Che, Zhengyu Ma, Yifan Huang, Peng Xue, Li Yuan, Timothée Masquelier, Wei Fang, Yonghong Tian

Gepubliceerd 2026-06-17

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Kaiwei Che, Zhengyu Ma, Yifan Huang, Peng Xue, Li Yuan, Timothée Masquelier, Wei Fang, Yonghong Tian

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een groep boodschappers (neuronen) probeert te leren om een enkele, dringende brief (een spike) naar een baas te bezorgen. Het doel is om de juiste boodschap over te brengen met de minste hoeveelheid energie en in de snelst mogelijke tijd. Dit is de uitdaging van het trainen van "Spiking Neural Networks" (SNN's), computer modellen die geïnspireerd zijn door hoe echte hersenen werken.

Het specifieke type netwerk waar dit artikel zich op richt, wordt Time-to-First-Spike (TTFTS) genoemd. In dit systeem mag een neuron slechts één keer roepen. De timing van die enkele roep draagt de informatie. Als hij vroeg roept, betekent dat het een; als hij laat roept, betekent het iets anders.

Het probleem dat de auteurs tegenkwamen, is dat het trainen van deze "één-roep"-netwerken ontzettend moeilijk is. Ze raken vaak in de war, blijven stil of roepen op het verkeerde moment, wat leidt tot slechte prestaties.

Hier is hoe de auteurs, onder leiding van Kaiwei Che en Zhengyu Ma, dit hebben opgelost met vier hoofdstrategieën, uitgelegd met alledaagse analogieën:

1. De "Perfecte Startlijn" (Parameter Initialisatie)

Het Probleem: Stel je een estafette voor waarbij de wagen steeds lichter wordt bij elke loper. Tegen de tijd dat het de laatste loper bereikt, is de wagen zo licht dat ze hem niet eens meer voelen. In computerm terms betekent dit dat het gebruik van standaard startinstellingen (de "Kaiming initialisatie") ervoor zorgt dat het signaal vervaagt terwijl het door de lagen van het netwerk reist. De neuronen krijgen nooit genoeg "lading" om te roepen.

De Oplossing: De auteurs creëerden een nieuwe startregel genaamd ETTFS-init. In plaats van te gokken op het startgewicht, berekenden ze de exacte hoeveelheid "duw" die nodig is zodat het signaal sterk en consistent blijft van de eerste loper tot de laatste. Het is alsof je ervoor zorgt dat elke loper in de estafette een wagen van exact hetzelfde gewicht krijgt, zodat de boodschap nooit verloren gaat.

2. De "V steady Hand" (Gewichtsnormalisatie)

Het Probleem: Zelfs als je met een perfecte wagen begint, kunnen de lopers tijdens de race moe of enthousiast worden, waardoor de wagen wiebelt of van gewicht verandert. Tijdens het trainen kunnen de "gewichten" (de sterkte van de verbindingen tussen neuronen) afwijken van hun ideale staat, wat het trainen instabiel maakt.

De Oplossing: De auteurs voegden een stap van Gewichtsnormalisatie toe. Denk hierbij aan een coach die constant de wagen controleert en deze voorzichtig terug naar het perfecte gewicht brengt na elke oefenronde. Dit houdt het trainen stabiel en helpt het netwerk sneller te leren zonder dat het signaal rommelig wordt.

3. De "Vroege Vogel" Decoder (Temporal Weighting Decoder)

Het Probleem: In een normaal netwerk wacht je misschien tot iedereen klaar is met roepen voordat je beslist wie er gewonnen heeft. Maar in een TTFS-netwerk is de eerste roep het belangrijkste. Traditionele methoden negeren deze urgentie vaak of doen er te lang over om het resultaat te berekenen.

De Oplossing: De auteurs bouwden een speciale Decoder die werkt als een rechter die snelheid boven alles waardeert. Ze kennen een "bonusscore" toe aan roepen die vroeg plaatsvinden en een "straf" aan roepen die later plaatsvinden.

Analogie: Stel je een race voor waarbij de winnaar niet alleen de snelste is, maar degene die als eerste de finishlijn passeert ook een enorme gouden medaille krijgt, de tweede krijgt zilver, enzovoort. Dit moedigt de neuronen aan om zo vroeg mogelijk te vuren, wat het hele proces versnelt en energie bespaart.

4. De "Eerlijke Mixer" (Pooling Lagen)

Het Probleem: Om informatie te verwerken, groeperen netwerken vaak neuronen samen (pooling). De auteurs ontdekten dat het gebruik van een "Max-Pooling" methode (het kiezen van de hardste roep) een valstrik was. Als twee verschillende neuronen in een groep op verschillende tijdstippen riepen, zou de "Max"-methode per ongeluk de situatie creëren waarin het lijkt alsof er twee roepen waren, wat de "één-roep-alleen"-regel doorbreekt.

De Oplossing: Ze stapten over op Average-Pooling. In plaats van de hardste roep te kiezen, nemen ze het gemiddelde van de groep.

Analogie: Als je een groep mensen hebt en je wilt de algemene stemming weten, kan het vragen "Wie is het luidst?" de nuance missen. Vragen "Wat is de gemiddelde stemming?" houdt de regels intact. Dit zorgt ervoor dat het netwerk de "één roep per neuron"-regel strikt volgt, wat essentieel is voor de wiskunde om te werken.

De Resultaten: Een Sneller, Slimmer, Groener Netwerk

Door deze vier verbeteringen te combineren, creëerden de auteurs een trainingsframework (ETTFS) dat:

Sneller traint: Het netwerk leert zonder vast te lopen of in de war te raken.
Sneller draait: Het neemt beslissingen in minder "tijdstappen" (zoals een race in minder seconden voltooien).
Minder energie verbruikt: Omdat het minder spikes afgeeft en eerder stopt, is het ongelooflijk efficiënt voor speciale "neuromorfische" hardware (chips die ontworpen zijn om hersenen na te bootsen).

Het Scorebord:
Het team testte hun methode op verschillende standaard datasets (zoals het herkennen van handgeschreven cijfers of mode-items). Ze bereikten een state-of-the-art nauwkeurigheid, waarmee ze bijna alle andere methoden die deze netwerken vanaf nul trainen versloegen.

MNIST (Handgeschreven cijfers): 99,48% nauwkeurigheid.
Fashion-MNIST: 92,90% nauwkeurigheid.
CIFAR10 (Kleurafbeeldingen): 90,56% nauwkeurigheid.
DVS Gesture (Handbewegingen): 95,83% nauwkeurigheid.

Kortom, het artikel biedt een nieuw "regelboek" voor het aanleren van deze ultra-efficiënte, één-roep neurale netwerken, waardoor ze betrouwbaar genoeg worden om te worden gebruikt in real-world, energiebesparende apparaten.

Technische Samenvatting: Efficiënt trainen van Time-to-First-Spike Spiking Neural Networks vanaf nul

1. Probleemstelling

Spiking Neural Networks (SNN's) zijn veelbelovend voor energiezuinige neuromorfische computing vanwege hun event-gestuurde aard. Onder verschillende neurale coderingsschema's is Time-to-First-Spike (TTFS) codering bijzonder aantrekkelijk omdat het informatie codeert via de timing van een enkele spike per neuron, wat extreme schaarste en minimaal energieverbruik biedt.

Het trainen van TTFS SNN's vanaf nul (directe training) staat echter voor aanzienlijke uitdagingen:

Signaalvermindering en gradiëntverdwijning: Standaard initialisatiemethoden (bijv. Kaiming) zorgen ervoor dat de variantie van de post-synaptische stromen snel afneemt over de lagen in TTFS-netwerken. Dit leidt tot stille neuronen en verdwijnende gradiënten, wat resulteert in instabiele training en een lage nauwkeurigheid.
Trainingsinstabiliteit: De strikte beperking om maximaal één keer per neuron te vuren maakt het netwerk gevoelig voor verschuivingen in de gewichtsverdeling tijdens gradiëntafdaling.
Inferentielatentie: Bestaande decoders maken vaak geen volledig gebruik van de temporele informatie om vroegtijdige vuring te stimuleren, wat leidt tot hogere inferentie-tijdstappen.
Pooling-compatibiliteit: Standaard max-pooling schendt de "één-spike"-beperking van TTFS-codering, omdat het kan resulteren in meerdere spikes die over de tijd worden geaggregeerd, wat de theoretische aannames die nodig zijn voor efficiënte TTFS-training doorbreekt.

2. Methodologie: Het ETTFS-framework

De auteurs stellen ETTFS voor, een uitgebreid trainingsframework ontworpen om de training van TTFS SNN's vanaf nul te stabiliseren en te versnellen. Het framework bestaat uit vier kerncomponenten:

2.1. ETTFS-initialisatie (ETTFS-init)

Om signaalvermindering aan te pakken, hebben de auteurs een nieuwe parameter-initialisatiestrategie afgeleid.

Analyse: Ze demonstreren dat onder Kaiming-initialisatie de variantie van de inputstroom asymptotisch naar nul afneemt naarmate het aantal tijdstappen ( $T$ ) toeneemt, specifiek schalend als $1/(3T)$ .
Oplossing: Ze stellen voor om gewichten te initialiseren vanuit een uniforme verdeling geschaald door $\sqrt{T/N_l}$ , waarbij $N_l$ het aantal inputkenmerken is. Dit zorgt ervoor dat de gemiddelde variantie van de inputstroom over de tijdstappen stabiel blijft (genormaliseerd naar 1), ongeacht de diepte van het netwerk of het aantal tijdstappen, waardoor het probleem van stille neuronen wordt voorkomen.

2.2. Gewichtsnormalisatie

Zelfs met een juiste initialisatie kunnen gewichtsverdelingen verschuiven tijdens de training, wat de stabiliteitscondities schendt.

Mechanisme: De auteurs passen gewichtsnormalisatie toe om gewichten rond hun geïnitialiseerde staat te beperken.
Affiene transformatie: Om het verlies van representatiecapaciteit door vaste schaling te voorkomen, wordt een leerbare affiene transformatie (schaling $\gamma$ en bias $\beta$ ) toegepast op de synaptische output tijdens de training.
Efficiëntie bij inferentie: Cruciaal is dat de affiene transformatie tijdens de inferentie wordt samengevoegd (gefuseerd) met de synaptische gewichten ( $\tilde{W} = \gamma W$ , $\tilde{B} = \beta$ ), wat zorgt voor geen extra computationele overhead.

2.3. Temporal Weighting Decoder (TWD)

Traditionele decoders gebaseerd op vuuringssnelheden (firing rates) zijn ineffectief voor TTFS.

Mechanisme: De auteurs stellen een differentieerbare decoder voor die output-spikes over de tijd aggregeert met behulp van vervallende temporele gewichten ( $w[t]$ ).
Functie: Het gewicht $w[t]$ is ingesteld om te vervallen (exponentieel of lineair) naarmate de tijd vordert. Dit moedigt het netwerk aan om eerder te vuren, aangezien eerdere spikes meer bijdragen aan de uiteindelijke outputwaarde.
Resultaat: Dit stelt het netwerk in staat om de latentie te minimaliseren door de inferentie te stoppen zodra een spike wordt gedetecteerd in de outputlaag, terwijl de differentieerbaarheid voor backpropagation behouden blijft.

2.4. Average-Pooling voor One-Spike Constraints

Het artikel evalueert poolinglagen opnieuw in de context van TTFS.

Probleem: Max-pooling kan de "maximaal één spike"-aanname schenden. Als meerdere neuronen in een pooling-venster op verschillende tijdstappen vuren, kan de max-gepoolde output over de tijd meer dan 1 optellen.
Oplossing: De auteurs pleiten voor average-pooling. Omdat elke inputsequentie precies 1 optelt (door de one-spike beperking), telt het gemiddelde van deze sequenties ook exact 1 op, waardoor de one-spike eigenschap behouden blijft die essentieel is voor de theoretische stabiliteit van de initialisatie- en normalisatiemethoden.

3. Belangrijkste Bijdragen

Identificatie van Signaalvermindering: De auteurs identificeren dat standaard Kaiming-initialisatie de variantie van het signaal doet verdwijnen in TTFS-netwerken en stellen ETTFS-init voor om de distributies van post-synaptische stromen te stabiliseren.
Stabilisatie via Normalisatie: Ze introduceren een gewichtsnormalisatieschema met leerbare affiene transformaties dat stabiele gewichtsverdelingen handhaaft tijdens de training en deze fuseert in de gewichten voor efficiënte inferentie.
Nieuwe Decoder: Een Temporal Weighting Decoder wordt voorgesteld om vroegtijdige vuring te stimuleren, wat de inferentielatentie vermindert terwijl de differentieerbaarheid behouden blijft.
Herwaardering van Pooling: Het artikel betoogt dat average-pooling de juiste keuze is voor TTFS SNN's om de one-spike beperking te handhaven, terwijl max-pooling incompatibel is.
State-of-the-Art Prestaties: Het framework maakt het mogelijk om TTFS SNN's direct te trainen om een hoge nauwkeurigheid te bereiken op meerdere benchmarks zonder afhankelijk te zijn van ANN-naar-SNN conversie of vooraf getrainde gewichten.

4. Experimentele Resultaten

Het ETTFS-framework werd geëvalueerd op MNIST, Fashion-MNIST, CIFAR10, CIFAR100 en de neuromorfische DVS Gesture dataset.

Nauwkeurigheid: ETTFS bereikt state-of-the-art nauwkeurigheid onder direct getrainde TTFS SNN's:
- MNIST: 99,48%
- Fashion-MNIST: 92,90%
- CIFAR10: 90,56%
- CIFAR100: 70,27%
- DVS Gesture: 95,83% (Eerste gerapporteerde resultaat voor TTFS op deze dataset).
Latentie: Het framework vermindert de inferentie-tijdstappen aanzienlijk vergeleken met eerdere methoden (bijv. TQ-TTFS). Voor CIFAR10 is de gemiddelde inferentie-tijdstap verminderd naar 2,93, vergeleken met 4,62 voor TQ-TTFS.
Energie-efficiëntie: Door minder tijdstappen en lagere spike-aantallen vertoont ETTFS superieure energieverbruikscijfers (event-gestuurde synaptische energie, statische/dynamische energie en geheugentoegang-energie) vergeleken met rate coding en andere TTFS-methoden.
Stabiliteit: Ablatiestudies tonen aan dat ETTFS-init gradiëntverdwijning voorkomt (gradiënten blijven in de orde van $10^{-3}$ versus $10^{-10}$ met Kaiming) en de stabiele training van diepere netwerken (tot 11 lagen) mogelijk maakt waar Kaiming-initialisatie faalt.

5. Betekenis en Claims

Het artikel claimt dat ETTFS een robuuste oplossing biedt voor het trainen van TTFS SNN's vanaf nul, waarmee de historische afruil tussen de extreme energie-efficiëntie van TTFS-codering en trainingsstabiliteit wordt overwonnen.

De Kloof Overbruggen: Het framework overbrugt de prestatiekloof tussen directe training en ANN-naar-SNN conversie, waarbij het vergelijkbare of superieure nauwkeurigheid bereikt met aanzienlijk lagere latentie en energiekosten.
Hardware-alignement: Door stap-voor-stap propagatie en vroege stopzetting te gebruiken, sluit de methode perfect aan bij de asynchrone, event-gestuurde aard van neuromorfische hardware, in tegen tegenover de laag-voor-laag conversiemethoden die hoge latentie veroorzaken.
Beperkingen: De auteurs merken bescheiden op dat de huidige resultaten beperkt zijn tot kleinschalige datasets (bijv. CIFAR, MNIST) en nog niet zijn uitgebreid naar grootschalige datasets zoals ImageNet, wat zij identificeren als een richting voor toekomstig onderzoek.

Het werk vestigt een nieuwe baseline voor TTFS SNN's en demonstreert dat deze netwerken, met de juiste initialisatie, normalisatie en decoding, efficiënt en effectief getraind kunnen worden zonder externe pre-training.