Gradient-Free Training of Spiking Neural Networks via Low-Rank Evolution Strategies

Technische Samenvatting: Gradiëntvrije Training van Spiking Neural Networks via Low-Rank Evolution Strategies

Probleemstelling
Spiking Neural Networks (SNN's) bieden aanzienlijke voordelen op het gebied van energie-efficiëntie op neuromorfische hardware (bijv. Intel Loihi, IBM TrueNorth) door gebruik te maken van ijle, gebeurtenisgestuurde berekeningen. Het trainen van SNN's blijft echter een grote flessenhals. Het kernprobleem is de niet-differentieerbare aard van de spike-generatiefunctie (een Heaviside-stapfunctie), wat het gebruik van standaard backpropagation verhindert. Hoewel surrogate-gradiëntmethoden een benadering van deze afgeleide gebruiken om backpropagation mogelijk te maken, vertrouwen zij op autograd-infrastructuur die incompatibel is met on-chip leerbeperkingen. Evolution Strategies (ES) bieden een gradiëntvrij alternatief door gewichten te verstoren en fitness te evalueren; ES schaalt echter slecht met de modelgrootte, waarbij $O(Pmn)$ geheugen per generatie vereist is (waarbij $P$ de populatiegrootte is en $m \times n$ de dimensies van de gewichtsmatrix zijn), wat het onpraktisch maakt voor grote netwerken.

Methodologie
De auteurs stellen voor om Eggroll, een low-rank factorisatietechniek voor Evolution Strategies, te integreren in de SNN-trainingslus.

• Low-Rank Perturbatie: In plaats van full-rank perturbatiematrices $E \in \mathbb{R}^{m \times n}$ te samplen, benadert de methode perturbaties als een low-rank product $E_i = \frac{1}{\sqrt{r}} A_i B_i^\top$, waarbij $A_i \in \mathbb{R}^{m \times r}$ en $B_i \in \mathbb{R}^{n \times r}$. Dit reduceert de geheugencomplexiteit per generatie van $O(Pmn)$ naar $O(r(m+n))$.
• Deterministische Reconstructie: Om het geheugen verder te optimaliseren, worden de ruisfactoren ($A, B$) niet opgeslagen maar on-demand gereconstrueerd vanuit een opgeslagen seed met behulp van een teller-gebaseerde deterministische random number generator (RNG).
• Trainingslus: De methode maakt gebruik van een Leaky Integrate-and-Fire (LIF) netwerk. Tijdens elke generatie worden $P$ geperturbeerde netwerkkopieën gelijktijdig geëvalueerd op een mini-batch van de N-MNIST dataset. Het fitnesssignaal wordt afgeleid van negatieve cross-entropie (log-likelihood) in plaats van ruwe nauwkeurigheid om een gladdere landschap voor de optimizer te bieden. De gradiëntschatting wordt gereconstrueerd via een $(\text{diag}(f)A)^\top B$ formulering en gebruikt om gewichten bij te werken via de Adam-optimizer.
• Dataset: De experimenten maken gebruik van N-MNIST, een native neuromorfische dataset gegenereerd door een bewegende ATIS-sensor over MNIST-beelden. Deze dataset levert asynchrone event-stromen (ON/OFF polariteiten) zonder dat er rate-coding benaderingen nodig zijn.

Belangrijkste Bijdragen

1. Karakterisering van Eggroll op SNN's: Het artikel toont aan dat Eggroll effectief SNN's kan trainen met niet-differentieerbare spike-functies, wat volledig gradiëntvrije training mogelijk maakt zonder surrogate-benaderingen.
2. Rank Ablatie Studie: De auteurs laten zien dat de nauwkeurigheid relatief stabiel blijft naarmate de rang $r$ afneemt, waarbij een duidelijke efficiëntie–nauwkeurigheid Pareto-front wordt geïdentificeerd.
3. Geprincipeerde Evaluatie: De methode wordt gebenchmarkt op N-MNIST tegenover vanilla ES en surrogate-gradiënt Backpropagation Through Time (BPTT), waarbij de rate-coding benaderingen die vaak bij statische MNIST-evaluaties worden gebruikt, worden vermeden.

Experimentele Resultaten
Experimenten werden uitgevoerd op een NVIDIA RTX 3070 Ti met een twee-laags volledig verbonden (fully connected) LIF-netwerk.

• Nauwkeurigheid vs. Snelheid: De voorgestelde methode behaalde een testnauwkeurigheid van 79,21% met een rang van $r=4$. Dit vertegenwoordigt een verwaarloosbare daling vergeleken met de 76,17% behaald door vanilla ES, maar met een 2,23× versnelling in de wall-clock tijd per generatie.
• Vergelijking met BPTT: Hoewel surrogate-gradiënt BPTT een hogere nauwkeurigheid behaalde (94,03%), was het aanzienlijk langzamer (31,69s per generatie vs. 5,82s voor Eggroll $r=4$).
• Rank Gevoeligheid: De beste nauwkeurigheid-per-seconde tradeoff werd waargenomen bij $r=4$. Lagere rangen (bijv. $r=1$) boden de snelste executie (3,41s) met 78,75% nauwkeurigheid, terwijl hogere rangen een verhoogde variantie vertoonden.
• Convergentie: EGGROLL-varianten convergeerden iets sneller in termen van wall-clock tijd dan vanilla ES, ondanks vergelijkbare convergentiegedragingen op generatieniveau.

Betekenis en Claims
Het artikel claimt dat EGGROLL een levensvatbare methode is voor het trainen van SNN's zonder te vertrouven op surrogate-gradiënten of backpropagation-infrastructuur. Dit is significant omdat het de compatibiliteitskloof adresseert tussen moderne trainingsalgoritmen en de beperkingen van neuromorfische hardware, die de autograd-mechanismen die nodig zijn voor surrogate-gradiënten niet kan ondersteunen.

De auteurs hanteren een bescheiden standpunt met betrekking tot de resultaten:

• Zij erkennen een nauwkeurigheidsverschil tussen hun methode (79,21%) en surrogate BPTT (94,03%), wat zij toeschrijven aan een beperkt rekenbudget (100 generaties) en het gebruik van een lichtgewicht, twee-laags netwerkarchitectuur.
• Zij merken op dat de methode nog niet is getest op echte neuromorfische hardware of op complexere datasets zoals CIFAR10-DVS of N-Caltech101.
• Dit werk vestigt een proof-of-concept dat low-rank evolution strategies kunnen schalen naar SNN's, wat een duidelijke tradeoff biedt tussen computationele efficiëntie en modelnauwkeurigheid, wat de weg vrijmaakt voor toekomstige on-chip leerapplicaties.