Scalable Training of Continuous-Time Spiking Neural Networks with Differentiable Spike-Time Discretization

Stel je voor dat je probeert een super-snel, super-efficiënt robotbrein te leren om plaatjes te herkennen. Dit is geen normaal brein dat informatie verwerkt als een constante stroom zoals een video; het is een "spiking" brein. Denk aan een kamer vol mensen die proberen een geheime boodschap door te geven door een code op tafel te tikken. In dit robotbrein wordt informatie niet overgedragen door hoe hard het getik is, maar door het exacte moment waarop een tik plaatsvindt. Dit wordt "temporale codering" genoemd. Het is ongelooflijk energiezuinig omdat de robot alleen "denkt" wanneer er een tik optreedt, wat het perfect maakt voor batterijgestuurde apparaten. Maar er is een addertje onder het gras: het trainen van deze robot is een nachtmerrie. Omdat de robot reageert op de precieze timing van elke individuele tik, is de wiskunde die nodig is om de prestaties te verbeteren zo zwaar dat computers vastlopen. Het is alsof je probeert het perfecte pad te berekenen voor elke individuele regendruppel in een storm om een specifiek doel te raken; de computer raakt zijn geheugen kwijt voordat hij zelfs de eerste druppel heeft kunnen afmaken.

Dit is het probleem waar een team onderzoekers zich mee bezighield, die deze "continue-time" spiking neurale netwerken (SNN's) wilden trainen zonder hun grafische kaarten te laten smelten. Ze introduceerden een slimme truc genaamd "Differentiable Spike-Time Discretization" (DSTD). In plaats van elk enkel, rommelig en onregelmatig tikje van de vorige laag neuronen te volgen, fungeert DSTD als een vertaler die die tikken vastzet op een net, vast rooster van tijdsloten. Stel je voor dat je in plaats van elke individuele regendruppel te tellen, gewoon controleert of het regende tijdens het 1-seconde, 2-seconde of 3-seconde moment. Dit vereenvoudigt de wiskunde enorm. De onderzoekers voegden ook een "verkeersregelaar"-systeem toe, geïnspireerd door de eigen signaalketens uit de natuur (genaamd synfire chains), om ervoor te zorgen dat neuronen in een georganiseerde golf vuren in plaats van vast te lopen of willekeurig te vuren. Door deze twee ideeën te combineren, slaagden ze erin om een 20-laags diep netwerk te trainen op een enkele computerchip, iets wat voorheen onmogelijk was. Ze ontdekten dat deze methode tot wel 100 keer minder geheugen verbruikte en tot wel 20 keer sneller was dan de oude, exacte manier van rekenen, terwijl het brein van de robot net zo slim bleef.

De Geheugencrisis van het Robotbrein

Om te begrijpen waarom deze nieuwe methode zo belangrijk is, moeten we eerst kijken naar hoe deze spiking breinen werken. In een standaard kunstmatig neuraal netwerk (het soort dat de gezichtsherkenning van je telefoon aanstuurt) stroomt informatie als water door pijpen, constant veranderend. Maar in een spiking neuraal netwerk (SNN) is informatie een reeks discrete gebeurtenissen — spikes. Het is meer als een reeks blikseminslagen. Het brein leert door de timing van deze blikseminslagen aan te passen.

Het specifieke type brein waar dit artikel zich op richt, is de "Leaky Integrate-and-Fire" (LIF) neuron. Je kunt deze neuron zien als een lekkende emmer. Water (inputsignalen) stroomt erin, waardoor het waterniveau (membraanpotentiaal) stijgt. Als het waterniveau een specifieke lijn bereikt (de drempelwaarde), "spiket" de emmer — hij loost zijn water en stuurt een signaal naar de volgende neuron. In "continuous-time" SNN's gebeurt dit in real-time, niet in vaste stappen. Het exacte moment waarop de emmer overstroomt, hangt af van de exacte timing van elke druppel die er vóór die tijd in is gevallen.

Het probleem ontstaat wanneer je probeert een diep netwerk (één met veel lagen) te trainen met deze continuous-time emmers. Om het netwerk te leren, moet je berekenen hoe het veranderen van een enkele inputdruppel de uiteindelijke output beïnvloedt. Bij de oude "exacte" methode moet de computer elk mogelijk moment bijhouden waarop een spike zou kunnen zijn opgetreden. Als de vorige laag 1.000 neuronen heeft en zij vuren allemaal op verschillende momenten, moet de computer 1.000 verschillende "kandidaat"-momenten berekenen waarop de volgende neuron zou kunnen vuren. Naarmate het netwerk dieper en breder wordt, explodeert het aantal kandidaten. Het is alsof je probeert elk mogelijk pad te onthouden dat een bal kan afleggen door een pinballmachine met duizenden bumpers. Het geheugen van de computer raakt direct vol en de training komt tot stilstand.

Het Magische Rooster: Differentiable Spike-Time Discretization (DSTD)

De oplossing van de auteurs is een methode die ze Differentiable Spike-Time Discretization, of DSTD, noemen. Stel je voor dat je een chaotische jazzsolo aan een vriend probeert te beschrijven. De oude manier is om de exacte milliseconde op te schrijven waarop elke noot werd gespeeld. Dat is accuraat, maar de bladmuziek is kilometers lang en onmogelijk snel te lezen.

DSTD is als zeggen: "Laten we gewoon zeggen dat de noten plaatsvonden aan het begin van elke maat." In plaats van de exacte, onregelmatige timing van elke spike uit de vorige laag te volgen, brengt DSTD deze in kaart op een vast rooster van tijdspunten. Als een spike plaatsvindt op 0,12 seconden en de volgende op 0,14 seconden, maar je rooster heeft punten op 0,10 en 0,20, dan berekent DSTD hoeveel "gewicht" aan die roosterpunten toe te kennen om de wiskunde kloppend te maken.

Dit is een game-changer voor het geheugen. In de oude methode groeide het benodigde geheugen met het aantal inputspikes (wat duizenden kon zijn). Met DSTD groeit het geheugen alleen met het aantal roosterpunten (die de onderzoekers klein hielden, rond de 10 tot 40). Ze lieten zien dat ze door dit rooster te gebruiken, het benodigde geheugen voor training met wel 100 keer konden verminderen. Het is alsof je overstapt van het opslaan van een video van elke individuele regendruppel naar het opslaan van een weerbericht dat zegt: "het regende zwaar tussen 13:00 en 14:00 uur." Je verliest een klein beetje detail, maar je krijgt de mogelijkheid om de hele storm op een gewone laptop te verwerken.

Cruciaal is dat de onderzoekers bewezen dat dit rooster het brein niet "dom" maakt. Zelfs met het vereenvoudigde rooster kon het netwerk nog steeds met hoge nauwkeurigheid beelden herkennen. In hun tests trainden ze een 9-laags netwerk op de CIFAR-10 dataset (een verzameling van 10 soorten objecten zoals vliegtuigen en auto's) en een 20-laags netwerk op Fashion-MNIST (afbeeldingen van kleding). Beiden draaiden op een enkele GPU, een standaard computerchip, terwijl de oude methoden een enorme cluster van computers hadden vereist of volledig zouden zijn gefaald.

De Verkeersregelaar: Synfire-Chain Dynamics

Er was een tweede probleem dat de onderzoekers moesten oplossen: "dode neuronen". In diepe netwerken gebeurt het soms dat een neuron simpelweg nooit vuurt. Als het niet vuurt, stuurt het geen signaal, en stopt het leerproces in dat deel van het netwerk. Het is als een wegversperring in een stad; als één kruispunt gesloten is, kan niemand de volgende buurt bereiken.

Om dit op te lossen, introduceerde het team een concept geïnspireerd door "synfire chains", een patroon dat wordt waargenomen in biologische hersenen waarbij groepen neuronen in een gesynchroniseerde golf vuren. Ze voegden een "temporele straf" toe aan het trainingsproces. Zie dit als een strikte verkeersregelaar die elke laag van het netwerk vertelt: "Je moet je signalen afgeven tussen 1:00 en 1:10." Als een neuron probeert te vroeg of te laat te vuren, krijgt het een "boete" (een straf in de wiskunde), die het dwingt om binnen het juiste venster te vuren.

Dit doet twee dingen. Ten eerste dwingt het neuronen om te vuren, wat het probleem van de "dode neuron" voorkomt. Ten tweede creëert het een pijplijn. Omdat elke laag zijn eigen specifieke tijdsvenster heeft, kan het netwerk beginnen met het verwerken van de volgende afbeelding voordat het klaar is met het verwerken van de huidige afbeelding. Het is als een lopende band waarbij de tweede arbeider al begint aan de tweede auto voordat de eerste arbeider de eerste auto heeft afgerond. Deze "pijplijn"-operatie stelt het netwerk in staat om gegevens veel sneller te verwerken, waardoor de hoge snelheid behouden blijft, zelfs naarmale het netwerk dieper wordt.

De Resultaten: Snelheid, Geheugen en Diepte

De onderzoekers testten hun nieuwe "Syn-SNN" (Synfire-chain Spiking Neural Network) tegen de oude methoden. De resultaten waren spectaculair.

• Geheugen: In dichte netwerken daalde het piekgeheugengebruik met wel 100 keer. Dit betekent dat een netwerk dat voorheen een supercomputer nodig had om te trainen, nu op een enkele GPU past.
• Snelheid: De trainingstijd werd met wel 20 keer verminderd. Wat vroeger dagen duurde, kan nu in uren worden gedaan.
• Diepte: Ze slaagden erin om een 20-laags netwerk te trainen op Fashion-MNIST, met een nauwkeurigheid van 92,33%. Dit is een aanzienlijke sprong, aangezien het trainen van diepere continuous-time SNN's dan een paar lagen voorheen als bijna onmogelijk werd beschouwd vanwege de geheugenbeperkingen.

Het paper onderzocht ook de trade-offs. Ze ontdekten dat als de tijdsvensters voor het vuren te nauw waren, het netwerk sneller werd maar minder nauwkeurig. Als de vensters te breed waren, nam de nauwkeurigheid toe, maar nam het snelheidsvoordeel af. Ze gebruikten een methode genaamd "multi-objective optimization" om het ideale evenwicht te vinden, waarmee ze lieten zien dat het systeem flexibel genoeg is om afgestemd te worden op verschillende behoeften.

Waarom dit ertoe doet

Dit werk overbrugt de kloof tussen de theoretische schoonheid van continuous-time spiking netwerken en de praktische realiteit van het trainen ervan. Jarenlang wisten wetenschappers dat deze netwerken de meest efficiënte manier waren om het menselijk brein na te bootsen en op hardware met een laag vermogen te draaien, maar ze konden ze niet op een bruikbare schaal trainen. Door DSTD en de synfire-chain regularisatie te introduceren, hebben de auteurs aangetoond dat het mogelijk is om diepe, continuous-time netwerken te trainen op standaard hardware.

Dit betekent niet dat het probleem volledig is opgelost. De auteurs merken op dat het theoretische begrip van waarom deze netwerken zo goed leren nog in ontwikkeling is, en het vinden van de perfecte instellingen (hyperparameters) vereist nog steeds veel trial-and-error. Echter, ze hebben een krachtig nieuw instrument geleverd. Door een chaotisch, geheugenverslindend probleem om te zetten in een beheersbaar, roostergebaseerd probleem, hebben ze de deur geopend naar het bouwen van veel grotere, efficiëntere en meer brein-achtige AI-systemen die ooit op kleine, batterijgestuurde apparaten zouden kunnen draaien.