Spiking Neural Networks for Continuous Control: Neuromorphic Reinforcement Learning in Conventional Computing

In de wereld van kunstmatige intelligentie is er een constante drang om machines te maken die kunnen leren en zich kunnen aanpassen aan hun omgeving, net zoals een kind dat leert lopen of een vogel die leert vliegen. Dit vakgebied, bekend als reinforcement learning (versterkend leren), leert computerprogramma's beslissingen te nemen door ze te belonen voor goede keuzes en te straffen voor slechte keuzes. Jarenlang zijn deze systemen ongelooflijk bekwaam geworden in het oplossen van complexe problemen, van het spelen van videogames tot het besturen van robots. De hardware die deze slimme programma's draait, is echter vaak lomp en verbruikt een enorme hoeveelheid elektriciteit, vergelijkbaar met een krachtige desktopcomputer die een zware videogame draait. Wetenschappers kijken nu naar een ander soort computerarchitectuur geïnspireerd door het menselijk brein, genaamd neuromorfische hardware. Deze gespecialiseerde chips zijn ontworpen om veel energie-efficiënter en sneller te zijn in het verwerken van informatie, maar ze werken op een fundamenteel andere manier dan de computers die we dagelijks gebruiken. De uitdaging is geweest om uit te vogelen hoe je de complexe, hoogwaardige algoritmen die goed werken op standaardcomputers kunt vertalen, zodat ze op deze brein-achtige chips kunnen draaien zonder hun vermogen om te leren te verliezen.

Een team van onderzoekers zette zich schouder aan schouder om dit specifieke puzzelstuk op te lossen door een nieuwe aanpak te testen op een standaardcomputer voordat ze het ooit op de gespecialiseerde hardware probeerden. Ze concentreerden zich op een moeilijker type taak genaamd continuous control (continue controle), waarbij een machine vloeiende, constante aanpassingen moet maken om in balans te blijven of vooruit te bewegen, vergelijkbaar met een robot die probeert door een kamer te lopen zonder te vallen. De onderzoekers creëerden een nieuw systeem dat ze SANSAC noemden, wat staat voor Spiking Actor Network Soft Actor Critic. Om te begrijpen wat dit bijzonder maakt, helpt het om te weten dat standaard kunstmatige intelligentienetwerken neuronen gebruiken die een constant signaal uitzenden, terwijl het nieuwe systeem gebruikmaakt van "spiking" neuronen. Deze spiking neuronen zijn meer als biologische cellen; ze blijven stil totdat ze genoeg input ontvangen om een enkele, scherpe elektrische puls, of een "spike", te sturen, en worden daarna weer stil. Deze methode is de sleutel tot het maken van software die uiteindelijk op de energie-efficiënte neuromorfische chips kan draaien. Het team wilde zien of het vervangen van het standaardbrein van hun lerende robot door deze spiking versie de prestaties zou schaden, of dat het net zo goed zou kunnen leren.

Om het antwoord te vinden, onderwierpen de onderzoekers zowel het traditionele systeem als hun nieuwe spiking systeem aan een strenge test in een gesimuleerde omgeving genaamd de Bipedal Walker. In deze simulatie moet een twee-benige robot leren om vooruit te lopen zonder te vallen. Het team trainde beide versies van de software gedurende maximaal 1.200 pogingen, of episodes, om te zien hoe snel en effectief ze konden leren lopen. Ze testten de systemen met verschillende groottes van intern geheugen, variërend van zeer klein tot quite groot, om ervoor te zorgen dat de resultaten standhielden onder verschillende omstandigheden. De resultaten waren verrassend bemoedigend. Het nieuwe spiking systeem leerde net zo goed lopen als het traditionele systeem. In de meest uitdagende tests bereikten beide systemen een succespercentage van ongeveer 70 tot 80 procent, wat betekent dat ze de looptaak meestal succesvol konden voltooien. De onderzoekers vonden geen significant statistisch verschil in hoe goed de twee systemen presteerden, wat bewees dat de spiking benadering niet ten koste gaat van intelligentie voor efficiëntie.

Er werd echter een duidelijke afweging waargenomen tijdens de testfase. Hoewel het spiking systeem net zo goed presteerde, duurde het aanzienlijk langer om te trainen op de standaardcomputer. De onderzoekers merkten op dat de spiking versie ongeveer twee keer zoveel tijd nodig had om hetzelfde aantal trainings-episodes te voltooien als de traditionele versie. Dit kwam omdat de standaardcomputer is gebouwd om informatie in een rechte lijn te verwerken, terwijl het spiking systeem vertrouwt op timing en sequenties die moeilijk te simuleren zijn op dergelijke hardware. De onderzoekers legden uit dat deze vertraging een artefact is van het draaien van de simulatie op het verkeerde type machine; op de eigenlijke neuromorfische chips die hiervoor ontworpen zijn, zou het systeem waarschijnlijk veel sneller draaien omdat die chips deze spikes parallel verwerken, net zoals een echt brein dat doet. De studie heeft het energieverbruik op de standaardcomputer niet gemeten omdat de gegevens inconsistent waren, maar het doel was om te bewijzen dat het algoritme werkt voordat het naar de hardware wordt verplaatst waar het echt zou schitteren.

De studie keek ook naar wat er gebeurt als de systemen kleiner worden gemaakt, met minder interne verbindingen. Zoals verwacht hadden beide systemen moeite wanneer het netwerk te klein was om de complexiteit van de taak aan te kunnen, waarbij de succespercentages daalden naar slechts 10 procent. Maar in het middensegment van de groottes bleef het spiking systeem competitief, wat aantoont dat het robuust genoeg is om complexe leerprocessen aan te kunnen, zelfs wanneer de middelen beperkt zijn. De onderzoekers concludeerden dat hun werk een solide fundament legt voor de toekomst van neuromorfische kunstmatige intelligentie. Ze hebben aangetoond dat het mogelijk is om leeralgoritmen te ontwerpen die klaar zijn voor deze nieuwe, energie-efficiënte chips zonder dat men een daling in prestaties hoeft te accepteren. Hoewel de weg vooruit nog steeds testen op fysieke neuromorfische hardware vereist om de energievoordelen te bevestigen, bevestigt dit artikel dat de softwarelogica zelf klopt. De bevindingen suggereren dat de toekomst van efficiënte, brein-achtige computing niet alleen een theoretische droom is, maar een praktische realiteit die vandaag de dag gebouwd kan worden, mits we bereid zijn iets langer te wachten tot de training op onze huidige computers is voltooid.