⚡ electrical engineering

Improving Performance of Spike-based Deep Q-Learning using Ternary Neurons

Dit artikel stelt een Deep Asymmetric Ternary Spiking Q-Network (DATSQN) voor dat een nieuw ternair spiking neuronmodel gebruikt om de gradiëntschattingsbias te mitigeren, waardoor de prestatieverslechtering van bestaande ternaire modellen wordt overwonnen en de prestaties van binaire baselines in deep Q-learning taken over zeven Atari-games worden overtroffen.

Oorspronkelijke auteurs: Aref Ghoreishee, Abhishek Mishra, John Walsh, Anup Das, Nagarajan Kandasamy

Gepubliceerd 2026-08-13

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Aref Ghoreishee, Abhishek Mishra, John Walsh, Anup Das, Nagarajan Kandasamy

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een robot probeert te leren om videogames te spelen. Om beslissingen te nemen, heeft de robot een brein nodig, en in de wereld van kunstmatige intelligentie bouwen we deze hersenen vaak met behulp van "neurale netwerken". Deze netwerken zijn geïnspireerd op het menselijk brein, waar minuscule eenheden genaamd neuronen signalen naar elkaar doorgeven. In traditionele computerbreinen zijn deze signalen als vloeiende, continue elektrische golven. Maar in een speciaal soort brein, een "Spiking Neural Network" (SNN), communiceren de neuronen met behulp van kleine, scherpe elektrische uitbarstingen genaamd "spikes", vergelijkbaar met hoe echte biologische neuronen vuren. Deze methode is ongelooflijk energiezuinig, wat het perfect maakt voor mobiele robots of apparaten die geen zware batterijen kunnen meedragen.

Maar er is een addertje onder het gras. De meeste efficiënte spiking-hersenen hebben slechts twee toestanden: ze vuren een spike (1) of ze blijven stil (0). Het is als een lichtschakelaar die alleen aan of uit kan staan. Dit beperkt de hoeveelheid informatie die de robot tegelijkert in zijn hoofd kan houden. Recentelijk probeerden wetenschappers deze schakelaars te upgraden naar "ternaire" neuronen, die drie toestanden hebben: vuren positief (+1), stil blijven (0), of negatief vuren (-1). Je zou misschien denken dat het toevoegen van een "negatieve" schakelaar de robot slimmer maakt, maar verrassend genoeg werden de robots bij het proberen van dit in een videogame-omgeving juist slechter in het spelen. Dit artikel duikt in dit mysterie en vraagt zich af waarom het hebben van meer opties de robot dommer maakte, en hoe ze dit oplosten om de robot weer een gaming-kampioen te maken.

Het Mysterie van de Dummere Robot

De onderzoekers, een team van Drexel University, zetten zich af om deze nieuwe "ternaire" neuronen te testen in een deep learning-systeem ontworpen om Atari-videogames te spelen (de klassieke arcadegames zoals Breakout en Space Invaders). Ze hadden een vermoeden dat het probleem niet de extra toestand zelf was, maar hoe de neuronen leerden.

Denk aan het trainen van een robot als het leren van hondentrucs aan een hond. Je geeft de hond een commando, de hond probeert het, en je geeft het een beloning (een traktatie) of een "nee" (een straf). In de wereld van AI wordt deze "traktatie" berekend door te kijken naar het verschil tussen wat de robot verwachtte en wat er daadwerkelijk gebeurde. Dit verschil wordt de "gradiënt" genoemd, en het vertelt de robot hoe hij zijn brein moet aanpassen om het de volgende keer beter te doen.

Het team ontdekte dat de standaard ternaire neuronen als een leraar waren die alleen om de richting van de fout gaf, en niet om de grootte ervan. Als de robot een fout maakte, kon de ternaire neuron alleen zeggen: "Je ging de verkeerde kant op!" (+1 of -1), maar negeerde het volledig de vraag: "Hoe erg heb je het verpest?" (de activiteit). In de beginfasen van het leren van een videogame is de robot vaak wild aan het gokken, dus is de "richting" van de fout verwarrend en willekeurig. Omdat de standaard ternaire neuronen zo gefocust waren op richting, raakten ze verdwaald in de ruis en stopten ze volledig met leren. Het was alsof de robot probeerde te navigeren in een mistig doolhof terwijl hij alleen luisterde naar een kompas dat willekeurig ronddraaide; hij stond gewoon stil.

De Asymmetrische Fix

Om dit op te lossen, stelden de auteurs een nieuw ontwerp voor genaamd de Deep Asymmetric Ternary Spiking Q-Network (DATSQN). Ze realiseerden zich dat de natuur het antwoord al had. In het menselijk brein zijn niet alle neuronen gelijk. Ongeveer 80% van onze neuronen zijn "excitatoir" (ze stimuleren het brein om te handelen), en slechts ongeveer 20% zijn "inhibitoir" (ze vertellen het brein om te stoppen). De oude ternaire modellen behandelden deze twee typen als perfecte spiegelbeelden van elkaar, wat biologisch gezien niet realistisch is.

Het nieuwe model van het team verbrak deze symmetrie. Ze creëerden een neuron waarbij de "positieve" (excitatoire) en "negatieve" (inhibitoire) drempels verschillend waren. Een manier om dit te visualiseren is door je een deur voor te stellen met twee verschillende sloten. Het oude model had twee identieke sloten; als je aan beide kanten hard genoeg duwde, ging de deur op dezelfde manier open. Het nieuwe model heeft een zwaar, moeilijk te openen slot aan de "stop"-kant en een gemakkelijk te openen slot aan de "ga"-kant. Deze asymmetrie betekende dat zelfs wanneer de robot in de war was over de richting van zijn fout, de neuron nog steeds een duidelijk signaal kon sturen over hoeveel hij actief moest zijn. Het hield de "volumeknop" werkend, zelfs wanneer de "richtingpijl" ronddraaide.

De Resultaten: Van Stilstand naar Superster

Het team testte dit nieuwe brein in zeven verschillende Atari-games, waarbij ze de oude binaire (aan/uit) robots en de standaard ternaire robots tegenover elkaar zetten. Ze maakten de taak moeilijker door de robots te dwingen sneller beslissingen te nemen (door een kortere simulatietijdvenster van 20 stappen te gebruiken in plaats van 40), wat het leren meestal veel moeilijker maakt.

De resultaten waren opmerkelijk. De standaard ternaire robots (DTSQN) presteerden vreselijk, met veel lagere scores dan de basis binaire robots. Ze zaten inderdaad vast in de leer-mist. Echter, de nieuwe asymmetrische robots (DATSQN) haalden niet alleen de inhaalslag in, maar schoten omhoog. In zes van de zeven spellen versloeg het nieuwe model de binaire baseline; het behaalde een verbetering van 30% in de gemiddelde score van het spel. Bijvoorbeeld, in Beam Rider scoorde de nieuwe robot 4.000 punten vergeleken met de 2.069 van de binaire robot. In Breakout scoorde hij 252 punten tegenover 207.

De onderzoekers controleerden ook de "hartslag" van het trainingsproces. Ze ontdekten dat de leersignalen van het nieuwe model sterk en stabiel bleven, waardoor het "vanishing gradient"-probleem werd vermeden, waarbij de robot vergeet hoe hij moet leren. Ze observeerden ook dat de neuronen in hun nieuwe model van nature vooral excitatoir werden, net als in een echt menselijk brein, waarbij de positieve spikes de negatieve spikes overtroffen met een ratio van minstens 60%.

Wat Dit Betekent

Dit artikel suggereert dat het simpelweg toevoegen van meer toestanden aan een neuron niet genoeg is; je moet ontwerpen hoe die toestanden leren. Door de natuurlijke onbalans van excitatoire en inhibitoire neuronen in het menselijk brein na te bootsen, heeft het team een spiking-netwerk gecreëerd dat niet alleen energiezuiniger is, maar ook slimmer is in het leren van complexe taken. Hoewel deze studie werd uitgevoerd in simulaties van videogames, suggereren de bevindingen dat deze "asymmetrische" aanpak de sleutel kan zijn tot het bouwen van betere, efficiëntere AI-hersenen voor robots en andere apparaten in de toekomst. De auteurs merken op dat hoewel hun model uitstekend werkt in deze games, het nog steeds een suggestie is voor hoe betere systemen gebouwd kunnen worden, en het zal interessant zijn om te zien of deze aanpak ook helpt in andere gebieden zoals visuele verwerking of taalverwerking.

Technische Samenvatting: Verbeteren van de Prestaties van Spike-gebaseerde Deep Q-Learning met Ternaire Neuronen

Probleemstelling
Deep Reinforcement Learning (DRL), in het bijzonder Deep Q-Networks (DQN), staat voor aanzienlijke uitdagingen met betrekking tot energie-efficiëntie en implementatie op mobiele platforms. Spiking Neural Networks (SNN's) bieden een energie-efficiënt alternatief door biologische neuronen na te bootsen die communiceren via discrete spikes. Echter, SNN's presteren momenteel minder goed dan klassieke Deep Neural Networks (DNN's) in complexe, hoogdimensionale taken om twee primaire redenen: de niet-differentieerbare aard van spike-generatie bemoeilijkt het trainen, en binaire spiking neuronen (die {0, 1} outputten) bezitten een beperkte representatiecapaciteit.

Hoewel recente studies ternaire spiking neuronen introduceerden (die {-1, 0, 1} outputten) om de representatiecapaciteit te vergroten en de prestaties te verbeteren in computer vision en natuurlijke taalverwerking, identificeert dit artikel een kritiek tegenstrijdigheid: in Deep Q-learning taken presteren bestaande symmetrische ternaire modellen aanzienlijk slechter dan hun binaire tegenhangers. De auteurs hypothetiseren dat deze degradatie wordt veroorzaakt door gradient estimation bias tijdens het trainen, specifiek het verlies van informatieve leersignalen wanneer de tekens van de spikes onbepaald zijn.

Methodologie
De auteurs ontwikkelen een wiskundig kader om de trainingsdynamiek van ternaire SNN's te analyseren, waarbij spikes worden gemodelleerd als stochastische variabelen om verwachte gradiënten af te leiden.

Analyse van Symmetrische Ternaire Neuronen:
Het artikel demonstreert dat voor een symmetrisch ternair Leaky Integrate-and-Fire (LIF) neuron (waarbij positieve en negatieve drempelwaarden gelijk zijn), de verwachte gradiënt tijdens backpropagation splitst in een "signaal-kanaal" (sign channel) en een "activiteits-kanaal" (activity channel). In de context van vroege Q-learning, waarbij doelwaarden oninformatief zijn met betrekking tot polariteit, verdwijnt het signaal-kanaal. Omdat het symmetrische ontwerp het "activiteits-kanaal" (dat bepaalt of het neuron moet vuren of stil moet blijven) dwingt naar nul, ontvangt het neuron een bijna nul-waardige, hoog-variante gradiënt. Dit leidt tot stagnatie van de training, wat de geobserveerde prestatie-degradatie verklaart.
Voorgestelde Oplossing: Asymmetrisch Ternair Spiking Neuron:
Om dit op te lossen, stellen de auteurs een nieuw neuronmodel voor met asymmetrische drempelwaarden ( $v_{thp} \neq v_{thn}$ ). In dit model:
- Is de positieve drempelwaarde ( $v_{thp}$ ) vastgesteld.
- Is de negatieve drempelwaarde ( $v_{thn}$ ) een trainbare parameter.
- Deze asymmetrie zorgt ervoor dat de gevoeligheden voor positieve en negatieve membraanpotentialen ( $c_p$ en $c_n$ ) ongelijk zijn.
- Consequent blijft het "activiteits-kanaal" in de gradiëntvergelijking niet-nul, zelfs wanneer het signaal-kanaal verdwijnt, wat een continu leersignaal biedt.
Stabiliteitsanalyse:
Met behulp van het concept van block dynamic isometry bewijzen de auteurs wiskundig dat netwerken gebouwd met deze asymmetrische ternaire neuronen zowel het probleem van verdwijnende als exploderende gradiënten vermijden. Ze tonen aan dat de dynamische isometrie van het voorgestelde model minstens zo robuust is als die van netwerken met ReLU-activaties.
Netwerkarchitectuur (DATSQN):
Het voorgestelde neuron wordt geïntegreerd in een Deep Asymmetric Ternary Spiking Q-Network (DATSQN). Om compatibiliteit met neuromorfische hardware te garanderen, gebruikt de input-encoding rate-based Bernoulli sampling om ruwe pixels om te zetten in spike-treinen, waardoor de niet-spiking, floating-point eerste laag die in sommige eerdere werken voorkwam, wordt geëlimineerd. Het simulatietijdvenster is verminderd naar 20 stappen (vergeleken met 40 in baselines) om de taak moeilijkheid te vergroten en latentie te verminderen.

Belangrijkste Bijdragen

Identificatie van Gradient Bias: Het artikel biedt de eerste evaluatie van ternaire neuronen in Deep Q-learning, waarbij wordt onthuld dat een grotere representatiecapaciteit niet automatisch vertaalt naar betere RL-prestaties vanwege de gradient estimation bias in symmetrische modellen.
Nieuw Neuronmodel: De introductie van het asymmetrische ternaire spiking neuron, dat een hoge representatiecapaciteit behoudt terwijl het een niet-nul verwachte gradiënt waarborgt door middel van trainbare, asymmetrische drempelwaarden.
Theoretische Garanties: Wiskundige bewijzen die aantonen dat het voorgestelde model het verdwijnen/exploderen van gradiënten voorkomt en een dynamische isometrie bereikt die vergelijkbaar is met ReLU-netwerken.
Biologische Plausibiliteit: Het ontwerp sluit aan bij biologisch bewijs dat laat zien dat hersenen een dominantie vertonen van exciterende neuronen (ca. 70-80%) boven inhiberende neuronen, een eigenschap die natuurlijk wordt gevangen door de asymmetrische drempelwaarden.

Experimentele Resultaten
De auteurs evalueerden DATSQN tegenover binaire (DSQN) en symmetrische ternaire (DTSQN) baselines over zeven Atari-games uit de Gym-omgeving.

Prestaties: DATSQN behaalde een verbetering van 30% in de gemiddelde gamestore ten opzichte van de binaire DSQN-baseline over de zeven games.
Vergelijking: Terwijl het symmetrische ternaire model (DTSQN) een duidelijke prestatiedaling liet zien in elke game vergeleken met de binaire baseline, presteerde het asymmetrische model (DATSQN) beter dan de binaire baseline in zes van de zeven games.
Trainingsdynamiek: Experimenten bevestigden dat DTSQN leed onder lage gemiddelde gradiënt-normen (wat de door de theorie voorspelde "stall" aangeeft), terwijl DATSQN stabiele gradiënt-normen behield en hogere cumulatieve beloningen bereikte in de latere stadia van de training.
Ablatie-studies: Experimenten toonden aan dat het simpelweg trainbaar maken van de drempelwaarde in een symmetrisch model onvoldoende was; de specifieke asymmetrie (het fixeren van één drempelwaarde terwijl de andere getraind wordt) was cruciaal voor de prestaties. Bovendien leverde het trainbaar maken van beide drempelwaarden geen significante winst op ten opzien van het ontwerp met één trainbare drempelwaarde, wat het eenvoudigere canonieke ontwerp rechtvaardigt.

Betekenis
Het artikel stelt dat de prestatiedegradatie van ternaire neuronen in Q-learning geen inherent gebrek is van ternaire codering, maar een gevolg is van symmetrische drempelwaardering die het netwerk blind maakt voor activiteitsgebaseerde leersignalen in de vroege RL-stadia. Door asymmetrie te introduceren, hebben de auteurs succesvol de voordelen van een hogere representatiecapaciteit herwonnen terwijl ze de trainingsstabiliteit waarborgen. De resultaten suggereren dat asymmetrische ternaire neuronen een levensvatbaar en superieur alternatief zijn voor binaire neuronen voor diepe spiking reinforcement learning, wat een pad biedt naar efficiëntere en krachtigere neuromorfische agenten. De auteurs merken op dat deze aanpak verdere evaluatie verdient in andere SNN-settings, zoals visie-gebaseerde taken en taalmodellering.

Meer zoals dit