💻 computer science

Mutual Lateral Prediction for Locally Trained Spiking Neural Networks

Dit artikel introduceert MPC-SNN, een nieuw convolutioneel spiking neuraal netwerk dat een state-of-the-art nauwkeurigheid bereikt op de DVS128 Gesture benchmark door middel van strikt lokale, backpropagation-vrije leerprocessen, waarbij neuronen de feedforward-inputs van hun gelijken kunnen voorspellen via een geleerde laterale gewichtsmatrix.

Oorspronkelijke auteurs: Nitesh Kamanuru Purushotham, Pranav Kulkarni

Gepubliceerd 2026-08-19

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Nitesh Kamanuru Purushotham, Pranav Kulkarni

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

In de zoektocht naar het bouwen van machines die kunnen zien en denken met de efficiëntie van het menselijk brein, hebben onderzoekers lang gekeken naar een speciaal soort kunstmatig netwerk genaamd een spiking neural network. In tegen tegen de standaard computerprogramma's die informatie verwerken in een gestage, continue stroom, bootsen deze netwerken de eigen elektrische taal van het brein na: korte, scherpe uitbarstingen van activiteit die bekend staan als spikes. Deze aanpak is bijzonder goed geschikt voor nieuwe soorten hardware die ontworpen zijn om biologie na te bootsen, die complexe taken kunnen uitvoeren terwijl ze slechts een fractie van de energie gebruiken die door conventionele computers nodig is. Een grote hindernis is echter een obstakel gebleven. De meest nauwkeurige manier om deze netwerken te leren patronen te herkennen, berust momenteel op een methode die vereist dat de computer foutsignalen achterwaarts door elke laag van het netwerk stuurt, een proces dat onmogelijk is om op de energiezuinige hardware zelf uit te voeren en geen evenknie heeft in het biologische brein. Wetenschappers hebben gezocht naar een manier om deze netwerken te trainen met behulp van alleen lokale regels, waarbij elk deel van het netwerk leert van zijn directe buren zonder een globaal signaal van bovenaf nodig te hebben.

Een team van onderzoekers heeft nu een nieuw systeem geïntroduceerd dat dit probleem oplost door het netwerk te leren voorspellen wat zijn buren op het punt staan te ervaren. In deze nieuwe architectuur, genaamd MPC-SNN, reageert elke neuron niet alleen op de signalen die hij ontvangt; hij probeert ook te raden welke signalen zijn gelijken in dezelfde laag zullen ontvangen. Als de voorspelling correct is, blijft de neuron stil. Als de voorspelling onjuist is, vuurt de neuron een spike af om de verrassing te signaleren. Dit mechanisme maakt het mogelijk dat het netwerk volledig leert van lokale interacties, gebruikmakend van een specifieke regel waarbij een neuron zijn verbindingen bijwerkt op basis van zijn eigen fout en de recente activiteit van een buur. De onderzoekers testten dit systeem op een dataset van handgebaren die zijn opgenomen met een speciale camera die alleen veranderingen in licht ziet, een taak die perfect aansluit bij de sterke punten van dit type technologie.

De resultaten van de studie tonen aan dat deze aanpak opmerkelijk goed werkt. Op de testset van 288 gebarenmonsters behaalde het netwerk een nauwkeurigheid van 95,83 procent, een prestatie die overeenkomt met de beste bestaande methoden die geen globale foutsignalen gebruiken en de systemen die al op fysieke neuromorfische chips zijn ingezet, aanzienlijk overtreft. Misschien nog belangrijker is dat het netwerk veel efficiënter werd naarmate het leerde. Tijdens het trainingsproces daalde het aantal door het netwerk uitgezonden spikes met meer dan 6al 60 procent, wat betekent dat het uiteindelijke systeem veel minder energie gebruikt om een beslissing te nemen. Deze efficiëntie werd niet afgedwongen door een specifieke regel om schaars te zijn; het ontstond natuurlijk omdat het netwerk leerde alleen te vuren wanneer het echt verrast was door de input.

Een belangrijke ontdekking in de studie was dat het mechanisme waarmee neuronen de input van hun buren voorspellen niet alleen een theoretisch idee was, maar een actief, groeiend onderdeel van het systeem. Wanneer de onderzoekers de training startten, waren de verbindingen die verantwoordelijk waren voor deze voorspellingen bijna nul. Terwijl het netwerk leerde, groeiden deze verbindingen aanzienlijk, waarbij de sterkste laag zijn voorspellende kracht met meer dan twintig keer vergroot. Deze groei vond plaats zonder labels of externe begeleiding, wat bewees dat het netwerk werkelijk leerde anticiperen op de activiteit van zijn gelijken. De studie vond ook dat het systeem zeer efficiënt was met de informatie die het kreeg. Zelfs toen de onderzoekers de hoeveelheid gelabelde data die voor training werd gebruikt terugbrachten tot slechts een kwart van het oorspronkelijke bedrag, behield het netwerk bijna driekwart van zijn nauwkeurigheid, wat suggereert dat de initiële lokale leerfase al een robuust begrip van de visuele wereld had opgebouwd.

Hoewel het systeem uitzonderlijk goed presteerde in simulatie, merkten de onderzoekers voorzichtig op dat de resultaten momenteel beperkt zijn tot computermodellen en nog niet zijn getest op fysieke neuromorfische chips. Ze observeerden ook dat het systeem moeite had met het identificeren van gebaren die structureel zeer verschillend waren van de trainingsdata, wat aangeeft dat het vermogen om ongewone inputs te detecteren nog beperkt is. Desalniettemin biedt het werk een concrete demonstratie dat een netwerk complexe taken kan leren gebruiken van alleen lokale regels en voorspellende codering, wat een levensvatbaar pad biedt naar het bouwen van intelligente machines die opereren met de lage energie en hoge snelheid van biologische systemen. Het succes van deze aanpak suggereert dat de toekomst van efficiënte kunstmatige intelligentie wellicht niet ligt in het versturen van enorme hoeveelheden data achterwaarts door een netwerk, maar in het leren aan elk deel van het systeem om te luisteren naar en de buren te voorspellen.

Technische Samenvatting: Mutual Lateral Prediction voor Lokaal Getrainde Spiking Neural Networks

Probleemstelling
Spiking Neural Networks (SNNs) zijn het natuurlijke computationele model voor neuromorfe hardware (bijv. Intel Loihi-2, SpiNNaker2), die energiezuinige inferentie biedt voor event-gebaseerde data zoals die van Dynamic Vision Sensors (DVS). Echter, de meest nauwkeurige SNNs vertrouwen momenteel op Backpropagation Through Time (BPTT) met surrogate gradients. Deze aanpak vereist het terugwaarts propageren van foutsignalen door lagen en door de tijd, een mechanisme dat incompatibel is met neuromorfe chips (die geen mechanismen voor inter-layer gradiënt-broadcast bezitten) en biologische plausibiliteit (die geen vergelijkbare achterwaartse paden kent). Hoewel predictive coding een route biedt naar strikt lokale leerprocessen, laten bestaande spiking-formuleringen doorgaans toe dat neuronen alleen hun eigen feedforward-drive voorspellen, waarbij de drive die hun laterale buren ontvangen wordt genegeerd.

Methodologie: MPC-SNN
De auteurs introduceren MPC-SNN (Mutual Lateral Predictive Coding SNN), een convolutioneel SNN dat volledig wordt getraind met lokale, backpropagation-vrije regels. De architectuur en het leerproces worden gedefinieerd door drie kerncomponenten:

Architecturale Innovatie (Laterale Predictie):
In tegen tegenstelling tot eerdere architecturen waar dendritische voorspellingen uitsluitend rusten op feedforward presynaptische spikes, introduceert MPC-SNN een geleerde laterale gewichtsmatrix, $W_{lat}$ . Elke neuron voorspelt de feedforward-input van zijn gelijke peers binnen dezelfde laag met behulp van de spikes die door die peers werden uitgezonden op het vorige tijdstap.
- De dendritische schatting $\hat{I}[t]$ wordt berekend als: $\hat{I}[t] = W_d s_{pre}[t] + W_{lat} z_{layer}[t-1]$ .
- $W_{lat}$ wordt geïmplementeerd als een geleerde $1\times1$ convolutie over kanalen op dezelfde ruimtelijke positie.
- De voorspellingsfout $\epsilon[t]$ is de afwijking tussen de werkelijke presynaptische spike-vector en deze laterale/forward-schatting.
Strikt Lokale Leeregels:
Het netwerk maakt gebruik van drie update-regels afgeleid van eerste principes, die geen globale foutsignalen of externe targets vereisen:
- Somatisch Gewicht ( $W_s$ ): Wordt bijgewerkt via een driefactoren Hebbiaanse regel met behulp van de voorspellingsfout, een eligibility trace en een neuromodulair signaal.
- Dendritisch Gewicht ( $W_d$ ): Wordt bijgewerkt om de feedforward-component van de voorspellingsfout te minimaliseren.
- Lateraal Gewicht ( $W_{lat}$ ): De nieuwe component, afgeleid door een lokale doelstelling (de helft van de gekwadrateerde voorspellingsfout) te differentiëren. De update-regel $\Delta W_{lat} = \eta_{lat} \epsilon[t] e_{lat}[t]^\top$ vereist enkel de eigen voorspellingsfout van de neuron en de voorafgaande spike van een gelijke peer in dezelfde laag. Dit is strikt lokaler dan methoden zoals e-prop (die output-fouten broadcast) of LTTS (die externe target spike-treinen vereist).
Tweefasig Trainingsproces:
- Fase 1 (Ongesuperviseerde Pretraining): 50 epochs zonder klassenlabels of globale loss. Elke laag werkt haar gewichten onafhankelijk bij met behulp van lokale voorspellingsfouten. Deze fase heeft als doel herbruikbare representaties te leren en de activiteit van het laterale mechanisme te verifiëren.
- Fase 2 (Gesuperviseerde Fine-tuning): 400 epochs waarbij een lineaire readout wordt toegevoegd en het netwerk end-to-end wordt geoptimaliseerd met cross-entropy loss en label smoothing.

Belangrijkste Resultaten
Geëvalueerd op de 11-klasse DVS128 Gesture benchmark, vertoont MPC-SNN het volgende:

Nauwkeurigheid: Het model bereikt een testnauwkeurigheid van 95,83%. Dit komt statistisch overeen met de sterkste lokaal-lerende baseline (DECOLLE, ~95,5%) en overtreft aanzienlijk de gedeplyoide neuromorfe implementaties (Loihi op 89,64% en Spike Gating Flow op 87,50%).
Mechanisme-activiteit: Tijdens Fase 1 groeien de laterale gewichten ( $W_{lat}$ ) van een initiële waarde nabij nul ( $\approx 0,001$ ) met wel 21,1 $\times$ in de eerste laag, wat bevestigt dat de laterale regel mechanisch actief is zonder label-gestuurde signalen.
Label-efficiëntie: Het model vertoont een hoge label-efficiëntie. Met slechts 25% van de trainingslabels behoudt het 73,50% nauwkeurigheid. Dit levert een Information Retention Ratio (IRR) op van 2,94, wat betekent dat elk gelabeld voorbeeld bijna drie keer zoveel nauwkeurigheidswinst oplevert als lineaire schaling.
Sparsity: Tijdens Fase 2 neemt het aantal spikes per inferentie af van ~730.000 naar ~143.000, wat een emergente sparsity aantoont zonder expliciete sparsity-straffen in de loss functie.
Ablatie: Het verwijderen van het laterale component (Conditie B) resulteert in een lichte daling in nauwkeurigheid (94,79% vs 95,83% best) en een toename van 5,8% in spike count, hoewel deze verschillen statistisch niet significant waren op de 288-sample testset over vijf seeds.

Betekenis en Claims
Het artikel claimt dat MPC-SNN de eerste SNN is die dezelfde-laag laterale predictive coding combineert met een lokaal afgeleide voorspellingsfout-regel. De betekenis wordt geformuleerd in drie duidelijke bijdragen:

Architecturaal: Het introduceert een geleerde evenals-laag laterale gewichtsmatrix om de feedforward-input van peers te voorspellen, een constructie die voorheen niet gerapporteerd is in de SNN-literatuur.
Theoretisch: De laterale update-regel is afgeleid van een voorspellingsfout-doelstelling in plaats van een heuristiek, wat een leerregel vestigt die strikt lokaal is (geen inter-layer coördinatie of externe targets vereisend).
Empirisch: Het model bereikt concurrerende nauwkeurigheid op een standaard neuromorf benchmark terwijl het een hoge label-efficiëntie en actieve laterale gewichtsgroei tijdens ongesuperviseerde pretraining vertoont.

Beperkingen en Eerlijke Negatieven
De auteurs vermelden expliciet enkele beperkingen:

Statistische Significantie: Hoewel het laterale mechanisme grote effectgroottes (Cohen's $d=1,01$ ) vertoont in de ablatie-studies, verhindert de kleine testset (288 samples) dat deze resultaten statistische significantie bereiken. Een grotere testset is nodig om de betrouwbaarheid van het laterale gewicht definitief te bewijzen.
Convergentieproblemen: De convergentie van de voorspellingsfout tijdens Fase 1 was niet-monotoon in de middelste laag (conv2), wat suggereert dat de lokale doelstelling moeite kan hebben met features die noch puur lokale randen, noch volledig abstract zijn.
Out-of-Distribution (OOD) Detectie: Een experiment dat de spike count als anomalie-score voor OOD-detectie testte, leverde een AUROC op van 0,578 (niet significant). De auteurs rapporteren dit als een "eerlijk negatief", waarbij ze de mislukking toeschrijven aan de semantische gelijkenis tussen de uit de training gehouden klassen en de trainingsklassen, in plaats van aan een fundamenteel defect in de detectielogica.
Deployment: De studie is enkel gebaseerd op simulatie; de efficiëntie van het mappen van Fase 1 training op fysieke neuromorfe chips blijft ongetest.

Concluderend presenteert het artikel MPC-SNN als een concrete, backpropagation-vrije realisatie van laterale predictive coding die de kloof overbrugt tussen biologische plausibiliteit en hoogwaardige neuromorfe computing, terwijl het erkent dat verdere statistische validatie en hardware-deployment studies nodig zijn.

Meer zoals dit