🤖 AI

A feedback control optimizer for online and hardware-aware training of Spiking Neural Networks

Deze paper introduceert een nieuw feedback-control algoritme dat Spiking Neural Networks op gemengd-signaal neuromorfe hardware efficiënt en schaalbaar online kan trainen met lokale leerregels, waardoor de energie-efficiëntie en prestaties voor edge-toepassingen aanzienlijk worden verbeterd.

Oorspronkelijke auteurs: Matteo Saponati, Chiara De Luca, Giacomo Indiveri, Benjamin Grewe

Gepubliceerd 2026-02-17

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Matteo Saponati, Chiara De Luca, Giacomo Indiveri, Benjamin Grewe

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een zeer slimme, energiezuinige robot wilt bouwen die continu kan leren terwijl hij onderweg is, net zoals een mens of een dier. Dit is de droom van de neuromorfe computing (computers die lijken op het brein). Maar tot nu toe was er een groot probleem: de slimme algoritmes die we gebruiken om deze robots te trainen, zijn te zwaar en verbruiken te veel energie. Ze werken alsof je een hele bibliotheek moet meenemen om één boek te lezen.

Deze paper introduceert een nieuwe, slimme manier om deze "spiking neural networks" (SNNs) – computers die werken met korte elektrische impulsen (spikes) – direct op de chip te laten leren.

Hier is de uitleg in gewone taal, met een paar creatieve vergelijkingen:

1. Het Probleem: De "Terugreis" is te duur

In traditionele kunstmatige intelligentie (zoals bij je telefoon of auto) gebruiken we een methode genaamd backpropagation.

De vergelijking: Stel je voor dat je een leraar bent die een klasje kinderen leert wiskunde. Als een kind een fout maakt, moet de leraar terugrekenen: "Welke stap ging er precies mis? Was het de som, de vermenigvuldiging, of de optelling?" De leraar moet dan alles onthouden wat er eerder gebeurde, de hele les teruglopen, en pas daarna de fout corrigeren.
Het nadeel: Dit kost enorm veel geheugen en energie. Voor een robot die continu moet leren (online learning) is dit onmogelijk. Hij kan niet stoppen, alles opschrijven, terugrekenen en dan verder gaan. Hij moet leren terwijl hij werkt.

2. De Oplossing: De "Feedback-Controller"

De auteurs van dit paper hebben een nieuwe methode bedacht die meer lijkt op hoe een mens leert: door direct feedback te krijgen.

De vergelijking: Stel je voor dat je op een fiets zit en een leraar naast je loopt.
- De oude methode (Backpropagation): Je rijdt de hele route, stopt, en de leraar kijkt naar je sporen in het stof, rekent terug waar je verkeerd zat, en zegt: "Volgende keer moet je bij de eerste bocht harder trappen."
- De nieuwe methode (Feedback Control): De leraar loopt naast je en zegt terwijl je rijdt: "Je zit te veel naar links, duw het stuur iets naar rechts!" of "Je rijdt te langzaam, trap harder!"
- Hoe het werkt in de chip: In hun systeem hebben ze een controller (de leraar) die de output van de neuron (de fiets) vergelijkt met het doel (waar je heen moet). Als de neuron niet goed doet, stuurt de controller direct een signaal (een "feedback spike") om de verbindingen (synapsen) aan te passen. Er is geen terugrekenen nodig; de correctie gebeurt direct en lokaal.

3. De "Spiking" Neuronen: De Morse-code van het brein

Deze computers werken niet met continue getallen (zoals 0.5 of 0.9), maar met korte pieken, net als zenuwcellen in je hersenen die "spikes" sturen.

De analogie: Denk aan een morsecode-telegrafist. Hij stuurt geen continue geluid, maar korte tikjes.
- Als je veel tikjes stuurt, betekent dat "ja" of "belangrijk".
- Als je weinig tikjes stuurt, betekent dat "nee" of "niet belangrijk".
- De nieuwe algoritme leert deze tikjes zo te regelen dat ze precies het juiste antwoord geven, zonder dat de computer hoeft te "nadenken" over de hele geschiedenis.

4. Waarom is dit zo belangrijk? (De "Hardware-Aware" kant)

De echte kracht van dit onderzoek is dat het werkt op mixed-signal chips. Dit zijn speciale computerchips die gemaakt zijn van analoge onderdelen (zoals transistors die variëren in sterkte, net als echte zenuwen).

Het probleem: In de echte wereld zijn geen twee onderdelen precies hetzelfde. Net als dat geen twee mensen precies even groot zijn, hebben deze chips kleine variaties (mismatches). Traditionele software faalt vaak als de hardware niet perfect is.
De oplossing: De auteurs toonden aan dat hun systeem zeer robuust is.
- De vergelijking: Stel je voor dat je een orkest hebt. Als één viool iets vals speelt, kan een goed orkest dat opvangen door de anderen iets harder te laten spelen. Dit systeem doet precies dat: als één neuron door hardware-fouten een beetje "verkeerd" doet, helpen de andere neuronen (in een groepje) om het evenwicht te herstellen. Het systeem werkt zelfs als de hardware niet perfect is gemaakt.

5. Wat hebben ze bewezen?

Ze hebben dit getest op twee manieren:

Klassieke taken: Ze lieten het systeem leren onderscheid maken tussen patronen (zoals een "Yin-Yang" symbool). Het leerde net zo goed als de zware, traditionele methoden, maar dan veel lichter en sneller.
Online leren: Ze lieten het systeem leren terwijl de data binnenstroomde, zonder te stoppen. Het systeem paste zich continu aan, precies zoals een mens dat doet.

Conclusie

Dit paper is als een blauwdruk voor de toekomst van slimme, energiezuinige apparaten. Het lost het probleem op van "hoe leer je een robot terwijl hij werkt?" door een systeem te bouwen dat:

Direct leert (geen terugrekenen nodig).
Lokaal werkt (elk stukje van de chip weet wat het moet doen).
Tolerant is (het werkt ook als de onderdelen niet perfect zijn).

Dit opent de deur naar slimme apparaten voor op het veld (zoals in de natuur, in medische implants of in autonome robots) die jarenlang kunnen draaien op een kleine batterij, terwijl ze continu bijleren van hun omgeving.

Probleemstelling

Traditionele kunstmatige neurale netwerken (ANN's) zijn afhankelijk van backpropagation, wat enorme rekenkracht en geheugentoegang vereist voor het opslaan van tussentijdse toestanden en het berekenen van gradiënten. Dit maakt ze ongeschikt voor energie-efficiënte, continue aanpassing in edge-applicaties (zoals IoT en autonome systemen) die "always-on" moeten werken.

Neuromorfe computing, geïnspireerd op de hersenen, biedt een oplossing door gebruik te maken van spiking neural networks (SNN's) met lokale leerregels en recurrente connecties. Echter, huidige leeralgoritmen voor gemengd-signaal (mixed-signal) neuromorfe hardware hebben ernstige beperkingen:

Beperkte expressiviteit: De meeste methoden zijn onbewaakt (unsupervised) of semi-bewaakt, wat inefficiënt is voor gecontroleerde taken.
Computational Overhead: Methoden die backpropagation door de tijd (BPTT) en surrogaatgradiënten gebruiken, vereisen het opslaan van het computationele grafiek en het herconfigureren van het netwerk na elke stap. Dit is te energie-intensief voor online learning op het chip.
Hardware-gevoeligheid: Bestaande oplossingen zijn vaak niet robuust tegen de variaties in analoge componenten (device mismatch) die inherent zijn aan neuromorfe chips.

Er is dus een behoefte aan een schaalbaar, lokaal leeralgoritme dat direct op de chip kan werken, online leert en tolerant is voor hardware-variabiliteit.

Methodologie: De Feedback Control Optimizer

De auteurs stellen een nieuw leeralgoritme voor dat spike-gebaseerde lokale leerregels integreert met feedback-controlesignalen. Het kernidee is gebaseerd op biologisch plausibele credit assignment via een controlemodule.

Architectuur:

Output Neuronen: Integrate-and-Fire (LIF) neuronen die de input verwerken.
Controle Module: Bestaat uit een paar van excitatoire (positief) en inhibitoir (negatief) LIF-neuronen per output-neuron.
Feedback Mechanisme: Tijdens training ontvangen de controle-neuronen input van de output-neuronen en van externe "target" bronnen (die de gewenste activiteit vertegenwoordigen).
Werking: De controle-module fungeert als een spiking PI-regelaar (Proportional-Integral). Het berekent het verschil tussen de daadwerkelijke output-activiteit en de target-activiteit. Dit verschil wordt gecodeerd in de tijdsdynamiek van synaptische stromen.
Lokale Leerregel: De update van de synaptische gewichten ( $W$ ) wordt gedreven door de feedback-activiteit van de controle-neuronen en de pre-synaptische input, zonder globale gradiënten of het opslaan van intermediate states. De updateregel is:
$\Delta W_t = \eta \cdot I_{fb,t} \cdot s_t^T$
Waarbij $I_{fb,t}$ de feedback-stroom is en $s_t$ de pre-synaptische spike-activiteit.

Belangrijkste kenmerken:

Single-phase learning: Inferentie en learning gebeuren gelijktijdig; er is geen aparte trainingsfase nodig.
Hardware-aware: Het algoritme is ontworpen om direct implementeerbaar te zijn op neuromorfe hardware (zoals DYNAP-SE).
Online Learning: Het systeem kan continu leren van een datastroom zonder het systeem te resetten.

Kernbijdragen

Nieuw Algoritme: Introductie van een feedback-control optimizer die lokale leerregels combineert met een controlemodule voor effectieve credit assignment in SNN's.
Hardware-Implementatie: Het algoritme elimineert de noodzaak voor het opslaan van computationele grafieken of het uitvoeren van BPTT, waardoor het geschikt is voor energie-efficiënte, on-chip training.
Robuustheidstest: Systematische evaluatie van de prestaties onder simulatie van hardware-mismatch (variabiliteit in analoge componenten), wat cruciaal is voor de haalbaarheid van neuromorfe chips.
Populatie-averaging: Demonstratie dat het gebruik van kleine populaties neuronen (bijv. 2 neuronen per klasse) de negatieve effecten van hardware-mismatch volledig kan compenseren.

Resultaten

De auteurs hebben het algoritme getest op twee datasets: een binaire classificatietak en een spike-gebaseerde versie van het "Yin-Yang" dataset.

Prestatie: Enkelvoudige lagen SNN's getraind met deze feedback-control bereikten prestaties die vergelijkbaar waren met traditionele ANN's getraind met backpropagation (BPTT). Op de binaire taak werd 100% nauwkeurigheid bereikt. Op de Yin-Yang dataset werd een testnauwkeurigheid van ~63% behaald, vergelijkbaar met BPTT-baselines.
Online Learning: Het systeem slaagde erin om online te leren van sequentiële inputs zonder de interne staat te resetten. De fouten daalden consistent en bereikten na voldoende training dezelfde prestatieniveaus als offline training.
Robuustheid tegen Mismatch:
- Bij mismatch-niveaus tot 10% bleven de prestaties stabiel.
- Bij hogere mismatch (tot 20%) daalde de prestatie aanzienlijk bij een enkel neuron per output.
- Cruciaal: Door het gebruik van populaties van slechts 2 neuronen per output (populatie-averaging), werd de oorspronkelijke prestatie volledig hersteld, zelfs bij 20% mismatch. Dit toont aan dat het algoritme zeer tolerant is voor de variabiliteit van analoge hardware.

Betekenis en Toekomstperspectief

Dit werk is een belangrijke stap richting de realisatie van schaalbare, energie-efficiënte en intelligente edge-systemen.

Paradigmaverschuiving: Het bewijst dat complexe taken kunnen worden geleerd met lokale regels en feedback, zonder de zware rekenlast van backpropagation.
Hardware-Compatibiliteit: De methode is specifiek ontworpen voor de beperkingen van gemengd-signaal neuromorfe chips, waardoor het een brug slaat tussen theorie en praktische implementatie.
Toekomst: De volgende stap is het uitbreiden van dit algoritme naar multi-layer SNN's en het fysiek implementeren op neuromorfe hardware zoals DYNAP-SE en BrainScaleS. Dit zou de weg vrijmaken voor de volgende generatie zelflerende, adaptieve systemen die direct in de fysieke wereld kunnen opereren.

Kortom, de feedback control optimizer biedt een haalbare route om de potentie van neuromorfe hardware volledig te benutten voor duurzame, adaptieve kunstmatige intelligentie.