Training event-based neural networks with exact gradients via Differentiable ODE Solving in JAX

Dit paper introduceert Eventax, een in JAX gebaseerd framework dat differentieerbare numerieke ODE-oplossers combineert met gebeurtenisgebaseerde spike-handling om exacte gradiënten te berekenen voor het trainen van spiking neurale netwerken met complexe neuronmodellen, waardoor de beperkingen van bestaande methoden worden opgeheven.

Lukas König, Manuel Kuhn, David Kappel, Anand Subramoney

Gepubliceerd 2026-03-10
📖 4 min leestijd☕ Koffiepauze-leesvoer

Each language version is independently generated for its own context, not a direct translation.

Stel je voor dat je een heel slimme, biologische hersenen wilt nabootsen op een computer. Deze "spiking neural networks" (SNN's) werken niet zoals onze gewone computers die alles in een strak ritme doen (tikt, tikt, tikt). In plaats daarvan werken ze met impulsen of vonken, net als echte zenuwcellen. Ze wachten tot er genoeg informatie is, en dan sturen ze een signaal: boem!

Het probleem is dat het trainen van deze systemen heel lastig is. Het is alsof je probeert een danspas te leren, maar de muziek stopt en begint willekeurig. De meeste bestaande methoden maken het leven makkelijker door de tijd op te delen in vaste blokjes (zoals een film die uit losse frames bestaat). Maar hierdoor gaan ze de precieze timing van de vonken kwijt, of ze gebruiken een "geschatte" berekening die niet helemaal klopt.

Anderen proberen het exact te doen, maar dan moeten ze een heel specifieke, simpele danspas gebruiken (alleen Leaky Integrate-and-Fire). Als je een complexere, biologisch realistische dans wilt, kunnen ze dat niet.

Eventax is de nieuwe oplossing die de auteurs (Lukas König en zijn team) hebben bedacht. Hier is hoe het werkt, vertaald naar alledaagse taal:

1. De "Slimme GPS" (Differentiable ODE Solving)

Stel je voor dat je een auto rijdt door een landschap.

  • De oude methode: Je kijkt elke seconde naar je GPS en zegt: "Ik ben nu hier." Je mist de bochten die tussen die seconden gebeuren.
  • De nieuwe methode (Eventax): Je hebt een GPS die niet alleen kijkt waar je bent, maar ook exact weet wanneer je een afslag neemt. Het berekent continu je route en stopt precies op het moment dat je een "vonk" (een spits) moet geven.

In de techniek noemen ze dit "differentiëren via numerieke ODE-oplossers". Klinkt ingewikkeld, maar het betekent simpelweg: we rekenen de beweging van de neuronen continu door, zonder vaste tijdstippen, en we weten precies wanneer er iets gebeurt.

2. De "Magische Schakelaar" (Event Handling)

In een normaal computerprogramma loop je door een lijst met tijdstippen. In Eventax is het alsof je een schakelaar hebt die automatisch omvalt zodra een bepaalde drempel wordt bereikt.

  • Als een neuron "vol" is, springt het direct over naar de volgende fase (reset).
  • Het systeem weet precies wanneer dat sprongje gebeurt, zelfs als het op 0,003 seconden gebeurt.
  • Dit maakt het mogelijk om elk type neuron te gebruiken, van simpele tot zeer complexe biologische modellen, zonder dat je de wiskunde zelf hoeft uit te vinden.

3. De "Proefkeuken" (JAX & Diffrax)

De auteurs hebben dit gebouwd met een krachtig keukenapparaat genaamd JAX en een specifieke tool Diffrax.

  • JAX is als een superchef die alles tegelijk kan doen (zeer snel op moderne hardware).
  • Diffrax is de sous-chef die de exacte berekeningen doet.
    Het mooie is: de chef kan niet alleen koken (vooruitrekenen), maar ook terugrekenen. Als het gerecht niet smaakt (de fout is te groot), weet het systeem precies welke ingrediënt (welke verbinding in het netwerk) er net iets te veel of te weinig van was, en past het dat direct aan. Dit heet "exacte gradiënten".

Wat hebben ze bewezen?

Ze hebben Eventax getest op verschillende "proefballen":

  • Yin-Yang: Een patroonherkenningspuzzel. Hier bleek dat complexere neuronen (zoals de Izhikevich of QIF modellen) veel beter presteerden dan de simpele standaardmodellen. Het was alsof ze met een snelle Formule-1-auto reden in plaats van met een fiets.
  • MNIST (Handgeschreven cijfers): Ze konden cijfers herkennen met een nauwkeurigheid die net zo goed is als de beste bestaande methoden, maar dan met meer vrijheid in het ontwerp.
  • Vertragingstest (XOR): Ze bouwden een netwerk dat moest onthouden wat er eerder was gebeurd, net als een mens die een gesprek volgt. Dit lukte perfect, wat bewijst dat het werkt voor netwerken met "terugkoppeling" (recurrent networks).
  • Complexe Neuronen: Ze bouwden zelfs een neuron met "dendrieten" (takjes) die lijken op die van een menselijke hersencel. Dit is iets dat met de oude methoden bijna onmogelijk was.

Waarom is dit belangrijk?

Vroeger moest je kiezen: of je had een flexibel systeem dat niet helemaal klopte, of je had een perfect kloppend systeem dat alleen simpele dingen kon.

Met Eventax krijg je het beste van beide werelden:

  1. Je kunt elk neuronmodel gebruiken (van simpele tot super-complexe biologische modellen).
  2. De berekeningen zijn exact (geen schattingen).
  3. Het is snel en efficiënt dankzij de moderne technologie.

Kortom: Eventax is de sleutel die de deur opent naar het bouwen van kunstmatige hersenen die niet alleen sneller en slimmer zijn, maar ook meer lijken op hoe onze eigen hersenen echt werken. Het is alsof we eindelijk de taal van de natuur hebben vertaald naar de taal van de computer, zonder dat er iets van de betekenis verloren gaat.