Equivalence of approximation by networks of single- and multi-spike neurons

Probleemstelling

In de literatuur over Spiking Neural Networks (SNN's) bestaat er een fundamentele discussie over de noodzaak van meervoudige spikes per neuron.

• Single-spike benadering: Veel theoretische resultaten en analytische leeralgoritmen (zoals op gradienten gebaseerde regels) gaan uit van neuronen die maximaal één keer spiken. Dit wordt vaak gezien als een beperking voor de expressiviteit van het netwerk en biologische realisme.
• Multi-spike benadering: Voor praktische toepassingen worden vaak SNN's gebruikt met Leaky Integrate-and-Fire (LIF) neuronen die onbeperkt kunnen spiken. Deze worden echter vaak getraind met benaderingsmethoden (surrogate gradients) en het is onduidelijk of theoretische bovengrenzen (upper bounds) en ondergrenzen (lower bounds) die voor single-spike netwerken zijn afgeleid, ook gelden voor multi-spike netwerken.

De centrale vraag is: Is er een fundamenteel voordeel in de benaderingscapaciteit (approximation capability) van multi-spike netwerken ten opzichte van single-spike netwerken, of zijn ze theoretisch equivalent?

Methodologie

De auteurs ontwikkelen een wiskundig bewijs voor een overdrachtsprincipe (transference principle). Ze tonen aan dat voor een grote klasse van spiking-neuronmodellen (waaronder het veelgebruikte LIF-model met aftrekkende reset), single-spike en multi-spike netwerken wiskundig equivalent zijn wat betreft hun vermogen om functies te benaderen.

De methode bestaat uit twee richtingen van constructie:

1. Van Multi-spike naar Single-spike:

   • Een enkel neuron dat maximaal $N_s$ keer kan spiken, wordt vervangen door een populatie van $N_s$ single-spike neuronen.
   • Elk neuron in deze populatie is verantwoordelijk voor één specifieke spike in de oorspronkelijke tijdreeks.
   • De drempelwaarde (threshold) van het $k$-de neuron wordt ingesteld op $k \cdot \vartheta$ (waarbij $\vartheta$ de basisdrempel is). Hierdoor spikt het eerste neuron bij de eerste drempeloverschrijding, het tweede bij de tweede, enzovoort.
   • Een aangepaste decoder (decoder $D'$) voegt de outputspikes van deze populatie weer samen tot één spike-trein.

2. Van Single-spike naar Multi-spike:

   • Een single-spike neuron wordt vervangen door een populatie van multi-spike neuronen.
   • Het doel is om ervoor te zorgen dat de populatie als geheel slechts één effectieve spike produceert (de eerste), terwijl alle latere spikes van de individuele neuronen elkaar opheffen (cancel out).
   • Hiervoor worden de drempelwaarden van de neuronen in de populatie ingesteld op $k \cdot \vartheta$.
   • Cruciaal is het toepassen van specifieke synaptische gewichten ($\alpha_k$) voor elke neuron in de populatie. Deze gewichten worden zo gekozen dat de som van alle spikes (behalve de eerste) nul wordt.
   • De auteurs gebruiken getaltheorie (priemfactorisatie) om deze gewichten te berekenen. De gewichten hangen samen met de eigenschappen van "kwadraatvrije getallen" (square-free numbers).
   • De decoder filtert de eerste spike eruit, waardoor het effect identiek is aan het originele single-spike neuron.

Kernbijdragen en Resultaten

Het paper presenteert Stelling 1 (Theorem 1), die de equivalentie formeel vastlegt:

• Lineariteit van de complexiteit: De overgang tussen single- en multi-spike netwerken vereist slechts een lineaire toename in het aantal neuronen, afhankelijk van het maximale aantal spikes ($N_s$).

  • Een multi-spike netwerk met $n$ neuronen (max. $N_s$ spikes) kan worden benaderd door een single-spike netwerk met maximaal $N_s \cdot n$ neuronen.
  • Een single-spike netwerk met $n$ neuronen kan worden benaderd door een multi-spike netwerk met maximaal $\alpha N_s \cdot n$ neuronen, waarbij $\alpha \leq \min(1, \frac{6}{\pi^2} + \frac{1}{\sqrt{N_s}})$.
  • Voor grote $N_s$ nadert de factor $\alpha$ de waarde $6/\pi^2 \approx 0.608$. Dit betekent dat multi-spike netwerken zelfs iets efficiënter kunnen zijn in het aantal neuronen nodig om een single-spike netwerk te simuleren.

• Gelijkheid van Benaderingsfouten: Als er een bovengrens (upper bound) of ondergrens (lower bound) bestaat voor de benaderingsfout van het ene type netwerk, geldt deze exact dezelfde grens voor het andere type netwerk, mits het aantal neuronen wordt aangepast volgens de bovenstaande factoren.

• Toepasbaarheid: Het resultaat geldt voor een brede familie van neuronen die voldoen aan drie voorwaarden:

  1. Drempelgebaseerd (spikes bij overschrijding van $\vartheta$).
  2. Resetmechanisme is een constante offset (bijv. $u \to u - \vartheta$).
  3. Ingestroomde stromen zijn onafhankelijk van het membraanpotentiaal (stroomgebaseerd, niet geleidingsgebaseerd).
     Dit omvat het LIF-model, het nLIF-model en het Simple Spike Response model.

Significantie en Implicaties

De bevindingen hebben verstrekkende gevolgen voor het theoretisch onderzoek naar SNN's:

1. Unificatie van Theorie: Veel bestaande theoretische resultaten (zoals generalisatiefouten, dekingsgetallen, en benaderingsfouten) die specifiek voor single-spike netwerken zijn afgeleid, gelden nu automatisch ook voor multi-spike netwerken. Dit versterkt de theoretische onderbouwing van moderne, meer biologisch realistische SNN's.
2. Validatie van Single-Spike Benaderingen: Het weerlegt het idee dat single-spike netwerken fundamenteel minder expressief zijn. Als een taak kan worden opgelost met een multi-spike netwerk, kan deze ook worden opgelost met een single-spike netwerk (en vice versa) met slechts een lineaire toename in netwerkgrootte.
3. Efficiëntie: De resultaten suggereren dat voor bepaalde taken het gebruik van single-spike neuronen (die vaak makkelijker te trainen zijn met analytische methoden) geen theoretisch nadeel oplevert ten opzichte van complexere multi-spike modellen.
4. Beperkingen: De auteurs benadrukken dat de equivalentie niet geldt voor modellen met een harde refractaire periode (waarbij het membraanpotentiaal tijdelijk vastgezet wordt) of adaptieve drempels, omdat deze dynamiek niet lineair kan worden opgesplitst of gecombineerd zoals in het bewijs.

Conclusie:
Het paper levert een sterk theoretisch bewijs dat de keuze tussen single- en multi-spike neuronen in de context van benaderingstheorie geen fundamenteel verschil maakt. Het biedt een brug tussen de wiskundige elegantie van single-spike modellen en de praktische toepasbaarheid van multi-spike modellen, waardoor onderzoekers vrijer kunnen kiezen voor het model dat het beste past bij hun specifieke toepassing (bijv. energie-efficiëntie op de edge vs. biologische realisme) zonder bang te hoeven zijn voor een verlies aan theoretische benaderingskracht.