Equivalence of approximation by networks of single- and multi-spike neurons

1. Problemstellung

In der Forschung zu Spiking Neural Networks (SNNs) besteht eine offene Debatte darüber, ob es für Neuronen ausreicht, höchstens einmal zu feuern (Single-Spike), oder ob das mehrfache Feuern (Multi-Spike) einen wesentlichen Vorteil für die Approximationsfähigkeit und die Informationskodierung bietet.

• Hintergrund: Viele theoretische Approximationsgrenzen (Approximation Bounds) in der Literatur wurden bisher nur für SNNs hergeleitet, bei denen Neuronen maximal einmal feuern. Dies wird oft als starke Einschränkung angesehen, da biologische Neuronen und die in der Praxis häufig verwendeten Leaky-Integrate-and-Fire (LIF)-Modelle oft mehrfach feuern.
• Die Frage: Gelten die theoretischen Ergebnisse für Single-Spike-Netze auch für die relevantere Klasse von Multi-Spike-Netzen? Oder bieten Multi-Spike-Netze eine überlegene Ausdruckskraft, die in Single-Spike-Modellen nicht erreicht werden kann?

2. Methodik und Annahmen

Die Autoren entwickeln ein Transferprinzip, das die Äquivalenz der Approximationsfähigkeiten beider Netzwerktypen beweist. Die Herleitung basiert auf folgenden Annahmen und Modellen:

• Neuronenmodelle: Der Beweis gilt für eine große Klasse von Schwellwert-basierten Neuronenmodellen, die bestimmte dynamische Eigenschaften erfüllen. Dazu gehören insbesondere das weit verbreitete Leaky-Integrate-and-Fire (LIF)-Modell (mit und ohne synaptische Verzögerungen) sowie das einfache Spike-Response-Modell.
  • Wesentliche Bedingungen: Das Neuron feuert, wenn das Membranpotential einen konstanten Schwellwert $\vartheta$ überschreitet. Nach dem Feuern wird das Potential um einen konstanten Betrag $-\vartheta$ reduziert (subtraktives Reset), ohne dass die Dynamik ansonsten beeinflusst wird.
  • Eingeschränkte Modelle: Modelle mit harten Refraktärzeiten, adaptiven Schwellwerten oder schwellwertloser Feueralgorithmen sind nicht direkt abgedeckt, da die Membrandynamik nach dem Feuern dort nicht linear verschiebbar ist.
• Netzwerkarchitektur: Es werden geschichtete Netzwerke betrachtet, wobei die Gewichte beschränkt sind und Autapse (Rückkopplungen eines Neurons auf sich selbst) ausgeschlossen sind.
• Lernaufgabe: Die Aufgabe besteht darin, Funktionen von Eingangs-Spike-Trains zu Ausgangs-Spike-Trains zu approximieren, die durch Encoder (z. B. Rate- oder Latenz-Kodierung) und Decoder (z. B. Membranpotential-Matching oder Spike-Zählung) erweitert werden.

3. Schlüsselbeiträge und Ergebnisse

Der zentrale Beitrag ist Theorem 1 (Transferprinzip), welches besagt, dass Single-Spike- und Multi-Spike-Netze in Bezug auf ihre Approximationsfähigkeiten äquivalent sind. Dies gilt sowohl für obere als auch für untere Schranken der Approximationsfehler.

A. Von Multi-Spike zu Single-Spike (Direkte Konstruktion)

• Idee: Ein Multi-Spike-Neuron, das maximal $N_s$ Mal feuert, wird durch eine Population von $N_s$ Single-Spike-Neuronen ersetzt.
• Mechanismus: Jedes der $N_s$ Neuronen übernimmt genau einen der möglichen Feuerevents. Die Schwellwerte werden so angepasst, dass das $k$-te Neuron genau dann feuert, wenn das ursprüngliche Multi-Spike-Neuron sein $k$-tes Feuern auslöst (Schwellwert $k \cdot \vartheta$).
• Ergebnis: Ein Multi-Spike-Netzwerk mit $n$ Neuronen kann durch ein Single-Spike-Netzwerk mit maximal $N_s \cdot n$ Neuronen exakt nachgebildet werden, ohne den Approximationsfehler zu erhöhen.

B. Von Single-Spike zu Multi-Spike (Kombinatorische Konstruktion)

• Idee: Ein Single-Spike-Neuron wird durch eine Population von Multi-Spike-Neuronen ersetzt, deren Feuern so gesteuert wird, dass sich alle Feuern bis auf das erste gegenseitig aufheben (Korrektur der Gewichte).
• Mechanismus:
  1. Man nutzt eine Population von Multi-Spike-Neuronen mit Schwellwerten $k \cdot \vartheta$.
  2. Das $k$-te Neuron feuert nur bei bestimmten Feuerevents (basierend auf Teiler-Beziehungen der Feuernummern).
  3. Durch geschickte Wahl der synaptischen Gewichte $\alpha_k$ (basierend auf der Primfaktorzerlegung der Indizes) werden alle Feuern außer dem ersten exakt kompensiert.
• Ergebnis: Ein Single-Spike-Netzwerk mit $n$ Neuronen kann durch ein Multi-Spike-Netzwerk mit maximal $\alpha \cdot N_s \cdot n$ Neuronen nachgebildet werden.
  • Der Faktor $\alpha$ hängt von $N_s$ ab und ist durch $\min(1, \frac{6}{\pi^2} + \frac{1}{\sqrt{N_s}})$ beschränkt.
  • Für große $N_s$ nähert sich der Faktor dem Wert $\frac{6}{\pi^2} \approx 0,608$ an. Das bedeutet, dass Multi-Spike-Netze sogar effizienter sein können (weniger Neuronen benötigt), um die gleiche Funktion zu approximieren.

4. Signifikanz und Implikationen

Die Ergebnisse haben weitreichende Konsequenzen für die Theorie und Anwendung von SNNs:

1. Äquivalenz der Ausdruckskraft: Es gibt keinen theoretischen Vorteil in der Approximationsfähigkeit (im Sinne der Fehlergrenzen) von Multi-Spike-Netzen gegenüber Single-Spike-Netzen. Beide Klassen sind gleich mächtig, solange die Neuronendynamik den genannten Bedingungen genügt.
2. Übertragbarkeit von Ergebnissen:
   • Alle in der Literatur für Single-Spike-Netze bewiesenen Approximationsgrenzen (z. B. basierend auf Covering Numbers oder Rademacher-Komplexität) gelten automatisch auch für Multi-Spike-Netze.
   • Umgekehrt gelten untere Schranken für Multi-Spike-Netze auch für Single-Spike-Netze.
3. Verbindung zu herkömmlichen NNs: Da bereits gezeigt wurde, dass bestimmte SNNs (mit linear ansteigendem postsynaptischem Potential) exakt ReLU-Netzen entsprechen, folgt nun, dass auch Multi-Spike-SNNs diese Äquivalenz erfüllen. Dies stärkt die theoretische Fundierung von SNNs im Kontext des maschinellen Lernens.
4. Praktische Relevanz:
   • Für Edge-AI und energieeffiziente Anwendungen (z. B. auf Satelliten) bleibt die Single-Spike-Strategie (niedrige Latenz, hohe Sparsity) attraktiv, da sie theoretisch nicht an Leistung verliert.
   • Für Training (z. B. mit Surrogate-Gradienten) können weiterhin Multi-Spike-Modelle verwendet werden, da die theoretischen Garantien nun auch für diese gelten.

Fazit

Die Arbeit widerlegt die Annahme, dass Multi-Spike-Neuronen notwendig sind, um komplexe Funktionen besser approximieren zu können. Sie zeigt stattdessen, dass ein einfacher, linearer Skalierungsfaktor (in der Anzahl der Neuronen) ausreicht, um die Äquivalenz zwischen beiden Archetypen herzustellen. Dies vereinfacht die theoretische Analyse von SNNs erheblich, da Ergebnisse nun auf beide Klassen gleichzeitig angewendet werden können.