Combining Convolution and Delay Learning in Recurrent Spiking Neural Networks

1. Problemstellung

Spiking Neural Networks (SNNs) sind vielversprechend für ressourcenbeschränkte Edge-Systeme, da sie durch ereignisbasierte Berechnungen energieeffizient sind. Für die Verarbeitung sequenzieller Daten (z. B. Spracherkennung) werden oft rekurrente SNNs (RSNNs) eingesetzt, die interne Zustände über die Zeit speichern.
Ein spezifisches Problem in der aktuellen Forschung ist die Skalierbarkeit und Effizienz von RSNNs mit lernbaren axonalen Verzögerungen (Delays). Die bisherige State-of-the-Art-Methode DelRec [1] verwendet dichte rekurrente Verbindungen (fully connected layers).

• Nachteil: Bei einer Schicht mit $N$ Neuronen entstehen $N^2$ Parameter für die rekurrenten Gewichte. Dies führt zu einem quadratischen Anstieg des Speicherbedarfs und der Rechenkomplexität, was die Anwendung auf breitere Schichten oder ressourcenarme Hardware limitiert.
• Hypothese: Da viele zeitliche Signale (wie Audiospektrogramme) lokale Korrelationen aufweisen (benachbarte Frequenzbänder sind stark miteinander verbunden), ist eine vollständige All-zu-All-Verbindung redundant und ineffizient.

2. Methodik: Convolutional Recurrent Spiking Neural Networks (CRSNN)

Die Autoren schlagen eine Erweiterung von DelRec vor, die Faltungsoperationen (Convolution) anstelle dichter Matrizen für die rekurrenten Verbindungen nutzt, während das Mechanismus der lernbaren Verzögerungen erhalten bleibt.

• Architektur-Änderung:

  • Statt der dichten Gewichtsmatrix $W^{rec} \in \mathbb{R}^{N \times N}$ wird ein leichter 1D-Faltungskern $W^{conv} \in \mathbb{R}^k$ verwendet (in der Arbeit mit $k=3$).
  • Jedes Neuron erhält rekurrente Eingaben nur von sich selbst und seinen unmittelbaren Nachbarn (lokale Konnektivität).
  • Dies nutzt die räumliche Lokalität in Frequenzbändern von Audiosignalen aus.

• Lernbare Verzögerungen (Delay Learning):

  • Der Mechanismus von DelRec bleibt unverändert: Jeder Neuron $j$ hat eine lernbare axonale Verzögerung $d_j$.
  • Ein Spike erreicht das Zielneuron nicht zum Zeitpunkt $t+1$, sondern zu $t + 1 + d_j$.
  • Zur Differentiierbarkeit wird eine dreieckige Verteilungsfunktion (triangular spread function) verwendet, die den Einfluss des Spikes über benachbarte Zeitschritte streut. Während des Trainings wird die Breite dieser Verteilung annealed, und zur Inferenz werden die Verzögerungen auf ganze Zahlen gerundet.

• Implementierung:

  • Die Faltung wird als 2D-Faltung mit Kernel-Form $(k, 1)$ implementiert, die nur entlang der Neuronen-Dimension operiert.
  • Ein zirkulärer Puffer (Scheduling-Matrix) verwaltet die zeitliche Verschiebung der Spikes basierend auf den gelernten Verzögerungen.

3. Wichtige Beiträge

1. Einführung einer convolutionalen rekurrenten Architektur für DelRec: Ersetzung dichter rekurrenter Schichten durch 1D-Faltungen, was den Parameter-Overhead drastisch reduziert.
2. Nachweis der Effizienz: Demonstration, dass lokale Konnektivität in Kombination mit lernbaren Verzögerungen für eine effektive zeitliche Modellierung ausreicht.
3. Skalierbarkeit: Die Methode vermeidet den quadratischen Anstieg der Parameter ($N^2$) und skaliert linear mit der Schichtgröße.
4. Ablationsstudie: Beleg, dass lernbare Verzögerungen essenziell sind und feste Verzögerungen die Leistung signifikant verschlechtern.

4. Ergebnisse

Die Methode wurde auf zwei neuromorphen Audio-Datensätzen evaluiert: Spiking Heidelberg Digits (SHD) und Spiking Speech Commands (SSC).

• Parameterreduktion:

  • Bei $N=256$ Neuronen und Kernelgröße $k=3$ reduziert sich die Anzahl der rekurrenten Parameter von 65.536 (dicht) auf 3 (Faltung) pro Schicht.
  • Dies entspricht einer Reduktion von ca. 99,6 % (bzw. 99,995 % in spezifischen Vergleichen) der rekurrenten Parameter.

• Genauigkeit (Accuracy):

  • SHD-Datensatz: Die convolutionale Variante erreicht 91,51 % Genauigkeit (4 Schichten), was nahezu identisch mit dem Original-DelRec (91,72 % bei 2 Schichten) ist. Interessanterweise skaliert das Original-DelRec bei 4 Schichten schlechter (90,41 %), vermutlich aufgrund von Overfitting durch zu viele Parameter.
  • SSC-Datensatz: Die Genauigkeit liegt bei 78,59 % (Original DelRec: 82,58 %). Hier gibt es eine leichte Einbuße, aber die Effizienzgewinne sind enorm.

• Inferenzzeit:

  • Die convolutionale Architektur ist 52-mal schneller in der Inferenz als das Original-DelRec (z. B. 1,51 ms vs. 38,03 ms auf SHD).

• Ablationsstudie (Lernbare vs. Feste Verzögerungen):

  • Auf SHD führt das Entfernen des Delay-Learnings (feste Verzögerung $d_j=1$) zu einem Genauigkeitsabfall von über 5 Prozentpunkten (von 91,51 % auf 86,28 %).
  • Selbst feste Verzögerungen, die dem Median der gelernten Verteilung entsprechen, erreichen nicht die Leistung der lernbaren Variante. Dies unterstreicht die Notwendigkeit adaptiver zeitlicher Dynamiken.

5. Bedeutung und Fazit

Das Paper zeigt, dass die dichte rekurrente Konnektivität in SNNs für Signale mit lokaler räumlicher Struktur (wie Audiospektrogramme) eine erhebliche Redundanz darstellt. Durch die Kombination von lokalen Faltungen und lernbaren axonalen Verzögerungen gelingt es:

• Den Speicherbedarf und die Rechenlast massiv zu senken (nahezu 99 % weniger Parameter).
• Die Inferenzgeschwindigkeit für Echtzeitanwendungen drastisch zu erhöhen (52-fach schneller).
• Die hohe Genauigkeit von State-of-the-Art-Modellen beizubehalten.

Diese Ergebnisse machen die Methode besonders geeignet für den Einsatz auf ressourcenbeschränkter neuromorpher Hardware, wo Energieeffizienz und geringer Speicherbedarf kritische Faktoren sind. Die Arbeit beweist, dass komplexe zeitliche Abhängigkeiten auch mit stark vereinfachten, aber biologisch plausiblen (verzögerten) lokalen Verbindungen effektiv gelernt werden können.