Combining Convolution and Delay Learning in Recurrent Spiking Neural Networks

1. Il Problema

Le Reti Neurali a Spiking (SNN) sono promettenti per sistemi edge a risorse limitate grazie alla loro natura event-driven ed efficiente dal punto di vista energetico. Tuttavia, l'addestramento di Reti Spiking Ricorrenti (RSNN) su dati sequenziali complessi (come l'audio) rimane una sfida a causa della difficoltà di ottimizzazione dei gradienti su lunghe sequenze temporali.

Un approccio recente, DelRec, ha dimostrato che l'apprendimento di ritardi assonali (axonal delays) nelle connessioni ricorrenti migliora significativamente la modellazione temporale, permettendo ai neuroni di rispondere a tempistiche specifiche. Tuttavia, l'architettura originale di DelRec utilizza connessioni ricorrenti densamente connesse (matrice piena $N \times N$). Questo comporta:

• Un costo parametrico quadratico ($O(N^2)$), che diventa proibitivo per layer ampi.
• Un elevato consumo di memoria e tempi di inferenza lenti.
• Una potenziale ridondanza, poiché molti segnali temporali (come gli spettri audio) presentano forti correlazioni locali tra canali adiacenti, rendendo superflua la connettività globale "tutto-a-tutto".

2. Metodologia Proposta

Gli autori propongono un'evoluzione di DelRec denominata Convolutional Recurrent Spiking Neural Network (CRSNN). L'idea centrale è sostituire la matrice di pesi ricorrenti densa con un kernel di convoluzione 1D leggero, mantenendo intatto il meccanismo di apprendimento dei ritardi.

• Connessioni Ricorrenti Convoluzionali: Invece di connettere ogni neurone a tutti gli altri, ogni neurone riceve input ricorrenti solo da se stesso e dai suoi immediati vicini (es. kernel size $k=3$). Questo sfrutta la struttura locale delle correlazioni nei segnali audio (es. bande di frequenza adiacenti nello spettro).
• Apprendimento dei Ritardi (Delay Learning): Il meccanismo di DelRec viene preservato. Ogni neurone $j$ possiede un ritardo assonale $d_j$ apprendibile. Durante l'addestramento, l'influenza di uno spike viene distribuita su step temporali adiacenti tramite una funzione di diffusione triangolare differenziabile, permettendo l'ottimizzazione tramite Surrogate Gradient Learning (SGL).
• Implementazione: L'operazione di convoluzione 1D lungo la dimensione dei neuroni è implementata efficientemente come una convoluzione 2D con kernel $(k, 1)$, operando su un buffer circolare che gestisce la schedulazione temporale degli spike.

3. Contributi Chiave

1. Architettura Ibrida: Introduzione di un'architettura ricorrente convoluzionale per DelRec, che sostituisce i pesi densi con convoluzioni 1D, riducendo drasticamente l'overhead parametrico.
2. Efficienza Estrema: Dimostrazione che la connettività locale, combinata con ritardi apprendibili, è sufficiente per una modellazione temporale efficace, ottenendo risultati all'avanguardia con una frazione minima dei parametri.
3. Validazione Sperimentale: Analisi approfondita sui dataset audio neuromorfici (SHD e SSC), inclusa uno studio di ablazione che conferma il ruolo critico dei ritardi apprendibili rispetto a quelli fissi.

4. Risultati Sperimentali

I test sono stati condotti sui dataset Spiking Heidelberg Digits (SHD) e Spiking Speech Commands (SSC).

• Riduzione Parametrica:

  • Per un layer con $N=256$ neuroni, DelRec richiede $256^2 + 256 = 65.792$ parametri ricorrenti.
  • L'approccio proposto (con $k=3$) richiede solo $3 + 256 = 259$ parametri.
  • Risultato: Una riduzione dei parametri ricorrenti di circa il 99,6%.

• Accuratezza:

  • SHD: Il modello proposto raggiunge un'accuratezza del 91,51% (con 4 layer), paragonabile al DelRec originale (91,72% con 2 layer, che scende a 90,41% con 4 layer a causa dell'overfitting).
  • SSC: L'accuratezza è del 78,59%, leggermente inferiore al DelRec originale (82,58%), ma con un costo computazionale drasticamente ridotto.

• Velocità di Inferenza:

  • Il nuovo modello è 52 volte più veloce nell'inferenza rispetto all'implementazione originale di DelRec (es. 1,51 ms vs 38,03 ms su SHD con 4 layer).

• Studio di Ablazione (Ritardi):

  • Sostituendo i ritardi apprendibili con ritardi fissi (es. $d_j=1$ o media della distribuzione), l'accuratezza su SHD crolla di oltre 5 punti percentuali (da 91,51% a 86,28%). Questo conferma che l'apprendimento adattivo dei ritardi è fondamentale per catturare dipendenze temporali a lungo raggio.

5. Significato e Impatto

Questo lavoro dimostra che la densità delle connessioni ricorrenti nelle SNN è spesso ridondante per segnali con struttura spaziale locale (come l'audio). Sostituendo la connettività globale con connessioni convoluzionali locali, è possibile:

1. Scalare le reti a layer più ampi senza il costo quadratico dei parametri.
2. Ridurre l'impronta di memoria di circa il 99%, rendendo le RSNN fattibili per l'implementazione su hardware neuromorfico con risorse estremamente limitate.
3. Accelerare l'inferenza di ordini di grandezza, abilitando applicazioni di streaming audio in tempo reale.

In sintesi, l'articolo stabilisce che l'efficacia temporale delle RSNN deriva principalmente dalla dinamica dei ritardi apprendibili e non dalla densità delle connessioni, offrendo un nuovo paradigma per l'efficienza nelle reti neurali spiking ricorrenti.