Gradient-Free Training of Spiking Neural Networks via Low-Rank Evolution Strategies

Sintesi Tecnica: Addestramento di Reti Neurali Spiking senza Gradienti tramite Strategie Evolutive a Basso Rango

Problematica
Le Reti Neurali Spiking (SNN) offrono significativi vantaggi in termini di efficienza energetica sull'hardware neuromorfico (ad esempio, Intel Loihi, IBM TrueNorth) utilizzando una computazione sparsa e guidata dagli eventi. Tuttavia, l'addestramento delle SNN rimane un collo di bottiglia principale. Il problema centrale è la natura non differenziabile della funzione di generazione degli spike (una funzione gradino di Heaviside), che impedisce l'uso del backpropagation standard. Sebbene i metodi del gradiente surrogato approssimino questa derivata per abilitare il backpropagation, essi si affidano a infrastrutture di autograd incompatibili con i vincoli di apprendimento on-chip. Le Strategie Evolutive (ES) forniscono un'alternativa priva di gradienti perturbando i pesi e valutando la fitness; tuttavia, le ES standard scalano male con la dimensione del modello, richiedendo $O(Pmn)$ di memoria per generazione (dove $P$ è la dimensione della popolazione e $m \times n$ sono le dimensioni della matrice dei pesi), rendendole impraticabili per reti di grandi dimensioni.

Metodologia
Gli autori propongono l'integrazione di Eggroll, una tecnica di fattorizzazione a basso rango per le Strategie Evolutive, nel ciclo di addestramento delle SNN.

• Perturbazione a basso rango: Invece di campionare matrici di perturbazione a pieno rango $E \in \mathbb{R}^{m \times n}$, il metodo approssima le perturbazioni come un prodotto a basso rango $E_i = \frac{1}{\sqrt{r}} A_i B_i^\top$, dove $A_i \in \mathbb{R}^{m \times r}$ e $B_i \in \mathbb{R}^{n \times r}$. Ciò riduce la complessità di memoria per generazione da $O(Pmn)$a$O(r(m+n))$.
• Ricostruzione deterministica: Per ottimizzare ulteriormente la memoria, i fattori di rumore ($A, B$) non vengono memorizzati ma ricostruiti su richiesta da un seed memorizzato tramite un generatore di numeri casuali (RNG) deterministico basato su contatore.
• Ciclo di addestramento: Il metodo impiega una rete Leaky Integrate-and-Fire (LIF). Durante ogni generazione, $P$ copie perturbate della rete vengono valutate simultaneamente su un mini-batch del dataset N-MNIST. Il segnale di fitness è derivato dalla cross-entropy negativa (log-likelihood) piuttosto che dall'accuratezza grezza per fornire un paesaggio più fluido all'ottimizzatore. La stima del gradiente viene ricostruita tramite una formulazione $(\text{diag}(f)A)^\top B$ e utilizzata per aggiornare i pesi tramite l'ottimizzatore Adam.
• Dataset: Gli esperimenti utilizzano N-MNIST, un dataset neuromorfico nativo generato muovendo un sensore ATIS sopra immagini MNIST. Questo dataset fornisce flussi di eventi asincroni (polarità ON/OFF) senza richiedere approssimazioni di rate-coding.

Contributi Chiave

1. Caratterizzazione di Eggroll sulle SNN: Il documento dimostra che Eggroll può addestrare efficacemente le SNN con funzioni di spike non differenziabili, consentendo un addestramento completamente privo di gradienti senza approssimazioni surrogate.
2. Studio di ablazione del rango: Gli autori mostrano che l'accuratezza rimane relativamente stabile al diminuire del rango $r$, identificando una chiara frontiera Pareto tra efficienza e accuratezza.
3. Valutazione rigorosa: Il metodo è testato su N-MNIST contro il vanilla ES e il backpropagation through time (BPTT) con gradiente surrogato, evitando le approssimazioni di rate-coding spesso utilizzate nelle valutazioni statiche di MNIST.

Risultati Sperimentali
Gli esperimenti sono stati condotti su una NVIDIA RTX 3070 Ti utilizzando una rete LIF completamente connessa a due strati.

• Accuratezza vs Velocità: Il metodo proposto ha raggiunto un'accuratezza di test del 79,21% con un rango di $r=4$. Ciò rappresenta un calo trascurabile rispetto al 76,17% ottenuto dal vanilla ES, ma con un incremento di velocità di 2,23× nel tempo di esecuzione (wall-clock time) per generazione.
• Confronto con BPTT: Sebbene il BPTT con gradiente surrogato abbia raggiunto un'accuratezza superiore (94,03%), era significativamente più lento (31,69s per generazione contro 5,82s per Eggroll $r=4$).
• Sensibilità del rango: Il miglior compromesso tra accuratezza e tempo è stato osservato a $r=4$. Rango inferiori (es. $r=1$) hanno offerto l'esecuzione più veloce (3,41s) con un'accuratezza del 78,75%, mentre ranghi superiori hanno mostrato una maggiore varianza.
• Convergenza: Le varianti EGGROLL sono converge leggermente più velocemente in termini di tempo di esecuzione rispetto al vanilla ES, nonostante comportamenti di convergenza a livello di generazione simili.

Significatività e Dichiarazioni
Il documento sostiene che EGGROLL sia un metodo valido per addestrare le SNN senza fare affidamento su gradienti surrogati o infrastrutture di backpropagation. Ciò è significativo perché affronta il divario di compatibilità tra gli algoritmi di addestramento moderni e i vincoli dell'hardware neuromorfico, che non può supportare i meccanismi di autograd richiesti dai gradienti surrogati.

Gli autori mantengono una posizione modesta riguardo ai risultati:

• Riconoscono un divario di accuratezza tra il loro metodo (79,21%) e il BPTT con gradiente surrogato (94,03%), attribuendolo a un budget computazionale limitato (100 generazioni) e all'uso di un'architettura leggera a due strati.
• Notano che il metodo non è ancora stato testato su hardware neuromorfico reale o su dataset più complessi come CIFAR10-DVS o N-Caltech101.
• Il lavoro stabilisce una prova di concetto che le strategie evolutive a basso rango possono scalare alle SNN, offrendo un chiaro compromesso tra efficienza computazionale e accuratezza del modello, aprendo la strada a future applicazioni di apprendimento on-chip.