Training Deep Normalization-Free Spiking Neural Networks with Lateral Inhibition

1. Il Problema: Il Trade-off tra Prestazioni e Realismo Biologico

Le Reti Neurali a Spikes (SNN) sono considerate un paradigma centrale nel calcolo neuromorfico grazie alla loro efficienza energetica e plausibilità biologica. Tuttavia, l'addestramento di SNN profonde presenta un dilemma fondamentale:

• Approcci ad alte prestazioni: I metodi attuali che ottengono risultati competitivi (paragonabili alle ANN tradizionali) si basano spesso su tecniche di backpropagation che richiedono schemi di normalizzazione esplicita (es. Batch Normalization - BN). Sebbene efficaci, queste tecniche sono biologicamente implausibili perché raccolgono statistiche su interi batch di dati, un meccanismo non esistente nel cervello biologico.
• Approcci biologicamente plausibili: I modelli che rispettano rigorosamente i principi neurobiologici (come la dinamica eccitatoria-inibitoria) spesso falliscono nell'addestramento di reti profonde a causa di instabilità numerica e difficoltà di convergenza, limitandosi spesso a reti superficiali.

L'obiettivo del lavoro è colmare questo divario, permettendo l'addestramento stabile di SNN profonde senza normalizzazione, mantenendo al contempo un alto realismo biologico.

2. Metodologia: Il Framework E-I (Eccitazione-Inibizione)

Gli autori propongono un framework di apprendimento "normalization-free" basato su un circuito Eccitatorio-Inibitorio (E-I) ispirato ai circuiti corticali.

Architettura del Circuito E-I

Invece di un singolo strato di neuroni, ogni strato della rete è composto da due popolazioni distinte:

1. Popolazione Eccitatoria (E): Modella neuroni piramidali.
2. Popolazione Inibitoria (I): Modella interneuroni a scarica rapida (es. PV+).
   Il rapporto tra le popolazioni è fissato a 4:1 (E:I), riflettendo le evidenze biologiche.

Il meccanismo di calcolo per ogni passo temporale $t$ include:

• Proiezioni Eccitatorie: I neuroni E dello strato precedente inviano segnali sia alla popolazione E che alla popolazione I dello strato corrente.
• Inibizione Laterale: I neuroni I, una volta attivati, regolano la popolazione E attraverso due meccanismi distinti:
  • Inibizione Sottrattiva: Bilancia l'attività di base (E-I balance).
  • Inibizione Divisiva: Controlla il guadagno (gain control) della rete, agendo come una normalizzazione dinamica.
• Integrazione: I neuroni E integrano le correnti eccitatorie meno l'inibizione sottrattiva, divise per l'inibizione divisiva, per generare nuovi spike.

Tecniche Chiave per la Stabilizzazione

Per rendere addestrabile questo circuito complesso, gli autori introducono due componenti fondamentali:

A. E-I Init (Inizializzazione Dinamica dei Parametri)
Le tecniche di inizializzazione standard (Xavier, Kaiming) falliscono perché assegnano pesi positivi e negativi, violando il principio di segregazione E-I (i pesi uscenti da un neurone devono avere lo stesso segno).

• Bilanciamento E-I: I pesi eccitatori ($W_{EE}, W_{IE}$) sono inizializzati da una distribuzione esponenziale, mentre i pesi inibitori ($W_{EI}$) sono fissati deterministicamente. Questo garantisce che, all'inizio, l'atteso input inibitorio sottrattivo bilanci quello eccitatorio, evitando saturazione o silenzio neuronale.
• Controllo del Guadagno: Il parametro di guadagno divisivo ($g_I$) è inizializzato in modo che l'inibizione divisiva approssimi la deviazione standard degli input eccitatori, stabilizzando la propagazione del segnale.

B. E-I Prop (Propagazione Stabile)
Affronta le instabilità durante l'addestramento end-to-end:

• Stabilizzazione Adattiva: Per evitare errori di divisione per zero nell'inibizione divisiva, il metodo sostituisce dinamicamente gli zeri nel denominatore con il valore positivo più piccolo presente nello stesso campione (invece di usare una costante fissa $\epsilon$).
• Straight-Through Estimator (STE): Poiché la sostituzione adattiva non è differenziabile, viene utilizzato STE nel backward pass per permettere ai gradienti di fluire ignorando l'operazione di sostituzione (trattandola come identità).
• Scaling dei Gradienti: I gradienti per i pesi inibitori laterali ($W_{EI}$) tendono a essere sproporzionatamente grandi. Gli autori introducono uno scaling dei gradienti di un fattore $1/d$ (dove $d$ è la dimensione dell'input) per bilanciare l'aggiornamento tra i percorsi eccitatori e inibitori.

3. Contributi Principali

1. Framework Normalization-Free: Introduzione di un circuito E-I canonico nelle SNN profonde che elimina la necessità di schemi di normalizzazione espliciti (come BatchNorm).
2. Inizializzazione Dinamica (E-I Init): Uno schema che garantisce un bilanciamento iniziale tra eccitazione e inibizione e un controllo del guadagno, rendendo possibile l'addestramento di reti profonde.
3. Stabilizzazione dell'Addestramento (E-I Prop): Un toolkit che combina stabilizzazione adattiva, STE e scaling dei gradienti per gestire le instabilità numeriche e dei gradienti tipiche dei circuiti divisivi.
4. Validazione Sperimentale: Dimostrazione che il framework raggiunge prestazioni competitive su dataset statici e basati su eventi, superando i metodi normalization-free esistenti.

4. Risultati Sperimentali

Il framework è stato testato su diversi dataset e architetture (VGG, ResNet):

• CIFAR-10: Il modello ResNet-18 ha raggiunto il 92.05% di accuratezza, superando tutti i baselines normalization-free e avvicinandosi alle performance con BatchNorm.
• TinyImageNet: Ha raggiunto il 50.29%, dimostrando la scalabilità su dataset su larga scala.
• Dataset Neuromorfici (DVS-Gesture, CIFAR10-DVS): Il metodo ha ottenuto il 94.86% e il 77.66% rispettivamente, superando diversi metodi basati su BatchNorm e dimostrando una forte capacità di elaborazione temporale.
• Analisi Ablativa: La rimozione di qualsiasi componente (E-I constraint, E-I Init, stabilizzazione adattiva o scaling dei gradienti) porta al fallimento dell'addestramento o a un crollo drastico delle prestazioni, confermando la necessità di tutte le parti del framework.
• Rappresentazione Appresa: Le visualizzazioni mostrano che, sebbene inizi con una distribuzione simile alla normalizzazione, la rete impara una rappresentazione bimodale (popolazioni attivate e soppresse), indicando un meccanismo di regolazione dell'attività più sofisticato e biologicamente fedele rispetto alla semplice normalizzazione statistica.

5. Significato e Impatto

Questo lavoro rappresenta un passo significativo verso la NeuroAI (l'integrazione tra Intelligenza Artificiale e Neuroscienze):

• Ponte tra Biologia e AI: Offre una soluzione pratica per addestrare SNN profonde senza sacrificare il realismo biologico, risolvendo il problema dell'instabilità che ha finora limitato l'uso dei circuiti E-I in reti profonde.
• Piattaforma Computazionale: Fornisce un modello computazionale per esplorare come i circuiti corticali reali possano eseguire calcoli complessi e su larga scala, andando oltre le semplici simulazioni di reti superficiali.
• Hardware Neuromorfico: Sebbene l'implementazione digitale richieda approssimazioni, il framework è direttamente compatibile con le future piattaforme analogiche o mixed-signal (es. DYNAP-SE2) che supportano nativamente operazioni di inibizione laterale e dinamica E-I.

In sintesi, il paper dimostra che l'inibizione laterale, se gestita con un'attenta inizializzazione e stabilizzazione dei gradienti, può sostituire efficacemente la normalizzazione artificiale, aprendo la strada a SNN profonde, stabili e biologicamente plausibili.