ShiftLIF: Efficient Multi-Level Spiking Neurons with Power-of-Two Quantization

Riepilogo Tecnico: ShiftLIF

Enunciato del Problema
Le Reti Neurali a Spike (SNN) sono sempre più riconosciute per le applicazioni di sensing periferico grazie al loro calcolo guidato da eventi e alle capacità intrinseche di filtraggio temporale. Tuttavia, i neuroni standard Leaky Integrate-and-Fire (LIF) soffrono di un severo collo di bottiglia rappresentazionale: calcolano potenziali di membrana analogici ricchi ma li codificano in spike binari (0 o 1). Questa quantizzazione estrema scarta informazioni di ampiezza a grana fine accumulate durante l'integrazione temporale, limitando la capacità della rete di catturare la complessità dei segnali sensoriali continui.

I tentativi esistenti di risolvere ciò tramite neuroni a spike multi-livello affrontano due limitazioni primarie:

1. Inefficienza Hardware: Molti approcci multi-livello si basano su livelli di spike uniformemente spaziati con ampiezze intere arbitrarie. Ciò reintroduce costose moltiplicazioni sinaptiche (operazioni MAC), minando l'efficienza energetica che definisce le SNN.
2. Disallineamento della Distribuzione: Le griglie di quantizzazione uniformi allocano una risoluzione uguale su tutto l'intervallo dinamico. Questo corrisponde male alla distribuzione intrinseca dei potenziali di membrana nelle SNN, che sono tipicamente fortemente concentrate vicino a valori piccoli con una lunga coda verso valori più grandi. Di conseguenza, le griglie uniformi sprecano risoluzione su grandi attivazioni rare mentre sottorappresentano le attivazioni piccole densamente raggruppate dove risiede la maggior parte dell'informazione.

Metodologia: ShiftLIF
Gli autori propongono ShiftLIF, un nuovo neurone a spike multi-livello progettato per migliorare la capacità rappresentazionale preservando al contempo un calcolo privo di moltiplicatori, compatibile con l'hardware.

• Quantizzazione Logaritmica in Potenze di Due: Invece di una spaziatura uniforme, ShiftLIF mappa i potenziali di membrana continui su un insieme discreto di livelli di spike definiti da potenze di due: $\{0, 2^{-K}, 2^{-(K-1)}, \dots, 2^{-1}, 1\}$. Questa griglia logaritmica fornisce una risoluzione più fine vicino allo zero, allineandosi naturalmente alla distribuzione a coda lunga dei potenziali di membrana osservata nelle SNN addestrate.
• Calcolo Sinaptico Senza Moltiplicatori: Vincolando le ampiezze degli spike a potenze di due e rappresentando i pesi sinaptici come interi, l'interazione sinaptica $W \cdot S$ è implementata come un'operazione di shift a destra bitwise ($W \gg k$) seguita da un'accumulazione intera. Ciò elimina la moltiplicazione generale, mantenendo l'efficienza energetica fondamentale delle SNN binarie standard.
• Reset Morbido Proporzionale: Per preservare la carica residua sottosoglia non codificata nello spike corrente, ShiftLIF impiega un meccanismo di reset morbido proporzionale in cui il potenziale di membrana è decrementato della magnitudine dello spike multi-livello emesso ($V_t \leftarrow V_t - S_t \cdot V_{th}$), piuttosto che tramite una sottrazione fissa della soglia.
• Meccanismo di Addestramento: L'operatore di quantizzazione-shift non differenziabile è addestrato utilizzando un Estimatore Straight-Through (STE) che approssima la derivata sull'intero intervallo di attivazione limitato $[0, 1]$. Inoltre, viene applicato un regolarizzatore del tasso di spike di tipo L1 per controllare l'attività di firing senza sopprimere le risposte sparse.

Contributi Chiave

1. Identificazione del Dilemma Accuratezza-Efficienza: Il documento evidenzia che le SNN multi-livello esistenti spesso sacrificano l'efficienza hardware a favore della capacità rappresentazionale a causa della quantizzazione uniforme e dei requisiti di moltiplicazione.
2. Architettura ShiftLIF: La proposta di un neurone che raggiunge una rappresentazione consapevole della distribuzione tramite quantizzazione in potenze di due, preservando rigorosamente il calcolo sinaptico basato su shift e privo di MAC.
3. Benchmark Completo Cross-Modale: L'istituzione di un benchmark su 10 dataset che coprono le modalità di sensing wireless, acustico, di movimento e visivo per valutare il metodo proposto rispetto a baseline all'avanguardia.

Risultati Sperimentali
Gli autori hanno valutato ShiftLIF su 10 dataset (inclusi ARIL, UrbanSound8K, UCI-HAR e CIFAR10-DVS) utilizzando vari backbone (LeNet, ResNet, Transformers) e lo hanno confrontato con altri nove modelli di neuroni (inclusi LIF standard, PLIF, GLIF e INT-LIF).

• Accuratezza: ShiftLIF ha raggiunto la più alta accuratezza media (89,34%) su tutti i dataset, superando le migliori baseline concorrenti (CLIF al 88,74% e I-LIF all'88,63%) e superando significativamente il LIF binario standard (82,00%).
• Sensing Continuo vs. Basato su Eventi: I guadagni di prestazione sono stati più pronunciati sui compiti di sensing continuo (wireless, acustico, movimento), dove ShiftLIF si è classificato costantemente primo o in pareggio per il primo posto. Sui compiti di visione neuromorfica, è rimasto competitivo.
• Efficienza Energetica: Nonostante l'uso di spike multi-livello, ShiftLIF ha mantenuto un consumo energetico sinaptico vicino a quello dei modelli LIF binari standard. In diversi benchmark di sensing wireless, ha raggiunto un'accuratezza più alta con un consumo energetico inferiore rispetto sia al LIF binario che al multi-livello INT-LIF.
• Analisi della Quantizzazione: L'analisi teorica e le misurazioni empiriche hanno confermato che la griglia logaritmica produce un errore di quantizzazione inferiore e un migliore utilizzo dei bit (entropia) per i potenziali di membrana concentrati vicino allo zero rispetto alle griglie uniformi.

Significato e Affermazioni
Il documento afferma che ShiftLIF offre un compromesso favorevole tra accuratezza ed efficienza per il sensing periferico cross-modale. Allineando il regime di quantizzazione con la distribuzione naturale dei potenziali di membrana e sfruttando operazioni di shift di bit, ShiftLIF migliora l'espressività a livello di spike senza sacrificare la natura compatibile con l'hardware delle SNN. Gli autori concludono che i guadagni di prestazione derivano non semplicemente dall'aumento del numero di livelli di spike, ma dall'utilizzo di un regime di quantizzazione specificamente adattato alla dinamica delle membrane delle SNN, rendendolo un miglioramento semplice ed efficace per le applicazioni di sensing periferico.