SRAM-Based Compute-in-Memory Accelerator for Linear-decay Spiking Neural Networks

Titolo: Acceleratore CIM basato su SRAM per Reti Neurali a Spike con Decadimento Lineare

1. Il Problema

Le Reti Neurali a Spike (SNN) sono un'alternativa promettente alle reti neurali profonde tradizionali, offrendo calcolo guidato dagli eventi e ad alta efficienza energetica. Tuttavia, la loro implementazione hardware soffre di un collo di bottiglia critico legato all'aggiornamento dello stato dei neuroni.

• Disallineamento Architetturale: Mentre le operazioni sinaptiche (moltiplicazione e accumulo, $W \times I$) possono essere parallelizzate massicciamente nelle architetture Compute-in-Memory (CIM) con complessità $O(1)$, l'aggiornamento successivo del potenziale di membrana richiede un accesso sequenziale ai neuroni.
• Collo di Bottiglia: Questo aggiornamento sequenziale comporta una latenza $O(N)$ e un elevato consumo energetico per l'accesso alla memoria, rendendo l'aggiornamento dello stato il fattore dominante di latenza ed energia nell'inferenza SNN, annullando i vantaggi della parallelizzazione sinaptica.
• Complessità Computazionale: I modelli di neuroni tradizionali (come il Leaky Integrate-and-Fire o LIF) utilizzano un decadimento esponenziale del potenziale di membrana, che richiede moltiplicazioni costose o tabelle di ricerca in hardware.

2. Metodologia

Gli autori propongono un'architettura CIM basata su SRAM che co-ottimizza algoritmo e hardware attraverso due approcci principali:

A. Algoritmo: Neurone LD-LIF (Linear Decay Leaky Integrate-and-Fire)

• Approssimazione Lineare: Sostituiscono il decadimento esponenziale del potenziale di membrana con un'approssimazione lineare. Invece di calcolare $V(t+1) = V(t) \cdot e^{-\Delta t/\tau}$, utilizzano una sottrazione fissa: $V(t+1) = V(t) - \beta + W \cdot Input$.
• Vantaggi: Questa trasformazione elimina la necessità di moltiplicatori hardware, riducendo il decadimento a semplici operazioni di addizione/sottrazione.
• Parametro Apprendibile: Il parametro di decadimento $\beta$ è apprendibile tramite discesa del gradiente durante la fase di retropropagazione, permettendo alla rete di adattarsi dinamicamente e mantenere l'accuratezza nonostante la semplificazione.

B. Architettura Hardware: Aggiornamento Parallelo In-Memory

• Cella di Memoria: È stata progettata una cella di potenziale di membrana basata su SRAM 8T (due blocchi SRAM, VMEM A e VMEM B) integrata direttamente nell'array di memoria.
• Aggiornamento "Ping-Pong": Il potenziale di membrana viene aggiornato in loco all'interno dell'array SRAM in un ciclo di 3 clock, utilizzando un flusso di dati alternato tra due blocchi di memoria.
• Eliminazione del Confronto: L'architettura sfrutta il bit di segno dell'operazione di sottrazione (decadimento + soglia) per determinare se si verifica uno spike, eliminando la necessità di circuiti di confronto dedicati e riducendo l'overhead.
• Tecnologia: L'implementazione utilizza SRAM per il suo ottimo equilibrio tra velocità, stabilità e compatibilità CMOS, ideale per aggiornamenti frequenti e granulari richiesti dalle SNN.

3. Contributi Chiave

• Co-progettazione Algoritmo-Hardware: Integrazione profonda tra la semplificazione del modello neurale (decadimento lineare) e l'architettura hardware (aggiornamento parallelo in memoria).
• Riduzione della Complessità: Conversione di operazioni di moltiplicazione costose in addizioni semplici, abilitando un aggiornamento dello stato completamente parallelo ($O(1)$ per l'intero array) invece che sequenziale.
• Efficienza Energetica: Eliminazione dei colli di bottiglia legati all'accesso alla memoria globale per l'aggiornamento dello stato, spostando l'elaborazione direttamente all'interno delle celle di memoria.

4. Risultati

Il metodo è stato valutato su carichi di lavoro SNN di riferimento (MLP su N-MNIST, SHD e CNN su DVS Gesture) e simulato con tecnologia TSMC 65 nm.

• Accuratezza: Il modello LD-LIF mostra una perdita di accuratezza trascurabile rispetto al modello LIF esponenziale originale (riduzioni dell'accuratezza comprese tra lo 0,38% e l'1,11%).
• Efficienza Energetica:
  • Riduzione del consumo energetico per operazione sinaptica (SOP) da 1,1x a 16,7x rispetto ad altre implementazioni.
  • Aumento dell'efficienza energetica (TOPS/W) da 15,9x a 69x.
  • Consumo energetico assoluto: 0,09 pJ/SOP.
• Latenza: L'architettura proposta aggiorna 32 potenziali di membrana in parallelo in soli 3 cicli di clock (21 ns a 0,9V), offrendo una latenza circa 30 volte inferiore rispetto alle architetture seriali convenzionali.
• Confronto con lo Stato dell'Arte: Rispetto a lavori recenti (JSSC '24, VLSI '23, TCASAI '25), la proposta raggiunge un'efficienza di 20,7 TOPS/W, superando significativamente le soluzioni esistenti.

5. Significato e Impatto

Questo lavoro dimostra che per realizzare processori neuromorfici scalabili, a basso consumo e in tempo reale, non è sufficiente accelerare solo il calcolo sinaptico ($W \times I$). È fondamentale ottimizzare anche la dinamica di aggiornamento dello stato dei neuroni all'interno delle architetture CIM.
La proposta offre un percorso scalabile per superare il collo di bottiglia di von Neumann nelle SNN, rendendo possibile l'implementazione efficiente di reti neurali complesse su hardware embedded e a basso consumo, mantenendo un'accuratezza vicina a quella dei modelli biologici tradizionali.