FeNN-DMA: A RISC-V SoC for SNN acceleration

Riepilogo Tecnico: FeNN-DMA – Un SoC RISC-V per l'Accelerazione di SNN

Problematica
Le Reti Neurali Spiking (SNN) offrono un'alternativa promettente ed efficiente dal punto di vista energetico alle standard Reti Neurali Artificiali (ANN), in particolare per compiti spazio-temporali come il riconoscimento di parole chiave (keyword spotting) e la classificazione video. Tuttavia, le SNN possiedono una bassa intensità aritmetica a causa della loro comunicazione basata su eventi, il che le rende poco adatte agli acceleratori standard ad alto throughput come GPU e TPU, che sono ottimizzati per la moltiplicazione di matrici dense. Sebbene siano stati sviluppati hardware dedicati come ASIC e FPGA per le SNN, le soluzioni basate su FPGA esistenti affrontano spesso significativi compromessi. Molte sono progettate per modelli di neuroni specifici e semplici (ad es. Leaky Integrate-and-Fire) e per dataset basati su immagini (ad es. MNIST) convertiti da ANN, fallendo nel supportare le architetture complesse, ricorrenti e ricche di ritardi richieste dalla ricerca di stato sulle SNN. Inoltre, i sistemi che supportano la memoria esterna soffrono spesso di colli di bottiglia nella latenza, mentre quelli che si affidano esclusivamente alla memoria on-chip non possono scalare verso il numero di neuroni e sinapsi richiesto dai modelli moderni.

Metodologia
Gli autori presentano FeNN-DMA, un System-on-Chip (SoC) completamente programmabile basato sull'architettura RISC-V, progettato per la simulazione di SNN su FPGA AMD UltraScale+ (nello specifico il kit di sviluppo Kria KV260). Il design integra un processore vettoriale personalizzato con un controller Direct Memory Access (DMA) dedicato per bilanciare la programmabilità con le prestazioni limitate dalla memoria.

• Architettura: Il SoC presenta un core scalare strettamente accoppiato (CV32E40x) e un co-processore vettoriale (VEC) a 32 corsie (lane) con larghezza di 512 bit. Il VEC è un processore a 3 stadi di pipeline con istruzioni specializzate per le operazioni SNN, inclusi l'addizione mascherata, l'arrotondamento stocastico e la generazione di numeri casuali.
• Gerarchia della Memoria: Per affrontare la natura limitata dalla memoria delle SNN, FeNN-DMA utilizza un approccio di memoria ibrido. Impiega blocchi UltraRAM (URAM) ad alta densità per i grandi dati vettoriali (pesi e stati dei neuroni) e BlockRAM (BRAM) per la memoria delle istruzioni e la memoria "lane-local". La memoria lane-local supporta i caricamenti indicizzati, consentendo la gestione efficiente della connettività sparsa e dei ritardi sinaptici senza serializzare le operazioni attraverso i cicli.
• Controller DMA: Un controller DMA su misura gestisce lo streaming dei dati tra 4 GB di memoria DDR4 off-chip e i buffer on-chip. Esso sovrappone la latenza del trasferimento di memoria al calcolo, permettendo al sistema di simulare modelli più grandi della capacità della memoria on-chip.
• Software Stack: Gli autori hanno sviluppato PyFeNN, un toolchain basato su Python. Esso consente agli utenti di definire modelli di neuroni in un linguaggio simile al C e topologie SNN utilizzando una sintassi simile a PyTorch o importando modelli dalla Neuromorphic Intermediate Representation (NIR). Il toolchain compila queste descrizioni in codice vettoriale RISC-V ottimizzato.
• Algoritmi: Il sistema implementa algoritmi ottimizzati per connettività densa, sparsa e ritardata. Per la connettività sparsa, itera sui campi di bit degli spike e processa le connessioni in parallelo attraverso le corsie vettoriali, utilizzando la memoria lane-local per distribuire gli input dei neuroni target.

Contributi Chiave

1. Core FeNN Aggiornato: Un processore vettoriale potenziato con memorie lane-local per supportare i ritardi sinaptici e la connettività sparsa, insieme a un set di istruzioni personalizzato (Tabella 1) ottimizzato per i calcoli SNN (ad es. VANDADD, VRNG, VMUL con arrotondamento).
2. Controller DMA Su Misura: Un controller personalizzato che esegue lo streaming efficiente dei pesi dalla memoria off-chip ai buffer on-chip, consentendo la simulazione di reti su larga scala (fino a 256 milioni di sinapsi per core) nascondendo al contempo la latenza della memoria.
3. Framework PyFeNN: Un ambiente di programmazione di alto livello che colma il divario tra la definizione del modello SNN e l'implementazione hardware, supportando gli import da NIR e la quantizzazione a virgola fissa.
4. Design SoC Scalabili: Implementazione di sistemi FeNN-DMA a core singolo e duale su Kria KV260, capaci di simulare fino a 16.000 neuroni per core.

Risultati

• Prestazioni e Risorse: Il FeNN-DMA a core singolo raggiunge una frequenza operativa di 175 MHz. In termini di utilizzo delle risorse (LUT, FF, BRAM), è paragonabile agli acceleratori a funzione fissa all'avanguardia ma supporta significativamente più neuroni e sinapsi. Sebbene il suo throughput grezzo (0,92 GSOP/s per la connettività densa) sia inferiore a quello di alcuni sistemi a funzione fissa (che possono superare i 47 GSOP/s), offre una maggiore flessibilità e scalabilità.
• Accuratezza della Classificazione: Il sistema ha dimostrato un'accuratezza allo stato dell'arte su benchmark impegnativi:
  • Spiking Heidelberg Digits (SHD): Ha raggiunto un'accuratezza del 90,32% su una rete ricorrente con ritardi sinaptici addestrabili, superando altri approcci basati su FPGA valutati su questo dataset.
  • Neuromorphic MNIST (N-MNIST): Ha raggiunto un'accuratezza del 98,46% utilizzando un modello ricorrente estremamente sparso (sparsità del 99%), superando i modelli densi di precedenti lavori su FPGA.
  • Classificazione Tattile Braille: Ha raggiunto un'accuratezza del 92,86% utilizzando un modello importato da NIR, comparabile ai migliori backend software.
• Scalabilità: Il sistema può simulare reti casuali bilanciate fino a 16.000 neuroni a velocità superiore al tempo reale quando utilizza la connettività sparsa. Il throughput misurato per l'elaborazione sparsa ha raggiunto i 3,72 GSOP/s (con una sparsità del 75%), compensando efficacemente la minore efficienza per operazione rispetto all'hardware a funzione fissa.

Significatività e Rivendicazioni
Il paper afferma che FeNN-DMA rappresenta un passo significativo verso un'accelerazione SNN flessibile e ad alta capacità su FPGA. Combinando un'architettura vettoriale RISC-V con un controller DMA personalizzato e uno stack software di alto livello, il sistema colma il divario tra la programmabilità dei processori general-purpose e l'efficienza degli acceleratori dedicati.

Gli autori sottolineano che il loro approccio consente la simulazione di modelli complessi e biologicamente plausibili (caratterizzati da connettività ricorrente e ritardi) che sono spesso non supportati dagli acceleratori a funzione fissa. Pur riconoscendo un gap di throughput di 3–4× rispetto ai sistemi a funzione fissa dovuto al loop di propagazione dello spike guidato dal software, sostengono che la capacità del sistema di effettuare lo streaming dalla memoria esterna e supportare modelli grandi e complessi lo renda una soluzione pratica per l'inferenza SNN allo stato dell'arte. Il lavoro dimostra che le architetture vettoriali programmabili su FPGA possono raggiungere un'efficienza energetica e un uso delle risorse competitive, offrendo al contempo la flessibilità richiesta per la prossima generazione di ricerca neuromorfica.