🤖 machine learning

Spiking Neural Network inference on FPGAs with hls4ml

Questo articolo presenta un'estensione del toolkit hls4ml che consente l'implementazione guidata dal clock di reti neurali spiking addestrate con PyTorch su FPGA, raggiungendo un'inferenza in tempo reale a bassa latenza come dimostrato sul dataset Heidelberg Spiking Digits.

Autori originali: Barry M. Dillon

Pubblicato 2026-06-10

📖 6 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Barry M. Dillon

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

L'Idea Centrale: Insegnare a un Cervello Digitale a "Sputare" invece di "Parlare"

Immaginate di avere un cervello informatico tradizionale (una Rete Neurale Artificiale) che parla attraverso un flusso continuo e fluido di numeri, come una radio che trasmette una canzone costante. Ora, immaginate un tipo diverso di cervello (una Rete Neurale Spiking o SNN) che comunica come una folla di persone in una stanza buia. Invece di parlare, emettono solo un suono (uno "spike", ovvero un impulso) quando accade qualcosa di specifico. Tra un suono e l'altro, restano in silenzio.

Questo metodo "spiking" è ottimo per elaborare informazioni basate sul tempo (come l'audio o i dati dei sensori) perché è naturalmente efficiente: se non sta accadendo nulla di interessante, il cervello rimane silenzioso e consuma pochissima energia.

Il Probleto:
Di solito, questi cervelli "spiking" sono progettati per hardware speciale e personalizzato (come uno strumento musicale creato su misura) che funziona secondo regole proprie e uniche. Tuttavia, molti macchinari scientifici del mondo reale (come i rilevatori di particelle o gli scanner medici) utilizzano già chip standard e potenti chiamati FPGA. Questi chip sono come dei "set LEGO" che gli ingegneri possono riprogrammare, ma sono abituati allo stile di calcolo della "radio fluida", non a quello della "folla spiky".

La Soluzione:
Barry Dillon, l'autore di questo articolo, ha costruito un ponte. Ha aggiornato uno strumento popolare chiamato hls4ml (che funge da traduttore) in modo che possa ora prendere un cervello "spiking" addestrato in Python e tradurlo in istruzioni che un FPGA standard possa comprendere ed eseguire.

Come Funziona: La Linea di Montaggio di una Fabbrica

Per far sì che questo funzioni su un chip standard, l'autore ha dovuto cambiare il modo in cui il cervello "spiking" si comporta.

La Fabbrica Guidata dal Clock:
- Cervello Spiking Normale: Funziona come una folla caotica. Se qualcuno grida, l'intera stanza reagisce immediatamente. È asincrono (senza un programma prestabilito).
- Questo Nuovo Cervello FPGA: Funziona come una linea di montaggio di una fabbrica. Ogni secondo, suona un campanello (il clock). Al segnale del campanello, ogni lavoratore controlla i propri appunti, aggiorna il proprio stato e passa un pacco alla persona successiva. Anche se nessuno ha urlato, la linea si muove comunque.
- Perché? Gli FPGA standard sono costruiti per funzionare con un clock rigoroso. L'autore ha fatto in modo che il cervello spiking marciasse a tempo con questo clock affinché si adattasse ai flussi di lavoro industriali esistenti.
La "Memoria" del Neurone:
- In un computer normale, un neurone è come una calcolatrice: gli dai dei numeri, ti dà una risposta e poi dimentica tutto.
- In questo cervello spiking, il neurone è come un secchio con una perdita:
  - Quando arriva uno "spike" (acqua), il secchio si riempie.
  - Se il secchio diventa troppo pieno (raggiunge una soglia), svuota un secchio d'acqua (emette uno spike) e si resetta.
  - Ma anche se non emette uno spike, il livello dell'acqua (lo stato interno) rimane lì per il momento successivo.
- Lo strumento dell'autore tiene traccia di questo "livello dell'acqua" all'interno del chip FPGA, in modo che il cervello possa ricordare ciò che è accaduto pochi secondi prima.
La "Lettura" (Il Decisore):
- Dopo che il cervello ha elaborato un blocco di dati (come un clip audio di 1,4 secondi di una cifra pronunciata), deve prendere una decisione.
- L'articolo ha testato due modi per decidere:
  - Conteggio degli Spike (Spike Count): Contare quante volte i neuroni finali hanno urlato.
  - Lettura della Membrana (Membrane Readout): Controllare quanto sono pieni i secchi finali, anche se non hanno urlato.
- Risultato: Controllare la "pienezza" dei secchi (Membrane Readout) si è rivelato più accurato rispetto al semplice conteggio delle urla.

L'Esperimento: Insegnare al Cervello a Riconoscere le Cifre

L'autore ha testato questo nuovo sistema utilizzando un dataset chiamato SHD (Heidelberg Spiking Digits).

Il Compito: Il computer ascolta registrazioni di persone che pronunciano numeri (0–9) in inglese e tedesco.
L'Input: L'audio viene convertato in un flusso di "spike" (come un codice Morse sonoro).
La Configurazione: Hanno costruito un cervello piccolo e semplice con un livello nascosto di 64 neuroni.
L'Addestramento: Hanno insegnato al cervello usando una libreria Python standard (snnTorch) e poi hanno utilizzato una tecnica chiamata Quantization-Aware Training (QAT). Pensate alla QAT come all'insegnare al cervello a fare matematica con un righello che ha solo segni grandi (bassa precisione) invece di piccoli segni millimetrici (alta precisione). Questo prepara il cervello a girare sull'FPGA, che preferisce una matematica più semplice per risparmiare spazio.

I Risultati: Veloci, Accurati ed Efficienti

L'articolo riporta alcuni numeri impressionanti:

Velocità: L'FPGA può elaborare un clip audio di 1,4 secondi in circa 34 microsecondi. È incredibilmente veloce — più veloce di un battito di ciglia umano.
Accuratezza: Anche quando hanno semplificato la matematica (usando una precisione inferiore) per farla entrare nel chip, il cervello ha ottenuto circa il 74% di accuratezza sul set di test (riconoscendo le cifre pronunciate). Questo è molto vicino all'accuratezza della versione complessa ad alta precisione.
Risparmio di Risorse: Usando una precisione inferiore (matematica più semplice), hanno risparmiato una enorme quantità di spazio sul chip. È come preparare una valigia: se arrotoli strettamente i vestiti (bassa precisione), puoi far stare la stessa quantità di roba in una borsa molto più piccola.
Fedeltà: Il comportamento del chip ha corrisposto quasi perfettamente alla simulazione al computer (oltre il 98% di accordo), dimostrando che lo strumento di traduzione funziona correttamente.

Cosa Significa (e Cosa Non Significa)

Cosa fa: Dimostra che è possibile prendere un modello di IA "spiking" moderno addestrato in Python e implementarlo su hardware scientifico standard (FPGA) senza dover costruire chip esotici e personalizzati. Apre la porta all'uso di questi cervelli efficienti e sensibili al tempo in strumenti scientifici in tempo reale.
Cosa non fa (ancora):
- Non fa risparmiare energia automaticamente solo perché i dati sono sparsi. Poiché il chip funziona su un clock rigoroso, continua a fare i calcoli anche quando i neuroni sono silenziosi. L'autore nota che futuri aggiornamenti potrebbero aggiungere dei "cancelli" (gates) per fermare i calcoli quando non succede nulla, il che risparmierebbe energia, ma questo non è ancora presente in questo articolo.
- Attualmente supporta solo un tipo specifico di neurone spiking (il Leaky Integrate-and-Fire o LIF).
- È progettato per finestre temporali fisse (come un clip di 1,4 secondi), non ancora per flussi infiniti e di lunghezza variabile.

In sintesi, l'autore ha costruito un traduttore che permette a cervelli IA "spiking" e sensibili al tempo, addestrati in Python, di girare su chip informatici standard guidati dal clock. Ha testato il sistema su un compito di riconoscimento delle cifre, e ha funzionato velocemente e con precisione, dimostendo che questo nuovo tipo di IA può essere implementato in apparecchiature scientifiche reali oggi stesso.

Sintesi Tecnica: Inferenza di Reti Neurali Spiking su FPGA con hls4ml

Problematica
Le Reti Neurali Spiking (SNN) offrono un framework di apprendimento automatico naturalmente temporale, capace di inferenze a bassa latenza propagando informazioni attraverso spike discreti e mantenendo stati interni dei neuroni. Mentre i processori neuromorfici dedicati (ad esempio, Loihi, SpiNNaker) sfruttano architetture asincrone ed event-driven per massimizzare l'efficienza energetica grazie alla sparsità dei dati, molti sistemi di inferenza scientifica in tempo reale si affidano a comuni FPGA (Field-Programmable Gate Arrays) sincroni. Le attuali implementazioni FPGA richiedono spesso framework personalizzati e indipendenti che non si integrano con i flussi di lavoro standard del deep learning. Esiste la necessità di un metodo per distribuire SNN addestrate in framework moderni (come PyTorch) su standard firmware FPGA utilizzando l'HLS (High-Level Synthesis) senza sacrificare la semantica temporale dei modelli spiking, mantenendo al contempo le pipeline di ottimizzazione snelle disponibili per le reti neurali artificiali (ANN).

Metodologia
Questo lavoro presenta un'estensione del toolkit hls4ml per supportare il deployment clock-driven di SNN addestrate in PyTorch (specificamente utilizzando la libreria snnTorch) su firmware FPGA tramite backend Vivado/Vitis.

Architettura e Workflow: L'implementazione mappa i moduli snnTorch nella rappresentazione degli strati intermedi di hls4ml. Il workflow segue la pipeline standard di hls4ml: conversione del modello, simulazione C, sintesi HLS ed esportazione. A differenza dell'hardware neuromorfico asincrono, questo approccio implementa un modello di esecuzione clock-driven e sincrono, in cui gli aggiornamenti del potenziale neuronale, i calcoli degli strati densi e gli aggiornamenti di readout sono pianificati da pipeline HLS.
Modelli di Neurone: L'attuale implementazione supporta il neurone Leaky Integrate-and-Fire (LIF). Durante la conversione, i moduli Leaky di snnTorch vengono mappati in strati LIFNeuron o IFNeuron (quando il parametro di leak $\beta=1$ ). Questi strati mantengono stati interni statici (potenziali di membrana) che persistono tra le chiamate della funzione principale fino al raggiungimento di una finestra di readout configurata.
Meccanismi di Readout: Viene introdotto un nuovo strato SNNReadout per gestire la regola decisionale alla fine di una finestra temporale fissa. Sono supportate due modalità:
1. Membrane Readout: Accumula i potenziali di membrana finali dello strato di output senza generare spike.
2. Spike-Count Readout: Conta gli spike discreti emessi dallo strato finale durante la durata della finestra.
Quantization-Aware Training (QAT): Per comprimere le reti per l'hardware, viene applicato un algoritmo QAT personalizzato sia agli strati lineari che ai neuroni spiking. L'addestramento utilizza gradienti surrogati per la backpropagation. Il passaggio forward del QAT quantizza input, pesi, bias, parametri dei neuroni e aggiornamenti della membrana utilizzando stimatori straight-through, rispecchiando il comportamento di arrotondamento e saturazione dei tipi a virgola fissa target (es. ap_fixed).
Configurazione Sperimentale: Il sistema è stato valutato utilizzando il dataset Heidelberg Spiking Digits (SHD), composto da 20 classi di cifre parlate codificate come treni di spike. I dati sono stati pre-elaborati in 140 timestep (finestra di 1.4s) con 70 feature di input raggruppate. È stata utilizzata un'architettura di rete semplice: input a 70 dimensioni, un singolo strato nascosto di 64 neuroni LIF e un output a 20 dimensioni.

Risultati Chiave
Gli autori hanno validato il design attraverso confronti con il riferimento software, simulazione C HLS e sintesi completa Vivado su un FPGA Xilinx xczu7ev-ffvc1156-2-e.

Confronto Accuratezza e Readout: Le SNN con membrane readout hanno ottenuto un'accuratezza superiore rispetto alle SNN con spike-count readout (96.79% validazione / 75.81% test vs. 94.56% / 73.94% per i modelli FP32). La membrana readout è stata selezionata per l'analisi hardware successiva.
Precisione e Fedeltà: Una scansione della precisione (da 8 a 24 bit) ha dimostrato che larghezze di bit pari o superiori a 10 saturano le prestazioni, raggiungendo accuratezze di validazione del ~96% e di test del ~74%. L'accordo tra la C-simulazione HLS e il riferimento PyTorch quantizzato è stato estremamente alto (>98% per larghezze di bit >10), confermando un'implementazione ad alta fedeltà.
Latenza e Risorse: Il design sintetizzato ha raggiunto una latenza di inferenza di circa 33.6 µs per evento da 140 timestep (15 cicli per timestep $\times$ $\times$ 140 timestep $\times$ $\times$ 16 ns di periodo di clock).
- Utilizzo delle Risorse: La quantizzazione della rete a ap_fixed<10,4> ha prodotto un risparmio significativo di risorse rispetto a precisioni più elevate (es. 24 bit) pur mantenendo l'accuratezza. La configurazione a 10 bit ha utilizzato circa 109k LUT e 0 DSP, mentre quella a 24 bit richiedeva circa 63k LUT e 1.662 DSP.
Metriche di Sparsità: Utilizzando le metriche NeuroBench, lo studio ha rilevato che l'attivazione dello strato nascosto è altamente sparsa (~92% dei neuroni rimane silente per aggiornamento). Tuttavia, poiché l'attuale implementazione è clock-driven, questi pattern di sparsità non si traducono in una riduzione di potenza o latenza sull'FPGA, poiché i calcoli vengono eseguiti indipendentemente dall'attività di spiking.

Significatività e Claim
Il documento afferma di aprire il toolkit hls4ml al calcolo neuromorfico, fornendo un percorso strutturato per ottimizzare, sintetizzare e distribuire modelli SNN per l'inferenza in tempo reale su FPGA standard.

Integrazione: Integra con successo la semantica SNN nel framework hls4ml esistente, permettendo alle SNN di essere ottimizzate utilizzando le stesse procedure testate per le ANN.
Stabilimento di un Baseline: Il lavoro stabilisce un baseline pratico per il deployment di SNN in flussi di lavoro scientifici su FPGA, dimostando che le SNN clock-driven possono raggiungere un'inferenza a bassa latenza (~34 µs) con alta accuratezza su hardware standard.
Limitazioni e Lavori Futuri: Gli autori notano con modestia che l'attuale approccio clock-driven non realizza automaticamente i benefici di risparmio energetico derivanti dagli input di dati sparsi tipici dei sistemi neuromorfici asincroni. Identificano come lavori futuri l'aggiunta del supporto per neuroni ricorrenti (RLeaky), confini di sequenza a lunghezza variabile e l'esecuzione controllata (gated execution) per sfruttare la sparsità per la riduzione della potenza, oltre all'espansione delle applicazioni al rilevamento di anomalie e all'apprendimento per rinforzo.

Il documento conclude che, sebbene l'attuale implementazione non raggiunga ancora l'efficienza energetica dell'hardware neuromorfico dedicato per dati sparsi, essa fornisce una base robusta e ad alta fedeltà per il deployment di modelli spiking addestrati in applicazioni scientifiche critiche per il tempo utilizzando flussi di sintesi FPGA standard.

L'Idea Centrale: Insegnare a un Cervello Digitale a "Sputare" invece di "Parlare"

Come Funziona: La Linea di Montaggio di una Fabbrica

L'Esperimento: Insegnare al Cervello a Riconoscere le Cifre

I Risultati: Veloci, Accurati ed Efficienti

Cosa Significa (e Cosa Non Significa)

Articoli simili