🤖 machine learning

End-to-End Keyword Spotting on FPGA Using Graph Neural Networks with a Neuromorphic Auditory Sensor

Questo lavoro presenta la prima implementazione end-to-end su FPGA di un sistema di rilevamento di parole chiave che integra un Sensore Auditivo Neuromorfico con una Rete Neurale a Grafo, ottenendo un elaboramento in tempo reale e a basso consumo di flussi audio grezzi basati su eventi con un'accuratezza del 87,43% e una latenza inferiore a 35 microsecondi.

Autori originali: Wiktor Matykiewicz, Piotr Wzorek, Kamil Jeziorek, Tomás Muñoz, Antonio Rios-Navarro, Angel Jiménez-Fernández, Tomasz Kryjak

Pubblicato 2026-05-12

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Wiktor Matykiewicz, Piotr Wzorek, Kamil Jeziorek, Tomás Muñoz, Antonio Rios-Navarro, Angel Jiménez-Fernández, Tomasz Kryjak

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di dover insegnare a un piccolo robot alimentato a batteria a capire quando qualcuno pronuncia una parola specifica, come "Stop" o "Vai". Di solito, per farlo, il robot deve ascoltare l'intero suono, registrarlo, suddividerlo in piccoli frammenti e poi analizzare quei frammenti. Questo processo è come cercare di leggere un intero libro solo per trovare una frase specifica: richiede molto tempo, energia e memoria.

Questo articolo presenta un nuovo metodo super-efficiente per farlo, utilizzando un tipo speciale di "orecchio robotico" e un "cervello" integrati direttamente su un singolo chip informatico (chiamato FPGA).

Ecco come hanno fatto, spiegato con semplici analogie:

1. L'"Orecchio Robotico" (Il Sensore Neuromorfico)

La maggior parte dei microfoni funziona come un metronomo: scatta una "fotografia" del suono 44.000 volte ogni secondo, sia che ci sia rumore sia che ci sia silenzio. Questo genera una massa enorme di dati, anche quando non succede nulla di interessante.

I ricercatori hanno utilizzato un Sensore Auditivo Neuromorfico (NAS). Immagina questo sensore non come una fotocamera che scatta foto, ma come una sentinella altamente sensibile.

Come funziona: La sentinella alza solo la mano (invia un segnale) quando qualcosa cambia nella stanza. Se la stanza è silenziosa, la sentinella rimane ferma. Se un uccellino cinguetta, la sentinella alza la mano una volta sola.
Il Risultato: Invece di un flusso costante di dati, il sensore invia un flusso sparso e "basato su eventi". È come inviare un messaggio di testo solo quando succede qualcosa di importante, invece di trasmettere un flusso video in diretta di una stanza vuota. Questo fa risparmiare un'enorme quantità di energia.

2. Il "Filtro Intelligente" (Filtrazione)

Anche con il sensore intelligente, a volte la "sentinella" si eccita un po' troppo e alza la mano troppe volte per lo stesso suono. Questo crea molto rumore inutile.

I ricercatori hanno aggiunto una fase di Filtrazione. Immagina questo come un buttafuori di un locale.

Il buttafuori ha una regola: "Se hai già alzato la mano di recente, aspetta un momento prima di alzarla di nuovo".
Questo buttafuori elimina circa il 47% dei segnali extra senza perdere quelli importanti. In effetti, rimuovendo il rumore, il robot ha capito le parole meglio di prima.

3. Il "Cervello" (Rete Neurale a Grafo)

Una volta filtrati i segnali, questi devono essere compresi. Di solito, i computer analizzano i suoni in linea retta (come una linea temporale). Ma poiché questi segnali sono dispersi e irregolari, i ricercatori hanno utilizzato una Rete Neurale a Grafo (GNN).

Immagina una GNN non come una linea retta, ma come una mappa di una rete sociale.

Ogni "evento" (la sentinella che alza la mano) è una persona nella rete.
Il sistema osserva chi sta accanto a chi e come sono connessi nel tempo e nello spazio.
Invece di forzare i dati in una griglia rigida, il sistema costruisce una rete dinamica di connessioni per capire quale parola è stata pronunciata. Questo è molto più flessibile ed efficiente per questo tipo di dati.

4. Il "Chip Tutto-in-Uno" (Implementazione FPGA)

Il più grande risultato di questo articolo è che non hanno solo simulato tutto su un computer potente; hanno costruito l'intero sistema su un singolo chip piccolo (un FPGA).

L'Analogia: Immagina di costruire il microfono, il buttafuori e il cervello tutti all'interno di un singolo, minuscolo mattoncino Lego.
Il Vantaggio: Poiché tutto è su un unico chip, i dati non devono viaggiare avanti e indietro tra le diverse parti di un computer. Rimangono locali. Questo rende il sistema incredibilmente veloce e a basso consumo energetico.

I Risultati: Velocità ed Efficienza

Il team ha testato questo sistema con una famosa lista di parole (Google Speech Commands). Ecco cosa hanno scoperto:

Accuratezza: Ha identificato correttamente le parole circa l'87% delle volte, anche dopo essere stato semplificato per funzionare sul piccolo chip.
Velocità: È fulmineo. Dal momento in cui un suono colpisce il sensore al momento in cui il chip prende una decisione, ci vogliono meno di 35 microsecondi. Per fare un confronto, un battito di ciglia umano dura circa 300.000 microsecondi. Il chip prende una decisione nel tempo che impiega un battito di ciglia per iniziare.
Potenza: Utilizza pochissima elettricità (circa 1,12 Watt), che è all'incirca la potenza di una piccola lampadina LED. Questo lo rende perfetto per robot alimentati a batteria o dispositivi IoT.

Perché è Importante

L'articolo afferma che questa è la prima volta che un sistema combina con successo un sensore neuromorfico e una rete neurale a grafo su un singolo chip per elaborare audio grezzo in tempo reale.

A differenza di altri sistemi che richiedono una pesante pre-elaborazione (come convertire il suono in immagini complesse prima di analizzarlo), questo sistema gestisce direttamente i "eventi" grezzi. Ciò significa che evita il lavoro pesante, risparmiando tempo e durata della batteria, rendendolo ideale per la robotica mobile e i dispositivi intelligenti che devono ascoltare e reagire istantaneamente senza prosciugare le loro batterie.

Riepilogo Tecnico: Rilevamento di Parole Chiave End-to-End su FPGA Utilizzando Reti Neurali a Grafo con un Sensore Auditivo Neuromorfico

Enunciato del Problema
I moderni sistemi embedded, in particolare nella robotica mobile e nell'IoT, richiedono un'elaborazione dei dati efficiente direttamente sul dispositivo, che bilanci un'elevata accuratezza predittiva con un basso consumo energetico e una latenza minima. Le pipeline di elaborazione audio convenzionali si basano su campionamento a frequenza fissa e elaborazione digitale del segnale (DSP) computazionalmente intensiva, che spesso generano dati ridondanti e consumano una potenza significativa. Sebbene i sensori neuromorfici offrano un'alternativa bio-ispirata generando dati sparsi e basati su eventi solo quando si verificano cambiamenti ambientali, integrare questi sensori con architetture di elaborazione efficienti su un singolo dispositivo edge rimane una sfida. I lavori precedenti si sono spesso basati su flussi di eventi generati sinteticamente o hanno separato le unità di sensore e di elaborazione, non riuscendo a dimostrare un sistema completamente integrato, end-to-end, in grado di elaborare audio grezzo direttamente da un sensore neuromorfico fisico su un singolo FPGA.

Metodologia
Gli autori propongono un sistema unificato end-to-end implementato su un singolo Field-Programmable Gate Array (FPGA) che integra un Sensore Auditivo Neuromorfico (NAS) con una Rete Neurale a Grafo (GNN). L'architettura è composta da tre fasi principali:

Sensing Neuromorfico (NAS): Il sistema utilizza un NAS completamente digitale basato su FPGA che converte l'audio analogico grezzo (tramite un'interfaccia I2S) in un flusso asincrono e sparso di Address-Event Representation (AER). Il sensore impiega i principi dell'Elaborazione dei Segnali a Spike (SSP), convertendo i campioni di Modulazione a Codice di Impulso (PCM) in treni di impulsi ad alta frequenza tramite Modulazione di Frequenza degli Impulsi (PFM). Gli autori hanno implementato due configurazioni topologiche:
- Cascata: Catena di filtri passa-basso per impulsi, che mimano la coclea biologica ma introducono una latenza cumulativa.
- Parallela: Invia il treno di impulsi in ingresso a filtri passa-banda per impulsi indipendenti, eliminando il ritardo cumulativo e fornendo una latenza uniforme su tutti i canali.
  Il sensore restituisce gli eventi come tuple $(t, c, p)$ , rappresentanti timestamp, canale di frequenza e polarità.
Filtrazione degli Eventi: Per affrontare l'alto tasso di eventi e la distribuzione disuguale tra i canali, viene introdotta una fase di filtrazione compatibile con l'hardware. Questo modulo imita un modello di neurone integrate-and-fire con perdita (LIF), mantenendo un potenziale decrescente per ciascun canale. Gli eventi sono accettati solo quando il potenziale supera una specifica soglia, riducendo efficacemente il conteggio degli eventi di circa il 47% mentre migliora l'accuratezza predittiva. I parametri di filtrazione includono un fattore di quantizzazione temporale, un peso per l'integrazione del potenziale e soglie specifiche per canale (testate in configurazioni costanti, lineari ed esponenziali).
Generazione del Grafo ed Elaborazione GNN: Gli eventi filtrati sono trattati come nodi in un grafo dinamico e diretto nel tempo. Gli archi sono creati tra un nuovo evento e gli eventi precedenti entro raggi temporali ( $R_t$ ) e di canale ( $R_c$ ) definiti. Il grafo è elaborato da un'architettura GNN basata su livelli PointNetConv, seguita da un livello MaxPool che aggrega le caratteristiche all'interno di finestre di 10 ms. La testa della rete è composta da livelli lineari e un'unità di memoria basata su GRU per restituire le probabilità di classe delle parole chiave e i punteggi di confidenza. Per garantire prestazioni in tempo reale sull'hardware, gli autori hanno implementato un meccanismo di scheduling a back-pressure con buffering inter-modulo, consentendo l'ammissione dinamica degli eventi in base al carico di lavoro istantaneo piuttosto che a cicli di clock fissi.

Contributi Principali
Il paper apporta quattro contributi principali:

Rilascio del Dataset: Gli autori hanno reso pubblicamente disponibili dataset audio basati su eventi registrati utilizzando diverse configurazioni NAS (32, 64 e 128 canali in modalità sia cascata che parallela) derivati dal benchmark Google Speech Commands v2 (GSCv2).
Filtrazione Consapevole dell'Hardware: Viene proposta e analizzata una nuova metodologia di filtraggio degli eventi, che riduce il carico computazionale di quasi la metà migliorando simultaneamente l'accuratezza predittiva.
Ottimizzazione Architettonica: Estesi studi di ablazione hanno portato a modifiche specifiche della GNN, inclusa un'estrazione delle caratteristiche ottimizzata e un meccanismo di scheduling dinamico, consentendo l'integrazione del sensore e della rete su un singolo FPGA senza violare i vincoli di latenza o throughput.
Prima Implementazione End-to-End: Il lavoro presenta il primo sistema che integra un sensore auditivo neuromorfico fisico e una GNN su un singolo dispositivo FPGA per il rilevamento di parole chiave in tempo reale, operando direttamente su flussi audio grezzi senza pre-elaborazione convenzionale.

Risultati Sperimentali
Il sistema è stato valutato sul dataset Google Speech Commands v2 elaborato attraverso il NAS fisico.

Accuratezza: Dopo la quantizzazione a 8 bit, il sistema ha raggiunto un'accuratezza dell'87,43% sulla configurazione parallela a 32 canali e dell'86,9% sulla configurazione parallela a 64 canali.
Latenza: Il sistema ha dimostrato una latenza end-to-end di 25–35 µs per la configurazione a 32 canali e di 25–42 µs per la configurazione a 64 canali. Le previsioni vengono generate ogni 10 ms.
Consumo Energetico: Il consumo medio di potenza è stato misurato a 1,12 W per la configurazione a 32 canali e 1,16 W per la configurazione a 64 canali.
Efficienza delle Risorse: Rispetto alle precedenti implementazioni GNN su SoC FPGA, il design proposto ha ridotto significativamente l'utilizzo delle risorse (LUT, DSP e BRAM), consentendo all'intero sistema di operare a una frequenza di clock di 200 MHz senza violazioni temporali.
Confronto: Il metodo proposto ha superato la maggior parte degli approcci precedenti basati su Reti Neurali a Spike (SNN) e Modelli a Spazio di Stato (SSM) riportati su dataset simili, raggiungendo un'accuratezza superiore con un numero inferiore di parametri (59.84k parametri).

Significato e Affermazioni
Gli autori affermano che questo lavoro rappresenta un passo significativo verso l'intelligenza edge efficiente eliminando la necessità di pre-elaborazione convenzionale del segnale e abilitando l'elaborazione diretta dell'audio grezzo su un singolo dispositivo. Sfruttando la sparsità dei dati neuromorfici e l'efficienza dell'elaborazione basata su grafi, il sistema raggiunge un'alta risoluzione temporale (aggiornamenti delle previsioni ogni 10 ms) e una bassa latenza, aspetti critici per la robotica mobile e le applicazioni IoT interattive. Il paper sottolinea che, a differenza di altri sistemi di rilevamento di parole chiave basati su FPGA che si affidano a caratteristiche precalcolate o generano previsioni solo una volta al secondo, questa architettura elabora l'audio grezzo continuamente e si adatta alle condizioni di carico di lavoro istantanee. Gli autori notano che, sebbene altri lavori riportino accuracies superiori su dataset standard, tali approcci spesso comportano un sovraccarico aggiuntivo di pre-elaborazione e latenza, mentre questo sistema dà priorità all'efficienza end-to-end e alla reattività in tempo reale. Sono previsti lavori futuri per validare l'approccio in scenari reali di interazione uomo-macchina nella robotica e per indagare l'implementazione ASIC per un'ulteriore ottimizzazione.