💻 computer science

Hardware-aware Graph Neural Networks prunning for embedded event-based vision

Questo articolo propone una strategia di pruning e quantizzazione consapevole dell'hardware per le Graph Convolutional Neural Networks che ottimizza l'architettura del modello per piattaforme FPGA embedded, ottenendo riduzioni significative della memoria BRAM con una perdita di accuratezza minima attraverso vari dataset di visione basati su eventi.

Autori originali: Piotr Wzorek, Kamil Jeziorek, Tomasz Kryjak

Pubblicato 2026-07-09

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Piotr Wzorek, Kamil Jeziorek, Tomasz Kryjak

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Il Quadro Generale: Far Entrare le "Event Cameras" in uno Zaino

Immagina di cercare di infilare una gigantesca e ipertecnologica biblioteca di libri (un complesso cervello AI) in uno zaino minuscolo (un computer embedded su un drone o un robot). I libri sono pesanti e lo zaino ha un limite di peso molto stretto. Se provi a infilare l'intera biblioteca, lo zaino si rompe o il robot non riesce a muoversi.

Questo articolo risolve questo problema per un tipo specifico di telecamera chiamata Event Camera.

La Telecamera: A differenza delle normali telecamere che scattano una foto completa ogni secondo (come una videocamera), una event camera è come una stanza piena di persone che parlano solo quando accade qualcosa. Se un uccello vola attraverso la stanza, gridano "Uccello!". Se una luce sfarfalla, gridano "Luce!". Se non si muove nulla, restano in silenzio. Questo crea un flusso di dati "sparso": molto silenzio, ma molto veloce ed efficiente quando accadono le cose.
Il Problema: Per comprendere questo flusso di grida, usiamo un tipo speciale di AI chiamato Graph Neural Network (GCNN). Pensa a questa rete come a una massiccia ragnatela di connessioni. Tuttavia, la "ragnatela" richiede molta memoria interna per tenere traccia delle connessioni. Sui piccoli robot alimentati a batteria, questa memoria è il collo di bottiglia principale. È come cercare di trasportare l'intera biblioteca nel tuo zaino quando hai spazio solo per pochi opuscoli.

La Soluzione: Una Strategia di Imballaggio Intelligente

Gli autori (Piotr, Kamil e Tomasz) hanno sviluppato un nuovo modo per rimpicciolire questo cervello AI in modo che entri nello zaino senza perdere la capacità di riconoscere gli oggetti. Lo chiamano "Hardware-Aware Pruning and Quantization".

Ecco come ci sono riusciti, suddiviso in tre semplici passaggi:

1. Il "Pruning" (Tagliare il Grasso)

Immagina la rete AI come un albero con migliaia di rami. Alcuni rami sono spessi e trasportano molte informazioni importanti; altri sono rametti minuscoli che non fanno quasi nulla.

Cosa hanno fatto: Non hanno tagliato i rami a caso. Hanno guardato lo specifico "zaino" (il chip FPGA) per cui stavano preparando il carico. Si sono resi conto che lo zaino ha scaffali di dimensioni specifiche (blocchi di memoria).
Il Trucco: Hanno tagliato i rami seguendo un modello molto specifico in modo che l'albero rimanente si adattasse perfettamente agli scaffali, senza lasciare spazi vuoti inutilizzati. Questo è chiamato Structured Pruning.

2. La "Quantization" (Passare a Scatole più Piccole)

Di solito, l'AI conserva le informazioni usando scatole molto grandi e pesanti (numeri ad alta precisione).

Cosa hanno fatto: Hanno deciso di passare a scatole più piccole e leggere (numeri a precisione inferiore, come a 6 o 8 bit invece di 32 bit).
Il Risultato: Puoi far entrare molta più informazione nello stesso spazio, ma le scatole sono leggermente meno precise. È come passare dallo stoccare oggetti in pesanti casse di legno a leggere scatole di cartone. Risparmi spazio, ma devi fare attenzione a non farle cadere.

3. La "Ricerca" (Trovare la Combinazione Perfetta)

La parte più difficile è capire quali rami tagliare e quanto piccole debbano essere le scatole. Esistono milioni di combinazioni possibili.

La Strategia: Hanno utilizzato due metodi di ricerca intelligenti:
- Fine Grid Search (FG): Come guardare una mappa e controllare ogni incrocio principale per trovare il miglior percorso di partenza.
- Greedy Layer-wise Iterative Deepening (GLID): Come un escursionista che fa un passo lungo un sentiero, controlla se la vista è ancora buona e, se lo è, fa un altro passo. Se la vista diventa troppo brutta, si ferma. Questo permette di trovare il "punto di equilibrio" dove lo zaino è il più leggero possibile, ma l'AI è ancora abbastanza intelligente da svolgere il suo compito.

I Risultati: Zaino più Leggero, Ma Ancora Intelligente

Hanno testato questo metodo su tre diverse "biblioteche" di dati (dataset):

MNIST-DVS: Riconoscimento di cifre scritte a mano.
CIFAR-10: Riconoscimento di oggetti quotidiani come auto e aerei.
N-Caltech101: Riconoscimento di oggetti più complessi.

L'Esito:

Risparmio di Memoria: Sono riusciti a ridurre l'uso della memoria (specificamente la "BRAM" o Block RAM, ovvero la memoria interna del chip) del 26,5% - 31,4%.
Costo in Accuratezza: L'AI è diventata leggermente più "stupida", ma solo di poco. L'accuratezza è scesa tra l'1,65% e il 5,18%.
Test nel Mondo Reale: Hanno costruito una versione fisica di questo sistema su un chip reale (piattaforma ZCU104). Funzionava perfettamente, con un'alta velocità e senza errori, dimostrando che la strategia dello "zaino più leggero" funziona nella vita reale.

Il Messaggio Chiave

Considera questo articolo come un esperto imballatore che ha capito come far entrare una massiccia biblioteca in uno zaino piccolo, attraverso:

L'eliminazione dei libri superflui (Pruning).
La sostituzione di pesanti volumi rilegati con edizioni tascabili (Quantization).
L'uso di una mappa intelligente per trovare l'esatta combinazione che si adatta perfettamente agli scaffali (I Metodi di Ricerca).

Il risultato è un cervello robotico molto più leggero e veloce, perfetto per droni e robot mobili, senza perdere la capacità di vedere e comprendere il mondo circostante.

Riepilogo Tecnico: Pruning di Reti Neurali a Grafi Hardware-aware per la Visione Event-based Embedded

Problematica

La robotica mobile e i sistemi autonomi richiedono sensori di visione capaci di operare con alte prestazioni in ambienti dinamici, pur rispettando rigidi vincoli su latenza, throughput e consumo energetico. Le telecamere basate su eventi (Dynamic Vision Sensors o DVS) rispondono a queste esigenze catturando i cambiamenti della scena in modo asincrono con una risoluzione al microsecondo, bassa latenza e un elevato intervallo dinamico. Tuttavia, l'elaborazione dei dati risultanti, sparsi e in serie temporale, in modo efficiente su piattaforme embedded rimane una sfida significativa.

Mentre le Reti Neurali Spiking (SNN) preservano la sparsità temporale, spesso soffrono di una precisione inferiore e pongono sfide per l'accelerazione hardware su piattaforme non neuromorfiche a causa di pattern di accesso alla memoria non deterministici. Al contrario, le Reti Neurali Convoluzionali su Grafi (GCNN), che trattano gli eventi come nodi di un grafo, offrono un'elevata precisione e sono ben adatte all'accelerazione hardware. Tuttavia, la distribuzione delle GCNN su piattaforme FPGA eterogenee embedded con risorse limitate è ostacolata dall'alto utilizzo della memoria on-chip (BlockRAM e UltraRAM), in particolare per l'archiviazione delle mappe delle caratteristiche tra i livelli. Quando la DRAM esterna non è fattibile a causa di vincoli di latenza o energia, la memoria on-chip diventa il collo di bottiglia principale, limitando il deployment di modelli più grandi e accurati.

Metodologia

Gli autori propongono una strategia di ottimizzazione hardware-aware progettata specificamente per l'architettura EFGCN (Event-based FPGA-accelerated Graph Convolutional Network). L'obiettivo principale è minimizzare l'utilizzo delle risorse di memoria interna FPGA (specificamente i blocchi dual-port da 36kb BRAM e 288kb URAM) mantenendo un'elevata precisione di classificazione.

La metodologia integra due tecniche primarie:

Pruning Strutturato: A differenza del pruning non strutturato, questo approccio rimuove interi canali (mappe di caratteristiche di output) in base alla loro posizione nella matrice dei pesi. La selezione dei canali è vincolata dalle proprietà matematiche dei blocchi di memoria FPGA target. Gli autori derivano specifiche famiglie di conteggi di canali ( $C$ ) validi che garantiscono il pieno utilizzo dei blocchi BRAM e URAM data una specifica precisione di quantizzazione ( $q$ ). Ciò evita la frammentazione della memoria e assicura un efficiente packing delle risorse.
Quantizzazione: Il metodo riduce la precisione dei vettori di caratteristiche e delle informazioni sugli archi archiviati in memoria. Abbassando la larghezza di bit ( $q$ ), la larghezza di memoria richiesta per canale diminuisce, permettendo o una riduzione dell'uso totale della memoria o un aumento della capacità dei canali all'interno dello stesso footprint di memoria.

Per navigare l'immenso spazio di progettazione (che supera $7.8 \times 10^6$ possibili configurazioni), gli autori impiegano una procedura di ricerca in due fasi:

Fine Grid Search (FG): Partendo da una configurazione baseline (massimo numero di canali, quantizzazione a 8 bit), l'algoritmo esegue una ricerca verso il basso attraverso i livelli e i livelli di quantizzazione. Valuta le configurazioni basandosi su una frontiera di Pareto, bilanciando la qualità della classificazione rispetto all'utilizzo delle risorse per identificare un sottoinsieme promettente di soluzioni.
Greedy Layer-wise Iterative Deepening Search (GLID): Questa fase affina ulteriormente le configurazioni selezionate. Riduce iterativamente l'utilizzo delle risorse livello per livello, selezionando la modifica (passaggio di pruning o quantizzazione) che produce il miglior punteggio di qualità per il minor costo di risorse. Il processo termina quando il calo di precisione supera una soglia predefinita.

Dopo la ricerca, i modelli selezionati sono sottoposti a una fase di fine-tuning con un tasso di apprendimento basso per recuperare la precisione persa durante la compressione.

Contributi Chiave

L'articolo dichiara i seguenti contributi primari:

Prima Strategia Hardware-Aware per Event GCNN: Gli autori presentano il primo metodo che combina il pruning hardware-aware e la quantizzazione specificamente per la visione basata su eventi e le Reti Neurali Convoluzionali su Grafi.
Adattamento Flessibile dell'Architettura: Il metodo proposto consente la selezione flessibile della configurazione finale del modello in base ai vincoli di risorse e ai requisiti di precisione della piattaforma embedded target.
Prestazioni Validate: L'approccio è stato valutato su molteplici dataset e configurazioni di rete, dimostrando riduzioni significative nell'uso della BRAM (26.5%–31.4%) con un calo controllato della precisione (1.65%–5.18%).
Proof-of-Concept Hardware: Un modulo hardware è stato sviluppato e verificato su una piattaforma FPGA eterogenea ZCU104, confermando l'efficacia della strategia di pruning in un'implementazione reale.

Risultati Sperimentali

Il metodo è stato valutato utilizzando tre dataset neuromorfici: MNIST-DVS, CIFAR-10-DVS e N-Caltech101. Gli esperimenti hanno utilizzato un modello EFGCN baseline con cinque strati convoluzionali.

Riduzione della Memoria: La strategia di ottimizzazione ha ottenuto riduzioni della BRAM del 28.8% per CIFAR-10 (con un calo di precisione dell'1.65%), del 31.4% per MNIST-DVS (calo di precisione del 3.55%) e del 26.5% per N-Caltech101 (calo di precisione del 5.18%).
Implementazione Hardware: Sulla piattaforma ZCU104, il modello ottimizzato finale per MNIST-DVS ha dimostrato una riduzione del 30.6% nell'uso totale della BRAM rispetto al baseline. Inoltre, l'utilizzo delle risorse logiche (LUT e Flip-Flop) è diminuito rispettivamente di circa il 34% e il 29%. Notevolmente, l'utilizzo dei DSP è aumentato del 54% poiché lo strumento di sintesi ha mappato determinate moltiplicazioni a 6 bit sui blocchi DSP, sebbene il risparmio di memoria complessivo rimanga l'obiettivo primario.
Efficienza della Ricerca: La ricerca in due fasi (FG seguita da GLID) si è dimostrata efficace nel trovare configurazioni di alta qualità senza il costo computazionale di una ricerca esaustiva di tutto lo spazio di progettazione o dell'uso di complessi algoritmi evolutivi (che gli autori hanno notato fallire nella convergenza nei loro test preliminari).

Significato e Rivendicazioni

L'articolo posiziona questo lavoro come un passo critico verso l'abilitazione di una robotica mobile autonoma ed efficiente. Affrontando il collo di bottiglia della memoria inerente alle implementazioni GCNN basate su FPGA, gli autori consentono il deployment di modelli di visione basati su eventi complessi su sistemi embedded senza dipendere dalla memoria esterna, che introdurrebbe latenza e overhead di potenza inaccettabili.

Gli autori inquadrano modestamente il loro contributo come una "prima esplorazione" di questa specifica intersezione (pruning hardware-aware per Event GCNN). Essi sottolineano che il metodo permette un compromesso tra precisione e utilizzo delle risorse, fornendo uno strumento ai progettisti di sistemi per adattare i modelli a specifici vincoli hardware. Il lavoro non pretende di risolvere tutte le sfide della visione basata su eventi, ma mira specificamente all'ottimizzazione dell'architettura EFGCN per piattaforme eterogenee embedded, offrendo una via pratica per distribuire sistemi di visione ad alte prestazioni e bassa latenza su droni e altri robot mobili.