FPGA-Based Hardware Architecture for Contrast Maximization in Event-Based Vision

Sintesi Tecnica: Architettura Hardware su FPGA per la Massimizzazione del Contrasto nella Visione Basata su Eventi

Problematica
Le telecamere basate su eventi (Dynamic Vision Sensors) offrono vantaggi significativi rispetto ai sensori tradizionali basati su frame, tra cui un'elevata risoluzione temporale, bassa latenza e un alto intervallo dinamico. Tuttavia, l'elaborazione dei loro flussi di dati sparsi e asincroni presenta delle sfide. L'algoritmo di Massimizzazione del Contrasto (CM) è un metodo robusto per stimare i parametri di movimento massimizzando la varianza di un'Immagine di Eventi Warpati (IWE - Image of Warped Events). Sebbene efficace, il CM si basa su un'ottimizzazione iterativa per trovare i parametri di movimento che allineano meglio i bordi degli eventi. Questo processo è computazionalmente intensivo e comporta operazioni complesse di warping, voto bilineare e calcolo del gradiente. Di conseguenza, le implementazioni esistenti su CPU e GPU spesso faticano a raggiungere prestazioni realmente in tempo reale, in particolare in applicazioni embedded ad alta velocità e basso consumo energetico, a causa dell'elevato consumo di potenza e della latenza.

Metodologia
Gli autori propongono un'architettura hardware dedicata, implementata su Field-Programmable Gate Arrays (FPGA), per accelerare l'algoritmo CM. La metodologia si struttura attorno a un design profondamente pipelined e massivamente parallelo:

1. Pre-elaborazione degli Eventi e Warping: Gli eventi in ingresso vengono filtrati in base a una Regione di Interesse (ROI). Un tempo di riferimento ($t_{ref}$) viene calcolato come il punto medio di un batch di eventi. Gli eventi vengono quindi "warpati" verso questo tempo di riferimento utilizzando un modello di moto di traslazione costante ($v_x, v_y$), regolando le coordinate spaziali in base alla differenza temporale ($\Delta t$).
2. Voto Bilineare e Costruzione dell'IWE: Per gestire il fatto che gli eventi warpati spesso cadono tra posizioni di pixel discrete, l'architettura impiega un meccanismo di voto bilineare. Ogni evento contribuisce con valori pesati a quattro pixel vicini in base alle coordinate frazionarie.
3. Accumulo Parallelo: Per supportare un alto throughput, l'architettura di memoria utilizza 12 banche di Block RAM (BRAM). Queste banche sono partizionate per consentire la scrittura simultanea dei contributi per l'IWE e per le sue derivate parziali rispetto alla velocità ($v_x$ e $v_y$). Viene implementato un buffer basato su registri per risolvere potenziali conflitti di scrittura quando più eventi puntano allo stesso indirizzo di memoria in cicli di clock consecutivi.
4. Calcolo del Gradiente e Ottimizzazione: Il sistema calcola il gradiente della funzione di contrasto (varianza dell'IWE) rispetto ai parametri di moto. Ciò comporta il calcolo dell'IWE e delle sue derivate, la sottrazione dei valori medi e il calcolo dei prodotti scalari. Un metodo di gradiente ascendente aggiorna iterativamente i parametri di moto ($v_x, v_y$) su un numero fisso di iterazioni (100 negli esperimenti).
5. Aggiornamento della ROI: Una volta che il ciclo di ottimizzazione converge, i parametri di moto calcolati vengono utilizzati per aggiornare le coordinate della ROI per il batch successivo di eventi, consentendo il tracciamento continuo degli oggetti.

Contributi Chiave

• Prima Implementazione Hardware: Il documento sostiene di presentare la prima architettura hardware progettata specificamente per accelerare l'algoritmo di Massimizzazione del Contrasto su una piattaforma FPGA.
• Architettura Profondamente Pipelined: Il design presenta un circuito completamente ottimizzato che esegue simultaneamente warping, generazione dell'IWE, calcolo del gradiente e cicli di ottimizzazione, sfruttando il parallelismo deterministico dell'FPGA.
• Ottimizzazione Consapevole dell'Hardware: Gli autori dettagliano strategie di implementazione specifiche, incluso uno schema di memoria a 12 banche per prevenire conflitti di scrittura e un meccanismo di zero-write-back per svuotare le BRAM tra le iterazioni senza richiedere un reset completo dell'hardware.
• Validazione: L'architettura è stata validata utilizzando un'applicazione di tracciamento di oggetti basata su eventi, dimostrando la capacità del sistema di stimare le componenti di velocità orizzontale e verticale in tempo reale.

Risultati Sperimentali
L'architettura proposta è stata implementata su un kit Kria KV260 Vision AI Starter Kit (Zynq UltraScale+ MPSoC) ed è stata confrontata con modelli di riferimento in Python eseguiti su una CPU Intel Core i5-11300H e una GPU Nvidia GeForce RTX 3050 Ti.

• Prestazioni: Per un batch di 5.000 eventi con una ROI di 64×64 e 100 iterazioni di ottimizzazione, l'FPGA ha raggiunto un tempo di elaborazione di 0,92 ms. Ciò rappresenta un'accelerazione di oltre 200 volte rispetto alla CPU (185,96 ms) e di circa 500 volte rispetto alla GPU (473,51 ms).
• Utilizzo delle Risorse: Il design ha utilizzato meno del 4% delle Look-Up Tables (LUT) e dei Registri disponibili sull'FPGA. L'uso delle BRAM è stato del 17,7% e quello dei DSP del 12,1%, indicando che l'architettura è efficiente dal punto di vista delle risorse e lascia spazio per ROI più grandi o modelli più complessi.
• Efficienza Energetica: Il sistema ha consumato circa 0,813 W di potenza on-chip, evidenziando la sua idoneità per sistemi embedded con vincoli energetici.

Significato e Rivendicazioni
Gli autori affermano che questo lavoro dimostra la fattibilità dell'accelerazione dell'algoritmo CM, che è computazionalmente pesante, utilizzando risorse FPGA. Raggiungendo velocità di elaborazione oltre 200 volte superiori rispetto alle implementazioni su CPU pur mantenendo un basso consumo energetico, la proposta architettura fornisce una solida base per la stima del moto in tempo reale in sistemi embedded ad alta velocità e basso consumo. Il documento conclude che, sebbene l'attuale design sia un passo avanti significativo, il lavoro futuro potrebbe concentrarsi sull'aumento della frequenza operativa, sulla riduzione del consumo di risorse, sul supporto di modelli di moto più avanzati e sull'espansione della dimensione della ROI tramite l'integrazione della memoria esterna.