Sintesi Tecnica: Event2Vec

Problematica

Le telecamere neuromorfiche a eventi offrono una risoluzione temporale, un'efficienza energetica e una gamma dinamica superiori rispetto alle tradizionali telecamere basate su frame. Tuttavia, il loro output di dati è intrinsecamente asincrono, sparso e irregolare, tipicamente codificato in Rappresentazione di Indirizzo-Evento (AER) come tuple $(x, y, t, p)$. Questo formato presenta un'incompatibilità fondamentale con le moderne architetture di deep learning, che sono progettate per tensori densi, sincroni e regolarmente strutturati.

Le soluzioni esistenti affrontano un compromesso:

1. Rappresentazioni Dense: Convertire gli eventi in frame densi (ad esempio, frame di eventi, voxel grid) consente l'uso di standard CNN e Transformer, ma sacrifica le caratteristiche asincrone, sparse e ad alta risoluzione temporale dei dati grezzi.
2. Modelli Irregolari: L'utilizzo di Reti Neurali Spiking (SNN), Convoluzioni Sparse o Graph Neural Networks (GNN) preserva la sparsità, ma spesso non riesce a sfruttare le massicce capacità di elaborazione parallela delle GPU, portando a un throughput e una latenza inferiori.

La sfida centrale è quella di elaborare dati di eventi sparsi e irregolari direttamente utilizzando architetture accelerate da GPU ad alto throughput (come i Transformer) senza convertirli in rappresentazioni intermedie dense.

Metodologia: Event2Vec

Ispirandosi all'analogia tra le parole nel Natural Language Processing (NLP) e gli eventi nella visione, gli autori propongono Event2Vec, un metodo per mappare direttamente gli eventi in uno spazio vettoriale.

1. Analogia Concettuale

Il documento traccia un parallelo tra i token NLP e gli eventi neuromorfici:

• Indice: L'indice del vocabolario di una parola corrisponde all'indirizzo spaziale di un evento $(x, y, p)$.
• Posizione: La posizione sequenziale di una parola in una frase corrisponde al timestamp $t$ di un evento.
• Contesto: Proprio come il significato di una parola dipende dal testo circostante, la significatività di un evento è derivata dal suo contesto spazio-temporale.

2. Rappresentazione Vettoriale

Il nucleo di Event2Vec è l'embedding di una tupla di eventi $(x, y, t, p)$ in un vettore $v$ di dimensione $D$ tramite fusione additiva:
$$v = v_s + v_t = \text{Embed}_s(x, y, p) + \text{Embed}_t(t)$$

• Embedding Spaziale ($\text{Embed}_s$): A differenza delle tabelle di lookup standard dell'NLP che trattano gli indici come identificatori non semantici, gli autori propongono un embedding spaziale parametrico. Una rete neurale continua e differenziabile $\phi$ genera la matrice di embedding. Ciò garantisce che gli eventi con coordinate spazialmente adiacenti producano vettori semanticamente simili, catturando la "semantica di vicinato" critica per i dati visivi.
• Embedding Temporale ($\text{Embed}_t$): Inveve di utilizzare timestamp assoluti o codifiche sinusoidali (progettate per intervalli uniformi), il modulo temporale elabora le differenze temporali del primo ordine ($\Delta t$) tra eventi consecutivi. Questo è implementato tramite uno stack di strati convoluzionali. Questo approccio fornisce invarianza allo shift temporale, coerenza contestuale e funge da forma di precondizionamento temporale, permettendo alla rete di apprendere la densità locale e la velocità degli eventi.

3. Campionamento e Aggregazione

Per gestire flussi di eventi di lunghezza variabile e i requisiti di elaborazione batch:

• Campionamento Casuale: Utilizzato per compiti più semplici, offrendo un'elevata efficienza computazionale.
• Clustering K-Means++: Per compiti complessi (es. DVS-Lip), gli eventi vengono aggregati in $L$ cluster rappresentativi. Gli autori introducono un algoritmo Batched K-Means++ basato su GPU per minimizzare la latenza di inferenza. L'intensità di un cluster (numero di eventi grezzi aggregati) viene utilizzata per modulare il vettore di embedding tramite un fattore di ponderazione logaritmico $(\log \rho + 1)$.

4. Architettura della Rete

La rappresentazione Event2Vec viene alimentata in un backbone basato su Transformer (specificamente utilizzando il Forgetting Transformer o il Gated Linear Attention) seguito da un modulo di classificazione. L'architettura include:

• Modulo Event2Vec: Genera gli embedding spazio-temporali.
• Backbone: Blocchi Transformer impilati con meccanismi di self-attention. Gli autori estendono il Forgetting Transformer a una formulazione bidirezionale con condivisione dei parametri per migliorare le capacità di apprendimento.
• Testa di Classificazione: Average pooling seguito da uno strato lineare.

Contributi Chiave

1. Elaborazione Diretta della Sparsità: Event2Vec consente l'elaborazione diretta di flussi di eventi sparsi e asincroni utilizzando architetture Transformer dense e regolari, risolvendo il conflitto tra la sparsità dei dati e l'efficienza della GPU.
2. Nuovi Embedding: L'introduzione di embedding spaziali parametrici per catturare la semantica di vicinato e di embedding temporali convoluzionali su $\Delta t$ per gestire timestamp non uniformi.
3. Clustering Efficiente: Un algoritmo K-Means++ batched accelerato su GPU per aggregare gli eventi, bilanciando la ritenzione delle informazioni con la bassa latenza.
4. Cambio di Paradigma: Dimostrare che i dati di eventi possono essere trattati come un linguaggio sequenziale, aprendo la strada all'applicazione delle architetture dei Large Language Models (LLM) alla visione neuromorfica.

Risultati Sperimentali

Il metodo è stato valutato su tre benchmark: DVS Gesture, ASL-DVS e DVS-Lip.

• Accuratezza: Event2Vec ha raggiunto un'accuratezza competitiva o allo stato dell'arte (SOTA). In particolare, ha raggiunto il 99,91% su ASL-DVS e il 75,88% su DVS-Lip (utilizzando eventi clusterizzati), superando diversi baseline di modelli a frame denso e modelli irregolari.
• Efficienza dei Parametri: I modelli sono significativamente più piccoli rispetto ai precedenti metodi SOTA. Ad esempio, sul dataset ASL-DVS, il modello Event2Vec ha utilizzato 815,93× meno parametri rispetto a un modello concorrente GNN & Transformer.
• Throughput e Latenza: Event2zza sfrutta appieno il parallelismo delle GPU. Il throughput di addestramento è stato fino a 11,96× superiore e il throughput di inferenza fino a 62,67× superiore rispetto ai lavori precedenti. La latenza totale di inferenza è stata ridotta fino a solo il 11,12% dei precedenti metodi SOTA.
• Robustezza: Il modello ha dimostrato una forte robustezza a bassi conteggi di eventi e risoluzioni spaziali ridotte (fino a 1x1), mantenendo un'accuratezza significativamente superiore al caso casuale.
• Studi di Ablazione: Hanno confermato che la combinazione di embedding spaziale parametrico e embedding temporale convoluzionale produce l'accuratezza più elevata, validando la necessità di bias induttivi per la semantica di vicinato.

Significato

Il paper afferma che Event2Vec introduce un nuovo paradigma per la visione neuromorfica integrando con successo dati di eventi sparsi e irregolari in architetture Transformer ad alto throughput per la prima volta. Questa svolta risolve il lungo dibattito tra il mantenere la sparsità dei dati e massimizzare l'efficienza della GPU.

La significatività risiede non solo nelle metriche di prestazione (efficienza dei parametri, bassa latenza, alto throughput) che rendono il modello adatto a dispositivi edge in tempo reale e con risorse limitate, ma anche nell'allineamento concettuale dei flussi di eventi con il paradigma NLP. Trattando gli eventi come un linguaggio sequenziale, questo lavoro suggerisce nuove strade per applicare le sofisticate architetture sviluppate per i Large Language Models alla visione neuromorfica.