Sintesi Tecnica: Neural Events: Discrete Asynchronous Autoencoders for Event-Based Vision

Definizione del Problema

Le telecamere a eventi offrono una straordinaria fedeltà temporale catturando le scene come un flusso continuo di eventi a risoluzione del microsecondo, dove ogni evento segnala un cambiamento localizzato della luminosità. Tuttavia, i singoli eventi portano un valore semantico minimo, richiedendo agli algoritmi a valle l'integrazione di enormi torrenti di dati a bassa informazione. Le architetture attuali affrontano un compromesso fondamentale:

• Approcci sincroni (es. CNN, Transformer) aggregano gli eventi in mappe di caratteristiche dense. Sebbene efficaci, perdono la natura guidata dagli eventi dei dati, portando a un processamento, un'archiviazione e una latenza inefficienti.
• Approcci asincroni (es. Reti Neurali Spiking, Reti Neurali a Grafi) preservano la sparsità e la temporizzazione ma faticano con la scalabilità. Le SNN sono limitate da un lento processamento sequenziale, mentre le GNN comportano un enorme overhead di memoria dovuto alla costruzione di grafi dinamici, risultando spesso in prestazioni inferiori rispetto ai metodi densi.

La sfida centrale è rappresentare i pattern di eventi in modo che siano scalabili, preservino la precisione di tempo e sparsità, e riducano il throughput dei dati senza sacrificare la ricchezza semantica.

Metodologia

Il paper propone un framework per ri-tokenizzare i flussi di eventi grezzi in un insieme compatto di "neural events". Queste sono rappresentazioni spazio-temporali sparse e semanticamente ricche che riassumono gruppi di eventi grezzi in codici discreti.

1. Definizione di Neural Event

Un neural event $n_i$ è definito da una posizione di patch $p_i$, un timestamp $\tau_i$ e una caratteristica discreta $z_i$ selezionata da un codebook appreso $Q$. La mappatura $\phi$ riduce il numero di eventi ($N' \ll N$) e il dominio spaziale ($|\Omega'| \ll |\Omega|$).

2. Encoder Asincrono Discreto

La generazione dei neural events avviene per patch e prevede quattro stadi:

• Input Embedding: Gli eventi grezzi sono proiettati in uno spazio vettoriale continuo utilizzando embedding spaziali e temporali (incorporando codifiche posizionali seno/coseno per il tempo).
• Linear Transformer (RWKV-7): Un modello a attenzione lineare ricorrente elabora la sequenza di eventi all'interno di ogni patch. Esso aggiorna uno stato di memoria localizzato $S_m$ per produrre un vettore di logit continuo $o_i$. Questa architettura evita la complessità quadratica dei Transformer standard e i colli di bottiglia sequenziali delle LSTM.
• Quantizzazione: I logit continui sono mappati su un insieme finito di codici discreti da un codebook appreso tramite un operatore Gumbel Softmax (Straight-Through Estimator). Questo converte i potenziali analogici in token discreti, analogamente allo spiking nelle SNN, ma con una minore complessità di addestramento.
• Retokenizzazione (Triggering): Un neural event viene attivato solo quando il codice assegnato cambia rispetto allo stato precedente ($z_{im} \neq z_{im-1}$). Questo funge da compressore semantico many-to-one asincrono, scartando gli eventi ridondanti dove il codice rimane costante.

3. Apprendimento della Rappresentazione (Pre-training)

Per stabilizzare l'assegnazione dei codici e prevenire il "chatter" (cambi frequenti alle frontiere decisionali), gli autori impiegano una strategia di pre-training non supervisionata che combina tre obiettivi:

• Errore di Ricostruzione ($L_R$): I codici discreti vengono aggregati per patch e decodificati per ricostruire una rappresentazione di superficie temporale degli eventi originali.
• Errore di Allineamento del Rate ($L_{RA}$): Incoraggia la somiglianza nelle rappresentazioni latenti per eventi con tassi di inter-evento simili, allineando i logit alla dinamica del tasso di eventi.
• Errore di Latent Straightening ($L_{LS}$): Minimizza la differenza angolare nella velocità dei logit successivi, smussando le traiettorie nel simplesso di probabilità per ridurre i cambi di codice non necessari.

Contributi Chiave

1. Encoder Discreto Asincrono: Un'architettura innovativa che apprende i neural events dai flussi grezzi, producendo output che sono semanticamente ricchi, spazio-temporalmente sparsi e occupano uno spazio latente discreto compatto.
2. Meccanismo di Tokenizzazione Unico: Una strategia di triggering che emette un neural event solo al cambio di un codice. Questo generalizza il campionamento basato sul livello al simplesso di probabilità, filtrando efficacemente le informazioni ridondanti.
3. Strategia di Pre-training Stabilizzante: Una combinazione di obiettivi di ricostruzione, allineamento del rate e rettilineità latente che stabilizza l'assegnazione del codebook, previene lo spiking ridondante e consente un'elevata riduzione del tasso di eventi.

Risultati Sperimentali

Il metodo è stato valutato su compiti di object detection (DSEC, Gen1) e classificazione (N-Caltech101).

• Riduzione del Tasso di Eventi: Il framework riduce il tasso di eventi di un fattore di 2.0 aggiungendo solo un bit extra di informazione per evento (l'indice del codice discreto).
• Performance:
  • Object Detection: Sul dataset Gen1, il metodo proposto (TokSwinT) ha raggiunto 49.9 mAP, superando gli approcci sincroni (GET, 47.9 mAP) e asincroni-a-sincroni (EVA-L, 47.7 mAP) allo stato dell'arte. Su DSEC, l'accoppiamento del tokenizer con un backbone asincrono (TokDAGr) ha migliorato le performance del modello base di 9.0 mAP.
  • Object Classification: Su N-Caltech101, il metodo ha raggiunto l'86.5% di accuratezza, prestazioni in linea o superiori rispetto alle baseline esistenti (sincrone, asincrone e A2S).
• Efficienza:
  • L'encoder richiede solo 140 KFLOPS per evento, ovvero 17 volte meno rispetto all'encoder EVA-L allo stato dell'arte.
  • Il metodo riduce significativamente il carico computazionale e il consumo energetico (µJ/ev) rispetto sia alle baseline sincrone che asincrone.

Significato e Rivendicazioni

Il paper sostiene che i neural events offrano una soluzione scalabile ai colli di bottiglia di larghezza di banda e memoria delle attuali visioni basate su eventi. Comprimendo i flussi grezzi in token discreti, il metodo mantiene la dinamica spazio-temporale critica necessaria per una percezione ad alte prestazioni riducendo drasticamente il carico computazionale sui network a valle.

Gli autori sottolineano che questo approccio consente l'uso di network a valle più piccoli ed efficienti e facilita il deployment su hardware edge con vincoli di memoria. Pur riconoscendo un divario di performance rispetto ai metodi basati su frame sincroni pesantemente parametrizzati per compiti complessi, il lavoro dimostra che l'encoding asincrono discreto può raggiungere risultati allo stato dell'arte con requisiti di risorse significativamente inferiori. Il paper conclude che questa direzione è fondamentale per abilitare il deployment ultra-low-power su dispositivi edge e apre la strada a forme più generali di apprendimento della rappresentazione degli eventi oltre le tradizionali telecamere a eventi.