Sintesi Tecnica: FATE – Pillar Encoding e Training Consapevole della Frequenza per l'Object Detection basata su Eventi

Definizione del Problema

Le telecamere a eventi offrono vantaggi significativi per applicazioni ad alta velocità e alto intervallo dinamico grazie al loro meccanismo di cattura dell'intensità asincrono e logaritmico. Tuttavia, la loro natura sparsa e irregolare crea un'incompatibilità fondamentale con le moderne architetture di deep learning (es. CNN, Transformer) che richiedono input densi e strutturati su griglia.

Le soluzioni esistenti tipicamente partizionano la finestra di accumulazione in sotto-bin temporali fissi (voxel grid o istogrammi impilati) per creare rappresentazioni dense. Sebbene ciò consenta l'uso di backbone standard, introduce due limitazioni critiche:

1. Perdita della Struttura Temporale: Il sub-binning rigido scarta la dinamica temporale fine all'interno della finestra, trattando di fatto gli eventi asincroni come frame discreti.
2. Discrepanza di Frequenza: Questi metodi vincolano implicitamente l'inferenza alle basse frequenze temporali utilizzate durante il training (es. 20 Hz). Quando applicati a frequenze più elevate (es. 200 Hz) con finestre di accumulazione più brevi, le prestazioni degradano significativamente a causa dell'estrema scarsità e dell'incapacità di modellare l'evoluzione temporale continua.

Inoltre, i dataset basati su eventi forniscono tipicamente annotazioni solo a basse frequenze di frame, creando un divario tra la supervisione a bassa frequenza disponibile durante il training e l'alta frequenza richiesta per prestazioni robuste nel mondo reale.

Metodologia

Gli autori propongono FATE (Frequency-Aware Training with Pillar Encoding), un framework unificato che affronta sia il disallineamento della rappresentazione che quello della supervisione.

1. Pillar Encoding (PE)

Il PE sostituisce il rigido sub-binning temporale con un approccio di modellazione del tempo continuo.

• Discretizzazione Spaziale: Il dominio spaziale è diviso in una griglia di "pillar" (ispirata a PointPillars). Gli eventi vengono raggruppati in queste colonne spaziali.
• Approssimazione a Tempo Continuo: Invece di suddividere temporalmente gli eventi in bin, il PE modella l'evoluzione delle caratteristiche degli eventi all'interno di ogni pillar come un segnale a tempo continuo.
• Proiezione Polinomiale Ortogonale: Le caratteristiche degli eventi asincroni all'interno di un pillar vengono proiettate su un insieme troncato di polinomi di Legendre ortogonali. Ciò produce un set compatto di coefficienti che codificano la dinamica temporale.
  • Garanzia Teorica: Questa formulazione fornisce un'approssimazione $L_2$-ottima del segnale continuo sottostante nello spazio dei polinomi, minimizzando l'errore di ricostruzione.
  • Integrazione Numerica: Per gestire i timestamp non uniformi degli eventi, il metodo impiega una regola del trapezio con pesi sensibili alla densità. Questo evita che i burst di eventi ad alta densità influenzino il calcolo, garantendo una stima imparziale della traiettoria temporale.
• Output: Il risultato è una pseudo-immagine densa compatibile con architetture standard, che preserva ricche dinamiche temporali senza discretizzazione temporale interna.

2. Frequency-Aware Training (FAT)

Per affrontare la scarsità di annotazioni ad alta frequenza, FAT impiega un curriculum soft mean-teacher.

• Generazione di Pseudo-Label Densi: Un detector aumentato con PE viene prima addestrato su etichette canoniche a bassa frequenza. Successivamente, genera annotazioni dense e specifiche per la frequenza a frequenze target più elevate (fino a 200 Hz) tramite un approccio di tracking-by-detection. Ciò comporta l'esecuzione dell'inferenza in timestamp interpolati e l'associazione delle rilevazioni attraverso il tempo per creare traiettorie continue.
• Curriculum Soft Mean-Teacher:
  • Teacher: Opera su input a frequenza canonica ($f_c$) e genera pseudo-label soft.
  • Student: Addestrato su input a frequenze variabili ($f$), spostandosi gradualmente dalle basse alle alte frequenze tramite uno schema di curriculum lineare.
  • Loss: Lo student è ottimizzato utilizzando una combinazione di etichette ground-truth, etichette interpolate e loss di consistenza (divergenza KL per la classificazione, $L_1$ per la localizzazione) rispetto alle predizioni del teacher. Questo colma il divario di frequenza tra train e test senza richiedere annotazioni manuali ad alta frequenza.

Contributi Chiave

1. Pillar Encoding (PE): Una nuova rappresentazione degli eventi che evita il sub-binning temporale interno modellando le dinamiche intra-window come funzioni a tempo continuo tramite proiezioni polinomiali ortogonali. Fornisce un'approssimazione $L_2$-ottima che mantiene una struttura temporale fine anche in condizioni di scarsità.
2. Frequency-Aware Training (FAT): Una strategia di training che sfrutta pseudo-label temporalmente densi e un curriculum mean-teacher per mitigare il disallineamento tra la supervisione a bassa frequenza e l'inferenza ad alta frequenza, consentendo prestazioni robuste senza richiedere ulteriori annotazioni manuali.
3. Prestazioni Empiriche Robuste: FATE dimostra miglioramenti costanti rispetto a solidi baseline attraverso molteplici paradigmi architettonici (CNN, RNN, Transformer, State-Space).

Risultati Sperimentali

Il framework è stato valutato sugli benchmark di object detection basati su eventi Gen1 e 1Mpx attraverso frequenze che vanno da 20 Hz a 200 Hz.

• Guadagni di Prestazione: FATE supera costantemente i baseline allo stato dell'arte (RVT, GET, S5-ViT, EvRT-DETR).
  • A 200 Hz sul dataset Gen1, FATE-E (FATE + EvRT-DETR) raggiunge 42.38 mAP, superando il più forte baseline ad alta frequenza (S5-ViT-B) di +2.54 mAP.
  • A 20 Hz, FATE-E raggiunge 53.14 mAP, migliorando rispetto al baseline EvRT-DETR-B di +0.44 mAP.
• Generalizzazione: I benefici di FATE si generalizzano attraverso diversi backbone (S5-ViT ed EvRT-DETR), indicando che i miglioramenti derivano dalla strategia di rappresentazione e di training piuttosto che da un design specifico del detector.
• Efficienza: Il metodo comporta un overhead minimo, aggiungendo meno di 0.15M di parametri e aumentando la latenza di inferenza end-to-end di solo circa il 1% (circa 0.1 ms).
• Studi di Ablazione: Gli esperimenti confermano che sia PE che FAT sono critici. Il PE da solo migliora le prestazioni ad alta frequenza preservando le dinamiche temporali, mentre FAT aumenta ulteriormente le prestazioni correggendo il disallineamento della supervisione.

Significato e Rivendicazioni

Il paper sostiene che FATE affronti un limite fondamentale nell'object detection basata su eventi: il degrado delle prestazioni alle alte frequenze operative causato dalla scarsità di eventi e dalla rigida discretizzazione temporale.

• Modellazione a Tempo Continuo: Passando dal binning discreto all'approssimazione polinomiale a tempo continuo, FATE conserva le dinamiche temporali fini che altrimenti andrebbero perse in finestre di accumulazione brevi.
• Allineamento della Supervisione: La strategia di Frequency-Aware Training allinea efficacementamente la supervisione del training con i requisiti di inferenza ad alta frequenza, permettendo ai modelli di generalizzare a risoluzioni temporali fino a 200 Hz.
• Viabilità Pratica: Il framework ottiene questi guadagni con un costo computazionale trascurabile, rendendolo una soluzione pratica per applicazioni real-time ad alta velocità, come la guida autonoma e la robotica, dove il motion blur e i cambiamenti rapidi sono prevalenti.

Gli autori concludono che una scalabilità temporale robusta nella percezione basata su eventi richiede sia rappresentazioni continue che una supervisione allineata alla frequenza, un doppio requisito che FATE soddisfa.