Riepilogo Tecnico: Evita – Apprendimento di Rappresentazioni Armonico-Geometriche Unificate per il Parsing Denso di RGB-Event

1. Definizione del Problema

L'integrazione di fotogrammi RGB standard con flussi di eventi asincroni è diventata un paradigma critico per una percezione robusta in ambienti degradati (es. alto movimento, illuminazione estrema). Tuttavia, gli approcci esistenti affrontano tre colli di bottiglia fondamentali:

1. Ridondanza Computazionale: I metodi prevalenti si affidano ad architetture con dual-encoder disaccoppiati, che aumentano efficacemente il carico computazionale e il numero di parametri del doppio.
2. Disallineamento Geometrico: I ritardi dei sensori asincroni e la parallasse spaziale causano disallineamenti geometrici impliciti tra i dati RGB ed eventi, che le architetture dual-stream spesso ignorano durante l'aggregazione delle feature.
3. Aliasing Cross-Spettrale: Il divario rappresentativo tra griglie di intensità assoluta dense (RGB) e spike cinematici sparsi (eventi) porta a un grave aliasing semantico e rumore ad alta frequenza quando viene applicata una semplice aggregazione spaziale.

Sebbene le architetture unificate abbiano avuto successo nei domini RGB-Depth e RGB-Thermal, esse falliscono nel dominio RGB-Event perché trattano le modalità eterogenee come token omogenei, trascurando l'estrema sparsità e l'asincronia dei dati di eventi.

2. Metodologia: Il Framework Evita

Gli autori propongono Evita, il primo backbone unificato progettato specificamente per il parsing denso RGB-Event. A differenza dei lavori precedenti che fondono le feature nelle fasi iniziali o finali, Evita integra le interazioni cross-modali direttamente in ogni strato dell'encoder attraverso un'architettura gerarchica simmetrica e intrecciata.

2.1 Componenti Architetturali Core

Ogni blocco Evita integra tre moduli cruciali di co-apprendimento:

• Rettifica della Parallasse Geometrica: Per affrontare le discrepanze spaziali senza una calibrazione esplicita della profondità, gli autori introducono un operatore di allineamento deformabile cross-modale non parametrico. Questo modulo genera dinamicamente offset spaziali e maschere di modulazione basate sulla concatenazione delle feature RGB ed eventi, garantendo che i bordi cinematici siano accuratamente ancorati ai confini fotometrici.
• Risonanza Spettrale Armonica: Per superare l'eterogeneità delle modalità ed evitare artefatti di rumore spaziale, il trasferimento di texture viene eseguito esclusivamente nel dominio della frequenza complessa. Utilizzando le Trasformate di Fourier Discrete (DFT), il metodo decouple ampiezza e fase. Modula lo spettro dell'ampiezza RGB con le ampiezze derivate dagli eventi (regolate da un meccanismo appreso), preservando al contempo la struttura di fase RGB, iniettando efficacemente matrici di variazione ad alta frequenza invarianti senza introdurre aliasing spaziale.
• Routing Globale Transiente: Questo modulo formula un meccanismo di attenzione cross-modale asimmetrico. Le feature cinematiche degli eventi fungono da query dinamiche, mentre le feature RGB forniscono chiavi (keys) e valori (values). Fondamentalmente, un "prior transiente" esplicito derivato dal flusso di eventi viene aggiunto ai logit dell'attenzione, permettendo alla rete di instradare attivamente il contesto fotometrico macroscopico verso i bordi del movimento, filtrando al contempo il rumore di fondo statico.

2.2 Strategia di Pretraining e N-ImageNetV2

Per garantire un'estrazione delle feature robusta e disaccoppiare le rappresentazioni dalle specifiche codifiche degli eventi, gli autori introducono N-ImageNetV2, un dataset su larga scala di oltre 1,2 milioni di coppie RGB-evento strettamente allineate.

• Pipeline di Allineamento: Una pipeline di registrazione guidata dalla semantica (Algoritmo 1) mappa gli eventi sparsi su Surface of Active Events (SAE), estrae i keypoint tramite SuperPoint e li associa tramite LightGlue. Una strategia di rilassamento adattiva iterativa stima le matrici di omografia robuste per deformare (warp) i flussi di eventi nello spazio delle coordinate RGB.
• Pretraining Stocastico: Durante il pretraining, la rete è esposta a un obiettivo di addestramento ibrido dove il 60% delle coppie è strettamente allineato e il 40% è intenzionalmente disallineato tramite jitter spaziale stocastico. Ciò costringe la rete a imparare feature strutturali invarianti robuste invece di sovra-adattarsi a corrispondenze statiche.
• Mixing delle Rappresentazioni: L'architettura accetta rappresentazioni di eventi campionate casualmente (es. Binary, Voxel, SAE) da un repository durante il pretraining, consentendo l'integrazione fluida di arbitrarie formati di eventi durante il fine-tuning downstream.

3. Contributi Chiave

1. Unified Backbone (Evita): La prima architettura unificata per il parsing denso RGB-Event che elimina l'inflazione dei parametri dei paradigmi disaccoppiati, integrando le interazioni cross-modali in ogni strato dell'encoder.
2. Nuovi Moduli di Co-Learning: L'introduzione di Rettifica della Parallasse Geometrica, Risonanza Spettrale Armonica e Routing Globale Transiente per affrontare rispettivamente la parallasse geometrica, l'aliasing cross-spettrale e il routing del contesto dinamico.
3. N-ImageNetV2 e Protocollo di Pretraining: Un nuovo dataset con coppie strettamente allineate e un protocollo di mixing stocastico che colma il divario di distribuzione tra intensità assoluta e contrasto relativo, consentendo prestazioni agnostiche rispetto al formato.
4. Performance allo Stato dell'Arte: Stabilimento di nuovi record su molteplici benchmark con un rapporto accuratezza-latenza superiore.

4. Risultati Sperimentali

Le valutazioni sono state condotte sui benchmark DELIVER, DDD17 e DSEC.

• Benchmark DELIVER: Il modello flagship Evita-L ha raggiunto un nuovo stato dell'arte del 59,57% mIoU. Notevolmente, ha superato il forte baseline CMNeXt-B4 (58,87%) utilizzando solo il 38% dei suoi parametri e circa la metà dei FLOP. Il modello leggero Evita-S ha ottenuto il 56,79% di mIoU con soli 21,9M di parametri.
• Benchmark DDD17 e DSEC: Evita-L ha stabilito nuovi record con l'80,12% di mIoU su DDD17 e il 76,80% di mIoU su DSEC. Su DSEC, Evita-L ha richiesto solo 82,7 GFLOPs, quasi la metà del carico computazionale di MambaSeg (159,5 GFLOPs), fornendo al contempo un miglioramento dell'accuratezza assoluta del 2,0%.
• Efficienza: Evita-S opera a una latenza di 22,4 ms su una RTX 3090, superando significativamente modelli più pesanti come OmniSegmentor e CMNeXt negli scenari di deployment edge in tempo reale.
• Robustezza: Sotto disallineamenti spaziali simulati (fino a 48 pixel), Evita-L ha dimostrato un'eccezionale resilienza con una degradazione di solo lo 0,18% mIoU, rispetto ai cali superiori all'1,0% nei modelli concorrenti, sia unificati che disaccoppiati.
• Generalizzazione: Il protocollo di pretraining si è trasferito con successo alle attività RGB-Thermal (MFNet) e RGB-LiDAR (KITTI-360), producendo guadagni di performance rispetto all'inizializzazione solo RGB, suggerendo che i prior appresi sono fondamentali per la fusione multimodale.

5. Significato e Rivendicazioni

Il paper sostiene che Evita colmi fondamentalmente il "divario rappresentativo estremo" tra griglie di intensità dense e spike cinematici sparsi. Rettificando esplicitamente la parallasse geometrica e integrando gli armonici cross-spettrali, il framework stabilisce una base strutturale robusta per la percezione multimodale.

Gli autori affermano che il loro approccio:

• Elimina la Ridondanza Computazionale: Allontanandosi dall'inferenza dual-stream, Evita raggiunge un equilibrio ottimale tra accuratezza e latenza.
• Garantisce l'Agnosticismo del Formato: Attraverso il mixing di rappresentazioni stocastiche, la rete può gestire arbitrarie codifiche di eventi senza ri-addestramento.
• Fornisce una Percezione Resiliente: I prior armonico-geometrici appresi consentono una comprensione della scena robusta in ambienti non vincolati, particolarmente sotto condizioni meteorologiche avverse e motion blur dove i sensori RGB standard falliscono.

Il lavoro posiziona Evita non solo come un modello di segmentazione, ma come un passo fondamentale verso un'architettura multimodale universalmente agnostica capace di gestire diverse modalità sensoriali attraverso l'apprendimento geometrico e spettrale unificato.