Riepilogo Tecnico: AdaFuse-Det

Enunciato del Problema

L'affidabile rilevamento di oggetti in condizioni di luce estremamente scarsa rimane una sfida critica nella visione artificiale, in particolare per applicazioni critiche per la sicurezza come la sorveglianza notturna e la robotica di ricerca e soccorso. Le fotocamere RGB convenzionali subiscono un grave degrado a basso flusso di fotoni, dove il rapporto segnale-rumore (SNR) diminuisce significativamente ($SNR \propto \sqrt{N_p}$). Sebbene esposizioni più lunghe possano migliorare l'SNR, introducono sfocatura da movimento, creando un degrado composto che i rilevatori standard faticano a gestire.

Al contrario, le fotocamere a eventi offrono una modalità di rilevamento complementare. Registrano cambiamenti di luminosità asincroni per pixel con risoluzione temporale nell'ordine dei microsecondi e una gamma dinamica superiore a 120 dB, rendendole largamente invarianti all'illuminazione e robuste alla sfocatura da movimento. Tuttavia, i dati a eventi sono sparsi, mancano di texture fotometrica e faticano con scene statiche o classificazioni a grana fine. Il problema centrale affrontato da questo articolo è come fondere efficacemente queste due modalità—RGB (ricche semanticamente ma sensibili all'illuminazione) ed eventi (informative strutturalmente ma povere semanticamente)—in modo che il contributo di ciascuna modalità scala dinamicamente con la sua affidabilità locale, piuttosto che fare affidamento su pesi di fusione fissi.

Metodologia: AdaFuse-Det

Gli autori propongono AdaFuse-Det, un framework a doppio flusso che integra fotogrammi RGB potenziati da CLAHE con tensori di eventi voxelizzati attraverso un nuovo modulo di Fusione Adattiva Cross-Modale (ACMF).

1. Preprocessing dei Dati

• Flusso Eventi: Gli eventi asincroni grezzi vengono convertiti in tensori densi tramite voxelizzazione temporale. Il flusso è diviso in $B=4$ bin temporali per polarità (per un totale di 8 canali). Gli autori dimostrano formalmente che questa voxelizzazione preserva il conteggio totale degli eventi (Lemma II.1) e stabiliscono un limite di risoluzione temporale $\delta t = \Delta t / (B-1)$ (Lemma II.2). Dopo la voxelizzazione, filtri per pixel caldi e di densità rimuovono il rumore.
• Flusso RGB: I fotogrammi RGB a luce scarsa vengono elaborati utilizzando l'Equalizzazione Adattiva dell'Istogramma Limitata dal Contrasto (CLAHE) per invertire parzialmente l'attenuazione del flusso di fotoni e il rumore del sensore eteroschedastico.

2. Estrazione delle Caratteristiche

Entrambe le modalità sono codificate utilizzando backbones ResNet-18 indipendenti che producono piramidi di caratteristiche a quattro scale.

• Codificatore RGB: Utilizza pesi pre-addestrati standard su ImageNet.
• Codificatore Eventi: Il primo strato convoluzionale è modificato per accettare 8 canali. Per garantire una convergenza stabile sul set di addestramento relativamente piccolo, i pesi sono inizializzati mediando i tre canali RGB pre-addestrati e replicandoli su tutti gli otto canali degli eventi.

3. Fusione Adattiva Cross-Modale (ACMF)

L'innovazione centrale è il modulo ACMF, fondato sulla teoria della stima lineare a varianza minima.

• Base Teorica: Gli autori modellano la fusione come la stima di un tensore di caratteristiche latente $F^*$ da due osservazioni rumorose ($F_{img}$ e $F_{evt}$). Derivano che lo Stimatoro Lineare Non Distorto a Varianza Minima (MVLUE) richiede pesi inversamente proporzionali alla varianza del rumore di ciascuna modalità (Teorema II.3).
• Adattamento all'Illuminazione: Un corollario chiave (II.4) afferma che in luce estremamente scarsa (dove domina il rumore RGB), il peso ottimale si sposta verso le caratteristiche degli eventi, e viceversa in condizioni ben illuminate.
• Implementazione: Il modulo ACMF apprende una mappa di attenzione variabile spazialmente $\alpha_s$ a ciascuna scala della piramide di caratteristiche. Concatena le caratteristiche da entrambi i flussi, le passa attraverso una rete leggera a due strati (convoluzioni 1x1 e 3x3) e produce una mappa pesata con sigmoide. La caratteristica fusa finale è una somma pesata: $F_{fused} = \alpha \odot F_{img} + (1-\alpha) \odot F_{evt}$.
• Proprietà Teoriche: Gli autori dimostrano che questo meccanismo include la fusione unimodale e uniforme come casi limite (Proposizione II.5) e converge a un peso di 0,5 quando le caratteristiche sono indistinguibili (Proposizione II.6).

4. Testa di Rilevamento

Le caratteristiche fuse sono elaborate da una testa basata su anchor in stile YOLO che opera su quattro scale. L'obiettivo di addestramento combina le perdite di regressione delle caselle, di oggettività e di classificazione, con un post-processing che include la soglia di confidenza e la Soppressione Non Massima (NMS).

Contributi Chiave

L'articolo apporta quattro contributi specifici:

1. Teoria di Fusione Formale: Un trattamento della fusione multimodale come stima lineare a varianza minima, che produce pesi di attenzione ottimali in forma chiusa e spiega l'asimmetria recall-precisione osservata attraverso un corollario di adattamento all'illuminazione.
2. Caratterizzazione della Voxelizzazione: Dimostrazioni teoriche riguardanti la conservazione degli eventi e i limiti di risoluzione temporale nella fase di voxelizzazione.
3. Modulo ACMF: Un meccanismo di fusione principiale che include rigorosamente la fusione unimodale e uniforme, con comportamento dimostrato in posizioni di uguaglianza delle caratteristiche.
4. Valutazione Empirica: Test completi sul benchmark LLE-VOS, un dataset sincronizzato RGB-evento acquisito in condizioni controllate di luce estremamente scarsa (<1 lux).

Risultati Sperimentali

Valutato sul set di test LLE-VOS (soglia IoU 0,4), AdaFuse-Det dimostra prestazioni superiori rispetto ai baseline a modalità singola e alle strategie di fusione naive:

• AdaFuse-Det: Recall 65,54%, Precisione 53,85%, F1-Score 59,12%.
• Solo RGB: Recall 49,83%, Precisione 47,21%, F1 48,48%.
• Solo Eventi: Recall 57,12%, Precisione 38,64%, F1 46,10%.
• Fusione per Concatenazione: Recall 61,47%, Precisione 50,33%, F1 55,33%.

Il modello ottiene un miglioramento significativo nel recall rispetto ai rilevatori a modalità singola. Gli autori attribuiscono un calo moderato nella precisione rispetto al baseline solo RGB alla dipendenza del modello dai segnali degli eventi nell'oscurità estrema, che aumenta la sensibilità ma introduce falsi positivi dal rumore del sensore a eventi nelle regioni ad alto movimento. Studi di ablazione confermano che l'attenzione adattiva appresa (ACMF) fornisce un guadagno F1 del 3,79% rispetto alla fusione uniforme.

Significato e Affermazioni

L'articolo afferma che AdaFuse-Det fornisce una soluzione teoricamente fondata ai modi di fallimento delle fotocamere RGB in luce estremamente scarsa. Collegando formalmente il meccanismo di attenzione appreso allo stimatore ottimale di Gauss–Markov, il framework garantisce che la strategia di fusione si adatti alle condizioni di illuminazione locali senza necessità di sintonizzazione manuale.

Gli autori evidenziano che il sistema localizza con successo oggetti (pedoni, biciclette, animali) nel quasi buio dove il contrasto RGB è trascurabile, sfruttando le firme dei bordi derivate dagli eventi. Riconoscono modestamente le limitazioni, notando che le prestazioni peggiorano quando i soggetti si muovono troppo lentamente per attivare le soglie degli eventi, causando il ritorno del sistema ai livelli di prestazioni solo RGB. L'articolo conclude che, sebbene l'approccio attuale sia efficace, il lavoro futuro potrebbe esplorare la stima esplicita dell'incertezza, la ricorrenza temporale per scene a movimento lento e funzioni di perdita avanzate per gestire lo squilibrio delle classi.