Selection, Not Fusion: Radar-Modulated State Space Models for Radar-Camera Depth Estimation

Riepilogo Tecnico: Selezione, non Fusione: Modelli di Spazio di Stato Modulati dal Radar per la Stima della Profondità Radar-Camera

Enunciato del Problema
La stima metrica della profondità densa per pixel è fondamentale per la guida autonoma e la robotica, tuttavia le telecamere monoculare soffrono di ambiguità di scala e degradazione in condizioni meteorologiche avverse (pioggia, nebbia, scarsa illuminazione). Sebbene il LiDAR fornisca una profondità metrica accurata, i suoi costi e i requisiti energetici lo limitano ai sistemi premium. Il radar automobilistico a onde millimetriche offre un'alternativa metrica economica e operativa in tutte le condizioni meteorologiche, ma è gravemente limitato dalla sparsità (40–100 ritorni per fotogramma nel campo visivo della telecamera frontale) e dalle ambiguità angolari/altezza.

I metodi esistenti per la stima della profondità radar-camera affrontano tipicamente questo problema fondendo le caratteristiche radar e dell'immagine a livello di feature (ad esempio, concatenazione, gating, estrazione basata su grafi) al di fuori dell'operatore di sequenza del backbone. Anche le recenti varianti cross-modali dei Modelli di Spazio di Stato Selettivi (SSM) come Mamba spesso impilano flussi specifici per modalità prima di una scansione condivisa, lasciando che il meccanismo di selezione stesso rimanga unimodale. Gli autori sostengono che questo approccio di "fusione fuori-scan" non riesca a sfruttare le capacità uniche degli SSM, dove il meccanismo di selezione governa la propagazione delle informazioni a lungo raggio.

Metodologia: SemoDepth
Il documento propone SemoDepth, un estimatore di profondità radar-camera a stadio singolo che integra i dati radar direttamente all'interno del meccanismo di scansione selettiva del backbone Mamba, invece di fonderlo come un flusso di feature separato.

1. Selezione Modulata dal Radar (RMS):
   L'innovazione fondamentale consiste nell'iniettare segnali radar nei parametri di scansione selettiva del blocco Mamba. In un blocco Mamba standard, la ricorrenza è governata da una dimensione del passo dipendente dall'input $\Delta_t$ (orizzonte di memoria) e da un vettore di lettura $C_t$.

   • Meccanismo: Il radar contribuisce con perturbazioni additive, inizializzate a zero, a $\Delta_t$ e $C_t$. La proiezione dell'input $B_t$ e la matrice della dinamica dello stato $A$ rimangono basate solo sull'immagine.
   • Modulazione dell'Orizzonte: Il radar modula $\Delta_t$ tramite un gate appreso, permettendo al radar di regolare localmente quanto lontano le informazioni si propagano lungo la sequenza.
   • Modulazione della Lettura: Il radar aggiunge un termine a $C_t$, rimodellando ciò che viene estratto dallo stato nascosto senza alterare la ricorrenza memorizzata.
   • Inizializzazione: Tutte le proiezioni radar sono inizializzate a zero. All'inizializzazione ($t=0$), il blocco è matematicamente equivalente a un Mamba vanilla basato solo sull'immagine. Ciò garantisce che il modello preservi le prestazioni pre-addestrate basate solo sull'immagine e permetta ai gradienti radar di fluire solo dove migliorano l'accuratezza.

2. Piramide di Scansione Multi-Vista (MVSP):
   Per affrontare l'efficienza computazionale e la portata spaziale variabile del radar a diverse scale, il decoder impiega una strategia di fusione a tre livelli:

   • Scale più Grezze (Livello 3): RMS a immagine intera e quattro direzioni. Ciò approssima un campo ricettivo 2D a costo lineare, aggregando il contesto dell'intera scena.
   • Scala Media (Livello 2): RMS a finestra centrata sui ritorni radar proiettati. La capacità di scansione è concentrata solo dove il radar supporta l'immagine.
   • Scale più Fini (Livello 1): Modulazione Lineare Feature-wise (FiLM) a costo costante. Ciò mantiene un segnale radar attivo a piena risoluzione senza il costo quadratico della scansione.

3. Obiettivo di Addestramento:
   Il modello è addestrato con una funzione di perdita composita che bilancia una supervisione densa robusta (LiDAR accumulato) e una supervisione sparsa accurata (LiDAR a singola scansione), includendo perdite nello spazio logaritmico, lineari e di gradiente.

Contributi Chiave

• Selezione In-Scan: Il documento introduce un meccanismo principiale (RMS) in cui il radar modula le dinamiche di ricorrenza ($\Delta$ e $C$) di un SSM. Questo cambia fondamentalmente come le informazioni sono memorizzate e propagate, piuttosto che solo come le feature sono combinate.
• Tre Vantaggi Teorici:
  1. Accoppiamento a costo lineare: Il radar modella la ricorrenza a ogni token con costo $O(L)$, evitando il costo $O(L^2)$ dell'attenzione incrociata.
  2. Inizializzazione che preserva la perdita: L'inizializzazione a zero garantisce che il modello inizi come un backbone puro basato sull'immagine, preservando i pesi pre-addestrati.
  3. Fallback solo-immagine: In assenza di radar, il modello degrada naturalmente a un comportamento basato solo sull'immagine senza riconfigurazione architetturale.
• Architettura MVSP: Un decoder che adatta l'operatore di fusione alla portata spaziale effettiva del radar a ogni risoluzione, concentrando il calcolo dove è più efficace.

Risultati
Valutato sui dataset nuScenes e ZJU-4DRadarCam, SemoDepth raggiunge prestazioni all'avanguardia:

• nuScenes: SemoDepth riduce l'Errore Assoluto Medio (MAE) del 34,0% (0–50m), del 29,9% (0–70m) e del 29,9% (0–80m) rispetto al miglior precedente (TacoDepth). Raggiunge inoltre la latenza di inferenza su singolo fotogramma più bassa (26,8 ms) tra i metodi con release pubbliche.
• ZJU-4DRadarCam: SemoDepth ottiene il miglior MAE a tutte le gamme di valutazione.
• Risultati di Ablazione:
  • Sostituire le scansioni basate su Mamba della MVSP con una modulazione FiLM uniforme degrada il MAE@80 del 18%, confermando la necessità architetturale dei livelli di scansione.
  • Aggiungere un "fusione di feature fuori-scan" (fusione pre-scan) sopra la RMS non fornisce nessun'accuratezza aggiuntiva, validando empiricamente che la selezione in-scan può sostituire la fusione fuori-scan tradizionale.
  • Il divario di prestazioni è più pronunciato nelle condizioni diurne dove l'evidenza dell'immagine è forte; nelle condizioni notturne (avversarie per la camera), il divario si restringe e la fusione basata su attenzione rimane competitiva a brevi distanze.

Significato e Affermazioni
Il documento afferma che per i modelli di sequenza con ricorrenza dipendente dall'input, il meccanismo di selezione stesso funge da substrato superiore per l'interazione cross-modale rispetto alla fusione a livello di feature. Modulando direttamente le dinamiche di ricorrenza, il modello sfrutta l'"ancora metrica" dei ritorni radar sparsi per propagare informazioni attraverso l'intera sequenza, piuttosto che solo nel vicinato locale.

Gli autori posizionano questo lavoro come un cambiamento concettuale: l'apprendimento cross-modale dovrebbe essere riesaminato dalla prospettiva della selezione piuttosto che della rappresentazione. Suggeriscono che questa ricetta si estenda ad altre coppie di modalità sparse-plus-dense (ad esempio, LiDAR-camera, radar-termico) e ad attività oltre la stima della profondità.

Limitazioni
Gli autori riconoscono diverse limitazioni:

• Ambito delle Modalità: Il metodo è validato solo su telecamera frontale + radar automobilistico; il trasferimento ad altre modalità è ipotizzato ma non validato empiricamente.
• Sparsità del Radar: Il margine di prestazioni si riduce sul dataset più denso ZJU-4DRadarCam rispetto a nuScenes, suggerendo che il vantaggio del metodo è più pronunciato quando il radar è estremamente sparso.
• Sensibilità al Rumore: Sebbene l'inizializzazione a zero fornisca protezione, il documento non ha sottoposto il modello a stress test contro ancoraggi radar sistematicamente errati (rumore) che potrebbero propagarsi attraverso la scansione.
• Bias dei Dati: I dataset utilizzati sono geograficamente ristretti (Boston, Singapore, campus ZJU), limitando le affermazioni sulla robustezza in ambienti sottorappresentati.