JustDepth: Real-Time Radar-Camera Depth Estimation with Single-Scan LiDAR Supervision

Problematica

La stima accurata e a bassa latenza della profondità 3D è fondamentale per i sistemi autonomi. Mentre le telecamere forniscono indizi di aspetto densi, esse mancano di una scala metrica. Al contrario, il radar mmWave automobilistico offre un intervallo metrico e robustezza alle condizioni meteorologiche, ma produce dati sparsi, rumorosi e con una risoluzione angolare limitata. Le pipeline di fusione radar-camera esistenti soffrono spesso di alta latenza e complessità a causa di architetture multi-stadio, della dipendenza da modelli di profondità monoculari pre-addestrati o della necessità di annotazioni ausiliarie (ad esempio, maschere semantiche, bounding box) e l'accumulo di scansioni LiDAR multiple per costruire la verità di base (ground truth). Inoltre, l'addestramento con supervisione LiDAR a scansione singola porta spesso alla LiDAR Distribution Leakage (LDL), ovvero il modello impara a riprodurre il pattern di campionamento specifico dello scanner, risultando in artefatti a strisce orizzontali visibili nelle mappe di profondità predette.

Metodologia

Gli autori propongono JustDepth, uno stimatore di profondità radar-camera a stadio singolo progettato per l'inferenza in tempo reale senza annotazioni ausiliarie. L'architettura è composta da tre componenti primarie:

1. Codifica Radar a Larghezza Fissa:

   • I ritorni radar vengono proiettati sul piano dell'immagine, mantenendo solo la coordinata del pixel orizzontale ($u$) e l'intervallo (range).
   • Questi punti vengono rasterizzati in una griglia 1D a larghezza fissa con larghezza $W$. Per ogni colonna, viene memorizzato l'intervallo minimo; le colonne vuote sono azzerate.
   • Un backbone convoluzionale 1D elabora questa griglia, producendo una mappa di caratteristiche latenti $r_L \in \mathbb{R}^{B \times C \times w}$. Fondamentalmente, poiché la larghezza della griglia è fissa, il calcolo e la latenza dell'encoder rimangono costanti indipendentemente dal numero di punti radar grezzi.

2. Blocco di Fusione dell'Altezza (Height Fusion Block):

   • Questo modulo allinea le caratteristiche 2D dell'immagine ($i_L$) e le caratteristiche 1D del radar ($r_L$).
   • La caratteristica del radar viene ripetuta lungo la dimensione dell'altezza per corrispondere all'altezza della caratteristica dell'immagine, creando una sequenza di token per colonna di dimensione $h \times 2C$.
   • Un meccanismo di auto-attenzione per altezza (height-wise self-attention) elabora ogni colonna indipendentemente, consentendo al modello di apprendere posizioni verticali coerenti per i prior del radar all'interno di ogni colonna dell'immagine. Questo è seguito da una rete feed-forward e da un modulo convoluzionale leggero per ripristinare il contesto 2D.

3. Propagazione Globale Basata su Grafi:

   • Una rete neurale a grafi (GNN) con $N$ strati propaga le informazioni di profondità globalmente.
   • I nodi rappresentano i token spaziali nella mappa delle caratteristiche. Gli archi sono costruiti utilizzando una ricerca dei K-vicini più prossimi (K-NN) nello spazio delle caratteristiche.
   • La rete impiega una Max-Relative Graph Convolution (MR-Conv), dove i messaggi sono formati dalla differenza massima tra un nodo e i suoi vicini. Ciò consente alle informazioni di profondità di propagarsi dalle aree supportate dal radar o supervisionate dal LiDAR ad aree non supervisionate, anche attraverso grandi distanze, se le caratteristiche sono simili.

4. Decoder:

   • Decoder di Profondità: Un percorso di upsampling in stile U-Net fonde le caratteristiche propagate globalmente con le connessioni skip dall'encoder dell'immagine per produrre la mappa di profondità densa finale.
   • Decoder di Confidenza (Solo per l'addestramento): Una testa ausiliaria predice una mappa di confidenza per pixel che indica quanto fortemente un pixel sia supportato dal radar. Questa branca è utilizzata esclusivamente per la supervisione durante l'addestramento per stabilizzare l'apprendimento ed è scartata durante l'inferenza, comportando un costo nullo in fase di test.

5. Mitigazione della LiDAR Distribution Leakage (LDL):

   • Per evitare che il modello si adatti eccessivamente ai profili di scansione orizzontale del LiDAR a scansione singola, gli autori impiegano due strategie:
     • Upsampling dei Punti: Vengono inseriti punti medi tra coppie idonee di punti LiDAR per densificare la supervisione.
     • Rotazione Sincronizzata con Reflection Padding: L'immagine, il radar e il LiDAR sono ruotati della stessa angolazione casuale. Viene applicato il reflection padding all'immagine per evitare che i bordi neri agiscano come indizi di rotazione. Ciò costringe il modello a imparare la coerenza della profondità indipendentemente dall'orientamento delle strisce.

Contributi Chiave

• Architettura a Stadio Singolo con Latenza Costante: JustDepth codifica tutti i ritorni radar in una rappresentazione 1D a larghezza fissa, disaccoppiando il tempo di esecuzione dal numero di punti ed eliminando la necessità di raffinamenti multi-stadio o moduli monoculari pre-addestrati.
• Decoder di Confidenza Solo per l'Addestramento: Una testa ausiliaria innovativa che supervisiona il modulo di fusione per localizzare i pixel supportati dal radar senza generare una mappa di profondità intermedia. Migliora l'accuratezza senza aggiungere latenza all'inferenza.
• Strategia di Mitigazione LDL: Una combinazione di upsampling dei punti e rotazione sincronizzata con reflection padding riduce efficacementamente gli artefatti a strisce.
• VHGR Metric: Gli autori introducono il Vertical-Horizontal Gradient Ratio (VHGR) per misurare quantitativamente lo squilibrio tra i gradienti di profondità verticale e orizzontale, fungendo da metrica specifica per quantificare gli artefatti a strisce causati dalla LDL.

Risultati Sperimentali

Valutato sul dataset nuScenes (intervalli 0–50m, 0–70m e 0–80m):

• Efficienza: JustDepth raggiunge un tempo di inferenza di 14,8 ms per frame su una NVIDIA RTX 4070 Ti. Questo è circa 39,7× più veloce del metodo allo stato dell'arte GET-UP e significativamente più veloce di altri approcci concorrenti, consentendo l'implementazione in tempo reale.
• Accuratezza: Nonostante utilizzi un solo passaggio LiDAR e nessuna annotazione ausiliaria, JustDepth mantiene un'accuratezza competitiva. Raggiunge un MAE di 1324,2 mm (0–50m) e 1674,0 mm (0–70m), superando Li et al. [10] e ottenendo il miglior AbsRel (0,074) tra i metodi confrontati.
• Riduzione degli Artefatti: JustDepth ottiene il VHGR più basso (0,1767) tra tutti i metodi confrontati, indicando una significativa riduzione degli artefatti a strisce orizzontali rispetto a metodi come GET-UP (0,5210) e Li et al. (0,1868).
• Studi di Ablazione: La rimozione del GNN, del blocco di auto-attenzione della fusione dell'altezza o delle strategie di mitigazione LDL (rotazione/upsampling) degrada costantemente le prestazioni. In particolare, sebbene le strategie di mitigazione LDL aumentino leggermente le metriche di errore standard (MAE/RMSE) impedendo al modello di "barare" corrispondendo al pattern sparso del LiDAR, riducono drasticamente il VHGR e producono mappe di profondità visivamente più pulite e fisicamente più plausibili.

Significato e Rivendicazioni

Il documento afferma che JustDepth rappresenta un passo significativo verso la percezione radar-camera pratica in tempo reale. Dimostrando che una profondità densa di alta qualità e scala metrica può essere ottenuta utilizzando solo la supervisione di un singolo passaggio LiDAR senza etichette ausiliarie o complessi pipeline multi-stadio, il metodo ne aumenta la portabilità tra dataset e sensori. Gli autori sottolineano che il loro approccio riesce a bilanciare il compromesso tra latenza e accuratezza, raggiungendo prestazioni in tempo reale pur mitigando i problemi specifici di artefatti (striatura) inerenti alla supervisione a scansione singola. L'introduzione di VHGR fornisce uno strumento necessario per valutare la qualità visiva delle mappe di profondità oltre le metriche di errore standard, evidenziando come un MAE inferiore non equivalga sempre a una migliore fedeltà strutturale in presenza di LDL.