JustDepth: Real-Time Radar-Camera Depth Estimation with Single-Scan LiDAR Supervision

Probleemstelling

Nauwkeurige, lage-latentie 3D-diepte-inschatting is cruciaal voor autonome systemen. Hoewel camera's rijke visuele aanwijzingen bieden, missen ze een metrische schaal. Daarentegen biedt automotive mmWave-radar een metrische afstand en weerbestendigheid, maar produceert het ook schaarse, ruisgevoelige gegevens met een beperkte hoekresolutie. Bestaande radar-camera fusie-pipelines lijden vaak aan hoge latentie en complexiteit door meerfasige architecturen, de afhankelijkheid van vooraf getrainde monoculaire dieptemodellen, of de noodzaak voor hulp-annotaties (bijv. semantische maskers, bounding boxes) en multi-scan LiDAR-accumulatie om grondwaarheid te construeren. Bovendien leidt trainen met single-scan LiDAR-supervisie vaak tot LiDAR Distribution Leakage (LDL), waarbij het model leert om het specifieke bemonsteringspatroon van de scanner te reproduceren, wat resulteert in zichtbare horizontale streep-artefacten in de voorspelde dieptekaarten.

Methodologie

De auteurs stellen JustDepth voor, een single-stage radar-camera diepte-estimator ontworpen voor real-time inferentie zonder hulp-annotaties. De architectuur bestaat uit drie primaire componenten:

1. Fixed-Width Radar Encoding:

   • Radar-returns worden geprojecteerd op het beeldvlak, waarbij alleen de horizontale pixelcoördinaat ($u$) en de afstand behouden blijven.
   • Deze punten worden gerasterd in een 1D-grid met een vaste breedte $W$. Voor elke kolom wordt de minimale afstand opgeslagen; lege kolommen worden op nul gezet.
   • Een 1D-convolutioneel backbone verwerkt dit grid en produceert een latente feature map $r_L \in \mathbb{R}^{B \times C \times w}$. Omdat de gridbreedte vast staat, blijven de berekening en latentie van de encoder constant, ongeacht het aantal ruwe radarpunten.

2. Height Fusion Block:

   • Deze module brengt de 2D-beeldkenmerken ($i_L$) en de 1D-radar kenmerken ($r_L$) op elkaar af.
   • Het radar-kenmerk wordt langs de hoogte-dimensie herhaald om overeen te komen met de hoogte van het beeldkenmerk, waardoor een kolom-gewijze token-sequentie van grootte $h \times 2C$ ontstaat.
   • Een height-wise self-attention mechanisme verwerkt elke kolom onafhankelijk, waardoor het model consistente verticale posities voor radar-priors binnen elke beeldkolom kan leren. Dit wordt gevolgd door een feed-forward netwerk en een lichtgewicht convolutioneel module om 2D-context te herstellen.

3. Graph-Based Global Propagation:

   • Een Graph Neural Network (GNN) met $N$ lagen propageert diepte-aanwijzingen globaal.
   • Nodes representeren ruimtelijke tokens in de feature map. Edges worden geconstrueerd met behulp van een K-Nearest Neighbors (K-NN) zoekopdracht in de feature-ruimte.
   • Het netwerk gebruikt Max-Relative Graph Convolution (MR-Conv), waarbij berichten worden gevormd door het maximale verschil tussen een node en zijn buren. Dit stelt het model in staat om diepte-informatie te propageren van radar-ondersteunde of LiDAR-gesuperviseerde regio's naar ongesuperviseerde gebieden, zelfs over grote afstanden als de features vergelijkbaar zijn.

4. Decoders:

   • Depth Decoder: Een U-Net-stijl upsampling pad fuseert de globaal gepropageerde features met skip-connections van de beeld-encoder om de uiteindelijke dichte dieptekaart te produceren.
   • Confidence Decoder (Alleen tijdens training): Een hulp-head die een per-pixel confidence map voorspelt die aangeeft hoe sterk een pixel wordt ondersteund door de radar. Deze tak wordt uitsluitend gebruikt voor supervisie tijdens de training om het leerproces te stabiliseren en wordt bij inferentie weggegooid, wat nul kosten aan test-tijd met zich meebrengt.

5. LiDAR Distribution Leakage (LDL) Mitigatie:

   • Om te voorkomen dat het model overfit op de horizontale scanlijnen van single-scan LiDAR, gebruiken de auteurs twee strategieën:
     • Point Upsampling: Middenpunten worden tussen geschikte paren LiDAR-punten ingevoegd om de supervisie te verdichten.
     • Gesynchroniseerde Rotatie met Reflection Padding: Het beeld, de radar en de LiDAR worden met dezelfde willekeurige hoek gedraaid. Reflection padding wordt toegepast op het beeld om te voorkomen dat zwarte randen als rotatie-aanwijzingen dienen. Dit dwingt het model om diepteconsistentie te leren, ongeacht de oriëntatie van de strepen.

Belangrijkste Bijdragen

• Single-Stage, Constant-Latency Architectuur: JustDepth codeert alle radar-returns in een vaste 1D-representatie, waardoor de runtime wordt ontkoppeld van het aantal punten en de noodzaak voor multi-stage verfijning of pre-trained monoculaire modules wordt geëlimineerd.
• Training-Only Confidence Decoder: Een innovatieve hulp-head die de fusie-module superviseert om radar-ondersteunde pixels te lokaliseren zonder een tussenliggende dieptekaart te genereren. Dit verbetert de nauwkeurigheid zonder extra latentie bij inferentie.
• LDL Mitigatie Strategie: Een combinatie van point upsampling en gesynchroniseerde rotatie met reflection padding vermindert effectief de streep-artefacten.
• VHGR Metric: De auteurs introduceren de Vertical-Horizontal Gradient Ratio (VHGR) om kwantitatief de onbalans tussen verticale en horizontale dieptegradiënten te meten, wat dient als een specifieke metriek voor het kwantificeren van door LDL veroorzaakte streep-artefacten.

Experimentele Resultaten

Geëvalueerd op de nuScenes dataset (0–50m, 0–70m, en 0–80m bereiken):

• Efficiëntie: JustDepth bereikt een inferentietijd van 14,8 ms per frame op een NVIDIA RTX 4070 Ti. Dit is ongeveer 39,7× sneller dan de state-of-the-art GET-UP methode en aanzienlijk sneller dan andere concurrerende benaderingen, wat real-time implementatie mogelijk maakt.
• Nauwkeurigheid: Ondanks het gebruik van slechts één enkele LiDAR-sweep en geen hulp-annotaties, behoudt JustDepth een concurrerende nauwkeurigheid. Het bereikt een MAE van 1324,2 mm (0–50m) en 1674,0 mm (0–70m), waarmee het Li et al. [10] overtreft en de beste AbsRel (0,074) behaalt onder de vergeleken methoden.
• Artefact Reductie: JustDepth bereikt de laagste VHGR (0,1767) onder alle vergeleken methoden, wat wijst op een significante reductie van horizontale streep-artefacten vergeleken met methoden zoals GET-UP (0,5210) en Li et al. (0,1868).
• Ablatie Studies: Het verwijderen van de GNN, de self-attention van de Height Fusion Block, of de LDL mitigatie-strategieën (rotatie/upsampling) verslechtert consequent de prestaties. Opmerkelijk genoeg, terwijl de LDL mitigatie-strategieën de standaard foutmetrieken (MAE/RMSE) licht verhogen door het model te verhinderen te "valsspelen" door het schaarse LiDAR-patroon te matchen, reduceren ze de VHGR drastisch en produceren ze visueel schonere, meer fysiek plausibele dieptekaarten.

Betekenis en Claims

De paper claimt dat JustDepth een belangrijke stap vormt naar praktische, real-time radar-camera perceptie. Door aan te tonen dat hoogwaardige, dichte, metrische diepte kan worden bereikt met alleen single-scan LiDAR-supervisie zonder hulp-labels of complexe multi-stage pipelines, verhoogt de methode de draagbaarheid over datasets en sensoren heen. De auteurs benadrukken dat hun aanpak succesvol de trade-off tussen latentie en nauwkeurigheid balanceert, waarbij real-time prestaties worden behaald terwijl de specifieke artefact-problemen (streping) die inherent zijn aan single-scan supervisie worden gemitigeerd. De introductie van VHGR biedt een noodzakelijk instrument voor het evalueren van de visuele kwaliteit van dieptekaarten buiten standaard foutmetrieken, waarbij wordt benadrukt dat een lagere MAE niet altijd gelijk staat aan een betere structurele getrouwheid in aanwezigheid van LDL.