JustDepth: Real-Time Radar-Camera Depth Estimation with Single-Scan LiDAR Supervision

Planteamiento del Problema

La estimación de profundidad 3D precisa y de baja latencia es crítica para los sistemas autónomos. Mientras que las cámaras proporcionan pistas de apariencia densas, carecen de escala métrica. Por el contrario, el radar mmWave automotriz ofrece un rango métrico y robustez ante las condiciones climáticas, pero produce datos dispersos, ruidosos y con una resolución angular limitada. Los pipelines de fusión radar-cámara existentes suelen sufrir de alta latencia y complejidad debido a arquitecturas de múltiples etapas, la dependencia de modelos de profundidad monoculares preentrenados o la necesidad de anotaciones auxiliares (por ejemplo, máscaras semánticas, cajas delimitadoras) y la acumulación de múltiples escaneos LiDAR para construir la verdad de campo (ground truth). Además, el entrenamiento con supervisión de LiDAR de un solo escaneo suele provocar la Fuga de Distribución de LiDAR (LDL, por sus siglas en inglés), donde el modelo aprende a reproducir el patrón de muestreo específico del escáner, lo que resulta en artefactos de franjas horizontales visibles en los mapas de profundidad predichos.

Metodología

Los autores proponen JustDepth, un estimador de profundidad radar-cámara de una sola etapa diseñado para la inferencia en tiempo real sin anotaciones auxiliares. La arquitectura consta de tres componentes principales:

1. Codificación de Radar de Ancho Fijo:

   • Los retornos del radar se proyectan en el plano de la imagen, conservando únicamente la coordenada de píxel horizontal ($u$) y el rango.
   • Estos puntos se rasterizan en una cuadrícula 1D de ancho fijo con un ancho $W$. Para cada columna, se almacena el rango mínimo; las columnas vacías se ponen a cero.
   • Un backbone de convolución 1D procesa esta cuadrícula, produciendo un mapa de características latentes $r_L \in \mathbb{R}^{B \times C \times w}$. Crucialmente, debido a que el ancho de la cuadrícula es fijo, la computación y la latencia del codificador permanecen constantes independientemente del número de puntos de radar brutos.

2. Bloque de Fusión de Altura (Height Fusion Block):

   • Este módulo alinea las características de la imagen 2D ($i_L$) y las características del radar 1D ($r_L$).
   • La característica del radar se repite a lo largo de la dimensión de la altura para coincidir con la altura de la característica de la imagen, creando una secuencia de tokens por columna de tamaño $h \times 2C$.
   • Un mecanismo de auto-atención de altura (height-wise self-attention) procesa cada columna de forma independiente, permitiendo que el modelo aprenda posiciones verticales consistentes para las prioridades del radar dentro de cada columna de la imagen. Esto es seguido por una red de alimentación hacia adelante (feed-forward) y un módulo de convolución ligero para restaurar el contexto 2D.

3. Propagación Global Basada en Grafos:

   • Una Red Neuronal de Grafos (GNN) con $N$ capas propaga las pistas de profundidad globalmente.
   • Los nodos representan tokens espaciales en el mapa de características. Los bordes se construyen utilizando una búsqueda de K-Vecinos Más Cercanos (K-NN) en el espacio de características.
   • La red emplea una Convolución de Máximo Relativo (MR-Conv), donde los mensajes se forman mediante la diferencia máxima entre un nodo y sus vecinos. Esto permite que la información de profundidad se propague desde las regiones apoyadas por radar o supervisadas por LiDAR hacia áreas no supervisadas, incluso a través de grandes distancias si las características son similares.

4. Decodificadores:

   • Decodificador de Profundidad: Una ruta de sobremuestreo (upsampling) tipo U-Net fusiona las características propagadas globalmente con conexiones de salto (skip connections) del codificador de la imagen para producir el mapa de profundidad denso final.
   • Decodificador de Confianza (Solo para Entrenamiento): Una cabeza auxiliar predice un mapa de confianza por píxel que indica qué tan fuertemente un píxel está respaldado por el radar. Esta rama se utiliza únicamente para la supervisión durante el entrenamiento para estabilizar el aprendizaje y se descarta en la inferencia, lo que incurre en un costo cero en el tiempo de prueba.

5. Mitigación de la Fuga de Distribución de LiDAR (LDL):

   • Para evitar que el modelo se sobreajuste a las líneas de escaneo horizontales del LiDAR de un solo escaneo, los autores emplean dos estrategias:
     • Remuestreo de Puntos (Point Upsampling): Se insertan puntos medios entre pares adecuados de puntos LiDAR para densificar la supervisión.
     • Rotación Sincronizada con Relleno de Reflexión: La imagen, el radar y el LiDAR se rotan por el mismo ángulo aleatorio. Se aplica un relleno de reflexión a la imagen para evitar que los bordes negros actúen como pistas de rotación. Esto obliga al modelo a aprender la consistencia de la profundidad independientemente de la orientación de las franjas.

Contribuciones Clave

• Arquitectura de Etapa Única y Latencia Constante: JustDepth codifica todos los retornos de radar en una representación 1D de ancho fijo, desacoplando el tiempo de ejecución del recuento de puntos y eliminando la necesidad de módulos monoculares de múltiples etapas o preentrenados.
• Decodificador de Confianza Solo para Entrenamiento: Una cabeza auxiliar novedosa que supervisa el módulo de fusión para localizar los píxeles respaldados por el radar sin generar un mapa de profundidad intermedio. Mejora la precisión sin añadir latencia en la inferencia.
• Estrategia de Mitigación de LDL: Una combinación de remuestreo de puntos y rotación sincronizada con relleno de reflexión reduce eficazmente los artefactos de franjas.
• Métrica VHGR: Los autores introducen la Relación de Gradiente Vertical-Horizontal (VHGR) para medir cuantitativamente el desequilibrio entre los gradientes de profundidad vertical y horizontal, sirviendo como una métrica específica para cuantificar los artefactos de franjas causados por la LDL.

Resultados Experimentales

Evaluado en el conjunto de datos nuScenes (rangos de 0–50m, 0–70m y 0–80m):

• Eficiencia: JustDepth logra un tiempo de inferencia de 14.8 ms por cuadro en una NVIDIA RTX 4070 Ti. Esto es aproximadamente 39.7× más rápido que el método de vanguardia GET-UP y significativamente más rápido que otros enfoques competidores, permitiendo el despliegue en tiempo real.
• Precisión: A pesar de utilizar solo un barrido LiDAR único y sin anotaciones auxiliares, JustDepth mantiene una precisión competitiva. Logra un MAE de 1324.2 mm (0–50m) y 1674.0 mm (0–70m), superando a Li et al. [10] y logrando el mejor AbsRel (0.074) entre los métodos comparados.
• Reducción de Artefactos: JustDepth logra el VHGR (0.1767) más bajo entre todos los métodos comparados, lo que indica una reducción significativa de los artefactos de franjas horizontales en comparación con métodos como GET-UP (0.5210) y Li et al. (0.1868).
• Estudios de Ablación: Eliminar la GNN, la auto-atención del Bloque de Fusión de Altura o las estrategias de mitigación de LDL (rotación/remuestreo) degrada consistentemente el rendimiento. Notablemente, aunque las estrategias de mitigación de LDL aumentan ligeramente las métricas de error estándar (MAE/RMSE) al evitar que el modelo "haga trampa" igualando el patrón disperso del LiDAR, reducen drásticamente el VHGR y producen mapas de profundidad visualmente más limpios y físicamente más plausibles.

Significancia y Reivindicaciones

El artículo afirma que JustDepth representa un paso significativo hacia la percepción de radar-cámara en tiempo real y práctica. Al demostrar que se puede lograr una profundidad métrica densa y de alta calidad utilizando solo supervisión de LiDAR de un solo escaneo sin etiquetas auxiliares o complejos pipelines de múltiples etapas, el método mejora la portabilidad entre conjuntos de datos y sensores. Los autores enfatizan que su enfoque equilibra con éxito la compensación entre latencia y precisión, logrando un rendimiento en tiempo real mientras mitiga los problemas específicos de artefactos (franjas) inherentes a la supervisión de un solo escaneo. La introducción de VHGR proporciona una herramienta necesaria para evaluar la calidad visual de los mapas de profundidad más allá de las métricas de error estándar, resaltando que un MAE más bajo no siempre equivale a una mejor fidelidad estructural en presencia de LDL.