Selection, Not Fusion: Radar-Modulated State Space Models for Radar-Camera Depth Estimation

Resumen Técnico: Selección, no Fusión: Modelos de Espacio de Estado Modulados por Radar para Estimación de Profundidad Radar-Cámara

Enunciado del Problema
La estimación métrica de profundidad densa por píxel es crítica para la conducción autónoma y la robótica, sin embargo, las cámaras monoculares sufren ambigüedad de escala y degradación en condiciones climáticas adversas (lluvia, niebla, poca luz). Aunque el LiDAR proporciona una profundidad métrica precisa, su costo y requisitos de energía lo limitan a sistemas premium. El radar automotriz de ondas milimétricas ofrece una alternativa métrica, económica y para todo clima, pero está severamente limitado por su dispersión (40–100 retornos por cuadro en el campo de visión de la cámara frontal) y ambigüedades angulares/altimétricas.

Los métodos existentes de estimación de profundidad radar-cámara abordan esto típicamente fusionando características de radar e imagen a nivel de características (por ejemplo, concatenación, puertas, extracción basada en grafos) fuera del operador de secuencia del backbone. Incluso variantes recientes de Modelos de Espacio de Estado Selectivos (SSM) como Mamba, que son variantes multimodales, suelen apilar flujos específicos de modalidad antes de un escaneo compartido, dejando el mecanismo de selección central en sí mismo unimodal. Los autores argumentan que este enfoque de "fusión fuera del escaneo" falla en aprovechar las capacidades únicas de los SSM, donde el mecanismo de selección gobierna la propagación de información de largo alcance.

Metodología: SemoDepth
El artículo propone SemoDepth, un estimador de profundidad radar-cámara de una sola etapa que integra los datos de radar directamente dentro del mecanismo de escaneo selectivo del backbone Mamba, en lugar de fusionarlos como un flujo de características separado.

1. Selección Modulada por Radar (RMS):
   La innovación central es inyectar señales de radar en los parámetros del escaneo selectivo del bloque Mamba. En un bloque Mamba estándar, la recurrencia está gobernada por un tamaño de paso dependiente de la entrada $\Delta_t$ (horizonte de memoria) y un vector de lectura $C_t$.

   • Mecanismo: El radar contribuye con perturbaciones aditivas e inicializadas en cero a $\Delta_t$ y $C_t$. La proyección de entrada $B_t$ y la matriz de dinámica de estado $A$ permanecen solo de imagen.
   • Modulación del Horizonte: El radar modula $\Delta_t$ mediante una puerta aprendida, permitiendo que el radar ajuste localmente qué tan lejos se propaga la información a lo largo de la secuencia.
   • Modulación de la Lectura: El radar añade un término a $C_t$, reconfigurando qué se extrae del estado oculto sin alterar la recurrencia almacenada.
   • Inicialización: Todas las proyecciones de radar se inicializan en cero. En la inicialización ($t=0$), el bloque es matemáticamente equivalente a un Mamba vanilla, solo de imagen. Esto asegura que el modelo preserve el rendimiento preentrenado solo de imagen y permite que los gradientes del radar fluyan solo donde mejoren la precisión.

2. Pirámide de Escaneo Multi-Vista (MVSP):
   Para abordar la eficiencia computacional y el alcance espacial variable del radar en diferentes escalas, el decodificador emplea una estrategia de fusión de tres niveles:

   • Escalas más Gruesas (Nivel 3): RMS de imagen completa en cuatro direcciones. Esto aproxima un campo receptivo 2D con costo lineal, agregando contexto a nivel de escena.
   • Escala Media (Nivel 2): RMS en ventana centrada en los retornos de radar proyectados. La capacidad de escaneo se concentra solo donde el radar apoya la imagen.
   • Escalas más Finas (Nivel 1): Modulación Lineal a Nivel de Característica (FiLM) de costo constante. Esto mantiene una señal de radar activa a resolución completa sin el costo cuadrático del escaneo.

3. Objetivo de Entrenamiento:
   El modelo se entrena con una pérdida compuesta que equilibra una supervisión densa robusta (LiDAR acumulado) y una supervisión dispersa precisa (LiDAR de barrido único), incluyendo pérdidas en espacio logarítmico, lineal y de gradiente.

Contribuciones Clave

• Selección Dentro del Escaneo: El artículo introduce un mecanismo principiado (RMS) donde el radar modula la dinámica de recurrencia ($\Delta$ y $C$) de un SSM. Esto cambia fundamentalmente cómo se almacena y propaga la información, en lugar de solo cómo se combinan las características.
• Tres Ventajas Teóricas:
  1. Acoplamiento de costo lineal: El radar da forma a la recurrencia en cada token con un costo $O(L)$, evitando el costo $O(L^2)$ de la atención cruzada.
  2. Inicialización que preserva la pérdida: La inicialización en cero asegura que el modelo comience como un backbone puro de imagen, preservando los pesos preentrenados.
  3. Reversión a solo imagen: En ausencia de radar, el modelo degrada naturalmente a un comportamiento solo de imagen sin reconfiguración arquitectónica.
• Arquitectura MVSP: Un decodificador que iguala el operador de fusión con el alcance espacial efectivo del radar en cada resolución, concentrando la computación donde es más efectiva.

Resultados
Evaluado en los conjuntos de datos nuScenes y ZJU-4DRadarCam, SemoDepth logra un rendimiento de vanguardia:

• nuScenes: SemoDepth reduce el Error Absoluto Medio (MAE) en un 34.0% (0–50m), 29.9% (0–70m) y 29.9% (0–80m) en comparación con el mejor anterior (TacoDepth). También logra la latencia de inferencia de cuadro único más baja (26.8 ms) entre los métodos con versiones públicas.
• ZJU-4DRadarCam: SemoDepth alcanza el mejor MAE en todos los rangos de evaluación.
• Hallazgos de Ablación:
  • Reemplazar los escaneos basados en Mamba del MVSP con una modulación FiLM uniforme degrada el MAE@80 en un 18%, confirmando la necesidad arquitectónica de los niveles de escaneo.
  • Añadir mezcla de características "fuera del escaneo" (fusión pre-escaneo) sobre RMS no proporciona ninguna precisión adicional, validando empíricamente que la selección dentro del escaneo puede reemplazar la fusión tradicional fuera del escaneo.
  • La brecha de rendimiento es más pronunciada en condiciones diurnas donde la evidencia de la imagen es fuerte; en condiciones nocturnas (adversarias para la cámara), la brecha se estrecha y la fusión basada en atención sigue siendo competitiva en rangos cortos.

Significado y Afirmaciones
El artículo afirma que para los modelos de secuencia con recurrencia dependiente de la entrada, el mecanismo de selección en sí mismo sirve como un sustrato superior para la interacción multimodal en comparación con la fusión a nivel de características. Al modular directamente la dinámica de recurrencia, el modelo aprovecha el "ancla métrica" de los retornos dispersos de radar para propagar información a través de toda la secuencia, en lugar de solo el vecindario local.

Los autores posicionan este trabajo como un cambio conceptual: el aprendizaje multimodal debe reconsiderarse desde la perspectiva de la selección en lugar de la representación. Sugieren que esta receta se extiende a otros pares de modalidades dispersas más densas (por ejemplo, LiDAR-cámara, radar-térmico) y a tareas más allá de la estimación de profundidad.

Limitaciones
Los autores reconocen varias limitaciones:

• Alcance de la Modalidad: El método se valida solo en cámara frontal + radar automotriz; la transferencia a otras modalidades se hipotetiza pero no se valida empíricamente.
• Dispersión del Radar: El margen de rendimiento se reduce en el conjunto de datos más denso ZJU-4DRadarCam en comparación con nuScenes, lo que sugiere que la ventaja del método es más pronunciada cuando el radar es extremadamente disperso.
• Sensibilidad al Ruido: Aunque la inicialización en cero proporciona protección, el artículo no ha sometido a prueba el modelo contra anclas de radar incorrectas sistemáticamente (ruido) que podrían propagarse a través del escaneo.
• Sesgo de Datos: Los conjuntos de datos utilizados son geográficamente estrechos (Boston, Singapur, campus ZJU), lo que limita las afirmaciones sobre la robustez en entornos subrepresentados.