Horizon3D: Sparse Radar-Camera Fusion for Long-Range 3D Perception in Autonomous Driving

Resumen Técnico: Horizon3D

Planteamiento del Problema
La detección de objetos 3D de largo alcance confiable es crítica para la conducción autónoma segura, particularmente a velocidades de autopista donde las distancias de frenado requieren una percepción precisa de los objetos más allá de los 150 metros. Aunque los métodos basados en LiDAR han dominado este espacio, su alto costo y vulnerabilidad ante condiciones climáticas adversas limitan su despliegue a gran escala. La fusión de radar-cámara ofrece una alternativa rentable, pero los métodos existentes enfrentan limitaciones significativas en escenarios de largo alcance.

• Los métodos basados en BEV codifican eficazmente el contexto a nivel de escena, pero incurren en costos computacionales que crecen rápidamente a medida que aumenta el rango de detección. Además, sus rejillas densas y uniformes luchan por preservar detalles finos a nivel de objeto.
• Los métodos basados en consultas (query-based) proporcionan una codificación eficiente y centrada en el objeto, pero a menudo carecen de suficiente contexto a nivel de escena.
• Desafíos de la Fusión Temporal: Los objetos de largo alcance producen retornos de radar dispersos y ocupan pocos píxeles de imagen, lo que requiere la acumulación de múltiples fotogramas. Por el contrario, el movimiento de alta velocidad causa grandes desplazamientos inter-fotograma, lo que requiere un modelado de movimiento preciso a nivel de objeto. Los enfoques existentes dependen ya sea de la agregación densa de BEV (computacionalmente costosa) o de la propagación de consultas de objetos (careciendo de contexto de la escena), fallando al no abordar simultáneamente la dispersión por fotograma y la dinámica de nivel de objeto de manera eficiente.

Metodología: Horizon3D
Los autores proponen Horizon3D, un marco de fusión de radar-cámara disperso que emplea una representación híbrida combinando primitivas gaussianas con características dispersas de Bird's Eye View (BEV). La arquitectura consta de tres módulos principales:

1. Inicialización de Gaussianas Guiada por Puntos Clave (KGGI):
   En lugar de mantener un gran conjunto de gaussianas a través de toda la escena, KGGI estima puntos clave de objetos tanto de las características de radar como de cámara para inicializar un conjunto compacto de primitivas gaussianas.

• Rama de Radar: Utiliza VoxelNeXt para generar características de radar BEV dispersas, de las cuales se seleccionan las celdas con mayor puntuación como puntos clave de radar.
• Rama de Cámara: Utiliza un cabezal de puntos clave 2D y un cabezal de profundidad para elevar los candidatos de mayor puntuación a 3D, proyectándolos como puntos clave de cámara.
• Inicialización: Las primitivas gaussianas se anclan en estos puntos clave estimados (más un pequeño número de gaussianas aleatorias e históricas). Cada gaussiana está parametrizada por media, escala, rotación, opacidad, velocidad y un vector de características. Este enfoque asegura una codificación centrada en el objeto sin cobertura espacial redundante.

2. Fusión Dispersa Centrada en el Objeto (OCSF):
   Este módulo agrega características transmodales alrededor de las primitivas gaussianas inicializadas y las refina iterativamente.

• Codificador Gaussiano Multimodal: A lo largo de múltiples capas, el codificador utiliza atención cruzada deformable para recolectar contextos específicos de la modalidad (radar BEV y características de imagen multivista) alrededor de la media de cada gaussiana.
• Refinamiento: Los parámetros gaussianos (media, escala, rotación, etc.) se actualizan basándose en las características agregadas para alinearse mejor con la geometría del objeto 3D.
• Splatting Centrado en el Objeto: Las gaussianas refinadas se proyectan (splatting) sobre el plano BEV. Se genera un mapa de ocupación agnóstico a la clase, y se agrupan "Conjuntos de Gaussianas Activas" mediante agregación ponderada por gaussianas para crear una representación BEV dispersa y centrada en el objeto. Esta se fusiona con las características de radar BEV dispersas para combinar detalles finos de objetos con el contexto de la escena, evitando la construcción de un BEV denso.

3. Fusión Temporal de Doble Ruta (DPTF):
   Para manejar la dispersión de largo alcance y el movimiento de alta velocidad, DPTF integra pistas temporales a través de dos rutas complementarias, ambas utilizando velocidades predichas para la compensación de movimiento:

• Ruta BEV: Acumula características de primer plano de BEV de múltiples fotogramas. Predice la ocupación y la velocidad planar para celdas no vacías, almacenando únicamente estas características en un banco de memoria. Los fotogramas históricos se deforman (warping) hacia el fotograma actual utilizando el movimiento del ego y el warping guiado por la velocidad antes de ser apilados y fusionados mediante convoluciones dispersas.
• Ruta Gaussiana: Propaga las gaussianas pasadas al fotograma actual. Un subconjunto espacialmente diverso de las gaussianas históricas (seleccionado mediante Farthest Point Sampling) se deforma utilizando las velocidades predichas y el movimiento del ego. Estas se fusionan con las gaussianas del fotograma actual y se procesan a través del pipeline OCSF, con atención temporal adicional para manejar el desalineamiento residual.

Contribuciones Clave

• Representación Híbrida: La introducción de un marco disperso que captura conjuntamente el detalle a nivel de objeto y el contexto a nivel de escena utilizando primitivas gaussianas y características BEV dispersas.
• KGGI y OCSF: Un mecanismo para inicializar gaussianas en puntos clave estimados por sensores y refinarlas iterativamente, permitiendo una codificación eficiente centrada en el objeto sin rejillas BEV densas.
• Fusión Temporal de Doble Ruta (DPTF): Una novedosa estrategia de fusión temporal que aborda simultáneamente la dispersión por fotograma (vía acumulación BEV) y el movimiento a nivel de objeto (vía propagación de gaussianas), utilizando compensación de velocidad explícita en ambas rutas.
• Rendimiento de Vanguardia (State-of-the-Art): Demostró efectividad en el benchmark TruckScenes para escenarios de alta velocidad y largo alcance.

Resultados Experimentales
Evaluado en el conjunto de datos TruckScenes (que presenta rangos de detección de hasta 150m y altas velocidades), Horizon3D logra un rendimiento de vanguardia entre los métodos de fusión de radar-cámara:

• Rendimiento: En el conjunto de validación, Horizon3D supera al mejor método previo de radar-cámara (SpaRC) por +3.0 NDS y +1.6 mAP. También supera por un margen significativo al mejor método basado en BEV anterior (CRT-Fusion).
• Comparación con LiDAR: Notablemente, Horizon3D supera el rendimiento de CenterPoint-V (un método basado en LiDAR) por +0.8 NDS y +1.0 mAP en la división de prueba (test split), a pesar de utilizar entradas de imagen de menor resolución.
• Eficiencia: El método mantiene una representación dispersa, logrando velocidades de inferencia competitivas (8.5 FPS) y un uso de memoria moderado (3.2 GB), superando significativamente en eficiencia a los métodos BEV densos mientras evita la caída de precisión de los métodos basados en consultas.
• Estudios de Ablación: Los experimentos confirman que la inicialización KGGI, el agrandamiento de la caja delimitadora para la supervisión de ocupación y la combinación de ambas rutas (BEV y Gaussiana) en DPTF son críticos para el rendimiento. El análisis por distancia muestra ganancias consistentes en todos los rangos, con mejoras particularmente notables en 25–50m y 100–150m.

Significancia
El artículo afirma que Horizon3D aborda el compromiso fundamental en la percepción de largo alcance entre la eficiencia computacional y la necesidad de contar tanto con el contexto de la escena como con el detalle a nivel de objeto. Al evitar la construcción de un BEV denso y, al mismo tiempo, capturar la dinámica temporal y el contexto de la escena mediante un enfoque híbrido de Gaussian-BEV disperso, el marco permite una percepción robusta para la conducción autónoma de alta velocidad utilizando conjuntos de sensores de radar-cámara de bajo costo. Los resultados sugieren que este enfoque híbrido es una alternativa viable y superior tanto para los paradigmas de BEV denso como para los de puras consultas (query-based) para la detección de rango extendido.