4DLidarOpen: An Open 4D FMCW Lidar Dataset for Motion-Aware Autonomous Driving

Resumen Técnico de 4DLidarOpen: Un Conjunto de Datos Abierto 4D FMCW Lidar para la Conducción Autónoma Consciente del Movimiento

Enunciado del Problema
A medida que los sistemas de conducción autónoma evolucionan hacia el Nivel 3 y más allá, el campo se está desplazando hacia paradigmas de aprendizaje de extremo a extremo (E2E) que integran percepción, predicción y planificación. Sin embargo, los conjuntos de datos a gran escala existentes (por ejemplo, KITTI, nuScenes, Waymo) dependen principalmente de Lidar de Tiempo de Vuelo (ToF) convencional y cámaras. Estos sensores proporcionan mediciones geométricas sólidas, pero carecen de observabilidad directa e instantánea del movimiento de los objetos. En consecuencia, los sistemas actuales deben inferir el movimiento indirectamente a través de la asociación entre cuadros o la agregación heurística de características, lo que a menudo diluye la consistencia temporal y degrada el rendimiento en escenarios complejos, de alta velocidad o de interacción densa. Existe una brecha crítica en los puntos de referencia públicos para la comprensión de escenas 4D que aproveche las mediciones directas de velocidad radial para apoyar la percepción y la planificación conscientes del movimiento.

Metodología y Construcción del Conjunto de Datos
Para abordar esta brecha, los autores presentan 4DLidarOpen, un conjunto de datos multimodal abierto y a gran escala centrado en la detección con Lidar de Onda Continua Modulada en Frecuencia (FMCW) 4D. El conjunto de datos se recopiló en entornos urbanos complejos de Beijing, abarcando diversos escenarios que incluyen interacciones densas con peatones, tráfico congestionado, conducción a alta velocidad y maniobras sin protección.

• Configuración de Sensores: El vehículo de recopilación de datos está equipado con un conjunto sincronizado de cinco Lidares y cinco cámaras de visión periférica. El sensor principal es un Lidar FMCW 4D orientado hacia adelante que proporciona datos punto a punto $(x, y, z, v)$, donde $v$ representa la velocidad radial instantánea. Esto se complementa con un Lidar OT rotatorio de 360° (para referencia geométrica de alta calidad), un Lidar AT de estado sólido (para escaneo frontal de alta densidad) y dos Lidares ATX para puntos ciegos. Todos los sensores están sincronizados por hardware con una alineación temporal submilisegundo (dentro de $\pm 1.39$ ms) y están calibrados conjuntamente.
• Estrategia de Anotación: El conjunto de datos emplea un enfoque híbrido de anotación. Incluye 225 escenarios anotados por humanos (167 para entrenamiento, 58 para validación) con cajas delimitadoras 3D e IDs de trayectoria persistentes en cinco categorías de objetos (Coche, Furgoneta, Peatón, Ciclista, Cono de Tráfico). Para apoyar el aprendizaje auto-supervisado escalable, los autores también lanzan tres niveles de datos etiquetados automáticamente que contienen hasta 2.000 secuencias. La tubería de anotación utiliza un sistema de etiquetado automático refinado por expertos humanos, asegurando alta fidelidad para objetos dentro de los 150 metros.
• Privacidad: Todas las caras y placas de matrícula se difuminan automáticamente para cumplir con las regulaciones de privacidad.

Contribuciones Clave

1. Lanzamiento del Conjunto de Datos: Los autores lanzan 4DLidarOpen, el primer corpus a gran escala que acopla datos de Lidar FMCW 4D con percepciones de alto nivel y anotaciones de conducción E2E. Integra flujos heterogéneos de Lidar (FMCW, rotatorio, de estado sólido, puntos ciegos) con cámaras sincronizadas y poses ego de 6 grados de libertad.
2. Puntos de Referencia Unificados: El artículo establece puntos de referencia estandarizados para tres tareas críticas: detección de objetos 3D, segmentación y predicción de flujo en Vista Aérea (BEV), y pronóstico de movimiento acoplado con planificación de trayectorias.
3. Análisis Empírico de la Velocidad: Los autores proporcionan una evaluación sistemática que cuantifica el papel de la velocidad radial punto a punto. Demuestran que, aunque el Lidar FMCW 4D puede tener una resolución espacial más baja que los Lidares de escaneo para la geometría estática, sus mediciones directas de velocidad ofrecen pistas de movimiento complementarias que mejoran significativamente la comprensión de escenas dinámicas.

Resultados Experimentales
Los autores evaluaron el conjunto de datos utilizando modelos de última generación (por ejemplo, CenterPoint, Sparse4D, MotionNet, PriorMotion, SparseDrive, DiffusionDrive) en diferentes configuraciones de sensores.

• Detección de Objetos 3D: En términos de métricas de detección brutas (mAP/NDS), el Lidar AT128 de estado sólido logró el mejor rendimiento, seguido por el OT128 rotatorio, mientras que el Lidar FMCW 4D mostró puntuaciones de detección bruta ligeramente inferiores. Sin embargo, los estudios de ablación revelaron que incorporar el canal de velocidad radial ($v$) en la entrada del Lidar FMCW 4D mejoró significativamente el rendimiento de detección, particularmente para usuarios vulnerables de la vía dinámica (por ejemplo, la precisión de los peatones aumentó del 17.59% al 48.28% cuando se añadió la velocidad).
• Segmentación BEV y Predicción de Flujo: Los modelos que utilizan datos FMCW 4D con fusión de velocidad (por ejemplo, PriorMotion) lograron los errores de predicción de movimiento más bajos en regímenes estáticos, lentos y rápidos. El canal de velocidad redujo notablemente los errores de celdas estáticas en un orden de magnitud, indicando una compensación de movimiento ego superior y estabilización del fondo.
• Pronóstico de Movimiento y Planificación: En un hallazgo contraintuitivo, la configuración del Lidar FMCW 4D superó tanto a la AT128 como a la OT128 en tareas de pronóstico de movimiento y planificación de extremo a extremo, a pesar de su menor precisión de detección bruta. La configuración FMCW logró el Error de Desplazamiento Promedio (ADE) y el Error de Desplazamiento Final (FDE) más bajos. Los autores atribuyen esto a que las mediciones directas de velocidad permiten una inicialización de movimiento más robusta y reducen la ambigüedad multimodal en la predicción de trayectorias, lo cual es crítico para la planificación a largo plazo.

Significado y Afirmaciones
El artículo afirma que 4DLidarOpen proporciona una base reproducible para avanzar en la conducción autónoma consciente del movimiento. Los autores argumentan que, mientras que los Lidares de escaneo tradicionales sobresalen en la reconstrucción geométrica densa, el Lidar FMCW 4D ofrece una ventaja distintiva en la comprensión de escenas dinámicas al proporcionar pistas de movimiento directas e instantáneas. Esta capacidad permite que los agentes autónomos detecten objetos dinámicos antes (por ejemplo, detectar un cono que rueda o un peatón que se lanza en el primer cuadro en lugar de después de varios cuadros de acumulación) y planifiquen de manera más robusta.

Los autores concluyen que el Lidar FMCW 4D es una modalidad de detección prometedora que complementa los sensores existentes. Sugieren que los sistemas futuros deberían considerar el diseño conjunto de modalidades de detección con arquitecturas conscientes del movimiento para aprovechar plenamente las capacidades únicas de la medición directa de velocidad, avanzando más allá del análisis de escenas estáticas hacia una verdadera comprensión de escenas 4D. El conjunto de datos y el kit de herramientas de evaluación se lanzan públicamente para facilitar la investigación en la comprensión de escenas 4D, la fusión de múltiples Lidares y la percepción y planificación conscientes de la velocidad.