ROAD-Waymo: A Large-Scale Action Awareness Dataset for Autonomous Driving

Resumen Técnico: ROAD-Waymo: Un conjunto de datos de conciencia de acción a gran escala para la conducción autónoma

Planteamiento del problema
Los sistemas de percepción de Vehículos Autónomos (VA) actuales dependen en gran medida de la detección de objetos y la segmentación de escenas. Sin embargo, la interacción segura con otros usuarios de la vía requiere una comprensión holística de la escena, específicamente la capacidad de comprender las acciones y eventos que ocurren en ella. Si bien los conjuntos de datos anteriores como el ROAD (Reino Unido) original introdujeron anotaciones multietiqueta para agentes, acciones y ubicaciones, siguen siendo limitados en escala (solo 22 videos de una sola ciudad) y diversidad. Los conjuntos de datos de VA a gran escala existentes (por ejemplo, Waymo, nuScenes) se centran principalmente en la detección de objetos, el seguimiento o la predicción de trayectorias, careciendo de anotaciones densas y de alto nivel para la detección de acciones y eventos. Existe una necesidad crítica de un conjunto de datos que cierre esta brecha, ofreciendo anotaciones a gran escala, diversas y verificadas para la percepción consciente de las acciones, permitiendo también la investigación en la adaptación de dominio entre diferentes entornos de conducción del mundo real.

Metodología
Los autores presentan ROAD-Waymo, un conjunto de datos construido añadiendo anotaciones espaciotemporales densas al existente Waymo Open Dataset. La metodología consiste en:

1. Protocolo de anotación: Siguiendo el marco evento de carretera = {Agente, Acciones, Ubicaciones} establecido en el dataset ROAD original, los autores anotaron 198k fotogramas de video. A cada agente relevante se le asigna una caja delimitadora (heredada o añadida mediante YOLOv6 para semáforos) y se le etiqueta con:

   • Agente: 12 clases (p. ej., coche, peatón, vehículo de emergencia).
   • Acción: 30 clases (p. ej., moviéndose, girando, frenando, indicando).
   • Ubicación: 16 clases (p. ej., intersección, carril de entrada, acera).
     Las anotaciones se actualizan solo cuando ocurren cambios semánticos, lo que resulta en 54k tubos de agentes y un total de 12.4M de etiquetas.

2. Pipeline de verificación automatizada: Una contribución novedosa es la integración de un proceso de verificación lógica. Los autores extrajeron 251 requisitos lógicos dependientes del dominio (p. ej., "un semáforo no puede estar en rojo y verde simultáneamente") expresados en lógica proposicional. Un pipeline automatizado comprueba todas las anotaciones frente a estas restricciones, señalando y corrigiendo 6,276 anotaciones de tubos para asegurar la integridad del conjunto de datos y el cumplimiento del sentido común.

3. Marco de adaptación de dominio (ROAD++): Al asegurar la compatibilidad con el dataset ROAD (Reino Unido) original, los autores crearon ROAD++, un benchmark para la adaptación de dominio no supervisada entre escenarios del mundo real en el Reino Unido y EE. UU. (involucrando un total de 4 ciudades).

4. Modelos de referencia (Baselines): El artículo establece modelos de referencia para diversas tareas utilizando:

   • 3D-RetinaNet: Utilizando backbones I3D y SlowFast para la extracción de características espaciotemporales.
   • YOLOv8: Para la detección de agentes en un solo fotograma.
   • RevGrad: Un enfoque de gradiente inverso para la adaptación de dominio no supervisada.
   • Modelos neuro-simbólicos: Integrando las restricciones lógicas directamente en la función de pérdida utilizando t-normas (Gödel y Łukasiewicz) para guiar las predicciones neuronales.

Contribuciones clave

1. Dataset ROAD-Waymo: Un conjunto de datos a gran escala y multietiqueta para la detección de acciones y eventos. Es 7 veces más grande que el dataset ROAD original (4.3M de etiquetas de acción) y cubre 4 ciudades de EE. UU. con 6 condiciones climáticas. Incluye escenarios significativamente más complejos, como vehículos de emergencia y tráfico denso, en comparación con conjuntos de datos previos.
2. Anotaciones verificadas: Es el primer dataset de VA garantizado para cumplir con un conjunto de restricciones lógicas de sentido común mediante un pipeline de verificación automatizada.
3. Benchmark ROAD++: Un marco que permite la investigación de la adaptación de dominio entre datasets del mundo real de diferentes países (Reino Unido vs. EE. UU.) y ciudades, abordando el desafío de la adaptación "real-a-real".
4. Baselines exhaustivos: El artículo proporciona modelos de referencia sólidos para la detección de agentes, acciones, ubicaciones, dúplex y eventos, así como para la predicción neuro-simbólica y las tareas de adaptación de dominio no supervisada.

Resultos experimentales

• Rendimiento: Los experimentos en ROAD-Waymo muestran que los backbones SlowFast generalmente superan a I3D para la detección de acciones y dúplex, mientras que I3D funciona bien para la detección de ubicación y eventos. YOLOv8 logró el mayor rendimiento para la detección de agentes en un solo fotograma (38.1% f-mAP en validación).
• Adaptación de dominio: La evaluación cruzada de datasets revela una caída significativa de rendimiento (más de tres veces) cuando se entrena en el dataset ROAD del Reino Unido y se prueba en el ROAD-Waymo de EE. UU., resaltando la dificultad del cambio de dominio. El enfoque ROAD++ (entrenamiento con datos combinados) ofrece los mejores resultados. Los resultados de la adaptación de dominio no supervisada (RevGrad) se sitúan entre el "Límite Inferior" (entrenamiento solo con la fuente) y el "Límite Superior" (entrenamiento solo con el objetivo), confirmando la utilidad del benchmark para desarrollar algoritmos de adaptación.
• Ganancias neuro-simbólicas: La integración de las restricciones lógicas en la función de pérdida mejoró el rendimiento, particularmente para la detección de la ubicación utilizando la t-norma de Gödel (aumentando el f-mAP del 15.31% al 16.03% en el conjunto de validación).
• Análisis de errores: Los autores señalan que los errores se concentran en las clases de acción de cola larga (p. ej., cambios de carril) y comportamientos de corta duración, lo que refleja la dificultad inherente del benchmark.

Significancia
El artículo posiciona a ROAD-Waymo como una evolución necesaria en la investigación de la percepción de los VA, pasando de la simple detección de objetos hacia la "conciencia situacional". Su importancia radica en:

• Escala y Diversidad: Proporcionar el dataset más grande conocido para la detección de acciones/eventos, cubriendo múltiples ciudades y escenarios complejos (como vehículos de emergencia) ausentes en datasets más pequeños.
• Integridad de los Datos: Establecer un nuevo estándar de calidad de datasets mediante la verificación lógica automatizada, asegurando que las anotaciones respeten las reglas físicas y de sentido común.
• Adaptación del Mundo Real: Ofrecer el primer benchmark de adaptación de dominio real-a-real para la conciencia de eventos a través de diferentes países y culturas de conducción (tráfico a la izquierda vs. derecha), un paso crítico para el despliegue global de los VA.
• Integración Neuro-Simbólica: Demostrar cómo el conocimiento previo (restricciones lógicas) puede aprovecharse eficazmente para mejorar el rendimiento de las redes neuronales en escenarios de conducción críticos para la seguridad.

Los autores concluyen que ROAD-Waymo y el marco ROAD++ proporcionan un entorno desafiante para desarrollar sistemas de percepción avanzados y abordar problemas novedosos en la conducción autónoma, específicamente en lo que respecta a la conciencia de eventos y la generalización de dominio cruzado.