VideoGAN-based Trajectory Proposal for Automated Vehicles

Resumen Técnico: Propuesta de Trayectorias basada en VideoGAN para Vehículos Automatizados

Planteamiento del Problema
El desafío central abordado en este trabajo es la generación de opciones de trayectoria realistas y estadísticamente precisas para vehículos automatizados (AV). Si bien la predicción y planificación de trayectorias son fundamentales para una operación altamente automatizada, los métodos existentes enfrentan limitaciones. Los enfoques clásicos basados en reglas tienen dificultades para modelar las distribuciones complejas, de alta dimensión y multimodales que rigen el comportamiento conjunto de múltiples agentes en entornos interactivos. Por el contrario, aunque los modelos de aprendizaje profundo (DL), particularmente los modelos generativos como los modelos de Difusión y las Redes Generativas Antagónicas (GAN), sobresalen en capturar futuros diversos, muchos de los enfoques espacialmente fundamentados (que manejan bien las restricciones de diseño y las pistas contextuales) dependen de arquitecturas basadas en atención que no aprovechan plenamente los beneficios del modelado de distribuciones de los modelos generativos. Además, existe la necesidad de métodos que puedan manejar trayectorias de longitud variable (agentes entrando/saliendo de la escena) y mantener el realismo físico respecto a las distancias de seguridad y el cumplimiento de las señales de tráfico sin incurrir en los altos costos computacionales asociados con los modelos de difusión.

Metodología
Los autores proponen un flujo de trabajo de tres etapas que combina la representación espacialmente fundamentada con la generación de video:

1. Rasterización de Datos Abstractos:
   El flujo de trabajo convierte los datos de tráfico abstractos del Waymo Open Motion Dataset en videos de cuadrícula de ocupación de vista de pájaro (BEV) de baja resolución. Este proceso implica:

   • Extraer las líneas centrales de las carreteras, los estados variables en el tiempo de las luces de tráfico y los datos de los agentes (coordenadas centrales, orientación, tamaño del cuadro delimitador).
   • Renderizar estos elementos en coordenadas de imagen centradas en el vehículo ego. Las líneas centrales de la carretera se renderizan como líneas grises; las luces de tráfico como círculos de colores; y los agentes como rectángulos.
   • El vehículo ego se renderiza en negro, mientras que otros agentes se asignan colores aleatorios de un subespacio HSV para evitar confusiones con las luces de tráfico o las marcas viales.
   • El resultado es un conjunto de datos de videos BEV de baja resolución (por ejemplo, 54 × 96 píxeles) que representan escenas de tráfico.

2. Entrenamiento de VideoGAN:
   Se entrena un modelo generativo de video, específicamente un VideoGAN (basado en LongVideoGAN), sobre los videos de cuadrícula de ocupación rasterizados. Los autores seleccionaron las GAN sobre los modelos de difusión para priorizar tiempos de entrenamiento e inferencia más rápidos, señalando que, si bien los modelos de difusión ofrecen una mayor fidelidad visual, esto es menos crítico para la propuesta de trayectorias donde la plausibilidad física y la factibilidad de conducción son las métricas primarias. El modelo aprende a generar escenas dinámicamente coherentes de longitud arbitraria.

3. Extracción de Trayectorias:
   Los datos de trayectoria abstractos se extraen de los videos generados utilizando un flujo de postprocesamiento:

   • Detección de Objetos: Los fotogramas se convierten al espacio de color HSV. Se aplican máscaras para aislar las luces de tráfico (rojo, verde, amarillo) y los agentes. Una técnica de enmascaramiento específica reemplaza los colores de las luces de tráfico con el color subyacente ocluido (por ejemplo, vehículo o carretera) para mejorar la detección de agentes pasando debajo de las luces. La apertura morfológica suaviza los contornos, y se extraen las características espaciales (centro, tamaño, forma).
   • Emparejamiento de Objetos: Las identidades se rastrean a través de los fotogramas utilizando una matriz de costo basada en la proximidad espacial, la similitud de color, la relación de aspecto y la consistencia de tipo.
   • Enriquecimiento de Trayectorias: Se asignan IDs persistentes, y se computa la velocidad y aceleración instantánea relativa al vehículo ego mediante interpolación.

Contribuciones Clave

• Flujo de Trabajo Generativo y Espacialmente Fundamentado: Los autores presentan un método que aprovecha el modelado de distribuciones de los modelos generativos manteniendo las restricciones de diseño espacial de las representaciones BEV.
• Rasterización Personalizable: Un flujo de trabajo para convertir datos de tráfico abstractos en videos de cuadrícula de ocupación BEV de baja resolución, lo que permite una alta personalización de la composición de la escena (por ejemplo, aumentando la frecuencia de escenarios de giro).
• Procedimiento de Extracción: Un procedimiento desarrollado para extraer datos abstractos relativos a las luces de tráfico y usuarios de la vía a partir de las predicciones de video fotograma a fotograma mediante detección y emparejamiento.
• Eficiencia: El sistema logra tiempos de inferencia de aproximadamente 20 ms para una escena de 15 segundos, lo que lo hace adecuado para aplicaciones en tiempo real, con un entrenamiento completado en 100 horas de GPU.

Resultados
Los autores evaluaron las trayectorias generadas contra la verdad de campo (ground truth) del Waymo Open Motion Dataset utilizando métricas cualitativas y cuantitativas:

• Análisis Cualitativo: Las escenas generadas exhibieron líneas de mapa, dinámica de usuarios de la vía e interacciones con luces de tráfico realistas. Se observó que los agentes esperaban en luces rojas, procedían en luces verdes y mantenían distancias de seguridad. El modelo modeló con éxito comportamientos complejos como girar en intersecciones y agentes entrando/saliendo de la escena, aunque se observó un ocasional cambio de identidad (división o fusión) cerca de los cruces.
• Análisis Cuantitativo (Parámetros Estáticos):
  • Tamaños de Objetos: La distribución de los tamaños de los agentes en los videos generados fue bimodal y comparable a los datos reales, aunque los vehículos generados fueron, en promedio, un 10% más grandes.
  • Distancias y Densidad: La distancia media centro a centro entre agentes y la densidad de tráfico (número de objetos por fotograma) fueron notablemente similares entre las escenas reales y las generadas.
  • Objetos no Identificados: La distribución de objetos no reconocidos fue consistente, reforzando el realismo visual de los fotogramas.
• Análisis Cuantitativo (Dinámica):
  • Velocidad y Aceleración: Las distribuciones estadísticas de las velocidades y aceleraciones relativas coincidieron con los datos de entrenamiento, capturando comportamientos de adelantamiento, movimiento conjunto y tráfico opuesto.
  • Seguridad: Las distancias mínimas de borde a borde confirmaron que los usuarios de la vía mantenían una separación apropiada.
• Cumplimiento de Señales de Tráfico: El análisis de la velocidad del vehículo ego relativo a las luces de tráfico mostró que el modelo aprendió a detenerse en luces rojas (velocidad ~0 km/h) y a proceder a velocidades apropiadas para luces verdes, demostrando el cumplimiento de las señales de tráfico dinámicas.

Significancia y Reivindicaciones
El artículo afirma demostrar que los modelos de generación de video pueden producir escenas de tráfico y trayectorias que son tanto realistas como seguras en términos de interacción entre agentes y cumplimiento de las señales de tráfico dinámicas. Al lograr velocidades de inferencia de 20 ms, los autores posicionan su método como un candidato viable para la propuesta de trayectorias en tiempo real en pilas de conducción automatizada. El trabajo destaca el potencial de combinar representaciones espacialmente fundamentadas con modelos generativos eficientes para superar las limitaciones tanto de los sistemas basados en reglas como de los costosos modelos de difusión. Los autores señalan que el trabajo futuro debería investigar modificaciones arquitectónicas para manejar escenas más grandes y complejas, así como comportamientos específicos como ceder el paso a peatones.