Resumen Técnico: Análisis de Campo de Visión Extendido para la Generación de Trayectorias basada en VideoGAN

Planteamiento del Problema

La generación de trayectorias realistas y diversas es un componente crítico para permitir niveles superiores de automatización vehicular, particularmente para tareas de predicción, planificación y simulación. Mientras que los métodos basados en reglas y el aprendizaje clásico suelen tener dificultades para capturar la complejidad del comportamiento del tráfico, el aprendizaje profundo ofrece una alternativa prometedora. Sin embargo, los enfoques existentes enfrentan desafíos específicos:

• Modelado Discreto vs. Espacial: La predicción de trayectorias tradicional a menudo trata el problema como la previsión de un conjunto discreto de rutas secuenciales, lo que puede presentar dificultades con secuencias de longitud variable (agentes entrando/saliendo) e interacciones espaciales complejas. Por el contrario, los enfoques espaciales como las rejillas de ocupación (occupancy grids) manejan bien las restricciones de diseño, pero a menudo carecen de las ventajas del modelado generativo para capturar distribuciones completas de datos.
• Eficiencia Computacional: Aunque los modelos de difusión han mostrado una alta fidelidad visual y diversidad, sus tiempos de inferencia (a menudo de segundos a minutos por escena) los hacen menos adecuados para la propuesta de trayectorias en tiempo real en comparación con las Redes Generativas Antagónicas (GANs).
• Escalabilidad y Alucinaciones: Extender los modelos generativos a campos de visión (FOV) más amplios para capturar dependencias de largo alcance introduce riesgos de artefactos visuales, tales como fallos de permanencia de objetos (agentes que desaparecen o se dividen) e inconsistencias en las relaciones espaciales, los cuales son difíciles de cuantificar.

Metodología

Los autores proponen un flujo de trabajo de extremo a extremo que genera escenarios de tráfico como videos semánticos de Vista de Pájaro (Bird's-Eye-View, BEV) y extrae trayectorias de ellos, basándose en el trabajo previo [28] con varias mejoras técnicas clave:

1. Representación Semántica (Rasterización)

En lugar de la codificación basada en HSV utilizada en el trabajo anterior, los autores adoptan un espacio de color Lab para rasterizar los datos de trayectoria en videos semánticos BEV de baja resolución.

• Racional: El espacio Lab (Luminosidad, Verde-Rojo, Azul-Amarillo) proporciona una separación superior entre las categorías semánticas (marcas viales, semáforos, vehículo propio, otros vehículos) en comparación con RGB o HSV.
• Codificación:
  • Ejes centrales de la carretera: Renderizados como líneas continuas grises ($L \in [30, 90]$, $a, b \approx 0$).
  • Semáforos: Renderizados como círculos rojos, verdes o amarillos ($2\times2$ m) basados en rangos elipsoidales específicos en el espacio Lab.
  • Vehículos: El vehículo propio es negro (L baja); los otros agentes se muestrean de un rango azul-rosa (b negativa, L positiva).
• Entrada: El sistema procesa datos del Waymo Open Motion Dataset, convirtiendo coordenadas del mundo en coordenadas de imagen centradas en un agente de referencia.

2. Modelo Generativo

El marco utiliza un VideoGAN (específicamente la rama de baja resolución de LongVideoGAN [3]) en lugar de un modelo de difusión.

• Justificación de la elección: Si bien los modelos de difusión ofrecen una mayor fidelidad visual, los VideoGANs proporcionan una inferencia significaderamente más rápida (pasada hacia adelante única) y estabilidad en el entrenamiento, lo cual es crucial para aplicaciones en tiempo real. La arquitectura elegida está diseñada para generar escenas dinámicamente coherentes de longitud arbitraria.
• Entrenamiento: El modelo se entrena con 60k secuencias de video (128 fotogramas cada una, ~12.8s) durante 200k pasos en GPUs A100 de 80GB.

3. Extracción de Trayectorias

Un nuevo método de asociación basado en grafos reemplaza el procedimiento anterior de emparejamiento de matrices de costo.

• Detección de Objetos: Los fotogramas se procesan mediante filtrado de color en el espacio Lab para crear máscaras para semáforos y vehículos. Se aplica un paso de inpainting para manejar oclusiones (por ejemplo, vehículos pasando bajo semáforos).
• Construcción de Grafos: Cada objeto detectado en un fotograma se convierte en un nodo. Se establecen aristas entre nodos en fotogramas adyacentes si comparten el mismo tipo de objeto y exhiben un solapamiento espacial. La intensidad de la arista es proporcional al solapamiento.
• Ventaja: Este enfoque maneja naturalmente trayectorias de longitud variable y agentes que entran o salen de la escena sin asumir un conjunto fijo de agentes rastreados.

4. Marco de Evaluación

Los autores introducen un marco cuantitativo para evaluar las "alucinaciones" y la plausibilidad física:

• Métricas de Alucinación: Análisis del grafo de trayectoria para detectar grados de nodo anormales (por ejemplo, nodos con dos padres que indican fusión, o dos hijos que indican división).
• Métricas Estadísticas: Comparación de las distribuciones de velocidades, aceleraciones, distancias entre vehículos y Tiempo de Colisión (TTC) entre los datos generados y los reales.
• Interacción con Semáforos: Evaluación del comportamiento de los vehículos (detenerse en rojo, cruzar en verde) en relación con los estados de los semáforos.

Contribuciones Clave

1. Codificación Semántica Mejorada: Introducción de la codificación en el espacio de color Lab para mejorar la separación de las categorías semánticas, facilitando una extracción de objetos más precisa de los videos generados.
2. Extracción de Trayectorias Basada en Grafos: Desarrollo de un método de seguimiento basado en grafos que mejora la robustez de la extracción de trayectorias de videos semánticos, manteniendo los tiempos de inferencia por debajo de 20 ms para escenas de hasta 20 segundos.
3. Análisis Sistemático de FOV: Una investigación exhaustiva de la generación de escenas a través de tres rangos longitudinales (15 m, 20 m y 25 m), demostrando la capacidad del modelo para escalar a contextos de tráfico más grandes y complejos.
4. Evaluación Cuantitativa de Alucinaciones: Propuesta de una métrica específica para medir artefactos visuales (vehículos que aparecen, desaparecen, se fusionan o se dividen) mediante el análisis de la topología de los grafos de trayectoria extraídos.

Resultados

Los experimentos se realizaron con el Waymo Open Motion Dataset con tres configuraciones de FOV (15 m, 20 m, 25 m).

• Calidad Visual y Alucinaciones:
  • Las escenas generadas mostraron similitud cualitativa con los datos de entrenamiento, con dinámicas suaves y rutas de vehículos alineadas.
  • Permanencia de Objetos: El modelo manejó con éxito agentes que salían y reentraban en el cuadro.
  • Tasas de Alucinación: Para puntos de control bien entrenados, las tasas de fusión y división fueron insignificantes (<1% para los FOVs de 15 m y 20 m). Las métricas de "exclusión de límites" (excluyendo eventos cerca de los bordes del cuadro) mostraron tasas aún menores de aparición/desaparición artificial, lo que sugiere que el modelo aprende cambios de visibilidad de la escena real en lugar de generar agentes de la nada.
• Estadísticas a Nivel de Fotograma:
  • Las distribuciones de las áreas de la huella de los objetos, las distancias entre vehículos y el número de vehículos/semáforos en las escenas generadas coincidieron estrechamente con los datos reales en todos los FOVs.
  • Las escenas generadas mantuvieron distancias de seguridad apropiadas entre agentes.
• Dinámica:
  • Las distribuciones de velocidades relativas y aceleraciones (incluyendo el análisis de escala logarítmica) se alinearon con precisión con los datos reales.
  • Las distribuciones de Tiempo de Colisión (TTC) indicaron que las trayectorias generadas eran estadísticamente tan seguras como las reales, sin un aumento en los eventos de bajo TTC (alto riesgo).
• Interacción con Semáforos:
  • Los vehículos en las escenas generadas redujeron la velocidad/se detuvieron correctamente ante luces rojas y cruzaron luces verdes, con distribuciones de velocidad que coinciden con las observaciones del mundo real.
• Eficiencia:
  • El tiempo de inferencia fue de aproximadamente 20 ms para una escena de 15 segundos, escalando linealmente con la longitud de la secuencia (alcanzando 150 ms para una escena de 2 minutos). Este rendimiento se considera competitivo para tareas de tiempo real posteriores.

Significancia y Reivindicaciones

El artículo afirma que las GANs basadas en video siguen siendo un enfoque eficiente y escalable para la generación de trayectorias realistas, incluso cuando se extienden a escenas de tráfico sustancialmente más grandes (hasta un FOV longitudinal de 25 m).

• Escalabilidad: El marco se generaliza a escenas más grandes y complejas manteniendo trayectorias estadísticamente realistas y relaciones espaciales coherentes.
• Practicidad: Con tiempos de inferencia inferiores a 20 ms para escenas de hasta 20 segundos, el método es adecuado para tareas posteriores de conducción automatizada como la predicción, la planificación y la simulación, donde la latencia computacional es una restricción.
• Validez de la Generación Visual: Los resultados respaldan la hipótesis de que aprender la dinámica del tráfico a través de la generación de video semántico puramente visual (sin reglas o condiciones explícitas) es una estrategia viable para capturar interacciones multi-agente complejas y dependencias de largo alcance.

Los autores concluyen que, si bien los FOVs más grandes introducen una varianza estadística ligeramente mayor (por ejemplo, en las métricas de permanencia de objetos), el sistema en general demuestra robustez, lo que lo convierte en un fuerte candidato para generar escenarios de tráfico diversos y seguros para sistemas de conducción automatizada.