Traffic Co-Simulation Framework Empowered by Infrastructure Camera Sensing and Reinforcement Learning

Resumen Técnico: Marco de Co-simulación de Tráfico Potenciado por Detección de Cámaras de Infraestructura y Aprendizaje por Refuerzo

Planteamiento del Problema
La congestión vehicular sigue siendo un desafío urbano crítico, lo que requiere estrategias de Control de Semáforos de Tráfico (TSC) avanzadas que vayan más allá de los sistemas tradicionales de tiempo fijo o accionados. Si bien el Aprendizaje por Refuerzo Multi-Agente (MARL) ofrece un potencial prometedor para el control de señales adaptativo, los estudios de simulación existentes suelen depender de datos de detección de vehículos "perfectos", pasando por alto las limitaciones del mundo real, tales como la fiabilidad de los sensores, la disponibilidad de infraestructura y el ruido inherente a los sistemas de visión computarizada. Además, los simuladores de tráfico estándar como SUMO carecen de los datos sintéticos de sensores de alta fidelidad necesarios para probar de manera realista las estrategias de control basadas en visión. Existe una brecha en los marcos que integran la detección por cámara a nivel de suelo con la simulación de tráfico de red a gran escala para evaluar la robustez de los agentes MARL bajo condiciones de detección imperfectas.

Metodología
El estudio propone un marco de co-simulación que integra CARLA (para un entorno 3D de alta fidelidad y simulación de sensores) y SUMO (para flujo de tráfico microscópico y control de señales).

1. Arquitectura del Marco:

   • Entorno: El marco utiliza el mapa "Town04" de CARLA, que cuenta con una cuadrícula de centro urbano con 12 intersecciones.
   • Detección (Sensing): Se generan programáticamente cámaras RGB virtuales en los postes de los semáforos dentro de CARLA. El sistema calcula automáticamente los ángulos de guiñada (yaw) y cabeceo (pitch) de la cámara basándose en las coordenadas de las líneas de parada de los carriles en SUMO para asegurar una alineación adecuada.
   • Detección de Objetos: Un sistema de visión computarizada basado en YOLO (específicamente YOLOv5 y YOLOv8) procesa las imágenes de la cámara para detectar y contar vehículos en los carriles de aproximación. Para gestionar la carga computacional, el sistema procesa imágenes en lotes cada 5 segundos (cada 100 ticks de simulación).
   • Traducción de Estado: Un módulo personalizado traduce los datos de detección visual bruta (conteos de vehículos) en los vectores de estado estructurados (ocupación de carril y longitud de cola) requeridos por los agentes MARL. Esto cierra la breancia entre los datos de imagen bruta y el formato de entrada de Q-learning.

2. Aprendizaje por Refuerzo:

   • Agentes: Agentes de Q-learning multi-agente son entrenados para controlar señales de tráfico individuales. Cada agente opera de forma independiente sin comunicación entre agentes.
   • Espacio de Estados: Definido por el índice de fase actual, el estado de tiempo mínimo de verde y vectores de ocupación de carril y longitud de cola.
   • Espacio de Acciones: La selección del siguiente índice de fase verde.
   • Funciones de Recompensa: Se probaron cuatro estructuras de recompensa distintas para entrenar a los agentes:
     1. Diferencia en tiempos de espera.
     2. Velocidad promedio de los vehículos cerca de la intersección.
     3. Longitud de cola negativa.
     4. Presión (diferencia entre vehículos saliendo y aproximándose).

3. Configuración Experimental:

   • Los agentes fueron entrenados en SUMO utilizando datos de verdad de terreno (ground-truth) y luego desplegados en la co-simulación CARLA-SUMO.
   • Los experimentos se realizaron bajo escenarios de demanda de tráfico media y pesada.
   • El rendimiento se evaluó comparando los agentes MARL utilizando detección basada en cámaras contra el tiempo estático, el control accionado y los agentes utilizando observaciones de verdad de terreno.

Contribuciones Clave

• Marco de Co-simulación Novedoso: El estudio presenta el primer marco que modela y evalúa explícitamente una red de cámaras montadas en infraestructura para el TSC basado en MARL, integrando renderizado 3D de alta fidelidad (CARLA) con flujo de tráfico a gran escala (SUMO).
• Despliegue Automatizado de Cámaras: Una contribución técnica consiste en el despliegue automatizado de cámaras virtuales en postes de tráfico y el cálculo de su orientación (guiñada/cabeceo) basándose en las coordenadas de las líneas de parada de los carriles, permitiendo un despliegue escalable a través de redes complejas sin configuración manual.
• Evaluación de Robustez: El marco evalúa explícitamente la robustez de MARL frente a la detección imperfecta. Compara el rendimiento de YOLOv5 y YOLOv8 y analiza cómo los errores de detección (falsos positivos/negativos) impactan a los agentes entrenados con diferentes funciones de recompensa.
• Traducción de Visión a Estado: El desarrollo de un módulo de traducción que convierte los conteos de detección visual bruta en las métricas específicas de ocupación y longitud de cola requeridas por los agentes de Q-learning pre-entrenados.

Resultados

• Mejora de Rendimiento: Los agentes MARL superaron significativamente a los métodos de tiempo estático y control accionado en la reducción del tiempo total de viaje y los tiempos de espera promedio, particularmente cuando se utilizó la función de recompensa de velocidad promedio.
• Impacto de la Precisión de Detección: Aunque una mayor precisión de detección (YOLOv8 vs. YOLOv5) mejoró el rendimiento del sistema, el estudio encontró que los agentes MARL aún pueden lograr mejoras significativas incluso con una detección imperfecta.
• Sensibilidad de la Función de Recompensa:
  • Los agentes entrenados con recompensas de velocidad promedio demostraron la mayor robustez al ruido de detección, mostrando una caída de rendimiento de menos del 10% en comparación con los escenarios de verdad de terreno en tráfico medio.
  • Los agentes entrenados con longitud de cola y recompensas de presión fueron altamente sensibles a los errores de detección. En tráfico pesado, el agente de longitud de cola no logró aprender eficazmente porque observaba consistentemente "colas llenas" debido al retroceso (spillback) fuera del campo de visión de la cámara, lo que llevó a una selección de fase subóptima.
• Compromisos Computacionales: Aunque YOLOv8 ofreció una mejor precisión (menor Error Absoluto Medio), duplicó el tiempo de ejecución (wall-clock time) de la simulación respecto al tiempo real, resaltando un compromiso entre la fidelidad de detección y la velocidad de simulación.

Significancia y Reivindicaciones
El artículo sostiene que este trabajo representa un paso crítico hacia el despliegue práctico del aprendizaje por refuerza asistido por infraestructura para vehículos automatizados. Al demostrar que el control impulsado por visión sigue siendo efectivo a pesar de la detección imperfecta, el estudio aborda una barrera importante para la implementación en el mundo real. El marco sirve como un banco de pruebas virtual para evaluar estrategias de control bajo condiciones realistas (clima, iluminación, ruido del sensor) que son difíciles de replicar en entornos de un solo simulador.

Los autores posicionan este enfoque de co-simulación como un paso fundacional hacia las tecnologías de Gemelo Digital (Digital Twin) para el tráfico urbano. Argumentan que tales marcos son esenciales para entrenar algoritmos de control robustos que puedan manejar datos ruidosos y variabilidad de la infraestructura antes de su despliegue. El estudio concluye que, si bien la precisión de la detección es beneficiosa, la elección de la función de recompensa es primordial para garantizar la robustez del sistema ante las limitaciones de detección del mundo real.