VissimRL: A Multi-Agent Reinforcement Learning Framework for Traffic Signal Control Based on Vissim

Resumen Técnico: VissimRL: Un marco de aprendizaje por refuerzo multiagente para el control de señales de tráfico basado en Vissim

Planteamiento del Problema
La congestión del tráfico plantea desafíos económicos y ambientales significativos, lo que requiere un Control de Señales de Tráfico (TSC, por sus siglas en inglés) efectivo. Si bien el Aprendizaje por Refuerzo (RL) ha demostrado potencial en el TSC adaptativo, su aplicación en simuladores industriales de alta fidelidad sigue siendo limitada. Las investigaciones existentes utilizan predominantemente simuladores de código abierto como SUMO y CityFlow debido a su accesibilidad y marcos de RL estandarizados (por ejemplo, SUMO-RL). Sin embargo, estas herramientas suelen depender de modelos de comportamiento de conducción basados en reglas que simplifican excesivamente la dinámica del tráfico, limitando su relevancia para la industria y las políticas públicas. Por el contrario, Vissim, un simulador de grado comercial ampliamente adoptado por agencias de transporte por su modelado de comportamiento de conducción de alta fidelidad y visualización 3D, está subutilizado en la investigación de RL. Esta brecha surge de la compleja interfaz del Modelo de Objetos de Componentes (COM) de Vissim y la ausencia de marcos de código abierto estandarizados para una integración fluida con RL.

Metodología
El artículo propone VissimRL, un marco de RL modular diseñado para cerrar la brecha entre las capacidades de simulación de alta fidelidad de Vissim y los algoritmos modernos de RL. La arquitectura consta de dos componentes principales:

1. Vissim Wrapper (Envoltorio de Vissim): Una encapsulación basada en Python de la interfaz COM de Vissim. Este módulo abstrae la complejidad de la interfaz API COM subyacente (que incluye miles de atributos y tipos de objetos) en una API de alto nivel y fácil de usar. Gestiona el control de la simulación, las operaciones de señalización y la evaluación del rendimiento. Crucialmente, el envoltorio emplea mecanismos orientados al rendimiento como el procesamiento por lotes (batching) y el almacenamiento en caché (caching) de consultas repetidas para minimizar la sobrecarga de las llamadas COM, manteniendo así una eficiencia de tiempo de ejecución comparable o incluso superior al uso directo de COM.
2. Marco de Entorno de RL: Este componente implementa interfaces estandarizadas compatibles con las APIs de Gymnasium (para agente único) y PettingZoo (para multiagente). Facilita la integración de bibliotecas de RL de uso principal (por ejemplo, Stable-Baselines3, RLlib). El marco adopta un diseño modular para los elementos centrales de RL:
   • Observación: Soporta representaciones de estado tanto locales (intersección única) como globales (multi-intersección), incluyendo características como la longitud de la cola, el estado de la fase, la densidad y los tiempos de espera.
   • Acción: Amplía las capacidades existentes mediante el soporte de tres tipos de acción distintos: Elegir la Siguiente Fase, Cambiar Siguiente o No Cambiar y Establecer la Duración de la Fase.
   • Recompensa: Calcula recompensas de objetivos múltiples ponderadas basadas en métricas como el tiempo de espera interno/perimetral, el retraso, el rendimiento (throughput) y el tiempo de viaje.

El marco permite tanto el entrenamiento de agente único como el de multiagente, permitiendo que los agentes aprendan estrategias coordinadas en entornos complejos de alta fidelidad sin requerir "código de unión" adicional.

Contribuciones Clave

• Primer Marco de RL Multiagente para Vissim: VissimRL se presenta como el primer marco diseñado específicamente para Vissim que soporta RL multiagente, habilitando la investigación en entornos de simulación de tráfico de alta fidelidad que anteriormente eran inaccesibles para la comunidad de RL.
• Arquitectura Estandarizada y Modular: El marco proporciona interfaces de herencia estandarizadas para estados, acciones y recompensas, reduciendo significativamente la barrera de entrada para los investigadores. Amplía las métricas de rendimiento soportadas de seis (en SUMO-RL) a once e introduce tres tipos de acción distintos.
• Optimización de la Eficiencia: Mediante la implementación de procesamiento por lotes y almacenamiento en caché dentro del Vissim Wrapper, el marco reduce el número de llamadas a la API COM hasta en un 21%, lo que resulta en una menor latencia y un mayor rendimiento en comparación con las implementaciones de COM puro.
• Eficiencia de Desarrollo: El envoltorio reduce el esfuerzo de desarrollo requerido para implementar tareas de control equivalentes en aproximadamente un 84.5% (reduciendo las líneas de código fuente de 207 a 32) en comparación con la implementación manual de COM.

Resultos Experimentales
Los autores evaluaron VissimRL a través de dos niveles de evaluación:

1. Rendimiento del Wrapper: Las comparativas entre el Wrapper y el COM puro a través de tres cargas de trabajo (Solo paso, Paso+Control de Señal, Paso+Señal+Evaluación) demostraron que el Wrapper introduce una sobrecarga insignificante (4% de aumento) en tareas simples de paso, pero en realidad mejora el rendimiento (de 6.8% a 12.3% menos de latencia) en tareas interactivas debido a la reducción de la frecuencia de llamadas a la API.
2. Efectividad del RL: Se realizaron experimentos en redes sintéticas (Intersección Única y Arterial-3) y en un escenario del mundo real (Intercambiador de Dayuan en Taoyuan, Taiwán) utilizando el algoritmo de Optimización de Política Próxima (PPO).
   • Convergencia: Los tres diseños de acción mostraron una convergencia consistente y una mejora rápida en el retraso, el tiempo de viaje y el tiempo de espera en los escenarios de intersección única y multi-intersección.
   • Coordinación Emergente: En el escenario multiagente de Arterial-3, el sistema aprendió con éxito el fenómeno de "Ola Verde", donde los agentes coordinan los desfases (offsets) de las señales para permitir que los vehículos pasen por múltiples intersecciones sin detenerse. Los desfases y las duraciones de fase aprendidos coincidieron estrechamente con los óptimos teóricos.
   • Aplicación en el Mundo Real: En el caso de estudio del Intercambiador de Dayuan, el control basado en PPO redujo el retraso promedio en un 63% (de 559.7s a 209.0s), el tiempo de viaje en un 56% y el tiempo de espera en un 38% en comparación con el control de tiempo fijo.

Significancia y Reivindicaciones
El artículo sostiene que VissimRL sirve como un puente crítico entre la investigación académica de RL y la simulación de tráfico práctica de grado industrial. Al encapsular las complejidades de la interfaz COM de Vissim manteniendo una alta eficiencia de tiempo de ejecución, el marco permite la aplicación de RL en entornos de alta fidelidad que reflejan mejor la dinámica del tráfico real. Los autores afirman que el marco demuestra la viabilidad de aplicar RL en tales simulaciones y respalda mejoras consistentes en el rendimiento del tráfico y la coordinación multiagente emergente. El trabajo se posiciona como una versión extendida de investigaciones previas, con la implementación disponible públicamente para fomentar la reproducibilidad y el desarrollo posterior en el control inteligente de señales de tráfico.