Human-Centric Traffic Signal Control for Equity: A Multi-Agent Action Branching Deep Reinforcement Learning Approach

Resumen Técnico: Control de Semáforos Centrado en el Humano para la Equidad

Planteamiento del Problema
La coordinación de señales de tráfico a lo largo de corredores multimodales presenta desafíos significativos. Los enfoques actuales de Aprendizaje por Refuerzo Profundo Multi-Agente (DRL) son predominantemente centrados en el vehículo, descuidando a menudo a peatones, ciclistas y pasajeros del transporte público. Además, estos métodos tienen dificultades con los espacios de acción discretos de alta dimensión inherentes a la coordinación de múltiples intersecciones. Los sistemas adaptativos tradicionales (por ejemplo, SCATS, SCOOT) a menudo requieren un ajuste manual y no logran acomodar adecuadamente a los usuarios no motorizados. El problema central abordado es la falta de un marco escalable y centrado en el humano que optimice explícitamente la equidad a nivel de viajero (equidad entre todos los modos de transporte) mientras gestiona eficazmente la complejidad de los espacios de acción discretos en un entorno multi-agente.

Metodología: MA2B-DDQN
Los autores proponen MA2B-DDQN (Red de Q-Learning Profundo Doble con Ramificación de Acciones Multi-Agente), un marco de DRL cooperativo multi-agente diseñado para redes de corredores de escala media. La metodología se basa en cinco componentes clave:

1. Entorno y Representación del Estado:

   • La simulación utiliza PTV VISSIM modelando un corredor del mundo real en Melbourne, Australia, que cuenta con tres intersecciones con tráfico mixto (automóviles, autobuses, peatones).
   • El vector de estado $S_t$ combina tres elementos: condiciones de tráfico (ocupación vehicular, velocidad, aceleración y recuento de pasajeros por celda de carril), información de peatones (recuento de espera por zona) y fases de señal actuales (codificadas mediante one-hot encoding).

2. Arquitectura de Ramificación de Acciones (Action Branching):

   • Para abordar la "maldición de la dimensionalidad" en espacios multi-agente discretos, el espacio de acción se descompone en $n+1$ dimensiones (donde $n$ es el número de intersecciones).
   • Acciones Locales ($n$ dimensiones): Cada agente determina de forma independiente la proporción de asignación del tiempo en verde ($p_{i,1}$) entre las dos fases siguientes.
   • Acción Global (1 dimensión): Una única acción global selecciona la duración total ($C$) de las dos fases siguientes para todo el corredor.
   • Esta descomposición permite al modelo manejar decisiones discretas (selección de fase y duración) de manera más eficiente que el DRL de acción conjunta estándar.

3. Mecanismo de Recompensa Centrado en el Humano:

   • A diferencia de las recompensas tradicionales basadas en la longitud de la cola de vehículos o el rendimiento (throughput), la función de recompensa penaliza el número total de personas retrasadas.
   • Agrega los retrasos de peatones, ocupantes de vehículos y pasajeros de tránsito. Un retraso se activa cuando la velocidad del vehículo cae por debajo de un umbral (5 km/h) o cuando los peatones esperan en las zonas de cruce.
   • La recompensa se formula como $r_t = -(w_{veh} \sum N^{veh}_{i,t} + w_{ped} \sum N^{ped}_{j,t})$, priorizando la reducción de los viajeros impactados en lugar de solo el flujo vehicular.

4. Arquitectura de Red:

   • El modelo emplea un marco de Double DQN (DDQN) para mitigar la sobreestimación de los valores Q.
   • La red utiliza un extractor de características compartido (dos capas densas con ReLU y Normalización de Capa) que alimenta $n+1$ cabezales de salida paralelos (uno por cada dimensión de acción).
   • Las acciones se seleccionan mediante $\arg\max$ sobre los valores Q de cada rama.

5. Algoritmo de Aprendizaje:

   • El sistema utiliza Entrenamiento Centralizado con Ejecución Descentralizada (CTDE). Los agentes comparten información global durante el entrenamiento para actualizar las políticas, pero ejecutan las acciones de forma local.
   • La función de pérdida es el promedio de las pérdidas en todas las $n+1$ dimensiones de acción, optimizada mediante el optimizador Adam.

Contribuciones Clave

1. Equidad Centrada en el Humano: El estudio introduce un enfoque de TSC prospectivo que trata por igual a todos los participantes de la red de transporte (ocupantes de vehículos privados, pasajeros de transporte público, ciclistas y peatones), optimizando explícitamente la reducción de individuos retrasados.
2. Marco Multi-Agente Cooperativo: Los autores presentan un marco que determina adaptativamente una acción global (duración de la fase total) utilizando información compartida, mientras optimiza simultáneamente los tiempos de señal locales (divisiones de tiempo en verde) mediante agentes individuales.
3. Ramificación de Acciones para DRL Multi-Agente: Es la primera aplicación de una arquitectura de ramificación de acciones al TSC multi-agente. Maneja eficazmente el espacio de acción discreto y el entorno multi-agente mediante la descomposición del problema de control, reduciendo así la complejidad de la toma de decisiones conjunta.

Resultados Experimentales
El modelo fue evaluado a través de siete escenarios de tráfico realistas en Melbourne, que van desde horas valle y hora punta hasta periodos escolares y condiciones de saturación cercana. Se comparó con nueve modelos de referencia (baselines), incluyendo señales de tiempo fijo (Fórmula de Webster, Onda Verde) y varios modelos de DRL (MADQN, MADDQN, MADDPG, CMRM, MASAC, MAA2C, MA2B-DQN).

• Rendimiento: MA2B-DDQN logró consistentemente el menor Retraso Individual Agregado (AID) y el Retraso Per Cápita (PCD) en todos los escenarios.
  • En el Escenario 1 (hora valle), redujo el AID en un 36.75% en comparación con el mejor modelo de referencia de tiempo fijo y un 11.94% en comparación con el mejor modelo de referencia de DRL (MAA2C).
  • En el Escenario 2 (hora punta), mejoró el rendimiento en un 11.73% respecto al siguiente mejor modelo de DRL.
  • En el Escenario 4 (tarde escolar), logró una mejora del 35.24% sobre MASAC.
• Robustez: El modelo demostró la desviación estándar más baja en las métricas de rendimiento a través de pruebas repetidas, lo que indica una alta estabilidad en comparación con modelos como MADDPG, que mostraron una alta varianza.
• Estudios de Ablación:
  • Eliminar el mecanismo de ramificación de acciones degradó significamente el rendimiento (por ejemplo, un aumento del 16.09% en el AID en el Escenario 1), confirmando su papel crítico en la eficiencia del aprendizaje.
  • Incorporar la arquitectura Double DQN (DDQN) mejoró el rendimiento entre un 2.93% y un 16.40% respecto al DQN estándar, dependiendo del escenario, validando la mitigación de la sobreestimación.
• Compromisos (Trade-offs): Aunque MA2B-DDQN destacó en la equidad general y el flujo vehicular, algunos modelos de referencia (por ejemplo, CMRM, MASAC) ocasionalmente lograron retrasos específicos de peatones (APDS/AWTP) más bajos a costa de retrasos vehiculares significativamente mayores. MA2B-DDQN mantuvo una optimización más equilibrada entre los modos.

Significancia y Reivindicaciones
El artículo afirma que MA2B-DDQN proporciona una solución escalable y robusta para el control de señales de tráfico multimodal que aborda explícitamente la equidad. Su significancia radica en:

• Cambiar el paradigma de la optimización centrada en el vehículo hacia la equidad a nivel de individuo, asegurando el acceso justo para todos los usuarios de la vía independientemente de su modo de viaje.
• Demostrar que la ramificación de acciones es una estrategia viable y efectiva para manejar espacios de acción discretos de alta dimensión en entornos multi-agente, superando tanto a los controles de tiempo fijo tradicionales como a otros métodos de DRL de vanguardia.
• Ofrecer un marco práctico adaptable a diversas condiciones urbanas, validado en un corredor del mundo real con datos de tráfico multimodal realistas.

Los autores concluyen que, si bien el DRL generalmente supera a los métodos de tiempo fijo, la combinación específica de ramificación de acciones, DDQN y recompensas centradas en el humano es necesaria para lograr tanto una alta eficiencia como equidad en redes multimodales complejas. Señalan que en condiciones de saturación cercana, la capacidad física de los carriles se convierte en el factor limitante, pero su método mantiene un rendimiento superior respecto a los modelos de referencia.