Resumen Técnico: Una Interfaz de Control Basada en Grafos para Semáforos en Redes Viales Heterogéneas

Planteamiento del Problema

El control de señales de tráfico se enfrenta a un desafío fundamental de generalización: los espacios de acción son inherentemente locales y heterogéneos. Una intersección de tres brazos, una intersección estándar de cuatro brazos y una unión compleja con giros protegidos poseen diferentes números de fases y significados semánticos distintos para dichas fases. En consecuencia, las cabezas de redes neuronales de salida fija (por ejemplo, "Fase 2") carecen de semántica reutilizable entre diferentes redes viales. Los enfoques estándar que rellenan (padding) los espacios de acción para alcanzar un tamaño uniforme alteran las dimensiones de los tensores sin establecer un significado compartido, mientras que los métodos aprendidos existentes suelen tener dificultades para desacoplar la puntuación de los movimientos de tráfico de la construcción de los espacios de acción específicos de cada intersección.

Metodología

El artículo propone una interfaz de control que separa estrictamente la puntuación aprendida de los movimientos de tráfico de la construcción determinista de los espacios de acción locales.

1. Objetos de Control y Representación

• Movimientos: Definidos como rutas legales y controladas desde un corredor vial entrante hacia un corredor vial saliente (incluyendo el tránsito recto y los giros).
• LaneGroups (Grupos de Carriles): Los segmentos de carretera dirigidos consecutivos se agrupan en LaneGroups cuando la continuación sin semáforo es inequívoca. Las direcciones opuestas permanecen separadas debido a las diferencias en la dinámica de colas y velocidad.
• Fases: Una fase es un conjunto compatible de movimientos que pueden recibir una señal verde simultáneamente. El controlador selecciona una fase por intersección en lugar de controlar lámparas individuales.

2. Arquitectura de Red Neuronal de Grafos (GNN)

El sistema emplea una GNN compartida y tipada que opera sobre un grafo a nivel de ciudad que contiene nodos de LaneGroup y de Movement.

• Paso de Mensajes: La arquitectura utiliza el paso de mensajes tipado con cuatro relaciones dirigidas: $L_{in} \to M$, $L_{out} \to M$, $M \to L_{in}$, y $M \to L_{out}$.
• Agregación: Utiliza agregación de media tipada (en lugar de atención) para producir embeddings.
• Puntuación: Tras dos bloques de paso de mensajes, un Perceptrón Multicapa (MLP) mapea el embedding final del movimiento ($h^{(2)}_m$) a una puntuación escalar única ($s_m$).
• Compartición de Parámetros: Las formas de los parámetros dependen únicamente de las dimensiones de las características y de las dimensiones ocultas, lo que las hace independientes del tamaño del grafo o del número de acciones.

3. Construcción Determinista del Espacio de Acción

La interfaz impone un "límite estrecho" donde el aprendizaje se detiene en la puntuación de movimientos, y un código determinista se encarga del resto:

• Matriz de Incidencia ($A_j$): Para cada intersección $j$, una matriz de incidencia precomputada y determinista mapea las puntuaciones de los movimientos a los logits de las fases. La matriz $A_j \in \{0, 1\}^{|P_j| \times |M_j|}$ indica qué movimientos son habilitados por qué fases.
• Logits de Fase: El logit de una fase $p$ se calcula como la suma de las puntuaciones de sus movimientos habilitados: $\ell_{j,p} = \sum_{m \in M_j} A_{j,p,m} s_m$.
• Construcción Offline: Las fases se generan fuera de línea utilizando la enumeración de Bron–Kerbosch para encontrar conjuntos de movimientos máximos compatibles basados en los datos de conflicto de SUMO.
• Ejecución Online: Una máscara de disponibilidad impone tiempos mínimos de luz verde, y un muestreo categórico selecciona una fase basada en los logits.

4. Protocolo de Entrenamiento

• Algoritmo: Se utiliza la Optimización de Política de Proximidad (PPO) para optimizar la política completa.
• Función de Recompensa: Se asigna una recompensa local y adimensional por intersección, combinando términos de progreso (densidad normalizada por velocidad), descarga (vehículos saliendo), frenado (deceleración) y congestión (gridlock, déficit de velocidad).
• Ejecución: La política opera sobre grafos de estado de tamaño variable. Para el procesamiento por lotes (batching), se agrupan las intersecciones con dimensiones locales coincidentes, evitando el relleno (padding) hacia un tamaño de grafo universal.

Contribuciones Clave

1. Desacoplamiento Estructural: La principal contribución es la interfaz arquitectónica que separa una GNN compartida y reutilizable para la puntuación de movimientos de la construcción determinista y específica de cada intersección de los espacios de acción. Esto permite manejar tamaños de grafo variables y conteos de acciones variables sin necesidad de reentrenar o alterar la topología de la red.
2. Evaluación de Viabilidad: El artículo proporciona evidencia empírica de la capacidad de esta interfaz para ejecutarse en redes viales heterogéneas, incluyendo geometrías de rejilla sintéticas no vistas y cinco grafos de ciudades distintas (Karlsruhe, Mannheim, Stuttgart, Heidelberg, Freiburg).
3. Límite Transparente: A diferencia de trabajos previos (por ejemplo, TransferLight) que aprenden jerarquías complejas y semánticas de fase, este enfoque mantiene un límite transparente donde la pertenencia a la fase y el tiempo de duración permanecen deterministas, y el actor aprendido solo emite un escalar por movimiento.

Resultados Experimentales

La evaluación aborda tres preguntas de investigación (RQ):

• RQ1 (Transferencia dentro de una familia sintética): En tamaños de rejilla no vistos (por ejemplo, $6 \times 6$) y relaciones de aspecto generadas por el mismo generador sintético, la política aprendida muestreada superó al baseline de Max-Pressure tanto en el rendimiento (throughput) como en las tasas de finalización en todos los niveles de demanda (0.6, 0.7, 0.8).
• RQ2 (Cambio de Distribución): Cuando se redujo la cobertura de señalización (50% y 25%), la política entrenada con cobertura total mostró un deterioro significativo del rendimiento en comparación con Max-Pressure. Esto indica sensibilidad a los cambios de distribución en la cobertura de señales, a pesar de que la arquitectura sigue siendo estructuralmente ejecutable.
• RQ3 (Viabilidad en Ciudades): Una única instancia de la política entrenada se ejecutó en cinco grafos de ciudades heterogéneas. Los resultados fueron mixtos:
  • Karlsruhe y Stuttgart: La política aprendida superó a todos los baselines no aprendidos (Max-Pressure, Queue, Fixed Time) en rendimiento y finalización.
  • Mannheim: Se situó por detrás del baseline de Queue.
  • Heidelberg: Tuvo un desempeño similar a Fixed Time.
  • Freiburg: Logró un mayor rendimiento y finalización que Fixed Time, pero a costa de una mayor densidad de espera.
  • Nota: Stuttgart sirvió como la única prueba real de generalización (sin ejecuciones de entrenamiento), mientras que las otras demostraron la ejecución a través de dominios de entrenamiento heterogéneos.

Significado y Reivindicaciones

El artículo enmarca explícitamente su contribución como evidencia de viabilidad más que como una garantía general de transferencia a redes viales arbitrarias.

• Alcance Modesto: Los autores afirman que los resultados no establecen una transferencia general a través de redes viales arbitrarias. La evaluación está limitada a familias específicas de simulaciones sintéticas y de ciudades.
• Estructural vs. Empírico: El artículo distingue entre la propiedad estructural (la capacidad de ejecutarse en grafos variables, que se demuestra por construcción) y la robustez empírica (que se muestra sensible a los cambios de distribución, como los cambios en la cobertura de señales).
• Enfoque de Implementación: El trabajo evalúa una implementación e interfaz arquitectónica en lugar de proponer un nuevo algoritmo de aprendizaje por refuerzo. Destaca que, si bien la interfaz soporta dimensiones variables, el rendimiento aprendido no es invariante a los cambios en la distribución del controlador o en la topología de la red subyacente.

En conclusión, el artículo demuestra que una interfaz basada en grafos puede desacoplar con éxito la puntuación de movimientos aprendida de la lógica local de la señal, permitiendo la ejecución en diversas geometrías de red no vistas. Sin embargo, también revela que la ejecutabilidad estructural no garantiza automáticamente un rendimiento robusto bajo cambios de distribución o en todos los entornos de ciudades heterogéneas sin un ajuste o adaptación adicionales.