Resumen Técnico: Hacia Operaciones Ferroviarias Autónomas mediante Aprendizaje por Refuerzo Profudo Semi-Jerárquico

1. Formulación del Problema

El artículo aborda el Problema de Enrutamiento y Programación de Vehículos (VRSP) dentro de la gestión del tráfico ferroviario, centrándose específicamente en la reprogramación en tiempo real en respuesta a interrupciones como retrasos, fallos en los trenes o escasez de recursos. A medida que aumenta la densidad del tráfico y se estrechan los límites de la infraestructura, el problema exhibe una complejidad combinatoria exponencial, lo que dificulta que los métodos tradicionales de Investigación Operativa (IO) y los despachadores humanos lo resuelvan de manera fiable en tiempo real.

El desafío central identificado es la escalabilidad y adaptabilidad de las soluciones existentes en redes ferroviarias densas. Si bien el Aprendizaje por Refuerzo Multiagente (MARL) ofrece potencial para la toma de decisiones descentralizada, los enfoques actuales de RL monolíticos luchan con:

• El Problema de Exploración Difícil: Un desequilibrio severo entre acciones frecuentes y de bajo impacto (enrutamiento/movimiento) y decisiones raras y de alto impacto (despacho).
• Desequilibrio de Acciones: En escenarios densos, los agentes a menudo recurren por defecto a "NOOP" (esperar) o ajustes de enrutamiento locales, fallando en explorar estrategias de despacho óptimas.
• Límites de Escalabilidad: Las políticas monolíticas luchan por coordinar agentes eficazmente a medida que aumenta el número de trenes, lo que a menudo conduce a altas tasas de bloqueo o a un pobre aprovechamiento de los recursos.

El problema se modela como un Proceso de Decisión de Markov Parcialmente Observable (POMDP) donde los agentes (trenes) operan en un entorno compartido con información local limitada. El objetivo principal es maximizar la tasa de llegada de los trenes mientras se mantiene un sistema libre de bloqueos, en lugar de minimizar estrictamente el retraso total.

2. Metodología: Maze-Flatland

Para superar las limitaciones del RL monolítico, los autores proponen Maze-Flatland, un marco de Aprendizaje por Refuerzo Multiagente (MARL) semi-jerárquico. Este enfoque desacopla explícitamente el proceso de toma de decisiones en dos niveles coordinados y distintos:

A. Descomposición Jerárquica

A diferencia del RL jerárquico completo donde las subpolíticas pueden invocarse arbitrariamente, Maze-Flatland impone un ordenamiento temporal estricto:

1. Despacho (MADS - Programación de Salida Multiagente): Una política de alto nivel que decide cuándo un tren entra en la red. Opera en una escala temporal dispersa (una vez por tren) y utiliza métricas globales de la red (por ejemplo, ocupación total, predicciones de conflicto) para determinar si un tren debe ser despachado o retrasado.
2. Enrutamiento (MAPF - Búsqueda de Ruta Multiagente): Una política de bajo nivel que maneja cómo se mueve un tren una vez despachado. Opera en una escala temporal frecuente, tomando decisiones locales en los desvíos (Adelante, Izquierda, Derecha, Parar) para navegar la red y resolver conflictos.

B. Espacios de Observación y Acción

El marco utiliza espacios de observación y acción especializados para cada nivel para reducir la interferencia y mejorar la estabilidad del aprendizaje:

• Observaciones MADS: Combinan métricas globales (duración del episodio, ocupación del mapa) con análisis de conflictos. Los agentes comparan sus $k$-mejores rutas planificadas contra los trenes activos para calcular celdas superpuestas y distancias de choque potenciales.
• Observaciones MAPF: Utilizan una estructura refinada basada en árboles (TreeObsForRailEnv) donde las celdas hasta el siguiente Punto de Decisión (DP) se colapsan. Las rutas se codifican para distinguir entre la ruta más corta y las alternativas. Los agentes también observan el estado proyectado del primer agente encontrado en su ruta para facilitar la coordinación descentralizada.
• Enmascaramiento de Acciones: Un controlador de decisiones previene decisiones innecesarias (por ejemplo, omitir acciones de despacho antes de la hora programada de un tren o enmascarar movimientos de enrutamiento no viables).

C. Estrategia de Entrenamiento

Las políticas se entrenan independientemente utilizando un procedimiento iterativo de Clonación Conductual (BC) guiado por un planificador de Búsqueda de Árbol Monte Carlo (MCTS):

1. Entrenamiento MAPF: Se entrena primero utilizando un currículo que aumenta la complejidad de la red. La política se congela una vez que logra una tasa de éxito satisfactoria (por ejemplo, >50% de éxito con 15 trenes).
2. Entrenamiento MADS: Se inicializa utilizando un despachador heurístico simple para generar ejemplos de despacho seguros, y luego se refina utilizando despliegues de MCTS a través de diversas densidades de trenes (10, 20, 50 trenes) para mejorar la generalización.

3. Contribuciones Clave

El artículo afirma tres contribuciones principales:

1. Análisis de los Límites del RL: Un análisis detallado del comportamiento de los agentes en Flatland-RL, destacando el "Problema de Exploración Difícil" donde las políticas monolíticas no exploran adecuadamente las decisiones de despacho raras debido al dominio de las acciones de enrutamiento frecuentes.
2. Marco Semi-Jerárquico: La introducción de Maze-Flatland, un enfoque novedoso de RL de dos fases que separa el despacho y el enrutamiento en políticas distintas con espacios de observación y acción dedicados. Esta descomposición reduce la interferencia de tareas y equilibra la señal de aprendizaje.
3. Demostración de Escalabilidad: Evidencia empírica que muestra que esta arquitectura escala eficazmente con la densidad del tráfico, superando significativamente tanto a las líneas base heurísticas como a los métodos de RL monolíticos en términos de rendimiento y robustez.

4. Resultados Experimentales

El método se evaluó en el simulador Flatland-RL a través de cinco niveles de dificultad (de 7 a 80 trenes) y 50 semillas aleatorias. La evaluación utilizó una configuración de velocidad constante (velocidad=1) para maximizar la concurrencia y la congestión, creando un entorno más desafiante que los estudios anteriores que utilizaban velocidades fraccionarias.

Métricas de Rendimiento:

• Tasa de Éxito: Maze-Flatland mejoró sustancialmente el número de trenes que llegaron a sus destinos. En el escenario más difícil (80 trenes), logró aproximadamente el doble de la tasa de éxito de las líneas base heurísticas, con alrededor del 50% de los trenes llegando.
• Tasa de Bloqueo: El enfoque mantuvo una tasa de bloqueo inferior al 5% (promediando ≤4 trenes atascados por episodio), superando significativamente a las líneas base de RL codiciosas y monolíticas que sufrieron de frecuencias de bloqueo más altas.
• Compensaciones: Si bien el método exhibió una mayor tasa de cancelación (trenes no despachados debido a restricciones de tiempo) bajo carga extrema en comparación con algunas heurísticas, esto fue resultado del comportamiento conservador de la política MADS para evitar la saturación de la red. El sistema priorizó la estabilidad y la evitación de bloqueos sobre forzar la entrada de todos los trenes a la red.

Estudio de Ablación:
El estudio confirmó que ambos componentes son esenciales. Reemplazar MADS con un despachador codicioso condujo a más bloqueos, mientras que reemplazar MAPF con un enrutador codicioso provocó el colapso del rendimiento bajo congestión. El sistema semi-jerárquico completo proporcionó la mejor compensación entre rendimiento y estabilidad.

5. Significado y Afirmaciones

El artículo posiciona a Maze-Flatland como un paso significativo hacia las operaciones ferroviarias autónomas al abordar las limitaciones estructurales específicas de aplicar el RL estándar al despacho ferroviario.

• Alineación Operativa: La arquitectura refleja las operaciones ferroviarias del mundo real donde el despacho (programación de entrada) y el enrutamiento (seguimiento de ruta) son funciones distintas, a menudo manejadas por diferentes sistemas o personal.
• Robustez: El marco demuestra que separar los ámbitos de decisión permite que las políticas se especialicen, lo que lleva a una coordinación más robusta en entornos densos y dinámicos donde los métodos tradicionales de IO luchan con las restricciones de tiempo real y el RL monolítico falla al escalar.
• Futuras Direcciones: Los autores notan modestamente que el trabajo futuro se centrará en optimizar para velocidades fraccionarias de trenes (dinámica variable) y explorar la optimización multiobjetivo para minimizar conjuntamente los retrasos junto con la maximización del rendimiento y el aprovechamiento de los recursos, acercando el marco a los requisitos complejos de las redes ferroviarias del mundo real.

El trabajo está respaldado por el proyecto AI4REALNET, financiado por el programa Horizonte Europa de la Unión Europea.