DRL-Based Ramp Metering at Freeway Bottlenecks: Performance Evaluation and AV Penetration Threshold for Control Phase-Out

Resumen Técnico: Control de Rampas Basado en DRL en Cuellos de Botella en Autopistas

Planteamiento del Problema
La eficiencia operativa de las autopistas se ve frecuentemente comprometida por cuellos de botella compuestos donde las restricciones de infraestructura aguas arriba (específicamente segmentos de puentes con límites de velocidad restringidos) interactúan con la turbulencia de fusión de rampas de acceso aguas abajo. Los controladores de control de rampas tradicionales basados en retroalimentación, como el PI-ALINEA, dependen de mediciones locales y reactivas, y a menudo tienen dificultades para gestionar las complejas ondas de choque en cascada generadas por estas condiciones compuestas. Además, los enfoques actuales de Aprendizaje por Refuerzo Profundo (DRL) para el control de rampas suelen utilizar arquitecturas de un solo componente (por ejemplo, DQN o PPO estándar) y dependen de funciones de recompensa que requieren el ajuste manual de hiperparámetros. Existe una brecha crítica en la comprensión de cómo evoluciona la necesidad operativa del control centralizado de rampas a medida que aumenta la penetración en el mercado de Vehículos Automatizados (AV), específicamente en cuanto a cuándo el comportamiento descentralizado de los AV podría volver redundante el control centralizado.

Metodología
El estudio propone un nuevo marco de gestión de tráfico evaluado mediante simulaciones de tráfico microscópico en SUMO.

• Configuración de la Red: La simulación modela un corredor de autopista de 9.1 km que presenta un segmento de puente de 60 m con velocidades variables (40, 50, 60 y 70 km/h) y una zona de fusión de rampa de acceso aguas abajo.
• Controlador Propuesto (Rainbow DRL): Los autores desarrollaron un agente de control de rampas basado en la arquitectura Rainbow, que unifica seis avances de aprendizaje basados en valores en un solo marco:
  1. Double Q-learning (para mitigar el sesgo de sobreestimación).
  2. Arquitectura de red Dueling (separando la estimación del valor del estado y la ventaja de la acción).
  3. Replay de experiencia priorizado (muestreo de transiciones con alto error).
  4. Bootstrapping de pasos múltiples (para acelerar la propagación de la recompensa).
  5. NoisyNet exploration (incorporando estocasticidad en los parámetros de la red).
  6. Aprendizaje de distribución categórica (C51) (modelando distribuciones de retorno en lugar de valores escalares).
  • Espacio de Estados: Un vector de 18 dimensiones que comprende densidad y flujo de salida normalizados para 7 segmentos de la vía principal y 1 segmento de rampa, además de la longitud de la cola de la rampa normalizada y la acción previa.
  • Espacio de Acciones: Tasas de control de rampa discretas que van desde 163 hasta 1800 veh/h.
  • Función de Recompensa: Construida utilizando la relación velocidad-densidad macroscópica de Papageorgiou. La recompensa es binaria basada en un umbral de velocidad crítica ($v_{cr}$): -1 si la velocidad promedio cae por debajo de $v_{cr}$ (congestionado), y una función de la longitud de la cola de la rampa normalizada si está por encima de $v_{cr}$ (flujo libre). Esto elimina la necesidad de un ajuste manual de pesos entre la velocidad y las métricas de cola.
• Modelado de Tráfico Mixto: Los vehículos conducidos por humanos (HDV) y los AV se modelan utilizando el Modelo de Conductor Inteligente (IDM). Los AV se calibran con intervalos de tiempo entre vehículos más cortos (0.60 s frente a 1.22 s) y tiempos de respuesta más rápidos basados en los conjuntos de datos de Waymo y OpenACC.
• Diseño Experimental: El estudio evalúa el controlador Rainbow frente a cuatro líneas base: un D3QN (Dueling Double DQN), PI-ALINEA, control de tiempo fijo y un escenario sin control. Las simulaciones varían los límites de velocidad del puente y las Tasas de Penetración de Mercado (MPR) de AV del 0% al 100%.

Contribuciones Clave

1. Marco Unificado Rainbow: Esta es la primera aplicación de un aprendiz de distribución de valores Rainbow totalmente integrado al problema compuesto de control de puentes y rampas. El estudio identifica un "horizonte de pasos múltiples adaptativo al puente" como una sensibilidad crítica, demostrando que el horizonte $n$-pasos óptimo varía sistemáticamente con la severidad del puente (por ejemplo, $n=5$ para 40 km/h frente a $n=20$ para 60 km/h).
2. Diseño de Recompensa Automatizado: El uso del umbral de velocidad crítica de Papageorgiou para la formulación de la recompensa elimina la dependencia del ajuste manual de coeficientes de ponderación entre el rendimiento de la vía principal y las colas de la rampa.
3. Análisis de Umbral de Penetración de AV: El estudio evalúa sistemáticamente la interacción entre las restricciones de infraestructura, la penetración de AV y el control de rampas, identificando los regímenes específicos de composición de tráfico donde el control centralizado es esencial frente a cuando es redundante.

Resultos

• Desempeño bajo Condiciones de Vehículos Conducidos por Humanos: En escenarios de puro HDV (0% de MPR), el controlador Rainbow propuesto supera consistentemente a todas las líneas base. Logra una recuperación de velocidad en la red superior, un menor consumo de combustible y una gestión de colas significativamente mejor. Por ejemplo, en el límite de puente más restrictivo de 40 km/h, Rainbow mantuvo una cola de rampa promedio de 9.90 m en comparación con los 60.08 m de PI-ALINEA y los 125.15 m del control de tiempo fijo. Los mecanismos de aprendizaje de distribución y de pasos múltiples permitieron a Rainbow anticipar mejor los efectos de congestión retardados en comparación con la línea base D3QN.
• Impacto de la Penetación de AV: A medida que la penetración de AV aumenta, la necesidad de un control de rampa centralizado disminuye.
  • Al 0% de MPR, severas ondas de choque en cascada paralizan el corredor sin control.
  • Al 40% de MPR, el comportamiento de seguimiento de vehículos descentralizado de los AV absorbe la turbulencia de fusión y amortigua las ondas de choque que se propagan hacia atrás, eliminando en gran medida la congestión severa incluso sin control de rampa.
  • Al 100% de MPR, el cuello de botella compuesto se disuelve por completo; la red opera en condiciones de flujo casi libre con velocidades que aumentan de 65.49 km/h (0% de MPR) a 83.94 km/h (100% de MPR) bajo la restricción del puente de 40 km/h.
• Compromisos Ambientales: Si bien la transición de 0% a 40% de MPR reduce drásticamente el consumo de combustible al eliminar la congestión de tipo stop-and-go, un aumento posterior en la MPR (al 60% y 100%) resulta en un aumento marginal del consumo de combustible. Esto se atribuye a que los vehículos mantienen velocidades continuas más altas para superar la resistencia aerodinámica, requiriendo más potencia del motor que el viaje fluctuante a velocidades más bajas.

Significancia y Reivindicaciones
El artículo posiciona al controlador DRL Rainbow propuesto como una solución crítica a corto plazo para redes dominadas por conductores humanos y redes de tráfico mixto temprano, ofreciendo un rendimiento robusto donde los controladores tradicionales fallan. Crucialmente, el estudio caracteriza el régimen de penetración de AV más allá del cual el control de rampa centralizado puede ser retirado. Los hallazgos sugieren una hoja de ruta de transición para la gestión de la infraestructura de autopistas: el control activo de DRL es esencial para proteger las redes de las ondas de choque en cascada cuando predominan los conductores humanos, pero a medida que la penetración de AV alcanza niveles moderados (alrededor del 40%), la naturaleza descentralizada y altamente sensible de los AV se vuelve suficiente para preservar la estabilidad de la red, haciendo que el control de rampa centralizado sea progresivamente redundante. Esto proporciona una base basada en datos para las decisiones de inversión a largo plazo respecto al futuro de la infraestructura de control de rampas.