Resumen Técnico: OracleTSC

Enunciado del Problema

Los sistemas de Control de Semáforos (TSC) requieren una toma de decisiones transparente para ganar la confianza del público, sin embargo, los métodos tradicionales de Aprendizaje por Refuerzo (RL) funcionan como "cajas negras". Aunque los Modelos de Lenguaje Grande (LLM) ofrecen un camino hacia la interpretabilidad mediante el razonamiento en lenguaje natural, su aplicación al TSC mediante ajuste fino por refuerzo enfrenta obstáculos significativos. Específicamente, el TSC es un problema de horizonte largo caracterizado por:

1. Retroalimentación Escasa y Retrasada: El impacto de un cambio de señal a menudo se manifiesta solo después de muchos pasos de tiempo, lo que dificulta la asignación de crédito.
2. Señales de Recompensa Débiles: La mayoría de los cambios de fase factibles producen solo mejoras marginales en las métricas de congestión, resultando en gradientes ruidosos que no logran guiar eficazmente la optimización de la política.
3. Deriva del Razonamiento: Cuando las políticas de los LLM son inciertas, sus explicaciones generadas y las elecciones de fase varían ampliamente entre respuestas para el mismo estado, inyectando aleatoriedad en el bucle de control y causando inestabilidad en el rendimiento.

Los enfoques existentes que ajustan finamente los LLM para el TSC a menudo sufren de inestabilidad en el entrenamiento y mejoras limitadas sobre las líneas base preentrenadas, en gran parte porque la Optimización de Política Próxima (PPO) estándar lucha por manejar estas dinámicas de horizonte largo y recompensa débil.

Metodología: OracleTSC

Los autores proponen OracleTSC, un marco diseñado para estabilizar el ajuste fino por refuerzo para el TSC basado en LLM abordando las señales débiles y la inestabilidad del razonamiento. El enfoque formula el TSC como un Proceso de Decisión de Markov (MDP) donde los estados y las acciones se representan como texto en lenguaje natural, permitiendo que el LLM genere tanto una fase de señal de tráfico como una explicación de Cadena de Pensamiento (CoT).

El núcleo del método implica dos mecanismos novedosos integrados en el objetivo de entrenamiento PPO:

1. Mecanismo de Obstáculo de Recompensa (RHM)

Para combatir las señales de recompensa débiles, OracleTSC introduce un Obstáculo de Recompensa. En lugar de utilizar la retroalimentación ambiental cruda (por ejemplo, reducción de la longitud de la cola) directamente, el método resta un umbral calibrado ($HR$) de la recompensa.

• Mecanismo: $R_{total} = R_{env} - HR$.
• Efecto: Las acciones que resultan en mejoras menores que el obstáculo son penalizadas (recibiendo recompensa negativa o cero), mientras que solo las acciones de alto impacto reciben refuerzo positivo. Esto filtra las actualizaciones de baja calidad y obliga a la política a centrarse en intervenciones que reduzcan significativamente la congestión, actuando efectivamente como una línea base constante para reducir la varianza del gradiente en las etapas iniciales del entrenamiento.

2. Regularización de la Incertidumbre mediante Entropía Semántica Discreta con Softmax Escalado por Temperatura

Para abordar la deriva del razonamiento y la toma de decisiones inconsistente, el marco introduce un término de regularización basado en la entropía semántica.

• Mecanismo: El modelo genera $G$ respuestas candidatas para un estado dado. Estas respuestas se agrupan por la fase de tráfico extraída (ignorando las variaciones lingüísticas). Se calcula una distribución de probabilidad sobre estas fases utilizando un Softmax escalado por temperatura.
• Término de Recompensa: Se aplica una penalización si la distribución tiene alta entropía (es decir, si el modelo es incierto sobre la fase). La recompensa se define como $R_{entropy} = p_{chosen} \times \mathbb{I}(R_{env} > HR)$, donde $p_{chosen}$ es la probabilidad de la fase seleccionada.
• Efecto: Esto incentiva al modelo a producir elecciones de fase consistentes en múltiples intentos de muestreo, estabilizando el proceso de razonamiento y reduciendo la varianza en la selección de acciones.

El objetivo final combina el objetivo sustituto recortado estándar de PPO con estas recompensas modificadas, optimizando tanto la red de política como una red de valor.

Contribuciones Clave

1. Identificación de Modos de Fallo: El artículo identifica empíricamente que la supresión insuficiente de acciones subóptimas (debido a recompensas débiles) y la deriva del razonamiento (debido a la incertidumbre de salida) son las causas principales de inestabilidad en el TSC basado en LLM.
2. Mecanismo de Obstáculo de Recompensa: Una penalización simple pero efectiva que impone un umbral de rendimiento explícito, amplificando las señales de aprendizaje de las acciones de alto impacto y suprimiendo las actualizaciones de baja calidad.
3. Regularización de Entropía Semántica: Un enfoque principiado para cuantificar y mitigar la incertidumbre a nivel de decisión (en lugar de a nivel de token) utilizando softmax escalado por temperatura, lo que estabiliza el razonamiento de horizonte largo.
4. Demostración de Robustez: El marco permite que modelos compactos (por ejemplo, LLaMA3-8B, Qwen3-0.6B) logren ganancias sustanciales de rendimiento mientras preservan la interpretabilidad mediante explicaciones en lenguaje natural.

Resultados Experimentales

Los experimentos se realizaron en la prueba de referencia LibSignal utilizando dos topologías de intersección distintas: CityFlow1×1 (Hangzhou, 8 fases) y Cologne1 (Alemania, 4 fases).

• Ganancias de Rendimiento: OracleTSC superó significativamente a las líneas base de LLM preentrenados y a los métodos de RL no basados en LLM en varias métricas.
  • En CityFlow1×1, el modelo LLaMA3-8B ajustado finamente logró una reducción del 75% en el tiempo de viaje y una disminución del 67% en las longitudes de las colas en comparación con la línea base preentrenada.
  • En Cologne1, el método redujo las longitudes de las colas en un 39–50% y los tiempos de viaje en un 29–85%, logrando un rendimiento comparable al de los controladores de RL no explicables más avanzados (por ejemplo, PressLight, IDQN).
• Generalización entre Intersecciones: Una política entrenada en una topología de intersección se transfirió eficazmente a una intersección estructuralmente distinta sin ajuste fino adicional. Por ejemplo, un modelo entrenado en Cologne1 redujo el tiempo de viaje en un 13% al probarse en CityFlow1×1, y viceversa.
• Estudios de Ablación:
  • El uso de la recompensa ambiental por sí sola produjo ganancias marginales.
  • La adición del Obstáculo de Recompensa por sí sola mejoró significativamente el rendimiento al filtrar señales débiles.
  • La adición de Regularización de la Incertidumbre por sí sola mejoró la estabilidad y redujo las longitudes de las colas.
  • Aplicación Conjunta: La combinación de ambos mecanismos produjo los mejores resultados, confirmando su naturaleza complementaria.
• Análisis Cualitativo: Tras el ajuste fino, el razonamiento CoT del LLM se volvió estructurado, conciso y libre de las contradicciones internas y las identificaciones erróneas de fases observadas en los modelos preentrenados.

Significado y Afirmaciones

El artículo afirma que OracleTSC proporciona una nueva perspectiva para mejorar la eficacia del ajuste fino por refuerzo en tareas de TSC de horizonte largo. Su importancia radica en:

• Estabilizar el Control de LLM: Demostrar que la conformación de recompensas dirigida (obstáculos) y la regularización de la incertidumbre pueden superar la inestabilidad inherente de aplicar PPO a LLM en entornos de recompensa escasa.
• Conectar la Interpretabilidad y el Rendimiento: Lograr un rendimiento competitivo con controladores de RL especializados y de caja negra, manteniendo al mismo tiempo la capacidad única de los LLM de proporcionar racionalizaciones en lenguaje natural para las decisiones.
• Escalabilidad: Mostrar que estos mecanismos funcionan a través de diferentes escalas de modelos (desde 0.6B hasta 8B parámetros) y se generalizan a través de diferentes topologías de intersección, sugiriendo un camino hacia sistemas de transporte inteligentes escalables, reutilizables e interpretables.

Los autores notan modestamente que su objetivo no es afirmar superioridad sobre todos los algoritmos de RL optimizados existentes, sino mejorar la fiabilidad y la transparencia de los controladores basados en LLM. Reconocen limitaciones, como la necesidad de ajuste manual de la tasa de obstáculo y el costo computacional de la generación de múltiples muestras para la estimación de entropía.