C$^2$T: Captioning-Structure and LLM-Aligned Common-Sense Reward Learning for Traffic--Vehicle Coordination

1. Planteamiento del Problema

El control urbano del tráfico de vanguardia utiliza cada vez más el Aprendizaje por Refuerzo Multiagente (MARL) para coordinar semáforos (TLCs) y vehículos autónomos conectados (CAVs). Sin embargo, estos sistemas tienen un rendimiento limitado debido a sus funciones de recompensa diseñadas a mano y miopes (ej. presión de intersección, longitud de cola).

• Limitaciones actuales: Estas recompensas tradicionales optimizan la eficiencia a corto plazo pero ignoran objetivos de alto nivel centrados en el ser humano, como la seguridad, la estabilidad del flujo y el confort.
• Consecuencias: Esto genera políticas que, aunque eficientes en papel, producen comportamientos inestables en la realidad: olas de congestión, frenadas bruscas, cambios de fase oscilatorios y espacios de seguridad inseguros.
• Necesidad: Se requiere un mecanismo para aprender una "calidad de tráfico" que refleje el juicio humano y anticipe efectos a largo plazo (como la formación de convoyes), sin depender de llamadas en línea a modelos grandes durante el entrenamiento.

2. Metodología: El Marco C2T

Los autores proponen C2T (Captioning-Structure and LLM-Aligned Common-Sense Reward Learning), un marco de tres etapas que aprende una función de recompensa intrínseca alineada con el sentido común a partir de un Modelo de Lenguaje Grande (LLM).

Etapa 1: Estructuración de Captions y Muestreo de Preferencias

• Captioning Determinista: En lugar de descripciones de texto libre, el sistema convierte las observaciones del simulador (estados del tráfico) en "captions" estructuradas y conscientes de las unidades. Estos incluyen campos específicos como: fase del semáforo, colas, presión, retraso promedio, percentiles de tiempo hasta colisión (TTC), conteo de frenadas bruscas y cinemática del vehículo más cercano.
• Creación de Pares: Se generan pares de observaciones contrastantes (diferencias en congestión, seguridad o cambios de fase) para crear un conjunto de datos de preferencias.
• Etiquetado con LLM: Un LLM (con un prompt fijo) evalúa qué estado en cada par refleja mejor un tráfico "bueno" (seguro y fluido). Solo se conservan las etiquetas decisivas.

Etapa 2: Aprendizaje de la Recompensa Intrínseca

• Modelo de Puntuación Ligero: Se entrena un modelo ligero (scorer) para predecir las preferencias del LLM basándose en las captions estructuradas.
• Función de Pérdida: Se utiliza una función de verosimilitud de Bradley-Terry para aprender una función de recompensa escalar $r_\phi$.
• Ventaja: Una vez entrenado, este modelo se congela. No requiere llamadas al LLM durante el entrenamiento del RL, lo que elimina la latencia y los costos computacionales en tiempo de ejecución.

Etapa 3: Integración Asimétrica y Enmascaramiento de Seguridad

• Mezcla Asimétrica: La recompensa intrínseca aprendida se inyecta solo en los agentes de control de semáforos (TLCs), mientras que los vehículos siguen siendo controlados por dinámicas ambientales estándar. Esto evita la no estacionariedad excesiva.
• Máscara de Seguridad: Se implementa una máscara de riesgo que desactiva la recompensa intrínseca si se detectan condiciones inseguras (bajo TTC, frenadas bruscas o riesgo de luz roja). Esto asegura que la guía de "sentido común" no comprometa la seguridad inmediata.
• Normalización y Programación: Las recompensas (externa, intrínseca y penalización de seguridad) se normalizan por separado y se mezclan con un peso que aumenta gradualmente (curriculum learning) para estabilizar el entrenamiento.

3. Contribuciones Clave

1. Captioning Estructurado para RL de Tráfico: Un esquema determinista y consciente de las unidades que permite a los LLMs comparar estados de tráfico de manera consistente y reproducible.
2. Aprendizaje de Preferencias Offline: Un método para extraer conocimiento de sentido común de un LLM y destilarlo en una recompensa intrínseca reutilizable, eliminando la dependencia de LLMs en tiempo de ejecución.
3. Integración Segura y Asimétrica: Una estrategia de mezcla de recompensas que aplica la guía humana solo a los semáforos, combinada con máscaras de riesgo y normalización por flujo, compatible con algoritmos estándar como PPO.
4. Flexibilidad de Diseño: El marco permite cambiar fácilmente entre políticas "enfocadas en eficiencia" o "enfocadas en seguridad" simplemente modificando el prompt del LLM durante la fase de entrenamiento de la recompensa, sin alterar el bucle de RL.

4. Resultados Experimentales

El marco C2T se evaluó en el simulador CityFlow utilizando redes de tráfico reales de Jinan, Hangzhou y Nueva York, así como escenarios de estrés (picos de demanda extrema y ciclos diarios de 24 horas).

• Eficiencia: C2T superó consistentemente a las líneas base de MARL (como MPLight, CoLight, Advanced-CoLight) y a agentes basados en LLMs puros, reduciendo el tiempo promedio de viaje (ATT) y aumentando el flujo (throughput).
• Seguridad y Confort: Mostró mejoras significativas en métricas de seguridad, incluyendo percentiles de TTC más altos (menor riesgo de colisión) y una reducción en frenadas bruscas.
• Robustez: En escenarios de tráfico extremo, C2T mantuvo la estabilidad del flujo y redujo la oscilación de los semáforos en comparación con los métodos tradicionales.
• Transferencia: El modelo entrenado en una ciudad (Jinan) mostró capacidad de transferencia zero-shot a otra (Hangzhou), mejorando aún más con un pequeño ajuste de preferencias.
• Estudios de Ablación: Se demostró que la eliminación de la recompensa intrínseca, la máscara de seguridad o la normalización por flujo degrada drásticamente el rendimiento, confirmando que cada componente es esencial para el éxito del sistema.

5. Significado e Impacto

Este trabajo representa un avance significativo en la intersección entre el Aprendizaje por Refuerzo (RL) y los Modelos de Lenguaje Grande (LLM) para sistemas de transporte inteligente.

• Puente entre IA y Control: Demuestra cómo los LLMs pueden actuar como "jueces" para definir objetivos de calidad de tráfico que son difíciles de codificar matemáticamente, pero que son intuitivos para los humanos.
• Viabilidad de Despliegue: Al realizar todo el aprendizaje de la recompensa de forma offline, C2T resuelve los problemas de latencia y escalabilidad que suelen impedir el uso directo de LLMs en bucles de control en tiempo real.
• Calidad de Tráfico Holística: Propone un cambio de paradigma desde la optimización puramente métrica (tiempo de espera) hacia una optimización que equilibra eficiencia, seguridad y confort, alineando mejor los sistemas de control de tráfico con las expectativas humanas.