DGLight: DQN-Guided GRPO Fine-Tuning of Large Language Models for Traffic Signal Control

Aquí se presenta un resumen técnico detallado del artículo "DGLight: Ajuste Fino de Modelos de Lenguaje Grandes Guiado por DQN para el Control de Semáforos".

1. Planteamiento del Problema

El Control de Semáforos (TSC) es crítico para reducir la congestión urbana. Si bien los métodos tradicionales (Tiempo Fijo, Presión Máxima) carecen de adaptabilidad y los métodos de Aprendizaje por Refuerzo (RL) (por ejemplo, CoLight, MPLight) luchan con la generalización y la interpretabilidad, los Modelos de Lenguaje Grandes (LLM) ofrecen una alternativa prometedora debido a sus capacidades de razonamiento y su habilidad para generar texto interpretable.

Sin embargo, aplicar LLMs al TSC enfrenta dos desafíos principales:

1. Adaptación al Dominio: Los LLMs estándar carecen de conocimiento específico sobre la dinámica del tráfico, lo que conduce a decisiones subóptimas.
2. Escasez de Recompensa e Interpretabilidad: El RL tradicional depende de recompensas ambientales acumulativas y escasas (por ejemplo, reducción total de retrasos durante un episodio), que son difíciles de optimizar directamente para los LLMs. Además, el ajuste fino de LLMs de extremo a extremo a menudo carece de la supervisión densa y específica del estado necesaria para aprender políticas de tráfico complejas.

El artículo propone DGLight, un marco que cierra estas brechas utilizando un crítico basado en valores para guiar el ajuste fino de un LLM, permitiéndole aprender a partir de valores de acción densos y conscientes del tráfico, mientras produce un razonamiento interpretable.

2. Metodología: El Marco DGLight

DGLight emplea una tubería de aprendizaje por refuerzo de dos etapas que combina un crítico de Red de Q Profunda (DQN) con la Optimización de Política Relativa de Grupo (GRPO).

Etapa 1: Entrenamiento del Crítico DQN Basado en CoLight

• Objetivo: Entrenar un estimador de valor para proporcionar valores de acción densos y conscientes del tráfico para las decisiones de fase de señal.
• Arquitectura: Basada en CoLight, un modelo de atención gráfica que captura la cooperación a nivel de red entre intersecciones.
• Proceso:
  • El crítico observa estados de tráfico estructurados (longitudes de cola en carriles, retrasos).
  • Genera un vector de valor Q ($Q(s, a)$) para todas las fases de señal admisibles en cada intersección.
  • Se entrena utilizando la minimización estándar del error de Bellman con replay de experiencias.
• Rol: Este crítico actúa como un "maestro" congelado que evalúa la calidad de cualquier acción de señal potencial basada en contextos de tráfico espaciales y temporales complejos, proporcionando una señal más rica que las recompensas ambientales crudas.

Etapa 2: Ajuste Fino de LLM con GRPO

• Entrada: El LLM (basado en Llama3-8b) recibe una instrucción textual que resume el estado del tráfico, la descripción de la tarea y las fases de señal disponibles.
• Muestreo: Para cada instrucción, la política muestrea un grupo de $k$ respuestas candidatas (trazas de razonamiento + decisiones de señal).
• Análisis y Puntuación:
  • Cada respuesta se analiza para extraer la fase de señal propuesta.
  • El crítico DQN congelado puntúa cada acción candidata utilizando sus valores Q preentrenados ($Q(s, a)$).
  • Las acciones inválidas reciben una recompensa de respaldo fija.
• Optimización (GRPO):
  • En lugar de utilizar un modelo de valor separado (como en PPO), DGLight utiliza la Optimización de Política Relativa de Grupo (GRPO).
  • Las ventajas se calculan comparando las puntuaciones del crítico de las $k$ respuestas muestreadas dentro del mismo grupo.
  • La política se actualiza para maximizar la ventaja relativa, transfiriendo efectivamente el conocimiento de tráfico del crítico al proceso de razonamiento y toma de decisiones del LLM.

3. Contribuciones Clave

1. Marco Unificado: Propone DGLight, el primer marco que unifica un crítico de tráfico basado en valores (CoLight-DQN) con el ajuste fino de LLMs mediante GRPO. Permite que los LLMs aprendan a partir de valores de acción densos por estado en lugar de recompensas acumulativas escasas.
2. Política Interpretable: El sistema entrena al LLM para que genere tanto una decisión de señal válida como una traza de razonamiento legible por humanos (por ejemplo, analizando longitudes de cola y tráfico vecino), cerrando la brecha entre rendimiento y explicabilidad.
3. Validación Empírica: Realiza experimentos exhaustivos en benchmarks estándar (conjuntos de datos de Jinan y Hangzhou), demostrando que DGLight supera a los controladores basados en LLM existentes y se mantiene competitivo con las líneas base de RL más avanzadas.
4. Transferibilidad: Muestra que el método se generaliza bien a conjuntos de datos de ciudades no vistos (por ejemplo, entrenar en Hangzhou-1 y probar en Jinan), sugiriendo que el LLM aprende patrones de razonamiento de tráfico generalizables en lugar de sobreajustarse a datos de ciudades específicas.

4. Resultados Experimentales

El estudio evaluó DGLight frente a:

• Métodos Tradicionales: TiempoFijo, PresiónMáxima.
• Líneas Base de RL: MPLight, CoLight, PressLight, etc.
• Líneas Base de LLM: LightGPT, variantes de JS-GRPO.

Hallazgos Clave:

• Rendimiento: DGLight logró el mejor rendimiento general entre todos los controladores basados en LLM en la mayoría de las métricas (Tiempo Promedio de Viaje, Longitud Promedio de Cola, Tiempo Promedio de Espera).
• Comparación con RL: DGLight se mantuvo competitivo con líneas base de RL fuertes (como CoLight y Advanced-CoLight) e incluso los superó en ciertas métricas, a pesar de la complejidad añadida de la generación de razonamiento.
• Transferibilidad: DGLight mostró una transferibilidad superior a ciudades no vistas en comparación tanto con las líneas base de RL como con otros métodos de LLM, indicando una generalización robusta.
• Estudio de Ablación:
  • Pasar de un LLM base (Llama3-8b) a un modelo adaptado al tráfico (LightGPT) produjo la mayor mejora.
  • La adición de GRPO Guiado por Crítico proporcionó ganancias adicionales significativas, confirmando el valor de la señal de recompensa densa.
• Interpretabilidad: El análisis cualitativo confirmó que las trazas de razonamiento generadas eran lógicamente consistentes con las fases de señal elegidas (por ejemplo, priorizando carriles con las colas más largas).

5. Significado y Trabajo Futuro

Significado:

• Cerrando la Brecha: DGLight demuestra exitosamente que los LLMs pueden adaptarse eficazmente para tareas de control complejas como el TSC sin sacrificar la interpretabilidad que los hace únicos.
• Entrenamiento Eficiente: Al utilizar un crítico congelado para generar recompensas densas, el método evita la inestabilidad de entrenar LLMs con recompensas ambientales escasas.
• Aplicabilidad en el Mundo Real: La interpretabilidad de las decisiones del modelo aborda una barrera crítica para la adopción real de la IA en la gestión del tráfico, donde la responsabilidad y la explicabilidad son primordiales.

Direcciones Futuras:

• Asignación de Recompensas a Nivel de Token: Refinar la señal de recompensa para distinguir entre tokens de formato y tokens críticos de razonamiento/decisión para mejorar la eficiencia del entrenamiento.
• Arquitectura Estilo MLLM: Ir más allá de los estados serializados en texto hacia un enfoque de Modelo de Lenguaje Grande Multimodal (MLLM) con un codificador dedicado de situaciones de tráfico para capturar mejor las relaciones espaciales y numéricas en la red vial.

En conclusión, DGLight representa un paso significativo hacia adelante en la aplicación de la IA Generativa a la infraestructura urbana, demostrando que los LLMs pueden aprender políticas de control de alto rendimiento e interpretables cuando son guiados por críticos basados en valores robustos.