DGLight: DQN-Guided GRPO Fine-Tuning of Large Language Models for Traffic Signal Control

1. Enunciato del Problema

Il Controllo dei Semafori (TSC) è fondamentale per ridurre la congestione urbana. Mentre i metodi tradizionali (Tempo Fisso, Max-Pressure) mancano di adattabilità e i metodi di Apprendimento per Rinforzo (RL) (ad es. CoLight, MPLight) faticano con la generalizzazione e l'interpretabilità, i Modelli Linguistici di Grande Dimensione (LLM) offrono un'alternativa promettente grazie alle loro capacità di ragionamento e alla possibilità di generare testo interpretabile.

Tuttavia, l'applicazione degli LLM al TSC affronta due sfide principali:

1. Adattamento al Dominio: Gli LLM standard mancano di conoscenze specifiche sulla dinamica del traffico, portando a decisioni subottimali.
2. Sparsità della Ricompensa e Interpretabilità: Il RL tradizionale si basa su ricompense ambientali sparse e cumulative (ad es. riduzione totale del ritardo su un episodio), che sono difficili da ottimizzare direttamente per gli LLM. Inoltre, il fine-tuning end-to-end degli LLM spesso manca della supervisione densa e specifica dello stato necessaria per apprendere politiche di traffico complesse.

Il paper propone DGLight, un framework che colma queste lacune utilizzando un critic basato sul valore per guidare il fine-tuning di un LLM, permettendogli di apprendere da valori di azione densi e consapevoli del traffico, producendo al contempo un ragionamento interpretabile.

2. Metodologia: Il Framework DGLight

DGLight impiega una pipeline di apprendimento per rinforzo in due fasi che combina un critic Deep Q-Network (DQN) con l'Ottimizzazione della Politica Relativa di Gruppo (GRPO).

Fase 1: Addestramento del Critic DQN basato su CoLight

• Obiettivo: Addestrare un estimatore di valore per fornire valori di azione densi e consapevoli del traffico per le decisioni sulla fase semaforica.
• Architettura: Basata su CoLight, un modello di attenzione su grafo che cattura la cooperazione a livello di rete tra gli incroci.
• Processo:
  • Il critic osserva stati strutturati del traffico (lunghezze delle code sulle corsie, ritardi).
  • Produce un vettore di valori Q ($Q(s, a)$) per tutte le fasi semaforiche ammissibili a ogni incrocio.
  • Viene addestrato utilizzando la minimizzazione standard dell'errore di Bellman con replay delle esperienze.
• Ruolo: Questo critic funge da "insegnante" congelato che valuta la qualità di qualsiasi potenziale azione semaforica basandosi su contesti di traffico spaziali e temporali complessi, fornendo un segnale più ricco rispetto alle ricompense ambientali grezze.

Fase 2: Fine-Tuning dell'LLM con GRPO

• Input: L'LLM (basato su Llama3-8b) riceve un prompt testuale che riassume lo stato del traffico, la descrizione del compito e le fasi semaforiche disponibili.
• Campionamento: Per ogni prompt, la politica campiona un gruppo di $k$ risposte candidate (tracce di ragionamento + decisioni semaforiche).
• Analisi e Punteggio:
  • Ogni risposta viene analizzata per estrarre la fase semaforica proposta.
  • Il critic DQN congelato assegna un punteggio a ogni azione candidata utilizzando i suoi valori Q pre-addestrati ($Q(s, a)$).
  • Le azioni non valide ricevono una ricompensa di fallback fissa.
• Ottimizzazione (GRPO):
  • Invece di utilizzare un modello di valore separato (come in PPO), DGLight utilizza l'Ottimizzazione della Politica Relativa di Gruppo (GRPO).
  • I vantaggi (advantages) sono calcolati confrontando i punteggi del critic delle $k$ risposte campionate all'interno dello stesso gruppo.
  • La politica viene aggiornata per massimizzare il vantaggio relativo, trasferendo efficacemente la conoscenza del traffico del critic nel processo di ragionamento e decisione dell'LLM.

3. Contributi Chiave

1. Framework Unificato: Propone DGLight, il primo framework che unifica un critic del traffico basato sul valore (CoLight-DQN) con il fine-tuning degli LLM tramite GRPO. Permette agli LLM di apprendere da valori di azione densi per stato, piuttosto che da ricompense cumulative sparse.
2. Politica Interpretabile: Il sistema addestra l'LLM a produrre sia una decisione semaforica valida sia una traccia di ragionamento leggibile dall'uomo (ad es. analizzando le lunghezze delle code e il traffico dei vicini), colmando il divario tra prestazioni e spiegabilità.
3. Validazione Empirica: Esegue esperimenti completi su benchmark standard (dataset di Jinan e Hangzhou), dimostrando che DGLight supera i controllori basati su LLM esistenti e rimane competitivo con i baseline RL all'avanguardia.
4. Trasferibilità: Dimostra che il metodo si generalizza bene a dataset di città non visti (ad es. addestramento su Hangzhou-1 e test su Jinan), suggerendo che l'LLM apprende pattern di ragionamento sul traffico generalizzabili anziché sovrapporsi ai dati di città specifiche.

4. Risultati Sperimentali

Lo studio ha valutato DGLight contro:

• Metodi Tradizionali: FixedTime, MaxPressure.
• Baseline RL: MPLight, CoLight, PressLight, ecc.
• Baseline LLM: LightGPT, varianti di JS-GRPO.

Risultati Chiave:

• Prestazioni: DGLight ha ottenuto le migliori prestazioni complessive tra tutti i controllori basati su LLM nella maggior parte delle metriche (Tempo Medio di Viaggio, Lunghezza Media della Coda, Tempo Medio di Attesa).
• Confronto con RL: DGLight è rimasto competitivo con forti baseline RL (come CoLight e Advanced-CoLight) e li ha persino superati su alcune metriche, nonostante la complessità aggiuntiva della generazione del ragionamento.
• Trasferibilità: DGLight ha mostrato una trasferibilità superiore verso città non viste rispetto sia alle baseline RL che ad altri metodi LLM, indicando una robusta generalizzazione.
• Studio di Ablazione:
  • Il passaggio da un LLM base (Llama3-8b) a un modello adattato al traffico (LightGPT) ha prodotto il miglioramento più significativo.
  • L'aggiunta di Critic-Guided GRPO ha fornito ulteriori guadagni significativi, confermando il valore del segnale di ricompensa denso.
• Interpretabilità: L'analisi qualitativa ha confermato che le tracce di ragionamento generate erano logicamente coerenti con le fasi semaforiche scelte (ad es. dando priorità alle corsie con le code più lunghe).

5. Significato e Lavori Futuri

Significato:

• Colmare il Divario: DGLight dimostra con successo che gli LLM possono essere efficacemente adattati per compiti di controllo complessi come il TSC senza sacrificare l'interpretabilità che li rende unici.
• Addestramento Efficiente: Utilizzando un critic congelato per generare ricompense dense, il metodo evita l'instabilità dell'addestramento degli LLM con ricompense ambientali sparse.
• Applicabilità nel Mondo Reale: L'interpretabilità delle decisioni del modello affronta un ostacolo critico all'adozione reale dell'IA nella gestione del traffico, dove responsabilità e spiegabilità sono fondamentali.

Direzioni Future:

• Assegnazione della Ricompensa a Livello di Token: Affinare il segnale di ricompensa per distinguere tra token di formattazione e token critici di ragionamento/decisione per migliorare l'efficienza dell'addestramento.
• Architettura Stile MLLM: Andare oltre gli stati serializzati in testo verso un approccio Multi-Modal LLM (MLLM) con un encoder dedicato alla situazione del traffico per catturare meglio le relazioni spaziali e numeriche nella rete stradale.

In conclusione, DGLight rappresenta un passo significativo avanti nell'applicazione dell'IA Generativa alle infrastrutture urbane, dimostrando che gli LLM possono apprendere politiche di controllo ad alte prestazioni e interpretabili quando guidati da robusti critic basati sul valore.