Riepilogo Tecnico: OracleTSC

Enunciato del Problema

I sistemi di Controllo dei Semafori (TSC) richiedono processi decisionali trasparenti per guadagnare la fiducia del pubblico, tuttavia i metodi tradizionali di Apprendimento per Rinforzo (RL) funzionano come "scatole nere". Sebbene i Modelli Linguistici di Grande Dimensione (LLM) offrano una via verso l'interpretabilità attraverso il ragionamento in linguaggio naturale, la loro applicazione al TSC tramite affinamento per rinforzo incontra ostacoli significativi. Nello specifico, il TSC è un problema a lungo orizzonte caratterizzato da:

1. Feedback Scarsi e Ritardati: L'impatto di una modifica del segnale si manifesta spesso solo dopo molti passi temporali, rendendo difficile l'assegnazione del credito.
2. Segnali di Ricompensa Deboli: La maggior parte delle modifiche di fase fattibili produce solo miglioramenti marginali nelle metriche di congestione, risultando in gradienti rumorosi che non riescono a guidare efficacemente l'ottimizzazione della politica.
3. Deriva del Ragionamento: Quando le politiche LLM sono incerte, le loro spiegazioni generate e le scelte di fase variano ampiamente tra le risposte per lo stesso stato, introducendo casualità nel ciclo di controllo e causando instabilità delle prestazioni.

Gli approcci esistenti che affinano gli LLM per il TSC soffrono spesso di instabilità nell'addestramento e miglioramenti limitati rispetto alle linee di base pre-addestrate, principalmente perché l'ottimizzazione standard della politica prossimale (PPO) fatica a gestire queste dinamiche a lungo orizzonte e a ricompense deboli.

Metodologia: OracleTSC

Gli autori propongono OracleTSC, un framework progettato per stabilizzare l'affinamento per rinforzo per il TSC basato su LLM affrontando i segnali deboli e l'instabilità del ragionamento. L'approccio formula il TSC come un Processo Decisionale di Markov (MDP) in cui stati e azioni sono rappresentati come testo in linguaggio naturale, permettendo all'LLM di generare sia una fase del segnale di traffico sia una spiegazione Chain-of-Thought (CoT).

Il cuore del metodo coinvolge due meccanismi innovativi integrati nella funzione obiettivo PPO:

1. Meccanismo di Soglia di Ricompensa (RHM)

Per contrastare i segnali di ricompensa deboli, OracleTSC introduce una Soglia di Ricompensa. Invece di utilizzare direttamente il feedback ambientale grezzo (ad esempio, la riduzione della lunghezza della coda), il metodo sottrae una soglia calibrata ($HR$) dalla ricompensa.

• Meccanismo: $R_{total} = R_{env} - HR$.
• Effetto: Le azioni che risultano in miglioramenti inferiori alla soglia vengono penalizzate (ricevendo ricompensa negativa o zero), mentre solo le azioni ad alto impatto ricevono rinforzo positivo. Questo filtra gli aggiornamenti di bassa qualità e costringe la politica a concentrarsi su interventi che riducono significativamente la congestione, agendo efficacemente come una linea di base costante per ridurre la varianza del gradiente nelle fasi iniziali dell'addestramento.

2. Regularizzazione dell'Incertezza tramite Entropia Semantica Discreta Scalata con Temperatura

Per affrontare la deriva del ragionamento e la decisione incoerente, il framework introduce un termine di regolarizzazione basato sull'entropia semantica.

• Meccanismo: Il modello genera $G$ risposte candidate per un dato stato. Queste risposte vengono raggruppate in base alla fase di traffico estratta (ignorando le variazioni linguistiche). Viene calcolata una distribuzione di probabilità su queste fasi utilizzando una Softmax scalata con temperatura.
• Termine di Ricompensa: Viene applicata una penalità se la distribuzione è ad alta entropia (cioè, il modello è incerto sulla fase). La ricompensa è definita come $R_{entropy} = p_{chosen} \times \mathbb{I}(R_{env} > HR)$, dove $p_{chosen}$ è la probabilità della fase selezionata.
• Effetto: Questo incoraggia il modello a produrre scelte di fase coerenti attraverso molteplici tentativi di campionamento, stabilizzando il processo di ragionamento e riducendo la varianza nella selezione delle azioni.

L'obiettivo finale combina l'obiettivo surrogato troncato PPO standard con queste ricompense modificate, ottimizzando sia la rete della politica sia una rete di valore.

Contributi Chiave

1. Identificazione delle Modalità di Fallimento: Il documento identifica empiricamente che l'insufficiente soppressione delle azioni subottimali (a causa di ricompense deboli) e la deriva del ragionamento (a causa dell'incertezza nell'output) sono le cause principali dell'instabilità nel TSC basato su LLM.
2. Meccanismo di Soglia di Ricompensa: Una penalità semplice ma efficace che impone una soglia di prestazione esplicita, amplificando i segnali di apprendimento dalle azioni ad alto impatto e sopprimendo gli aggiornamenti di bassa qualità.
3. Regularizzazione dell'Entropia Semantica: Un approccio principiato per quantificare e mitigare l'incertezza a livello decisionale (piuttosto che a livello di token) utilizzando la softmax scalata con temperatura, che stabilizza il ragionamento a lungo orizzonte.
4. Dimostrazione di Robustezza: Il framework permette a modelli compatti (ad esempio, LLaMA3-8B, Qwen3-0.6B) di ottenere significativi guadagni nelle prestazioni preservando al contempo l'interpretabilità attraverso spiegazioni in linguaggio naturale.

Risultati Sperimentali

Gli esperimenti sono stati condotti sul benchmark LibSignal utilizzando due topologie di incrocio distinte: CityFlow1×1 (Hangzhou, 8 fasi) e Cologne1 (Germania, 4 fasi).

• Guadagni di Prestazione: OracleTSC ha superato significativamente le linee di base LLM pre-addestrate e i metodi RL non-LLM in diverse metriche.
  • Su CityFlow1×1, il modello LLaMA3-8B affinato ha raggiunto una riduzione del 75% del tempo di viaggio e una diminuzione del 67% delle lunghezze delle code rispetto alla linea di base pre-addestrata.
  • Su Cologne1, il metodo ha ridotto le lunghezze delle code del 39–50% e i tempi di viaggio del 29–85%, raggiungendo una capacità di throughput comparabile a quella dei controllori RL non spiegabili all'avanguardia (ad esempio, PressLight, IDQN).
• Generalizzazione tra Incroci: Una politica addestrata su una topologia di incrocio si è trasferita efficacemente a un incrocio strutturalmente distinto senza ulteriore affinamento. Ad esempio, un modello addestrato su Cologne1 ha ridotto il tempo di viaggio del 13% quando testato su CityFlow1×1, e viceversa.
• Studi di Ablazione:
  • L'uso della sola ricompensa ambientale ha prodotto guadagni marginali.
  • L'aggiunta della sola Soglia di Ricompensa ha migliorato significativamente le prestazioni filtrando i segnali deboli.
  • L'aggiunta della sola Regularizzazione dell'Incertezza ha migliorato la stabilità e ridotto le lunghezze delle code.
  • Applicazione Congiunta: La combinazione di entrambi i meccanismi ha prodotto i migliori risultati, confermando la loro natura complementare.
• Analisi Qualitativa: Dopo l'affinamento, il ragionamento CoT dell'LLM è diventato strutturato, conciso e privo delle auto-contraddizioni e delle errate identificazioni di fase osservate nei modelli pre-addestrati.

Significato e Affermazioni

Il documento afferma che OracleTSC fornisce una nuova prospettiva per migliorare l'efficacia dell'affinamento per rinforzo nei compiti TSC a lungo orizzonte. Il suo significato risiede in:

• Stabilizzazione del Controllo LLM: Dimostrando che la modellazione mirata delle ricompense (soglie) e la regolarizzazione dell'incertezza possono superare l'instabilità intrinseca dell'applicazione di PPO agli LLM in ambienti a ricompensa scarsa.
• Colmare il Divario tra Interpretabilità e Prestazione: Raggiungendo prestazioni competitive con controllori RL specializzati e "scatola nera" mantenendo al contempo la capacità unica degli LLM di fornire razionali in linguaggio naturale per le decisioni.
• Scalabilità: Mostrando che questi meccanismi funzionano attraverso diverse scale di modelli (da 0,6B a 8B parametri) e si generalizzano attraverso diverse topologie di incrocio, suggerendo una strada verso sistemi di trasporto intelligenti scalabili, riutilizzabili e interpretabili.

Gli autori notano con modestia che il loro obiettivo non è affermare la superiorità su tutti gli algoritmi RL ottimizzati esistenti, ma migliorare l'affidabilità e la trasparenza dei controllori basati su LLM. Riconoscono limitazioni, come la necessità di un aggiustamento manuale del tasso di soglia e il costo computazionale della generazione multi-campione per la stima dell'entropia.