DGLight: DQN-Guided GRPO Fine-Tuning of Large Language Models for Traffic Signal Control

1. Probleemstelling

Verkeerslichtregeling (TSC) is cruciaal voor het verminderen van stedelijke congestie. Waar traditionele methoden (Fixed-Time, Max-Pressure) gebrek hebben aan aanpassingsvermogen en Reinforcement Learning (RL) methoden (zoals CoLight, MPLight) worstelen met generalisatie en interpreteerbaarheid, bieden Large Language Models (LLM's) een veelbelovend alternatief vanwege hun redeneervermogen en mogelijkheid om interpreteerbare tekst te genereren.

Het toepassen van LLM's op TSC staat echter voor twee hoofduitdagingen:

1. Domeinaanpassing: Standaard LLM's missen specifieke kennis van verkeersdynamiek, wat leidt tot suboptimale beslissingen.
2. Reward-schaarste en Interpreteerbaarheid: Traditionele RL vertrouwt op schaarse, cumulatieve omgevingsrewards (bijvoorbeeld totale vertragingreductie over een episode), die moeilijk direct te optimaliseren zijn voor LLM's. Bovendien ontbreekt bij end-to-end finetuning van LLM's vaak de dichte, staatsspecifieke supervisie die nodig is om complexe verkeersstrategieën te leren.

Het paper stelt DGLight voor, een raamwerk dat deze kloven overbrugt door een waardegebaseerde criticus te gebruiken om de finetuning van een LLM te sturen. Dit stelt de LLM in staat te leren van dichte, verkeersbewuste actiewaarden, terwijl het tegelijkertijd interpreteerbaar redeneren produceert.

2. Methodologie: Het DGLight-raamwerk

DGLight maakt gebruik van een tweestapsreinforcement learning-pijplijn die een Deep Q-Network (DQN)-criticus combineert met Group Relative Policy Optimization (GRPO).

Stap 1: Training van de CoLight-gebaseerde DQN-criticus

• Doel: Het trainen van een waarde-schatter om dichte, verkeersbewuste actiewaarden te leveren voor beslissingen over verkeerslichtfasen.
• Architectuur: Gebaseerd op CoLight, een graf-attentie-model dat samenwerking op netwerkniveau tussen kruispunten vastlegt.
• Proces:
  • De criticus observeert gestructureerde verkeersstaten (rijstrokenwachtrijlengtes, vertragingen).
  • Het geeft een Q-waardevector ($Q(s, a)$) uit voor alle toelaatbare verkeerslichtfasen bij elk kruispunt.
  • Het wordt getraind met standaard Bellman-foutminimalisatie met experience replay.
• Rol: Deze criticus fungeert als een "bevroren" leraar die de kwaliteit van elke mogelijke verkeerslichtactie evalueert op basis van complexe ruimtelijke en temporele verkeerscontexten, en zo een rijker signaal biedt dan ruwe omgevingsrewards.

Stap 2: LLM-finetuning met GRPO

• Input: De LLM (gebaseerd op Llama3-8b) ontvangt een tekstuele prompt die de verkeersstaat, taakbeschrijving en beschikbare verkeerslichtfasen samenvat.
• Sampling: Voor elke prompt samplet het beleid een groep van $k$ kandidaat-antwoorden (redeneersporen + verkeerslichtbeslissingen).
• Parsen en Scoren:
  • Elk antwoord wordt geparsed om de voorgestelde verkeerslichtfase te extraheren.
  • De bevroren DQN-criticus scoort elke kandidaat-actie met zijn voorgetrainde Q-waarden ($Q(s, a)$).
  • Ongeldige acties ontvangen een vaste fallback-reward.
• Optimalisatie (GRPO):
  • In plaats van een apart waardenmodel te gebruiken (zoals bij PPO), maakt DGLight gebruik van Group Relative Policy Optimization (GRPO).
  • Voordelen worden berekend door de criticusscores van de $k$ gesamplede antwoorden binnen dezelfde groep met elkaar te vergelijken.
  • Het beleid wordt bijgewerkt om het relatieve voordeel te maximaliseren, waardoor de verkeerskennis van de criticus effectief wordt overgebracht naar het redeneer- en besluitvormingsproces van de LLM.

3. Belangrijkste Bijdragen

1. Unificerend Raamwerk: Stelt DGLight voor, het eerste raamwerk dat een waardegebaseerde verkeerscriticus (CoLight-DQN) verenigt met LLM-finetuning via GRPO. Dit stelt LLM's in staat te leren van dichte, per-staat actiewaarden in plaats van schaarse cumulatieve rewards.
2. Interpreteerbaar Beleid: Het systeem traint de LLM om zowel een geldige verkeerslichtbeslissing als een menselijk leesbaar redeneerspoor uit te geven (bijvoorbeeld het analyseren van wachtrijlengtes en verkeer bij buren), waardoor de kloof tussen prestatie en verklaarbaarheid wordt overbrugd.
3. Empirische Validatie: Voert uitgebreide experimenten uit op standaard benchmarks (Jinan- en Hangzhou-datasets), waarbij wordt aangetoond dat DGLight beter presteert dan bestaande op LLM gebaseerde controllers en concurrerend blijft met state-of-the-art RL-baselines.
4. Overdraagbaarheid: Laat zien dat de methode zich goed generaliseert naar onbekende stadsdatasets (bijvoorbeeld trainen op Hangzhou-1 en testen op Jinan), wat suggereert dat de LLM generaliseerbare verkeersredeneerpatronen leert in plaats van te overfitten op specifieke stadsdata.

4. Experimentele Resultaten

De studie evalueerde DGLight tegenover:

• Traditionele Methodes: FixedTime, MaxPressure.
• RL-baselines: MPLight, CoLight, PressLight, enz.
• LLM-baselines: LightGPT, JS-GRPO-varianten.

Belangrijkste Bevindingen:

• Prestaties: DGLight behaalde de beste algehele prestatie onder alle op LLM gebaseerde controllers op de meeste metrieken (Gemiddelde Reistijd, Gemiddelde Wachtrijlengte, Gemiddelde Wachtijd).
• Vergelijking met RL: DGLight bleef concurrerend met sterke RL-baselines (zoals CoLight en Advanced-CoLight) en overtrof ze zelfs op bepaalde metrieken, ondanks de toegevoegde complexiteit van het genereren van redeneringen.
• Overdraagbaarheid: DGLight toonde superieure overdraagbaarheid naar onbekende steden in vergelijking met zowel RL-baselines als andere LLM-methoden, wat wijst op robuuste generalisatie.
• Ablatiestudie:
  • De overstap van een basis-LLM (Llama3-8b) naar een verkeersaangepast model (LightGPT) leverde de grootste verbetering op.
  • De toevoeging van Criticus-geleide GRPO zorgde voor verdere significante winsten, wat de waarde van het dichte rewardsignaal bevestigt.
• Interpreteerbaarheid: Kwalitatieve analyse bevestigde dat de gegenereerde redeneersporen logisch consistent waren met de gekozen verkeerslichtfasen (bijvoorbeeld prioriteit geven aan rijstroken met de langste wachtrijen).

5. Betekenis en Toekomstig Werk

Betekenis:

• Overbruggen van de Kloof: DGLight demonstreert succesvol dat LLM's effectief kunnen worden aangepast voor complexe controletaken zoals TSC, zonder in te leveren op de interpreteerbaarheid die hen uniek maakt.
• Efficiënte Training: Door het gebruik van een bevroren criticus om dichte rewards te genereren, vermijdt de methode de instabiliteit van het trainen van LLM's met schaarse omgevingsrewards.
• Toepasbaarheid in de Wereld: De interpreteerbaarheid van de beslissingen van het model adresseert een kritieke barrière voor de adoptie van AI in het verkeersmanagement in de echte wereld, waar verantwoordingsplicht en verklaarbaarheid van het grootste belang zijn.

Toekomstige Richtingen:

• Token-niveau Reward-toewijzing: Verfijnen van het rewardsignaal om te onderscheiden tussen formatteer-tokens en kritieke redenerings-/beslissingstokens om de trainingsefficiëntie te verbeteren.
• MLLM-achtige Architectuur: Voorbijgaan aan tekst-geserialiseerde staten naar een Multi-Modal LLM (MLLM)-benadering met een dedicated verkeerssituatie-encoder om ruimtelijke en numerieke relaties in het wegennet beter vast te leggen.

Kortom, DGLight vertegenwoordigt een significante stap voorwaarts in het toepassen van Generatieve AI op stedelijke infrastructuur, en bewijst dat LLM's hoogpresterende, interpreteerbare controlebeleid kunnen leren wanneer ze worden geleid door robuuste waardegebaseerde criticussen.