🤖 machine learning

DGLight: DQN-Guided GRPO Fine-Tuning of Large Language Models for Traffic Signal Control

Der Artikel stellt DGLight vor, ein neuartiges Framework, das ein vortrainiertes großes Sprachmodell für die Lichtsignalsteuerung durch den Einsatz eines Deep-Q-Netzwerk-Kritikers zur Steuerung der Group Relative Policy Optimization feinabstimmt und so ein System hervorbringt, das unter den auf LLM basierenden Steuerungen eine State-of-the-Art-Leistung erzielt und gleichzeitig interpretierbare Begründungsspuren bereitstellt.

Ursprüngliche Autoren: Chenbo Yu

Veröffentlicht 2026-04-29

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Chenbo Yu

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich eine belebte Stadt Kreuzung als chaotische Tanzfläche vor. Autos sind Tänzer, die versuchen, herein- und hinauszubewegen, aber wenn alle gleichzeitig zu tanzen versuchen, stoßen sie gegeneinander und verursachen einen Stau. Der „Verkehrslichtsignal-Regler" ist der DJ, der entscheidet, wer tanzen darf (fahren) und wer warten muss (halten).

Lange Zeit nutzten DJs zwei Hauptmethoden:

Der Metronom-DJ (Feste Zeit): Er spielt alle 30 Sekunden denselben Beat, unabhängig davon, wie viele Menschen sich auf der Tanzfläche befinden. Es ist einfach, aber wenn eine riesige Menge ankommt, kann er sich nicht anpassen.
Der erfahrene menschliche DJ (Traditionelles RL): Dieser DJ beobachtet die Menge und lernt aus Fehlern. Er wird mit der Zeit besser, ist jedoch oft eine „Blackbox". Man kann ihn nicht fragen, warum er einen bestimmten Beat gewählt hat, und wenn man ihn in einen anderen Club (eine andere Stadt) versetzt, könnte er verwirrt sein, weil er die spezifische Atmosphäre des ersten Clubs gelernt hat.

Hier kommt DGLight ins Spiel: Der „kluge Praktikant" mit einem „Veteran-Trainer"

Diese Arbeit stellt DGLight vor, eine neue Methode zum Trainieren eines Verkehrslichtsignal-Reglers mit einem Large Language Model (LLM) – im Wesentlichen einer superintelligenten KI, die hervorragend im Schreiben und Schlussfolgern ist.

So funktioniert DGLight, anhand einer einfachen Analogie:

1. Der Schüler (Das LLM)

Stellen Sie sich das LLM als einen brillanten Praktikanten vor, der einen detaillierten Bericht schreiben kann, der erklärt, warum er eine Entscheidung getroffen hat. „Ich sehe, dass die Ostspur verstopft ist, also lasse ich den Ostverkehr fahren." Das ist großartig, denn im Gegensatz zum „Blackbox"-DJ können Sie die Notizen des Praktikanten lesen und seine Logik verstehen. Allerdings ist dieser Praktikant neu im Verkehr; er weiß, wie man schreibt, aber nicht, wie man eine Stadt steuert.

2. Der Trainer (Der DQN-Kritiker)

Um den Praktikanten zu unterrichten, haben die Forscher einen „Veteran-Trainer" engagiert. Dieser Trainer ist eine traditionelle KI (ein Deep Q-Network, basierend auf einer Methode namens CoLight), die jahrelang den Verkehr in einer bestimmten Stadt (Hangzhou) beobachtet hat. Der Trainer ist ein Experte darin, genau zu wissen, welche Signalphase den Stau gerade jetzt reduzieren wird.

3. Das Trainingslager (Der zweistufige Prozess)

Die Magie von DGLight geschieht in zwei Stufen:

Stufe 1: Der Trainer wird zertifiziert. Zuerst wird der Veteran-Trainer mit echten Verkehrsdaten trainiert, bis er ein Experte darin wird, vorherzusagen, welche Signalwahl die beste ist.
Stufe 2: Der Praktikant lernt vom Trainer. Jetzt beginnt der Praktikant (LLM) zu üben.
- Der Praktikant betrachtet eine Verkehrssituation und schreibt einen Plan: „Ich denke, wir sollten den Nordverkehr fahren lassen, weil..."
- Anstatt darauf zu warten, ob sich der Verkehr tatsächlich klärt (was lange dauert und das Lernen verlangsamt), bewertet der Trainer sofort den Plan des Praktikanten. „Guter Plan, +10 Punkte!" oder „Schlechter Plan, -5 Punkte."
- Der Praktikant nutzt diese Bewertungen zum Lernen. Da der Trainer für jeden möglichen Zug eine Bewertung abgibt (nicht nur für den, der tatsächlich stattfand), lernt der Praktikant viel schneller und tiefer.

Warum ist das besonders?

1. Es spricht menschlich (Interpretierbarkeit)
Die meisten Verkehrs-KIs geben nur eine Zahl aus (z. B. „Wechseln Sie zu Phase 2"). DGLight gibt einen Satz aus: „Ich wechsle zu Phase 2, weil die Ostspur eine lange Schlange hat." Es ist, als hätte man eine Verkehrsleiterin, die ihre Überlegungen in klarem Deutsch erklärt.

2. Es ist ein intelligenter Generalist (Übertragbarkeit)
Normalerweise scheitert eine Verkehrs-KI, wenn Sie sie in Stadt A trainieren und dann in Stadt B einsetzen. Da DGLight jedoch die Logik des Verkehrs lernt (wie man über Staus und Verzögerungen schlussfolgert) und nicht nur die Straßen von Stadt A auswendig lernt, funktioniert es überraschend gut in völlig neuen Städten (wie Jinan), die der Trainer noch nie gesehen hat. Es ist wie ein Praktikant, der die Prinzipien der Menschenmengenkontrolle lernt, sodass er eine Party in einer neuen Stadt organisieren kann, ohne alles neu lernen zu müssen.

3. Es ist besser als die alte Garde
Die Arbeit testete DGLight gegen die alten „Metronom"-Methoden und die Methoden des „erfahrenen menschlichen DJs".

Ergebnis: DGLight war das Beste unter allen KI-Methoden, die Sprache verwenden.
Ergebnis: Es war genauso gut wie, und manchmal besser als, die stärkste traditionelle Verkehrs-KI, mit dem zusätzlichen Vorteil, dass es seine Entscheidungen erklären kann.

Was haben sie nicht getan?

Die Arbeit betont sehr sorgfältig, was dies nicht ist.

Es ist kein Zauberstab, der den Verkehr für immer löst.
Es wird noch nicht im realen Live-Verkehr getestet (nur in Simulationen).
Der „Trainer" wurde in einer Stadt trainiert, aber der „Praktikant" lernte, zu generalisieren. Die Arbeit stellt fest, dass der Praktikant zwar gut in neuen Städten ist, aber nicht perfekt ist, und das System immer noch auf der anfänglichen Ausbildung des Trainers basiert.

Das Fazit

DGLight ist ein System, das einer intelligenten, sprechenden KI beibringt, wie sie Verkehrsampeln steuert, indem sie unter der Aufsicht eines traditionellen Verkehrsexperten übt. Das Ergebnis ist ein Regler, der so intelligent ist wie die Experten, aber Ihnen auch sagen kann, warum er seine Entscheidungen getroffen hat, was ihn zu einem vertrauenswürdigeren und anpassungsfähigeren Werkzeug für das Management des Stadtverkehrs macht.

1. Problemstellung

Die Steuerung von Verkehrssignalen (TSC) ist entscheidend zur Verringerung des urbanen Staus. Während traditionelle Methoden (Fixed-Time, Max-Pressure) an mangelnder Anpassungsfähigkeit leiden und Reinforcement-Learning-Methoden (RL) (z. B. CoLight, MPLight) Schwierigkeiten mit Generalisierung und Interpretierbarkeit haben, bieten Large Language Models (LLMs) aufgrund ihrer Schlussfolgerungsfähigkeiten und ihrer Fähigkeit, interpretierbaren Text zu generieren, eine vielversprechende Alternative.

Die Anwendung von LLMs auf TSC steht jedoch vor zwei Hauptherausforderungen:

Domänenanpassung: Standard-LLMs verfügen über kein spezifisches Wissen zu Verkehrsdynamiken, was zu suboptimalen Entscheidungen führt.
Reward-Sparsity und Interpretierbarkeit: Traditionelles RL verlässt sich auf spärliche, kumulierte Umgebungs-Rewards (z. B. Gesamtreduktion der Verzögerung über ein Episode), die für LLMs schwierig direkt zu optimieren sind. Darüber hinaus fehlt beim end-to-end Fine-Tuning von LLMs oft die dichte, zustandsspezifische Überwachung, die zum Erlernen komplexer Verkehrspolitiken erforderlich ist.

Das Papier schlägt DGLight vor, ein Framework, das diese Lücken schließt, indem es einen wertbasierten Kritiker zur Steuerung des Fine-Tunings eines LLMs verwendet, sodass dieses aus dichten, verkehrsorientierten Aktionswerten lernen und gleichzeitig interpretierbare Schlussfolgerungen generieren kann.

2. Methodik: Das DGLight-Framework

DGLight nutzt eine zweistufige Reinforcement-Learning-Pipeline, die einen Deep-Q-Network (DQN)-Kritiker mit Group Relative Policy Optimization (GRPO) kombiniert.

Stufe 1: Training des CoLight-basierten DQN-Kritikers

Ziel: Training eines Werteschätzers zur Bereitstellung dichter, verkehrsorientierter Aktionswerte für Signalphasenentscheidungen.
Architektur: Basierend auf CoLight, einem Graph-Attention-Modell, das die netzwerkweite Kooperation zwischen Kreuzungen erfasst.
Prozess:
- Der Kritiker beobachtet strukturierte Verkehrszustände (Spurwarteschlangenlängen, Verzögerungen).
- Er gibt einen Q-Wert-Vektor ( $Q(s, a)$ ) für alle zulässigen Signalphasen an jeder Kreuzung aus.
- Er wird unter Verwendung der Standard-Bellman-Fehlerminimierung mit Experience Replay trainiert.
Rolle: Dieser Kritiker fungiert als „eingefrorener" Lehrer, der die Qualität jeder potenziellen Signalaktion basierend auf komplexen räumlichen und zeitlichen Verkehrskontexten bewertet und ein reichhaltigeres Signal liefert als rohe Umgebungs-Rewards.

Stufe 2: LLM Fine-Tuning mit GRPO

Eingabe: Das LLM (basierend auf Llama3-8b) erhält einen textuellen Prompt, der den Verkehrszustand, die Aufgabenbeschreibung und verfügbare Signalphasen zusammenfasst.
Sampling: Für jeden Prompt sampelt die Policy eine Gruppe von $k$ Kandidatenantworten (Schlussfolgerungsspuren + Signalentscheidungen).
Parsing & Scoring:
- Jede Antwort wird geparst, um die vorgeschlagene Signalphase zu extrahieren.
- Der eingefrorene DQN-Kritiker bewertet jede Kandidatenaktion mit seinen vortrainierten Q-Werten ( $Q(s, a)$ ).
- Ungültige Aktionen erhalten einen festen Fallback-Reward.
Optimierung (GRPO):
- Anstatt ein separates Wertemodell zu verwenden (wie bei PPO), nutzt DGLight Group Relative Policy Optimization (GRPO).
- Vorteile werden berechnet, indem die Kritiker-Scores der $k$ gesampelten Antworten innerhalb derselben Gruppe verglichen werden.
- Die Policy wird aktualisiert, um den relativen Vorteil zu maximieren, wodurch das verkehrsbezogene Wissen des Kritikers effektiv in den Schlussfolgerungs- und Entscheidungsprozess des LLMs übertragen wird.

3. Hauptbeiträge

Unified Framework: Es wird DGLight vorgeschlagen, das erste Framework, das einen wertbasierten Verkehrskritiker (CoLight-DQN) mit LLM-Fine-Tuning via GRPO vereint. Es ermöglicht LLMs, aus dichten, zustandsbezogenen Aktionswerten zu lernen, anstatt aus spärlichen kumulativen Rewards.
Interpretierbare Policy: Das System trainiert das LLM, sowohl eine gültige Signalentscheidung als auch eine für Menschen lesbare Schlussfolgerungsspur auszugeben (z. B. Analyse von Warteschlangenlängen und Nachbarkontext), wodurch die Lücke zwischen Leistung und Erklärbarkeit geschlossen wird.
Empirische Validierung: Umfassende Experimente auf Standard-Benchmarks (Jinan- und Hangzhou-Datensätze) zeigen, dass DGLight bestehende LLM-basierte Controller übertrifft und mit State-of-the-Art-RL-Baselines wettbewerbsfähig bleibt.
Transferfähigkeit: Es wird gezeigt, dass sich die Methode gut auf nicht gesehene Stadt-Datensätze verallgemeinert (z. B. Training auf Hangzhou-1 und Test auf Jinan), was darauf hindeutet, dass das LLM generalisierbare Verkehrsschlussfolgerungsmuster lernt, anstatt sich auf spezifische Stadt-Daten zu überanpassen.

4. Experimentelle Ergebnisse

Die Studie evaluierte DGLight gegenüber:

Traditionellen Methoden: FixedTime, MaxPressure.
RL-Baselines: MPLight, CoLight, PressLight usw.
LLM-Baselines: LightGPT, JS-GRPO-Varianten.

Wichtige Erkenntnisse:

Leistung: DGLight erzielte die beste Gesamtleistung unter allen LLM-basierten Controllern in den meisten Metriken (durchschnittliche Reisezeit, durchschnittliche Warteschlangenlänge, durchschnittliche Wartezeit).
Vergleich mit RL: DGLight blieb mit starken RL-Baselines (wie CoLight und Advanced-CoLight) wettbewerbsfähig und übertraf sie sogar in bestimmten Metriken, trotz der zusätzlichen Komplexität der Generierung von Schlussfolgerungen.
Transferfähigkeit: DGLight zeigte im Vergleich zu sowohl RL-Baselines als auch anderen LLM-Methoden eine überlegene Transferfähigkeit auf nicht gesehene Städte, was auf eine robuste Generalisierung hindeutet.
Ablationsstudie:
- Der Wechsel von einem Basis-LLM (Llama3-8b) zu einem verkehrsangepassten Modell (LightGPT) erbrachte die größte Verbesserung.
- Die Hinzufügung von Critic-Guided GRPO brachte weitere signifikante Gewinne und bestätigte den Wert des dichten Reward-Signals.
Interpretierbarkeit: Qualitative Analysen bestätigten, dass die generierten Schlussfolgerungsspuren logisch konsistent mit den gewählten Signalphasen waren (z. B. Priorisierung von Spuren mit den längsten Warteschlangen).

5. Bedeutung und zukünftige Arbeiten

Bedeutung:

Überbrückung der Lücke: DGLight demonstriert erfolgreich, dass LLMs effektiv für komplexe Steuerungsaufgaben wie TSC angepasst werden können, ohne die Interpretierbarkeit zu opfern, die sie einzigartig macht.
Effizientes Training: Durch die Verwendung eines eingefrorenen Kritikers zur Generierung dichter Rewards vermeidet die Methode die Instabilität beim Training von LLMs mit spärlichen Umgebungs-Rewards.
Praktische Anwendbarkeit: Die Interpretierbarkeit der Entscheidungen des Modells adressiert eine kritische Hürde für die reale Einführung von KI im Verkehrsmanagement, wo Rechenschaftspflicht und Erklärbarkeit von höchster Bedeutung sind.

Zukünftige Richtungen:

Token-Level-Reward-Zuweisung: Verfeinerung des Reward-Signals, um zwischen Formatierungs-Tokens und kritischen Schlussfolgerungs-/Entscheidungstokens zu unterscheiden, um die Trainingseffizienz zu verbessern.
MLLM-Style-Architektur: Überwindung von text-serialisierten Zuständen hin zu einem Multi-Modal-LLM (MLLM)-Ansatz mit einem dedizierten Verkehrssituationen-Encoder, um räumliche und numerische Beziehungen im Straßennetz besser zu erfassen.

Zusammenfassend stellt DGLight einen bedeutenden Schritt vorwärts in der Anwendung von Generativer KI auf städtische Infrastrukturen dar und beweist, dass LLMs hochleistungsfähige, interpretierbare Steuerungspolitiken erlernen können, wenn sie durch robuste wertbasierte Kritiker geleitet werden.