🤖 AI

OracleTSC: Oracle-Informed Reward Hurdle and Uncertainty Regularization for Traffic Signal Control

OracleTSC ist ein neuartiges Framework, das das Reinforcement Fine-Tuning für die Lichtsignalsteuerung mittels großer Sprachmodelle durch die Einführung eines Reward-Hürden-Mechanismus und einer Unsicherheitsregularisierung stabilisiert und dadurch erhebliche Verbesserungen der Verkehrseffizienz und der Generalisierung über Kreuzungen hinweg bei gleichzeitiger Aufrechterhaltung transparenter, natürlichsprachlicher Entscheidungsfindung erzielt.

Ursprüngliche Autoren: Darryl Jacob, Xinyu Liu, Muchao Ye, Xiaoyong Yuan, Pan He

Veröffentlicht 2026-05-12

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Darryl Jacob, Xinyu Liu, Muchao Ye, Xiaoyong Yuan, Pan He

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, einem sehr intelligenten, gut gebildeten Roboter (ein Large Language Model) beizubringen, wie man als Verkehrsampelsteuerung funktioniert. Der Roboter ist hervorragend darin, Geschichten zu schreiben und Fragen zu beantworten, aber wenn es darum geht, den Verkehr zu steuern, ist es, als würde man einer Bibliothekarin ein Lenkrad in die Hand drücken: Sie kennt die Regeln, weiß aber nicht, wie man in Echtzeit fährt.

Das Problem ist, dass die Verkehrssteuerung ein „Langzeit-Spiel" ist. Wenn der Roboter eine schlechte Entscheidung trifft, entsteht der Stau nicht sofort; er baut sich über mehrere Minuten langsam auf. Bis der Roboter merkt: „Oh nein, ich habe einen Rückstau verursacht", ist der Schaden bereits angerichtet. Das macht es für den Roboter schwierig zu lernen, was funktioniert und was nicht.

Die Autoren dieses Papiers, OracleTSC, haben ein neues Trainingssystem entwickelt, um zwei Hauptprobleme beim Unterrichten dieser Roboter zu beheben:

1. Das „Rauschen"-Problem: Schwache Signale herausfiltern

Die Analogie: Stellen Sie sich vor, Sie versuchen, Golf zu lernen, indem Sie einem Trainer zuhören, der flüstert: „Guter Schlag", selbst wenn Sie den Ball in eine Sandbunker werfen, und „Schlechter Schlag", wenn Sie einen Hole-in-One landen. Sie würden niemals lernen!

Im Verkehr machen die meisten Signaländerungen nur einen winzigen Unterschied (vielleicht bewegen sich 1 oder 2 Autos schneller). Für einen lernenden Roboter sehen diese winzigen Änderungen wie zufälliges Rauschen aus. Der Roboter wird verwirrt und führt weiterhin dieselben kleinen, ineffektiven Änderungen durch.

Die Lösung: Die „Belohnungs-Hürde"
Die Autoren führten eine „Hürde" ein. Denken Sie daran wie an eine Hochsprunglatte.

Wenn die Aktion des Roboters nur eine winzige Hürde überwindet (eine winzige Verbesserung im Verkehr), sagt das System: „Das reicht nicht. Versuchen Sie es härter." Es bestraft den Roboter tatsächlich für schwache Züge.
Nur wenn der Roboter eine hohe Hürde überwindet (eine große Verbesserung, wie das Freimachen einer riesigen Autolänge), erhält er eine „Gut gemacht!"-Belohnung.
Ergebnis: Der Roboter verschwendet keine Zeit mehr mit kleinen, nutzlosen Anpassungen und lernt, mutige, effektive Züge zu machen, die den Verkehr tatsächlich freimachen.

2. Das „Verwirrungs"-Problem: Den Roboter daran hindern, sich selbst zu hinterfragen

Die Analogie: Stellen Sie sich einen Roboter vor, der entscheiden muss, welche Tür er öffnen soll.

Vorher: Er denkt: „Vielleicht Tür A? Nein, vielleicht Tür B? Warte, wieder Tür A? Eigentlich Tür C?" Er redet sich im Kreis herum und ändert jede Sekunde seine Meinung. Dies wird als „Reasoning Drift" (Abdrift des Denkens) bezeichnet.
Nachher: Er betrachtet die Situation, wählt Tür A und bleibt dabei.

Die Lösung: Die „Selbstvertrauen-Strafe"
Die Forscher stellten fest, dass der Roboter, wenn er unsicher war, unterschiedliche Erklärungen für dieselbe Verkehrssituation generierte (z. B. „Fahren Sie nach Norden" in einem Gedanken, „Fahren Sie nach Süden" im nächsten). Diese Inkonsistenz macht den Roboter instabil.

Sie fügten eine Regel hinzu, die den Roboter bestraft, wenn er sich nicht selbst einig ist.

Sie bitten den Roboter, 8 verschiedene Antworten für denselben Stau zu generieren.
Wenn die Antworten völlig durcheinander sind (hohe „Entropie" oder Verwirrung), erhält der Roboter eine Strafe.
Wenn der Roboter konsequent dieselbe Phase wählt (niedrige Entropie), erhält er einen Bonus.
Ergebnis: Der Roboter lernt, entscheidend zu sein. Er hört auf zu schwanken und wählt einen klaren, konsistenten Plan.

Die großen Ergebnisse

Als sie dieses neue System (OracleTSC) in realen Verkehrssimulationen testeten:

Es funktionierte schnell: Sie verwendeten ein relativ kleines, kompaktes Roboter-Gehirn (LLaMA3-8B), und es lernte, den Verkehr besser zu steuern als viele spezialisierte „Black-Box"-KI-Systeme, die ihre Entscheidungen nicht erklären können.
Der Verkehr floss besser: Die Reisezeiten sanken um 75 %, und die Länge der Autolängen (Staus) sank um 67 % im Vergleich zum untrainierten Roboter.
Es war intelligent genug, um sich anzupassen: Sie trainierten den Roboter an einer spezifischen Kreuzung (wie einer einfachen Kreuzung) und schickten ihn dann zu einer völlig anderen, komplexen Kreuzung (wie einem belebten deutschen Stadtplatz). Ohne zusätzliches Training bewältigte der Roboter den neuen Ort fast genauso gut, als wäre er speziell dort trainiert worden.

Warum dies wichtig ist

Die meisten heutigen Verkehrs-KI-Systeme sind eine „Black Box" – sie funktionieren, aber niemand weiß, warum sie ein bestimmtes Signal gewählt haben. Wenn sie einen Fehler machen, können wir sie nicht fragen: „Warum haben Sie das getan?"

OracleTSC ist anders. Da es ein Large Language Model verwendet, kann es über seine Entscheidungen sprechen.

Vor dem Training: Die Argumentation des Roboters war chaotisch, widersprüchlich und voller „Warte, vielleicht...".
Nach dem Training: Der Roboter gibt klare, schrittweise Erklärungen: „Schritt 1: Es warten 38 Autos auf der Nordseite. Schritt 2: Ich werde das Licht für die Nordseite auf Grün schalten, um den Stau zu räumen."

Kurz gesagt: OracleTSC lehrt verkehrssteuernde Roboter, mutig zu sein (indem es kleine, schwache Verbesserungen ignoriert) und selbstbewusst (indem es sie daran hindert, sich selbst zu hinterfragen), was zu einem flüssigeren Verkehr und einem Roboter führt, den Sie tatsächlich fragen können: „Warum haben Sie das getan?"

Technische Zusammenfassung: OracleTSC

Problemstellung

Verkehrsampelsteuerungssysteme (TSC) benötigen transparente Entscheidungsfindung, um das öffentliche Vertrauen zu gewinnen, doch traditionelle Methoden des Reinforcement Learning (RL) funktionieren als „Blackboxen". Obwohl Large Language Models (LLMs) durch natürliche Sprachbegründung einen Weg zur Interpretierbarkeit bieten, stößt ihre Anwendung auf TSC via Reinforcement Fine-Tuning auf erhebliche Hürden. Insbesondere ist TSC ein Problem mit langem Horizont, das durch folgende Merkmale gekennzeichnet ist:

Sparsames und verzögertes Feedback: Die Auswirkungen einer Signaländerung zeigen sich oft erst nach vielen Zeitschritten, was die Zuordnung von Verdiensten (Credit Assignment) erschwert.
Schwache Belohnungssignale: Die meisten machbaren Phasenwechsel führen nur zu marginalen Verbesserungen bei Staukennzahlen, was zu verrauschten Gradienten führt, die die Politikoptimierung nicht effektiv steuern können.
Reasoning-Drift: Wenn LLM-Politiken unsicher sind, variieren ihre generierten Erklärungen und Phasenentscheidungen stark zwischen verschiedenen Antworten für denselben Zustand. Dies injiziert Zufälligkeit in den Regelkreis und verursacht Leistungsinstabilität.

Bestehende Ansätze, die LLMs für TSC feinabstimmen, leiden häufig unter Trainingsinstabilität und begrenzten Verbesserungen gegenüber vortrainierten Baselines, hauptsächlich weil die Standard-Proximal Policy Optimization (PPO) Schwierigkeiten hat, diese Dynamiken mit langem Horizont und schwachen Belohnungen zu bewältigen.

Methodik: OracleTSC

Die Autoren schlagen OracleTSC vor, ein Framework, das das Reinforcement Fine-Tuning für LLM-basierte TSC stabilisieren soll, indem es schwache Signale und Instabilität bei der Begründung adressiert. Der Ansatz formuliert TSC als Markov-Entscheidungsprozess (MDP), wobei Zustände und Aktionen als Text in natürlicher Sprache repräsentiert werden, sodass das LLM sowohl eine Ampelphasenwahl als auch eine Chain-of-Thought (CoT)-Erklärung generieren kann.

Der Kern der Methode umfasst zwei neuartige Mechanismen, die in das PPO-Trainingsziel integriert sind:

1. Reward-Hurdle-Mechanismus (RHM)

Um schwache Belohnungssignale zu bekämpfen, führt OracleTSC eine Reward Hurdle (Belohnungshürde) ein. Anstatt direktes Umweltfeedback (z. B. Reduzierung der Warteschlangenlänge) zu verwenden, subtrahiert die Methode einen kalibrierten Schwellenwert ($HR$) von der Belohnung.

Mechanismus: $R_{total} = R_{env} - HR$ .
Wirkung: Aktionen, die zu Verbesserungen führen, die kleiner als die Hürde sind, werden bestraft (erhalten negative oder null Belohnung), während nur hochwirksame Aktionen positive Verstärkung erhalten. Dies filtert qualitativ minderwertige Updates heraus und zwingt die Politik, sich auf Eingriffe zu konzentrieren, die den Stau signifikant reduzieren. Dies wirkt effektiv als konstante Basislinie, um die Gradientenvarianz in den frühen Trainingsphasen zu reduzieren.

2. Unsicherheitsregularisierung mittels temperatur-skaliertem Softmax für diskrete semantische Entropie

Um Reasoning-Drift und inkonsistente Entscheidungsfindung zu adressieren, führt das Framework einen Regularisierungsterm ein, der auf semantischer Entropie basiert.

Mechanismus: Das Modell generiert $G$ Kandidatenantworten für einen gegebenen Zustand. Diese Antworten werden anhand der extrahierten Ampelphase gruppiert (unter Ignorierung sprachlicher Variationen). Eine Wahrscheinlichkeitsverteilung über diese Phasen wird unter Verwendung eines temperatur-skalierten Softmax berechnet.
Belohnungsterm: Eine Strafe wird angewendet, wenn die Verteilung eine hohe Entropie aufweist (d. h., das Modell ist unsicher bezüglich der Phase). Die Belohnung ist definiert als $R_{entropy} = p_{chosen} \times \mathbb{I}(R_{env} > HR)$ , wobei $p_{chosen}$ die Wahrscheinlichkeit der ausgewählten Phase ist.
Wirkung: Dies ermutigt das Modell, über mehrere Stichprobenversuche hinweg konsistente Phasenentscheidungen zu treffen, stabilisiert den Begründungsprozess und reduziert die Varianz bei der Aktionsauswahl.

Das finale Ziel kombiniert das standardmäßige PPO-Clipping-Surrogat-Ziel mit diesen modifizierten Belohnungen und optimiert sowohl das Politiknetzwerk als auch ein Wertnetzwerk.

Hauptbeiträge

Identifikation von Fehlermodi: Das Papier identifiziert empirisch, dass unzureichende Unterdrückung suboptimaler Aktionen (aufgrund schwacher Belohnungen) und Reasoning-Drift (aufgrund von Ausgabeunsicherheit) die Hauptursachen für Instabilität bei LLM-basierter TSC sind.
Reward-Hurdle-Mechanismus: Ein einfacher, aber effektiver Strafterm, der eine explizite Leistungsschwelle auferlegt, Lernsignale von hochwirksamen Aktionen verstärkt und minderwertige Updates unterdrückt.
Regularisierung der semantischen Entropie: Ein fundierter Ansatz zur Quantifizierung und Minderung von Unsicherheit auf Entscheidungsebene (statt auf Token-Ebene) mittels temperatur-skaliertem Softmax, der das Reasoning mit langem Horizont stabilisiert.
Nachweis der Robustheit: Das Framework ermöglicht es kompakten Modellen (z. B. LLaMA3-8B, Qwen3-0.6B), erhebliche Leistungssteigerungen zu erzielen, während die Interpretierbarkeit durch natürliche Sprachbegründungen erhalten bleibt.

Experimentelle Ergebnisse

Experimente wurden auf dem LibSignal-Benchmark mit zwei unterschiedlichen Kreuzungstopologien durchgeführt: CityFlow1×1 (Hangzhou, 8 Phasen) und Cologne1 (Deutschland, 4 Phasen).

Leistungssteigerungen: OracleTSC schnitt in mehreren Metriken deutlich besser ab als vortrainierte LLM-Baselines und nicht-LLM-RL-Methoden.
- Auf CityFlow1×1 erreichte das feinabgestimmte LLaMA3-8B-Modell eine Reduzierung der Reisezeit um 75 % und eine Verringerung der Warteschlangenlängen um 67 % im Vergleich zur vortrainierten Baseline.
- Auf Cologne1 reduzierte die Methode die Warteschlangenlängen um 39–50 % und die Reisezeiten um 29–85 % und erreichte einen Durchsatz, der mit dem von hochmodernen, nicht-erklärbaren RL-Controllern (z. B. PressLight, IDQN) vergleichbar ist.
Generalisierung über Kreuzungen hinweg: Eine an einer Kreuzungstopologie trainierte Politik übertrug sich effektiv auf eine strukturell unterschiedliche Kreuzung ohne zusätzliche Feinabstimmung. Beispielsweise reduzierte ein an Cologne1 trainiertes Modell die Reisezeit um 13 %, als es auf CityFlow1×1 getestet wurde, und umgekehrt.
Ablationsstudien:
- Die alleinige Verwendung der Umweltbelohnung erzielte nur marginale Verbesserungen.
- Die alleinige Hinzunahme der Reward Hurdle verbesserte die Leistung erheblich, indem schwache Signale gefiltert wurden.
- Die alleinige Hinzunahme der Unsicherheitsregularisierung verbesserte die Stabilität und reduzierte die Warteschlangenlängen.
- Gemeinsame Anwendung: Die Kombination beider Mechanismen erzielte die besten Ergebnisse und bestätigte ihren komplementären Charakter.
Qualitative Analyse: Nach dem Fine-Tuning wurde die CoT-Begründung des LLM strukturiert, prägnant und frei von den Selbstwidersprüchen und Phasenfehldiagnosen, die bei vortrainierten Modellen beobachtet wurden.

Bedeutung und Behauptungen

Das Papier behauptet, dass OracleTSC eine neue Perspektive zur Verbesserung der Wirksamkeit des Reinforcement Fine-Tuning bei TSC-Aufgaben mit langem Horizont bietet. Seine Bedeutung liegt in:

Stabilisierung der LLM-Steuerung: Der Nachweis, dass gezieltes Reward-Shaping (Hürden) und Unsicherheitsregularisierung die inhärente Instabilität der Anwendung von PPO auf LLMs in Umgebungen mit spärlichen Belohnungen überwinden können.
Überbrückung von Interpretierbarkeit und Leistung: Erreichen einer Leistung, die mit spezialisierten, black-box RL-Controllern konkurrieren kann, unter Beibehaltung der einzigartigen Fähigkeit von LLMs, natürliche Sprachbegründungen für Entscheidungen zu liefern.
Skalierbarkeit: Der Nachweis, dass diese Mechanismen über verschiedene Modellskalen hinweg funktionieren (von 0,6 bis 8 Milliarden Parametern) und sich über verschiedene Kreuzungstopologien hinweg generalisieren, was einen Weg hin zu skalierbaren, wiederverwendbaren und interpretierbaren intelligenten Verkehrssystemen aufzeigt.

Die Autoren vermerken bescheiden, dass ihr Ziel nicht darin besteht, Überlegenheit gegenüber allen bestehenden optimierten RL-Algorithmen zu behaupten, sondern die Zuverlässigkeit und Transparenz von LLM-basierten Controllern zu verbessern. Sie räumen Einschränkungen ein, wie die Notwendigkeit manueller Anpassung der Hürdenrate und die Rechenkosten der Mehrfachstichprobengenerierung für die Entropieschätzung.