💻 computer science

C $^2$ T: Captioning-Structure and LLM-Aligned Common-Sense Reward Learning for Traffic--Vehicle Coordination

Het paper introduceert C²T, een nieuw framework dat een door een Large Language Model (LLM) geleerde intrinsieke beloningsfunctie gebruikt om Multi-Agent Reinforcement Learning-systemen voor verkeerslichtregeling en autonome voertuigen te optimaliseren, waardoor de prestaties op het gebied van verkeersveiligheid, doorstroming en comfort aanzienlijk verbeteren ten opzichte van bestaande methoden.

Oorspronkelijke auteurs: Yuyang Chen, Kaiyan Zhao, Yiming Wang, Ming Yang, Bin Rao, Zhenning Li

Gepubliceerd 2026-04-16

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Yuyang Chen, Kaiyan Zhao, Yiming Wang, Ming Yang, Bin Rao, Zhenning Li

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat het verkeer in een stad een enorm, complex orkest is. De verkeerslichten zijn de dirigenten en de auto's zijn de muzikanten. Het probleem is dat de huidige "dirigenten" (de slimme verkeerslichten) vaak alleen luisteren naar de muziek die ze direct voor hun neus horen. Ze proberen de rijen zo snel mogelijk kort te houden, maar ze vergeten soms of de muziek wel mooi klinkt, of dat de muzikanten niet te hard hoeven te remmen, of dat ze niet te vaak van toon wisselen.

Dit leidt tot een situatie waarin het verkeer op papier efficiënt lijkt, maar in de praktijk chaotisch, onveilig en oncomfortabel voelt.

De auteurs van dit paper, C2T, hebben een nieuwe manier bedacht om deze dirigenten te leren luisteren naar wat mensen eigenlijk belangrijk vinden: veiligheid, comfort en een rustige stroom. Ze noemen hun methode C2T (Captioning-Structure and LLM-Aligned Common-Sense Reward Learning).

Hier is hoe het werkt, vertaald naar alledaagse taal:

1. De "Vertaler" (De Structuur)

Stel je voor dat je een kunstcriticus wilt overtuigen om twee schilderijen te vergelijken. Als je de criticus alleen maar een foto geeft, kan het zijn dat hij de details mist. Maar als je hem een gedetailleerde beschrijving geeft met de juiste maten en kleuren, kan hij een veel betere keuze maken.

In C2T doen ze precies dit met verkeersdata. Ze nemen de ruwe cijfers van de verkeerslichten (hoeveel auto's, hoe lang de wachtrij, hoe snel de auto's) en zetten dit om in een gestructureerde beschrijving (een "caption"). Dit is geen losse tekst, maar een vast format met duidelijke eenheden, zoals:

"Wachtrij: 5 auto's"
"Veiligheidsafstand: 2 seconden"
"Harde remming: 1 keer"

2. De "Grote Leraar" (De AI)

Vervolgens vragen ze een zeer slimme AI (een Large Language Model, of LLM), die we kunnen zien als een ervaren verkeersexpert of een wijs ouder, om twee van deze beschrijvingen te vergelijken.

Vraag aan de AI: "Welke van deze twee verkeerssituaties voelt voor een mens veiliger en rustiger?"
De AI kiest de beste situatie.

Deze AI doet dit niet live in het verkeer (dat zou te traag zijn), maar doet het eerst "offline" op een grote stapel voorbeelden. Het leert zo wat "gezond verstand" in het verkeer betekent.

3. De "Intrinsieke Beloning" (De Lering)

Op basis van de keuzes van de AI bouwen ze een klein, slim computerprogramma (een "scorer"). Dit programma leert: "Als je deze situatie ziet, geef dan een hoge score, want dit voelt goed voor mensen."

Dit wordt de nieuwe beloning voor de verkeerslichten.

Oude manier: "Je krijgt punten als de rij kort is." (Dit leidt soms tot gevaarlijk snel schakelen).
Nieuwe manier (C2T): "Je krijgt punten als de rij kort is, EN als de auto's niet hoeven te remmen, EN als het veilig is."

4. De "Veiligheidsdeken" (De Maskering)

Er is een belangrijk veiligheidsmechanisme ingebouwd. Stel je voor dat de AI zegt: "Dit is een mooie situatie!" Maar plotseling is er een auto die te dichtbij komt. Dan schakelt het systeem een veiligheidsdeken in.
Dit deken zegt: "Wacht even, de AI mag nu niet beslissen. De veiligheid gaat voor." Het systeem blokkeert de slimme beloning als het te gevaarlijk wordt (bijvoorbeeld als de tijd tot een botsing te kort is).

5. Het Resultaat: Een Beter Orkest

Wanneer ze dit systeem testen in steden als Jinan, Hangzhou en New York, zien ze wonderen gebeuren:

Minder files: De auto's komen sneller aan.
Veiliger: Minder harde remmingen en meer ruimte tussen auto's.
Comfortabeler: De rit voelt rustiger, alsof je op een gladde weg rijdt in plaats van over stoepranden.

Waarom is dit zo slim?

Het grootste voordeel is dat de AI (de "Grote Leraar") alleen vooraf wordt ingezet. Tijdens het daadwerkelijke verkeer hoeft de computer niet meer te wachten op de AI. Het verkeerslicht gebruikt de "lering" die het al heeft opgedaan. Dit maakt het systeem razendsnel en betrouwbaar.

Kort samengevat:
C2T is alsof je een verkeerslicht niet alleen leert kijken naar de rijlengte, maar ook leert "voelen" wat een mens als een goede rit ervaart. Door een slimme vertaler en een wijs AI-mentor te gebruiken, leren de verkeerslichten om niet alleen efficiënt, maar ook veilig en comfortabel te sturen. Het is de overstap van een robot die alleen cijfers ziet, naar een dirigent die de muziek van het verkeer echt begrijpt.

Titel: C2T: Captioning-Structure en LLM-Gealigneerde Common-Sense Reward Learning voor Verkeers-Voertuig Coördinatie

1. Het Probleem

Staat van de kunst (SOTA) voor stedelijk verkeersbeheer maakt steeds meer gebruik van Multi-Agent Reinforcement Learning (MARL) om verkeerslichten (TLC's) en Connected Autonomous Vehicles (CAV's) te coördineren. Een fundamentele beperking van deze systemen is echter dat ze afhankelijk zijn van handgemaakte, kortzichtige beloningen (rewards), zoals "kruispuntdruk" of wachtrijlengte.

Tekortkomingen: Deze metrics falen in het vastleggen van hoogwaardige, mensgerichte doelen zoals veiligheid, stabiliteit van de stroom en comfort.
Gevolgen: Systemen die lokaal optimaal streven naar het legen van verkeersstromen, kunnen leiden tot onstabiele verkeersgolven, frequent remmen, gevaarlijke afstanden en een gebrek aan comfort, zelfs als de gemiddelde doorstroming op papier goed lijkt.
Behoefte: Er is een behoefte aan een "kwaliteit van verkeer" die menselijke oordelen weerspiegelt en langetermijneffecten (zoals het vormen van konvooien) anticipeert, zonder de bestaande RL-trainingsparadigma's te verstoren.

2. Methodologie: Het C2T Framework

C2T (Captioning-Structure and LLM-Aligned Common-Sense Reward Learning) is een raamwerk dat een intrinsic reward (intrinsieke beloning) leert die is gealigneerd met menselijke "common sense", afgeleid van een Large Language Model (LLM). Het proces verloopt in drie fasen:

Fase 1: Gestructureerde Captioning en Preferentieparen

In plaats van ruwe data, worden observaties van de simulator omgezet in deterministische, eenheidsbewuste captions (tekstbeschrijvingen) volgens een vast schema.
Dit schema bevat velden voor: signaalstatus, wachtrijen/druk, vertraging/debiet, veiligheid (TTC-percentielen, hard remmen, rood-lichtrisico) en kinematica van het dichtstbijzijnde voertuig.
Paren van captions worden gegenereerd met een focus op contrast in congestie en veiligheid.
Een LLM (offline) wordt bevraagd om te bepalen welke van de twee staten "beter" is voor het verkeer. Alleen beslissende labels worden bewaard.

Fase 2: Offline Leren van een Intrinsic Reward

Een lichtgewicht scorer (een neurale netwerk $f_\phi$ ) wordt getraind om de voorkeuren van het LLM na te bootsen.
De scorer leert een scalar kwaliteitswaarde $r_\phi$ op basis van de captions en numerieke hulpvariabelen.
Het trainingsdoel is een Bradley-Terry likelihood loss, waarbij de scorer leert om staten die het LLM als veiliger of efficiënter beoordeelt, een hogere score te geven.
Belangrijk: Dit gebeurt volledig offline; er zijn geen LLM-calls nodig tijdens de daadwerkelijke RL-training.

Fase 3: Asymmetrische Integratie in RL

De geleerde intrinsic reward wordt geïntegreerd in een standaard PPO (Proximal Policy Optimization) pipeline voor Multi-Intersection TLC's.
Asymmetrie: De intrinsic reward wordt alleen toegevoegd aan de beloning voor de verkeerslichten (TLC), niet voor de voertuigen. Dit plaatst de menselijke begeleiding waar de fasekeuze het meest invloed heeft op de stroom, en voorkomt extra non-stationariteit.
Veiligheidsmasker: Een lichtgewicht risicomasker schakelt de intrinsic reward uit bij onveilige situaties (bijv. lage Time-to-Collision, clusters van hard remmen).
Normalisatie en Planning: De externe reward, de intrinsic component en de veiligheidsstraf worden als aparte streams behandeld, genormaliseerd en zachtjes geknipt (soft clipping) voordat ze worden samengevoegd. Een "warm-up" schema zorgt ervoor dat de agent eerst aan omgevingsbeperkingen voldoet en geleidelijk de common-sense voorkeuren absorbeert.

3. Belangrijkste Bijdragen

Gestructureerde Captioning voor Verkeers-RL: Een deterministisch schema dat staten omzet in een voor LLM's vergelijkbare en reproduceerbare tekst, waardoor kwaliteitsbeoordeling mogelijk wordt zonder vrije tekst.
Offline PreferentieLeren: Een methode om een intrinsic reward te distilleren uit LLM-voorkeuren, met optionele "heads" voor veiligheid, efficiëntie of energie, zonder runtime afhankelijkheid van LLM's.
Veilige, Asymmetrische Integratie: Een ontwerp dat de intrinsic reward alleen aan de TLC-objectief koppelt, gecombineerd met een veiligheidsmasker en normalisatie, wat volledig compatibel is met bestaande PPO-controllers.
Uitgebreide Validatie: Bewijs van effectiviteit op benchmarks gebaseerd op CityFlow (Jinan, Hangzhou, New York) onder diverse stress-scenario's.

4. Resultaten

Het framework werd getest op realistische netwerken (Jinan, Hangzhou, New York) en extreme scenario's (piekbelasting, 24-uurscyclus).

Efficiëntie: C2T overtreft sterke MARL-baselines (zoals MPLight, CoLight, AttendLight) aanzienlijk in gemiddelde reistijd (ATT), wachtrijlengte (AQL) en wachtijd (AWT).
Veiligheid: Er is een significante verbetering in veiligheidsmetrics, waaronder hogere percentielen voor Time-to-Collision (TTC) en minder incidenten met hard remmen.
Energie: Verbeteringen in energie-gerelateerde proxies (zoals aantal stops en snelheidsvariatie).
Generalisatie: Een model getraind op Jinan werkt goed op Hangzhou (zero-shot), en het systeem schaalt goed naar grote netwerken (196 kruispunten in New York) waar andere baselines verslechteren.
Ablatiestudies:
- Het verwijderen van de intrinsic reward laat de prestaties instorten naar het niveau van de baseline.
- Het verwijderen van het veiligheidsmasker verbetert de efficiëntie licht maar verslechtert de veiligheid drastisch.
- Zonder per-stream normalisatie wordt de training instabiel.
- De gestructureerde caption (combinatie van tekst en nummers) werkt beter dan alleen tekst of alleen nummers.

5. Betekenis en Conclusie

C2T biedt een doorbraak in het overbruggen van de kloof tussen handgemaakte, statische beloningsfuncties en menselijke oordelen over verkeerskwaliteit.

Schalbaarheid: Door het LLM alleen offline te gebruiken voor het trainen van de reward-scorer, behoudt het systeem de snelheid en betrouwbaarheid van traditionele RL-systemen voor online besturing.
Flexibiliteit: Door de prompt voor het LLM te wijzigen, kunnen verschillende beleidslijnen worden gegenereerd (bijv. "efficiëntie-gericht" versus "veiligheidsgericht") zonder de RL-architectuur aan te passen.
Toekomst: Dit werk opent de weg voor meer mensgerichte, veilige en comfortabele verkeerscontrolesystemen die kunnen worden uitgerold in complexe, multi-agent omgevingen zonder de noodzaak van dure menselijke annotatie of trage online LLM-interacties.