Technische Samenvatting: OracleTSC

Probleemstelling

Verkeerslichtstelsels (TSC) vereisen transparante besluitvorming om het publieke vertrouwen te winnen, doch traditionele Reinforcement Learning (RL) methoden functioneren als "black boxes". Hoewel Large Language Models (LLM's) een weg bieden naar interpretatie via redenering in natuurlijke taal, staan er aanzienlijke hindernissen in de weg bij het toepassen ervan op TSC via reinforcement fine-tuning. Specifiek is TSC een lang-horizon probleem gekenmerkt door:

1. Schaarse en vertraagde feedback: De impact van een signaalwijziging manifesteert zich vaak pas na veel tijdstappen, wat toewijzing van krediet bemoeilijkt.
2. Zwakke beloningssignalen: De meeste haalbare faseveranderingen leveren slechts marginale verbeteringen op in congestiemetingen, wat resulteert in ruisende gradiënten die het optimaliseren van het beleid niet effectief sturen.
3. Redeneerdrift: Wanneer LLM-beleidsplannen onzeker zijn, variëren hun gegenereerde uitleg en fasekeuzes sterk tussen verschillende antwoorden voor dezelfde toestand, waardoor willekeur in de regellus wordt ingebracht en prestatie-instabiliteit ontstaat.

Bestaande benaderingen die LLM's fine-tunen voor TSC lijden vaak aan trainingsinstabiliteit en beperkte verbeteringen ten opzichte van vooraf getrainde baselines, grotendeels omdat standaard Proximal Policy Optimization (PPO) moeite heeft met deze lang-horizon, zwak-beloning dynamieken.

Methodologie: OracleTSC

De auteurs stellen OracleTSC voor, een raamwerk ontworpen om reinforcement fine-tuning voor LLM-gebaseerde TSC te stabiliseren door zwakke signalen en redeneerinstabiliteit aan te pakken. De aanpak formuleert TSC als een Markov Beslissingsproces (MDP) waarbij toestanden en acties worden weergegeven als tekst in natuurlijke taal, waardoor de LLM zowel een verkeerslichtfase als een Chain-of-Thought (CoT) uitleg kan genereren.

De kern van de methode omvat twee nieuwe mechanismen die zijn geïntegreerd in het PPO trainingsdoel:

1. Beloningshindernis Mechanisme (RHM)

Om zwakke beloningssignalen te bestrijden, introduceert OracleTSC een Beloningshindernis. In plaats van ruwe omgevingsfeedback (bijv. reductie van wachtrijlengte) direct te gebruiken, trekt de methode een gekalibreerde drempel ($HR$) af van de beloning.

• Mechanisme: $R_{total} = R_{env} - HR$.
• Effect: Acties die resulteren in verbeteringen kleiner dan de hindernis worden bestraft (ontvangen negatieve of nul beloning), terwijl alleen acties met hoge impact positieve versterking ontvangen. Dit filtert kwalitatief slechte updates en dwingt het beleid zich te focussen op ingrepen die congestie betekenisvol verminderen, wat effectief fungeert als een constante basislijn om de gradiëntvariantie in de vroege fasen van training te verminderen.

2. Regularisatie van Onzekerheid via Temperatuur-geschaalde Softmax Discrete Semantische Entropie

Om redeneerdrift en inconsistente besluitvorming aan te pakken, introduceert het raamwerk een regularisatieterm gebaseerd op semantische entropie.

• Mechanisme: Het model genereert $G$ kandidaat-antwoorden voor een gegeven toestand. Deze antwoorden worden geklusterd op basis van de geëxtraheerde verkeersfase (met inachtneming van linguïstische variaties). Een kansverdeling over deze fases wordt berekend met behulp van een temperatuur-geschaalde Softmax.
• Beloningsterm: Een straf wordt toegepast als de verdeling hoge entropie heeft (d.w.z. het model is onzeker over de fase). De beloning wordt gedefinieerd als $R_{entropy} = p_{chosen} \times \mathbb{I}(R_{env} > HR)$, waarbij $p_{chosen}$ de waarschijnlijkheid is van de geselecteerde fase.
• Effect: Dit moedigt het model aan om consistente fasekeuzes te produceren over meerdere bemonsteringspogingen, stabiliseert het redeneerproces en vermindert de variantie in actiekeuze.

Het uiteindelijke doel combineert het standaard PPO afgeknipte surrogaatdoel met deze gewijzigde beloningen, waarbij zowel het beleidsnetwerk als een waardenetwerk worden geoptimaliseerd.

Belangrijkste Bijdragen

1. Identificatie van Falingsmodi: Het artikel identificeert empirisch dat onvoldoende onderdrukking van suboptimale acties (door zwakke beloningen) en redeneerdrift (door output-onzekerheid) de primaire oorzaken zijn van instabiliteit in LLM-gebaseerde TSC.
2. Beloningshindernis Mechanisme: Een eenvoudige maar effectieve straf die een expliciete prestatiedrempel oplegt, leerprocessignalen van acties met hoge impact versterkt en kwalitatief slechte updates onderdrukt.
3. Semantische Entropie Regularisatie: Een principiële aanpak om onzekerheid op beslissingsniveau (in plaats van token-niveau) te kwantificeren en te mitigeren met behulp van temperatuur-geschaalde softmax, wat lang-horizon redeneren stabiliseert.
4. Demonstratie van Robuustheid: Het raamwerk stelt compacte modellen (bijv. LLaMA3-8B, Qwen3-0.6B) in staat aanzienlijke prestatiewinst te behalen terwijl interpretatiebehoud wordt gewaarborgd via uitleg in natuurlijke taal.

Experimentele Resultaten

Experimenten werden uitgevoerd op de LibSignal benchmark met twee verschillende kruispunttopologieën: CityFlow1×1 (Hangzhou, 8 fases) en Cologne1 (Duitsland, 4 fases).

• Prestatiewinst: OracleTSC presteerde aanzienlijk beter dan vooraf getrainde LLM-baselines en niet-LLM RL-methoden in verschillende metrieken.
  • Op CityFlow1×1 bereikte het gefinetunte LLaMA3-8B-model een reductie van 75% in reistijd en een daling van 67% in wachtrijlengtes ten opzichte van de vooraf getrainde baseline.
  • Op Cologne1 verminderde de methode wachtrijlengtes met 39–50% en reistijden met 29–85%, en bereikte een doorvoer vergelijkbaar met state-of-the-art niet-verklarende RL-controllers (bijv. PressLight, IDQN).
• Generalisatie over Kruispunten: Een beleid getraind op één kruispunttopologie werd effectief overgebracht naar een structureel verschillend kruispunt zonder extra fine-tuning. Bijvoorbeeld, een model getraind op Cologne1 verkleinde de reistijd met 13% wanneer getest op CityFlow1×1, en vice versa.
• Ablatie-studies:
  • Het gebruik van alleen de omgevingsbeloning leverde marginale winsten op.
  • Het alleen toevoegen van de Beloningshindernis verbeterde de prestaties aanzienlijk door zwakke signalen te filteren.
  • Het alleen toevoegen van Onzekerheidsregularisatie verbeterde de stabiliteit en verminderde wachtrijlengtes.
  • Gecombineerde Toepassing: De combinatie van beide mechanismen leverde de beste resultaten op, wat hun complementaire aard bevestigt.
• Kwalitatieve Analyse: Na fine-tuning werd de CoT-redenering van de LLM gestructureerd, beknopt en vrij van de zelftegenstrijdigheden en faseverkeerde identificaties die bij vooraf getrainde modellen werden waargenomen.

Betekenis en Claims

Het artikel beweert dat OracleTSC een nieuw perspectief biedt voor het verbeteren van de effectiviteit van reinforcement fine-tuning in lang-horizon TSC-taken. De betekenis ligt in:

• Stabiliseren van LLM-Controle: Aantonen dat gerichte beloningsvorming (hindernissen) en onzekerheidsregularisatie de inherente instabiliteit kunnen overwinnen van het toepassen van PPO op LLM's in omgevingen met schaarse beloningen.
• Brug slaan tussen Interpretatie en Prestatie: Het behalen van prestaties die concurreren met gespecialiseerde, black-box RL-controllers, terwijl het unieke vermogen van LLM's om natuurlijke taal-rationales voor beslissingen te geven, behouden blijft.
• Schaalbaarheid: Aantonen dat deze mechanismen werken over verschillende modelgroottes (van 0,6B tot 8B parameters) en generaliseren over verschillende kruispunttopologieën, wat wijst op een pad naar schaalbare, herbruikbare en interpreteerbare intelligente vervoerssystemen.

De auteurs merken bescheiden op dat hun doel niet is superioriteit te claimen boven alle bestaande geoptimaliseerde RL-algoritmen, maar om de betrouwbaarheid en transparantie van LLM-gebaseerde controllers te verbeteren. Zij erkennen beperkingen, zoals de noodzaak van handmatige afstelling van de hindernisrate en de rekenkosten van multi-sample generatie voor entropie-schatting.