EvoQRE: Modeling Bounded Rationality in Safety-Critical Traffic Simulation via Evolutionary Quantal Response Equilibrium

Technische Samenvatting: EvoQRE: Modellering van Bounded Rationality in Veiligheidskritieke Verkeerssimulatie via Evolutionaire Quantal Response Equilibrium

Probleemstelling
Bestaande verkeerssimulatiekaders voor Autonome Voertuigen (AV's) vertrouwen voornamelijk op speltheoretische benaderingen die oplossen voor Nash-evenwicht (NE) of Coarse Correlated Equilibrium (CCE). Deze concepten gaan fundamenteel uit van agenten die perfecte rationele nutmaximalisators zijn. Het menselijke rijgedrag schendt deze aanname echter systematisch, en vertoont bounded rationality gekenmerkt door perceptuele ruis, cognitieve beperkingen en stochastische besluitvorming. Het modelleren van deze afwijkingen louter als "fouten" faalt in het vangen van hun structurele aard. Bovendien blijft het berekenen van Quantal Response Equilibrium (QRE) — een kader dat bounded rationality parametrisert — uitdagend in hoogdimensionale, continue Markov-spellen, met name wat betreft convergentiegaranties en continue actieruimtes.

Methodologie
De auteurs stellen EvoQRE voor, een kader dat verkeer modelleert als een General-Sum Markov-spel opgelost via Quantal Response Equilibrium (QRE) en Evolutionaire Speltheorie (EGT).

1. Theoretische Formulering: Het artikel definieert Logit-QRE formeel in Markov-spellen, en breidt het concept uit naar continue staat-actie-ruimtes via kernel-dichtheidsrepresentaties. Het stelt vast dat de vaste punten van Entropy-Regularized Replicator Dynamics (ER-RD) precies overeenkomen met Logit-QRE.
2. Evolutionaire Dynamica: Het kernmechanisme maakt gebruik van ER-RD, wat standaard replicator-dynamica aanvult met entropieregulering. Dit is wiskundelijk equivalent aan Maximum Entropy Reinforcement Learning (specifiek Soft Actor-Critic), maar geformuleerd binnen evolutionaire selectie. De dynamica staat toe dat strategieën met een hogere fitness zich vermenigvuldigen, terwijl een waarschijnlijkheidsverdeling over acties wordt behouden in plaats van te convergeren naar één deterministisch optimum.
3. Algoritmisch Kader:
   • Twee-tijdschaal Updates: Het algoritme hanteert een trage tijdschaal voor Q-functie-updates en een snelle tijdschaal voor aanpassing van het beleid (multiplicatieve gewichten).
   • Verwerking van Continue Acties: Om de onuitvoerbaarheid van partitiefunctie-integralen in continue ruimtes aan te pakken, maakt EvoQRE gebruik van drie benaderingsstrategieën: (a) een mengsel van Gauss-kernen voor beleidsrepresentatie, (b) Stein Variational Gradient Descent (SVGD), en (c) energiegebaseerde beleidslijnen met Langevin-dynamica. De auteurs kiezen voor het mengselmodel vanwege de afweging tussen snelheid en nauwkeurigheid.
   • Stabiliteitsverbeteringen: Het kader integreert retrace(λ) voor variantiereductie in Q-waarde-schatting en adaptieve temperatuurplanning om de rationaliteitsparameter $\lambda$ tijdens het trainen af te stemmen.
4. Convergentieanalyse: Onder de aannames van temporele decompositie, uniforme geometrische ergodiciteit en lokale zwakke monotonie, bewijzen de auteurs dat de gekoppelde dynamica convergeert naar een $\epsilon$-QRE met een snelheid van $O(\log k / k^{1/3})$.

Belangrijkste Bijdragen

1. Rigoureuze Formulering: Formele definities van Logit-QRE in Markov-spellen met expliciete regulariteitsvoorwaarden en existentiebewijzen via het vaste-punttheorema van Glicksberg.
2. Convergentietheorie: Een theoretische garantie die aantoont dat Entropy-Regularized Replicator Dynamics convergeren naar QRE met een expliciete snelheid die afhankelijk is van probleemparameters, waarmee een gat in de bestaande literatuur voor general-sum Markov-spellen wordt gedicht.
3. Extensie naar Continue Acties: Praktische richtlijnen en algoritmen voor het uitbreiden van QRE naar continue besturing via energiegebaseerde en mengselrepresentaties.
4. Empirische Validatie: Uitgebreide experimenten die state-of-the-art prestaties aantonen op het gebied van realisme, veiligheid en controleerbaarheid.

Experimentele Resultaten
EvoQRE werd geëvalueerd op de Waymo Open Motion Dataset (WOMD) en de nuPlan-benchmark.

• Realisme: EvoQRE behaalde een Negative Log-Likelihood (NLL) van 2,83 bits/actie, wat een verbetering is van 18% ten opzichte van de Coarse Correlated Equilibrium-baseline (CCE-MASAC) en gelijkstaat aan diffusiegebaseerde generatieve modellen (VBD). Het behaalde ook de laagste Jensen-Shannon-divergentie in kinematische verdelingen.
• Veiligheid: Het kader handhaafde een lage botsingsfrequentie van 1,2% terwijl het diverse gedragingen genereerde, wat aantoont dat het modelleren van bounded rationality de veiligheid niet in gevaar brengt.
• Controleerbaarheid: Door de rationaliteitsparameter $\lambda$ af te stemmen, kon het systeem op controleerbare wijze veiligheidskritieke scenario's genereren. Bijvoorbeeld: het verlagen van $\lambda$ (verhoging van bounded rationality) verhoogde de frequentie van veiligheidskritieke gebeurtenissen (TTC < 3s) van 8,1% naar 34,2%, terwijl het hoge realisme behouden bleef.
• Kwaliteit van Evenwicht: Het systeem convergeerde naar een $\epsilon$-QRE met een gap van 0,023. Exploitability-tests bevestigden dat de beleidslijnen dicht bij evenwicht lagen, met een exploitability-waarde van 0,031, vergelijkbaar met CCE-MASAC.
• Ablatiestudies: Resultaten bevestigden de noodzaak van twee-tijdschaal updates (15% verbetering in QRE-gap), de effectiviteit van retrace(λ) voor variantiereductie, en het voordeel van heterogene rationaliteitsparameters over agenten heen voor het vangen van menselijke diversiteit.

Betekenis en Claims
Het artikel claimt dat EvoQRE een geprincipiseerde basis biedt voor het genereren van realistische, veiligheidskritieke rijscenario's door de aanname van perfecte rationaliteit te vervangen door een statistisch onderbouwd model van menselijke bounded rationality.

• Theoretische Vooruitgang: Het biedt de eerste expliciete convergentiesnelheid voor QRE-berekening in general-sum Markov-spellen onder realistische aannames, en overbrugt de kloof tussen Evolutionaire Speltheorie en Reinforcement Learning.
• Praktisch Nut: Het kader maakt het genereren van diverse veiligheidskritieke scenario's mogelijk zonder de noodzaak van heuristische geleidingsnetwerken (in tegenstelling tot diffusiegebaseerde methoden), aangezien de rationaliteitsparameter $\lambda$ direct interpreteerbaar en kalibreerbaar is vanuit data via Maximum Likelihood Estimation.
• Erkende Beperkingen: De auteurs merken op dat QRE productvormige (onafhankelijke) evenwichten induceert, die gekorreleerd gedrag (bijvoorbeeld beurtelings handelen) niet expliciet kunnen modelleren even goed als Coarse Correlated Equilibria (CCE). Zij suggereren dat hoewel impliciete coördinatie ontstaat via gedeelde omgevingsdynamica, toekomstig werk Quantal Correlated Equilibrium (QCE) moet verkennen. Bovendien is de convergentiesnelheid trager dan in sterk monotoon spel, wat de complexiteit van verkeersinteracties weerspiegelt.

Kortom, EvoQRE demonstreert dat het modelleren van bounded rationality via evolutionaire dynamica niet alleen de distributionele fit op menselijke rijdata verbetert, maar ook robuuste veiligheidskenmerken behoudt, en zo een nieuwe richting biedt voor AV-validatie en het genereren van adversariële scenario's.