📈 economics

A Bayesian latent class reinforcement learning framework to capture adaptive, feedback-driven travel behaviour

Dit artikel stelt een Bayesian Latent Class Reinforcement Learning-raamwerk voor om heterogeen, adaptief reisgedrag te modelleren, waarbij drie onderscheidende reizigersklassen met unieke voorkeursevolutie en exploratie-exploitatiestrategieën worden geïdentificeerd door middel van analyse van rijsimulatordata.

Oorspronkelijke auteurs: Georges Sfeir, Stephane Hess, Thomas O. Hancock, Filipe Rodrigues, Jamal Amani Rad, Michiel Bliemer, Matthew Beck, Fayyaz Khan

Gepubliceerd 2026-08-14

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Georges Sfeir, Stephane Hess, Thomas O. Hancock, Filipe Rodrigues, Jamal Amani Rad, Michiel Bliemer, Matthew Beck, Fayyaz Khan

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je probeert te leren wat de beste manier is om naar school te gaan. Soms neem je elke dag dezelfde route omdat het snel en betrouwbaar is. Andere keren probeer je een nieuwe straat, gewoon om te zien of het sneller is, ook al duurt het misschien langer om er te komen. Dit is de kern van hoe mensen beslissingen nemen: we balanceren tussen het vasthouden aan wat we kennen (exploitatie) en het proberen van nieuwe dingen om meer te leren (exploratie). Lange tijd hebben wetenschappers die menselijke reispatronen bestuderen modellen gebruikt die ervan uitgaan dat iedereen op dezelfde manier leert of dat onze voorkeuren vaststaan als steen. Maar in de werkelijkheid zijn mensen chaotisch. We leren met verschillende snelheden, we raken in de war door nieuwe informatie, en we gedragen ons misschien totaal anders wanneer we daadwerkelijk aan het rijden zijn versus wanneer we alleen een rit aan het visualiseren zijn. Dit artikel duikt in die chaotische realiteit en gebruikt een mix van psychologie en wiskunde om niet alleen te ontdekken wat mensen kiezen, maar ook hoe ze leren om die keuzes in de loop van de tijd te maken.

De onderzoekers achter deze studie, onder leiding van Georges Sfeir en collega's, besloten een nieuw soort "reis-brein"-model te bouwen, een Latent Class Reinforcement Learning (LCRL) framework. Denk aan een detectiveverhaal waarbij de detectives proberen te achterhalen waarom verschillende bestuurders zo verschillend handelen. In plaats van ervan uit te gaan dat iedereen hetzelfde is, gebruikten ze een rijsimulator om te kijken hoe 83 mensen elk 20 routekeuzes maakten. De helft van de tijd reden de deelnemers daadwerkelijk de routes en voelden zij de tijd verstrijken (ervaren feedback); de andere helft klikten ze alleen op knoppen op een scherm met hypothetische tijden (gestelde voorkeur). Het team voerde deze gegevens vervolgens in hun geavanceerde nieuwe model, dat fungeert als een sorteermachine. Het zegt niet alleen "deze persoon houdt van snelle routes"; het vraagt: "Is dit een langzame leerling die vasthoudt aan oude gewoonten? Een risicozoeker die alles probeert? Of iemand die van gedachten verandert afhankelijk van of ze daadwerkelijk aan het rijden zijn of er alleen over nadenken?"

Het model vond dat de groep bestuurders geen enkele homogene massa was, maar eerder drie duidelijke "typen" leerlingen, elk met een eigen persoonlijkheid. Ongeveer 22% van de mensen waren de "Context-Chameleons". Deze mensen gedroegen zich op één manier wanneer ze slechts een reis voorstelden op een computerscherm (de voorkeur voor de veilige, betrouwbare route), maar draaiden hun gedrag volledig om wanneer ze daadwerkelijk achter het stuur zaten in de simulator, waarbij ze plotseling hunkereden naar de risicovolle, onvoorspelbare route. Ze leerden langzaam en namen de tijd om hun overtuigingen op basis van nieuwe ervaringen bij te stellen.

Toen was er de grootste groep, die bijna de helft van de deelnemers besloeg (49%), de "Persistente Exploiters". Dit waren de bestuurders die de risicovolle, onbetrouwbare route liefdden, ongeacht wat er gebeurde. Of ze nu aan het rijden waren of alleen op knoppen klikten, ze bleven de onzekere weg kiezen, zelfs als dat soms langer duurde. Zij waren de meest koppige exploiters, die vasthielden aan hun risicovolle keuze en iets sneller zich aanpasten aan feedback dan de langzaamste groep, hoewel ze nog steeds aanzienlijk leunden op eerdere ervaringen.

Ten slotte was er de derde groep, ongeveer 29% van de steekproef, de "Adaptieve Wisselaars". Deze bestuurders hadden een grotere kans om vrouw te zijn en een hoger inkomen te hebben. Ze begonnen met een voorkeur voor de veilige route wanneer ze daadwerkelijk aan het rijden waren, maar wanneer ze alleen vragen beantwoordden op een scherm, werden ze plotseling avontuurlijker en kozen ze de risicovolle route. Zij vertoonden de meest exploratieve neigingen, waarbij ze heen en weer schakelden tussen veilige en risicovolle opties. Hoewel zij de hoogste schatting van de leersnelheid hadden van de drie groepen, was dit statistisch insignificant, wat suggereert dat zij stabiele verwachtingen behielden die geleidelijk evolueerden in plaats van te reageren met snelle, volatiele verschuivingen.

Het artikel suggereert dat door verschillende "leer-persoonlijkheden" te negeren, we fouten kunnen maken in hoe we verkeerssystemen ontwerpen of voorspellen hoe mensen zullen reageren op nieuwe wegen. Als je een "Context-Chameleon" behandelt als een "Persistente Exploiter", kan je verkeersadvies volledig falen. De onderzoekers gokten niet alleen dat deze groepen bestonden; ze gebruikten een geavanceerde wiskundige techniek genaamd Variational Bayes om te bewijzen dat het verdelen van mensen in deze drie klassen veel beter bij de data paste dan de aanname dat iedereen op dezelfde manier leert. Ze voerden zelfs simulaties uit om te laten zien hoe elke groep zou reageren als ze steeds opnieuw met hetzelfde slechte verkeer of hetzelfde goede verkeer te maken kregen, waarmee werd bevestigd dat hun "persoonlijkheden" er ook echt voor zorgden dat hun leerproces anders verliep.

Kortom, dit artikel betoogt dat om reizen te begrijpen, we niet alleen naar de kaart kunnen kijken; we moeten naar de geest van de bestuurder kijken. We moeten weten of ze het type zijn dat vasthoudt aan het bekende, het type dat het nieuwe opzoekt, of het type dat van gedachten verandert afhankelijk van de situatie. Door een model te bouwen dat deze verschillen vastlegt, hopen de auteurs te helpen steden en planners bij het ontwerpen van betere systemen die werken voor alle typen leerlingen, en niet alleen voor de gemiddelde persoon.

Technische Samenvatting: Een Bayesiaans Latent Class Reinforcement Learning Framework

Probleemstelling
Traditioneel onderzoek naar reisgedrag leunt zwaar op Discrete Keuzemodellen (DKM's) die voorkeuren behandelen als vaste constructen. Echter, keuzes in de echte wereld zijn vaak adaptief en maken gebruik van leren, waarbij individuen hun verwachtingen herzien op basis van feedback (bijv. vertragingen, nieuwe routes). Hoewel Reinforcement Learning (RL)-modellen uit de wiskundige psychologie deze dynamische, door feedback gestuurde leerprocessen effectief kunnen vangen, gaan bestaande toepassingen in transport vaak uit van een enkele, continue distributie van leerparameters (bijv. hiërarchische Bayesiaanse modellen met unimodale priors). Deze aanpak faalt in het vastleggen van onderscheidende, discrete leerstijlen binnen een populatie (bijv. persistente verkenners versus snelle exploitanten). Het middelen over dergelijke uiteenlopende gedragingen kan leiden tot misleidende conclusies en slecht gerichte beleidsinterventies. Bovendien missen conventionele reizen enquêtes vaak de longitudinale data die nodig zijn om het ervaren feedbackproces te vangen dat vereist is voor het modelleren van dynamisch leren.

Methodologie
Het artikel stelt een Latent Class Reinforcement Learning (LCRL) framework voor dat Latent Class Choice Models (LCCM's) integreert met klasse-specifieke Reinforcement Learning-dynamiek. Het model wordt geschat met behulp van Variational Bayes (VB) binnen een volledig Bayesiaans framework om hoogdimensionale parameterruimtes en latente variabelen te verwerken.

Reinforcement Learning Kern: Het model maakt gebruik van de Rescorla-Wagner leerregel.
- Voorspellingsfout: Verwachtingen ( $Q$ ) voor een alternatief worden per trial bijgewerkt op basis van het verschil tussen de werkelijke uitkomst ( $r$ ) en de voorafgaande verwachting, geschaald door een leersnelheid ( $\alpha$ ).
- Keuzeregel: Bijgewerkte verwachtingen voeden een Random Utility Maximization (RUM) framework (Multinomial Logit), waarbij de nutswaarde afhangt van de verwachte uitkomst en een sensitiviteitsparameter ( $\beta$ ) die de exploratie-exploitatie balans regelt.
Latent Class Integratie: Het model gaat ervan uit dat de populatie bestaat uit $K$ $K$ discrete latente klassen.
- Klasse-lidmaatschap: De kans dat een individu tot een klasse behoort, wordt gemodelleerd via een multinomial logit functie van sociaal-demografische en contextuele attributen.
- Klasse-specifieke Dynamiek: Elke klasse $k$ bezit een eigen set RL-parameters: leersnelheden ( $\alpha_k$ ), exploratie-exploitatie sensitiviteiten ( $\beta_k$ ), bias-parameters ( $\gamma_{ik}$ ), en initiële verwachtingen ( $Q_{i,0,k}$ ).
Schatting: Vanwege de onhandelbaarheid van de posterieure distributie gebruiken de auteurs Variational Inference. Ze benaderen de ware posterieure distributie met een hanteerbare distributie met behulp van een mean-field aanname en optimaliseren de Evidence Lower Bound (ELBO) via stochastic gradient descent (Adam optimizer).

Belangrijkste Bijdragen

Nieuw Framework: Dit is de eerste toepassing die discrete gedragsheterogeniteit en dynamische reinforcement learning gezamenlijk modelleert met behulp van een volledig Bayesiaanse variational aanpak. Het overbrugt econometrische discrete keuzemodellen met wiskundige psychologie.
Omgang met Heterogeniteit: In tegen tegenover standaard hiërarchische RL-modellen die uitgaan van continue variatie rond een gemeenschappelijk proces, identificeert de LCRL expliciet onderscheidende leerstijlen (multimodaliteit), waardoor het middelen over uiteenlopende gedragingen wordt voorkomen.
Schaalbare Schatting: Het gebruik van Variational Inference maakt schaalbare schatting van complexe dynamische modellen met een hoge dimensionaliteit mogelijk, waarbij volledige posterieure distributies over parameters worden geleverd.
Contextuele Adaptatie: Het model is aangepast om te gaan met gemengde datamilieus (driving simulator versus stated preference), waardoor klasse-specifieke sensitiviteit en bias-parameters beschikbaar zijn die verschuiven tussen experimentele contexten.

Resultaten
Het model werd toegepast op een dataset van 83 deelnemers die 20 routekeuzetaken voltooiden (10 in een driving simulator, 10 in een stated preference enquête) waarbij gekozen moest worden tussen een betrouwbare route (vaste 5 min) en een onbetrouwbare route (variabel 2–7 min).

Model Fit: Een drie-klasse LCRL-model werd geselecteerd op basis van de Bayesian Information Criterion (BIC), en presteerde significant beter dan een single-class benchmark RL-model in termen van Log-Likelihood, AIC en BIC.
Geïdentificeerde Klassen:
1. Klasse 1 (Context-afhankelijke Exploitanten, ~22%): Voornamelijk deelnemers die met de Stated Preference (SP) taken begonnen. Zij vertonen sterke context-afhankelijke voorkeuren: ze exploiteren de betrouwbare route in hypothetische SP-scenario's, maar schakelen over naar het exploiteren van de onbetrouwbare route in de fysieke driving simulator (DS). Zij zijn trage leerlingen (lage $\alpha$ ).
2. Klasse 2 (Persistente Exploitanten, ~49%): Gedomineerd door mannen met een lager inkomen die met de DS-taken begonnen. Zij vertonen een sterke, persistente voorkeur voor de onbetrouwbare route in beide contexten. Zij zijn matige leerlingen en vertonen hoge exploitatie-neigingen (significante $\beta$ ).
3. Klasse 3 (Context-afhankelijke Verkenners, ~29%): Meer waarschijnlijk vrouw en met een hoger inkomen. Zij tonen een voorkeur voor de betrouwbare route in DS-taken, maar draaien dit om in SP-scenario's. Zij vertonen de hoogste exploratie-neigingen (lage $\beta$ ) en de hoogste leersnelheden, hoewel hun verwachtingen geleidelijk evolueren.
Gedragsinzichten: De resultaten benadrukken dat individuen niet alleen verschillen in statische voorkeuren, maar ook in hoe ze leren (leersnelheden), hoe ze verwachtingen bijwerken, en hoe ze de balans vinden tussen exploratie versus exploitatie. Het model legt het verschil tussen geuite (stated) en ervaren keuzes succesvol vast, door dit toe te schrijven aan context-afhankelijke verschuivingen in bias en leerdynamiek.

Betekenis en Claims
Het artikel claimt dat het LCRL-framework een rijkere karakterisering van reisgedrag biedt door zowel ervaring-gebaseerd leren als discrete vormen van heterogeniteit te vangen.

Theoretisch: Het biedt een uitgebreider begrip van hoe voorkeuren dynamisch evolueren over tijd, waarmee een gat wordt gedicht waar traditionele modellen het mechanisme van de initiële vorming van voorkeuren over het hoofd zien.
Praktisch: De bevindingen suggereren dat beleidsinterventies (bijv. informatie-strategieën) moeten worden afgestemd op specifieke leerstijlen, aange wellicht strategieën die verkenners helpen, de exploitanten juist hinderen.
Methodologisch: De integratie van econometrische keuzemodellen met RL en Bayesiaanse inferentie wordt gepresenteerd als een opkomende modelleringstechnologie. De auteurs suggereren de potentiële relevantie hiervan voor:
- Autonome Voertuigen (AVs): Het ontwerpen van routing-algoritmen die menselijk leren en de vorming van verwachtingen anticiperen in systemen met gemengde autonomie.
- Mobility-as-a-Service (MaaS): Het identificeren van segmenten die waarschijnlijk nieuwe vervoerswijzen zullen verkennen en het begrijpen van hoe prikkels de adoptie versnellen.
- Transportplanning: Het anticiperen op gedragsmatige reacties op netwerkverstoringen (bijv. afsluitingen, onbetrouwbaarheid) en het beoordelen hoe verschillende groepen nieuwe infrastructuur gaan gebruiken.

De auteurs hanteren een bescheiden toon met betrekking tot toekomstige toepassingen, waarbij zij opmerken dat hoewel de empirische focus ligt op menselijke routekeuze, het framework een instrument biedt voor het ontwerpen van informatie-strategieën die adaptief gedrag herkennen in plaats van statische voorkeuren aan te nemen. Zij stellen ook voor dat toekomstig werk de binnen-klasse heterogeniteit kan verkennen door RL-parameters individueel-specifiek te maken.

Technische Samenvatting: Een Bayesiaans Latent Class Reinforcement Learning Framework

Meer zoals dit