💻 computer science

Replicating the behaviour of electric vehicle drivers using an agent-based reinforcement learning model

Dit artikel stelt een multi-stage reinforcement learning-framework voor om het adaptieve en begrensd rationele laadgedrag van private elektrische voertuigbestuurders over een nationaal wegennetwerk te simuleren, waarbij het model succesvol wordt gevalideerd tegenover real-world data om kritieke laadwoestijnen te identificeren en beleid over de expansie van snellaadhubs te informeren.

Oorspronkelijke auteurs: Zixin Feng, Qunshan Zhao, Alison Heppenstall

Gepubliceerd 2026-02-03

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Zixin Feng, Qunshan Zhao, Alison Heppenstall

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je een gigantische, digitale simulatie van het hele Verenigd Koninkrijk voor, gevuld met duizenden virtuele bestuurders van elektrische voertuigen (EV's). Dit is de kern van het onderzoekspaper van Feng, Zhao en Heppenstall. Hun doel was om een computermodel te bouwen dat niet alleen rigide regels volgt, maar ook daadwerkelijk leert hoe echte mensen rijden en hun auto's opladen, net zoals een mens dat doet.

Hier is een uitsplitsing van hun werk met behulp van eenvoudige analogieën:

1. Het Probleem: De "Robot" versus de "Mens"

Eerdere computermodellen voor EV's waren als robots die een strikte instructiehandleiding volgen. Ze zeiden: "Als de batterij laag is, laad nu op." Ze konden zich niet aanpassen. Als een bestuurder gewend raakte aan zijn auto, zou hij zich misschien comfortabel voelen bij een lagere batterijspanning, maar de oude modellen begrepen dat niet. Ze richtten zich ook vooral op het optimaliseren van vloten van taxi's of bussen, niet op gewone mensen die hun eigen onafhankelijke keuzes maken.

De onderzoekers wilden een model bouwen dat handelt als een menselijke leerling. Ze wilden zien hoe bestuurders zich in de loop van de tijd aanpassen, fouten maken, hiervan leren en "gewoontes" ontwikkelen op basis van hun eigen ervaringen.

2. De Oplossing: De "Videogame"-aanpak

Om dit probleem op te lossen, gebruikten het team een techniek genaamd Reinforcement Learning (RL). Denk hierbij aan het trainen van een personage in een videogame:

De Speler: De virtuele EV-bestuurder.
Het Doel: Van punt A naar punt B komen zonder de batterij leeg te laten raken (game over).
Beloningen/Straffen:
- Goed: Een bestemming bereiken, een comfortabel batterijniveau behouden en niet te veel geld of tijd uitgeven.
- Slecht: Leegkomen (gestrand zijn), hoge kosten betalen of vast komen te zitten in een lange rij bij een lader.

In plaats van de bestuurders specifieke regels te programmeren, lieten de onderzoekers de virtuele bestuurders de "game" duizenden keren spelen. Door middel van trial-and-error leerden zij de beste strategieën om te overleven.

3. De "Trainingskamp"-methode

De onderzoekers draaiden de simulatie niet slechts één keer. Ze gebruikten een meerstaps trainingsproces:

Groepering: Ze sorteerden duizenden gegevens van echte ritten (uit een nationale enquête) in verschillende "klompen" of clusters. Sommige bestuurders maken korte ritjes naar het werk; anderen maken lange ritten voor ontspanning; sommigen beginnen met een volle batterij, anderen met een halfvolle.
Training: Ze kozen een paar "representatieve" bestuurders uit elke groep om te trainen in het RL-model. Deze bestuurders leerden hoe ze door het Britse wegennet moesten navigeren en wanneer ze moesten opladen.
Simulatie: Zodra de "trainees" hun lessen hadden geleerd, gebruikten de onderzoekers deze geleerde gedragingen om de gehele populatie bestuurders te simuleren.
Reality Check: Ze vergeleken het gedrag van de virtuele bestuurders met echte wereldgegevens van werkelijke laadstations (zoals ChargePoint). Ze keken naar de specifieke "trainings-episode" waarin de virtuele bestuurders zich het meest als echte mensen gedroegen.

Belangrijke ontdekking: Ze ontdekten dat de "perfecte" strategie niet het antwoord was. Echte mensen zijn niet perfect; ze hebben "beperkte rationaliteit" (ze maken goede-genoeg beslissingen op basis van beperkte informatie). Het model dat de realiteit het beste benaderde, was een model waarbij bestuurders nog aan het leren en aanpassen waren, en nog niet de perfecte robots waren geworden.

4. Het vinden van de "Laadwoestijnen"

Zodra het model gevalideerd was, gebruikten de onderzoekers het om de kaart van Groot-Brittannië te onderzoeken. Ze zochten naar "Laadwoestijnen" (Charging Deserts).

Stel je een kaart voor waar:

Rode Zones: Bestuurders hebben constant een lage batterij (lage State of Charge).
Blauwe Zones: Er zijn weinig laadstations in de buurt.

Waar Rood en Blauw elkaar overlappen, heb je een Laadwoestijn. Dit zijn plekken waar bestuurders waarschijnlijk gestrand raken omdat ze een lage batterij hebben en er geen laadstations in de buurt zijn om hen te helpen.

Wat ze vonden:

Deze woestijnen bevinden zich niet alleen ergens in het midden van nergens. Ze liggen vaak aan de randen van grote steden (zoals de buitenwijken van Londen) en langs belangrijke snelwegen (zoals de M4- en M1-corridors).
Hoewel sommige wegen een lage batterijspanning hebben, is het geen "woestijn" als er genoeg laders in de buurt zijn. De echte gevaarlijke plekken zijn waar een lage batterij samenvalt met een gebrek aan infrastructuur.

5. Waarom dit ertoe doet (volgens het paper)

Het paper concludeert dat we, om deze "woestijnen" op te lossen, niet simpelweg overal willekeurig laders moeten plaatsen. We moeten ons richten op snelle laadhubs langs snelwegen en op de grenzen van steden. Dit ondersteunt de recente beleidswijzigingen van de overheid om snelle laders te bouwen in deze specifieke risicovolle gebieden om mensen tijdens lange reizen te helpen.

In een notendop: De onderzoekers hebben een "slimme" computersimulatie gebouwd die leert als een menselijke bestuurder. Door dit te testen tegen echte gegevens, hebben ze de specifieke plekken in het VK gevonden waar elektrische bestuurders het meest waarschijnlijk zonder stroom komen te zitten en vast komen te staan, wat planners helpt te weten waar ze precies de volgende laadstations moeten bouwen.

Technische Samenvatting: Het Repliceren van het Gedrag van Elektrische Voertuigbestuurders met behulp van een Agent-Based Reinforcement Learning Model

Probleemstelling
De snelle expansie van de adoptie van elektrische voertuigen (EV's), met name binnen de massamarkt zonder toegang tot privéhuisoplaadmogelijkheden, heeft een kritieke behoefte gecreëerd aan nauwkeurige schattingen van de publieke laadvraag. Eerdere benaderingen kampen met significante beperkingen: datagestuurde methoden vertrouwen vaak op vertekende proxies (bijv. conventionele voertuig-GPS of commerciële vloten) vanwege privacyzorgen met betrekking tot private EV-gegevens, terwijl traditionele simulatiegebaseerde Agent-Based Models (ABM's) doorgaans steunen op statische gedragsregels. Deze statische regels slagen er niet in de adaptieve aard van menselijke bestuurders te vatten, die leren van ervaring en hun laadgewoonten in de loop van de tijd aanpassen. Bovendien hebben bestaande Reinforcement Learning (RL) toepassingen in transport zich voornamelijk gericht op het optimaliseren van vlootoperaties of het aannemen van perfect rationaliteit en informatieverdeling, wat niet overeenkomt met de realiteit van private EV-bestuurders die opereren onder gebonden rationaliteit met beperkte communicatie. Er is een gebrek aan robuuste, gevalideerde kaders die de adaptieve, heterogene besluitvorming van private bestuurders op nationale schaal simuleren.

Methodologie
De auteurs stellen een meerfasig, agent-gebaseerd Reinforcement Learning (RL) kader voor met behulp van een Deep Q-Network (DQN) om het gedrag van private EV-bestuurders in heel Groot-Brittannië (GB) te simuleren.

Data en Omgeving: De studie maakt gebruik van de National Travel Survey (NTS) voor reisplanningen (oorsprong, bestemming, doel, afstand) en Ordnance Survey-gegevens voor wegennetwerken. EV-attributen (batterijgrootte, verbruik) zijn afkomstig uit de EV Database. De simulatieomgeving integreert 59.125 publieke laadpalen (per april 2024) met real-time beschikbaarheidsstatus gescraped van ChargePoint.
Agent Clustering: Bestuurders worden geclusterd op basis van reisafstand, initiële State of Charge (SOC), Trip Co-occurrence Density (TCD) en Charger Density (CD). Elk cluster wordt verder onderverdeeld naar reisdoel (werk versus vrije tijd).
Multi-Stage Training-Simulatie Kader:
1. Training: Representatieve agenten uit elk cluster worden getraind met behulp van DQN. De agenten observeren een staatvector $S_t$ bestaande uit SOC, afstand tot bestemming, tijdstip, resterende ritten en het percentage beschikbare stations binnen bereik.
2. Actieruimte: Agenten kiezen tussen bewegen zonder te laden of omkeren naar een bereikbaar laadstation om een specifiek percentage ( $n\%$ ) op te laden.
3. Beloningsfunctie: De beloning ( $R_t$ ) is een composiet van vier factoren: de impact van de SOC-drempel (psychologisch comfort), laaddringendheid (timing en kansen), de impact van kosten (financiële en tijdstraf) en de status van voltooiing van de reis (straf voor het leeglopen van de accu).
4. Simulatie-loop: Getrainde policies leiden een grotere populatie agenten in een gedeelde omgeving waar de beschikbaarheid van laders dynamisch is. Agenten interageren door de laadpaalstatus bij te werken (beschikbaar/in gebruik) en kunnen potentieel in een wachtrij staan, hoewel wachtrijlengtes niet expliciet zichtbaar zijn voor de agenten, wat hen dwingt de wachttijden op basis van ervaring te schatten.
5. Validatiestrategie: In tegen tegenover de standaard RL-studies die zoeken naar de episode met optimale prestaties, valideert dit model tegen 21 dagen aan real-world laadsessie-gegevens. De auteurs identificeren de specifieke trainingsepisode waarin de gesimuleerde ruimtelijke en temporele laadpatronen de hoogste correlatie vertonen met de waargenomen werkelijkheid. Deze "best-matching" episode vertegenwoordigt een populatiebrede mix van ervaringsniveaus van bestuurders in plaats van een uniform optimaal resultaat.

Belangrijkste Resultaten

Model Validiteit: Het model identificeerde succesvol een trainingsfase (specifiek de 703ste episode) die nauw aansluit bij real-world ruimtelijke en temporele laadpatronen, waarbij ruimtelijke correlaties van 0,74–0,75 en temporele correlaties van 0,65–0,70 werden behaald. Deze prestatie overtrof eerdere statische ABM-benaderingen.
Emergente Gedragingen: De simulatie legde intuïtieve bestuurdersgedragingen vast: recreatieve bestuurders vertoonden flexibelere laadpatronen vergeleken met forenzen, en langeafstandsritten tussen steden genereerden een hogere vraag naar laden onderweg. Agenten leerden een balans te vinden tussen actieradius-angst en de kosten van omwegen en wachten.
Laadwoestijnen: Door de gemiddelde SOC-distributie langs wegennetwerken te analyseren en te kruisen met de beschikbaarheid van laders, identificeerde de studie "laadwoestijnen"—locaties met zowel een lage SOC als beperkte infrastructuur. Deze risicovolle gebieden bevonden zich voornamelijk in Outer London, de oostelijke M4-corridor, Greater Manchester en zuid Newcastle.
Infrastructuur Inzichten: De analyse toonde aan dat hoewel sommige snelwegcorridors (bijv. M4, M1) frequent een lage SOC vertonen, zij voldoende laderdichtheid bezitten om het daadwerkelijke risico op lege accu's te mitigeren. Omgekeerd benadrukken de geïdentificeerde "woestijnen" de gebieden waar infrastructuuruitbreiding het meest kritiek is.

Betekenis en Bijdragen
Het artikel claimt drie primaire bijdragen te leveren:

Methodologische Innovatie: Het introduceert een nieuw kader dat RL gebruikt, niet om optimale strategieën voor rationele agenten af te leiden, maar om het adaptieve leerproces van private bestuurders onder gebonden rationaliteit te repliceren. Het overbrugt de kloof tussen statische simulatie en datagestuurde beperkingen door te valideren tegen empirische gegevens.
Schaalbaarheid en Validatie: De studie demonstreert een schaalbaar kader voor het simuleren van heterogene bestuurderspopulaties over een nationaal wegennetwerk, waarbij de computationele uitdagingen die vaak gepaard gaan met grootschalige RL worden overwonnen. De validatie tegen real-world sessiegegevens biedt een niveau van geloofwaardigheid dat vaak ontbreekt in simulatiestudies.
Beleid Relevantie: De bevindingen ondersteunen recente beleidsverschuivingen naar de uitbreiding van snellaadstations langs snelwegcorridors en stadsgrenzen. Door specifieke hoog-risicolocaties te identificeren waar een lage SOC samenvalt met een tekort aan infrastructuur, biedt het model een gevalideerd instrument voor het informeren van de planning van een rechtvaardige en effectieve publieke lader-plaatsing.

De auteurs erkennen beperkingen, waaronder de afhankelijkheid van reisgegevens die ervan uitgaan dat bestaande reispatronen standhouden na de adoptie van EV's, de uitsluiting van thuis-/werkplek-laadtoegang in de initiële SOC-berekeningen, en de huidige computationele limiet van het gelijktijdig simuleren van 1.000 agenten. Echter, het kader vormt een robuust fundament voor toekomstig onderzoek naar adaptief EV-bestuurdersgedrag en infrastructuurplanning.