Evaluating Large Language Models for Decision-Making in Agent-Based Urban Mobility Simulations

Technische Samenvatting: Evaluatie van LLM's voor Besluitvorming in Agent-gebaseerde Stedelijke Mobiliteitssimulaties

Probleemstelling
Modellering van stedelijke mobiliteit worstelt met het nauwkeurig representeren van individuele besluitvorming binnen dynamische, onzekere omgevingen. Traditionele Multi-Agent Systemen (MAS) simulaties zijn weliswaar effectief voor het analyseren van emergente gedragingen, maar vertrouwen vaak op vaste heuristieken en vooraf gedefinieerde regels. Deze op regels gebaseerde benaderingen beperken de gedragsadaptiviteit, met name in scenario's met een hoge contextuele variabiliteit, zoals plotselinge wegafsluitingen of verkeersverstoringen. Hoewel Large Language Models (LLM's) geavanceerde redeneer- en semantische capaciteiten bieden, blijft hun integratie in ruimtelijk expliciete MAS-simulaties onderzocht, vooral met betrekking tot hoe zij functioneren als besluitvormingslagen binnen geospatiale beperkingen.

Methodologie
De auteurs stellen een hybride architectuur voor die een LLM-gebaseerde besluitvormingsmodule integreert in het GAMA-platform, een robuuste omgeving voor agent-gebaseerde modellering met native Geographic Information System (GIS) ondersteuning. Het systeem vervangt de traditionele routeringsalgoritmen niet; in plaats daarvan introduceert het een cognitieve laag die bepaalt wanneer agenten een herberekening van de route moeten triggeren.

De architectuur bestaat uit drie primaire componenten:

1. Simulatieplatform (GAMA): Beheert de ruimtelijke omgeving, het wegennetwerk en de beweging van agenten. Agenten monitoren congestie en ontvangen meldingen over wegafsluitingen.
2. Integratielaag: Een Python-gebaseerde API (gebruikmakend van FastAPI) die asynchrone communicatie tussen GAMA en de externe besluitvormingsmodule faciliteert. Het beheert een relationele database om de status van agenten, omgevingscondities en besluitvormingslogs op te slaan, wat traceerbaarheid en persistente geheugenextractie mogelijk maakt.
3. Agentic Framework (Agno): De cognitieve laag waar LLM's (specifiek Google's Gemini 2.5 Flash-Lite en OpenAI's GPT-4o Mini) contextuele inputs verwerken. Het systeem voedt de LLM met agent-attributen (bijv. beroep, niveau van digitaal vertrouwen), huidige reisomstandigheden (bijv. vermoeidheid, weer) en omgevingsfactoren (bijv. congestie, afstand tot de blokkade). De LLM retourneert een gestructureerde JSON-beslissing: ofwel "BLIJVEN" op de huidige route, ofwel "HERBERKENEN".

De studie evalueert twee configuraties: een op regels gebaseerde baseline met behulp van een drempelwaarde-gebaseerde heuristische score, en LLM-ondersteunde modellen met en zonder persistent semantisch geheugen. Experimenten werden uitgevoerd over twee scenario's (gelokaliseerde en uitgebreide blokkades) en twee populatieschalen (500 en 1000 agenten), waarbij metrieken zoals herplanningspercentages, aankomstpercentages, vastgelopen tijdratio's en computationele overhead werden gemeten.

Belangrijkste Bijdragen

• Hybride Besluitvormingsarchitectuur: Het artikel presenteert een nieuwe integratie van LLM's als een besluitvormingsfilter binnen een GAMA-gebaseerde stedelijke mobiliteitssimulatie, waarbij cognitieve redenering wordt losgekoppeld van ruimtelijke uitvoering.
• Contextbewuste Adaptatie: In tegenstelling tot statische heuristieken staat het voorgestelde systeem agenten toe om complexe contextuele informatie (bijv. de combinatie van weer, vertrouwensniveaus en congestie) te interpreteren om routebeslissingen te nemen.
• Geheugenmechanismen: De implementatie van persistent geheugen stelt agenten in staat om eerdere ervaringen en besluitvormingsresultaten op te halen, wat hun toekomstig gedrag beïnvloedt om consistentie te bevorderen en excessieve reactiviteit te verminderen.
• Empirische Evaluatie: De studie biedt een vergelijkende analyse van LLM-ondersteunde agenten tegenover op regels gebaseerde baselines onder variërende netwerkbeperkingen en populatiedichtheden, waarbij inzichten worden gegeven in de trade-offs tussen adaptiviteit en computationele kosten.

Resultaten

• Gelokaliseerde Blokkades: In scenario's met beschikbare alternatieve routes vertoonden LLM-ondersteunde agenten een grotere adaptiviteit. Ze bereikten hogere aankomstpercentages (bijv. een stijging van 70% naar ~90% voor 500 agenten met OpenAI en geheugen) en een meer gebalanceerde ruimtelijke distributie. Geheugen fungeerde als een stabilisator, waardoor excessieve herplanning werd verminderd en de consistentie van besluitvorming werd verbeterd, hoewel het in sommige gevallen de "vastgelopen tijd" verhoogde, afhankelijk van de specifieke modelconfiguratie.
• Uitgebreide Blokkades: In scenario's met zware netwerkbeperkingen (weinig alternatieve routes) was de impact van LLM's op de globale prestaties (aankomstpercentages) beperkt. Echter, LLM-ondersteunde agenten verminderden de "vastgelopen tijdratio" nog steeds significant vergeleken met op regels gebaseerde modellen, wat wijst op een verbeterde lokale congestievermijding, zelfs wanneer globale optimalisatie structureel onmogelijk was.
• Agent-heterogeniteit: LLM's induceerden heterogene reacties bij verschillende agentprofielen (studenten, werkers, gepensioneerden), met name in gelokaliseerde scenario's. In scenario's met uitgebreide blokkades domineerden structurele beperkingen, wat leidde tot gedragsconvergentie tussen profielen.
• Computationele Kosten: De integratie van LLM's introduceerde aanzienlijke computationele overhead, waarbij de simulatietijden aanzienlijk toenamen (bijv. van ~22 seconden voor op regels gebaseerde modellen naar ~240 seconden voor OpenAI met geheugen voor 1000 agenten). De foutmarges bleven echter laag (<1,25%), wat duidt op een robuuste systeemstabiliteit ondanks de latentie.

Betekenis en Claims
Het artikel claimt dat LLM's effectief dienen als complementaire cognitieve lagen in plaats van vervangingen voor traditionele routeringsalgoritmen. De primaire betekenis ligt in het vermogen van LLM's om de gedachtsrepresentaties in stedelijke mobiliteitssimulaties te verrijken, waardoor agenten een grotere contextuele bewustheid en adaptief gedrag kunnen vertonen in dynamische omgevingen.

De auteurs concluderen bescheiden dat hoewel LLM's de realisme van besluitvorming verbeteren en lokale adaptatie bevorderen, hun effectiviteit wordt begrensd door de fysieke beperkingen van het wegennetwerk. De studie benadrukt een trade-off: de integratie van LLM's biedt rijkere, realistischere gedragsmodellering ten koste van verhoogde computationele middelen. Toekomstig werk richt zich op schaalbaarheid, het verfijnen van geheugenmechanismen voor efficiëntie en het uitbreiden van de evaluatie naar andere besluitvormingstaken buiten routeherberekening.