Fine-tuning LLMs for Tourist Trajectory Prediction using Field Experiment Data

Stel je voor dat je aan de rand van een uitgestrekt, levendig park staat en kijkt hoe honderden mensen door paden slingeren, pauzeren bij tuinen en richting kastelen wandelen. Voor stadsplanners en toerismefunctionarissen is het begrijpen van waarom deze bezoekers voor het ene pad boven het andere kiezen niet slechts een kwestie van nieuwsgierigheid; het is een cruciaal instrument voor het beheren van menigten, het beschermen van kwetsbare locaties en het waarborgen dat geld naar de juiste plekken vloeit. Wanneer een bestemming probeert een nieuwe elektrische pendelbus of een deelfietssysteem te introduceren om mensen te helpen zich tussen verspreide attracties te verplaatsen, staan ze voor een moeilijke vraag: zal deze nieuwe dienst de manier waarop mensen ontdekken daadwerkelijk veranderen, of zullen bezoekers de nieuwe dienst simpelweg gebruiken om dezelfde drukke plekken sneller te bereiken? Traditionele computermodellen worstelen met het beantwoorden van deze vraag omdat ze menselijke beweging vaak behandelen als een eenvoudige reeks stappen, waarbij ze de chaotische, echte factoren negeren die onze keuzes beïnvloeden, zoals een plotselinge regenbui, een moe kind of het simpele verlangen om een rustige bank te vinden. Deze oudere systemen vereisen enorme hoeveelheden historische gegevens om patronen te leren, en wanneer ze geconfronteerd worden met een nieuwe situatie die ze nog nooit eerder hebben gezien, falen ze vaak in het maken van de juiste voorspelling.

Een team onderzoekers van de Universiteit van Osaka en het RIKEN Center for Computational Science heeft een andere aanpak gekozen door over te stappen op een type kunstmatige intelligentie dat bekend staat als een groot taalmodel (large language model). Dit zijn dezelfde krachtige computersystemen die verhalen kunnen schrijven, complexe vragen kunnen beantwoorden en gesprekken kunnen voeren, getraind op enorme bibliotheken van menselijke teksten. De onderzoekers realiseerden zich dat deze modellen al over een diep, intuïtief begrip van menselijk gedrag beschikken. Ze "weten" dat mensen beschutting zoeken als het regent, dat gezinnen regelmatig pauzes nodig hebben en dat lunchtijd meestal betekent dat er naar voedsel wordt gezocht. In plaats van een nieuw model vanaf nul op te bouwen, besloot het team dit bestaande, deskundige systeem te leren hoe het een specifieke locatie moet navigeren. Ze richtten hun studie op het Wakayama Castle Park in Japan, een uitgestrekte bestemming met een historische kasteeltoren, tuinen, een dierentuin en talrijke rustplaatsen. Tijdens een pilotprogramma in december 2023 verzamelden de onderzoekers gedetailleerde bewegingsgegevens van 566 toeristen, waarbij ze bijhielden waar ze heen gingen, wanneer ze aankwamen en wat ze deden, terwijl ze ook de weersomstandigheden en de tijd van de dag noteerden.

Om de computer te leren, vertaalden de onderzoekers deze ruwe bewegingsgegevens naar een formaat dat het taalmodel kon begrijpen: een eenvoudig, gestructureerd verhaal. Ze beschreven elke bezoeker als een personage met specifieke kenmerken, zoals leeftijd of groepstype, en zetten de scène neer met het huidige weer. Vervolgens lijstten ze de reis van de bezoeker stap voor stap op, waarbij de tijd, de actie en de specifieke bezochte plek werden genoteerd, vergelijkbaar met het schrijven van een dagboekfragment voor een dag in het park. Daarna vroegen ze de computer om deze verhalen te lezen en de patronen te leren van hoe mensen zich daadwerkelijk door het park bewogen. Het doel was om te zien of het model op basis van de geschiedenis van een bezoeker tot een bepaald punt accuraat kon voorspellen waar diegene vervolgens naartoe zou gaan. Dit proces, bekend als 'fine-tuning', stelde het model in staat om zijn algemene kennis van de menselijke natuur te combineren met de specifieke lay-out en gewoonten van het Wakayama Castle Park.

De resultaten waren opmerkelijk. Wanneer het werd getest op nieuwe bezoekers die het model nog nooit had gezien, voorspelde het de volgende specifieke locatie die een toerist zou bezoeken ongeveer 49 procent van de tijd correct. Dit was een significante verbetering ten opzichte van traditionele statistische methoden, die slechts ongeveer 9 tot 15 procent van de tijd correct raden. De oudere methoden faalden vaak omdat ze geen rekening konden houden met de context; ze begrepen niet dat een regenachtige dag een bezoeker ertoe zou brengen de open tuinen over te slaan en direct naar het binnenmuseum te gaan. Het taalmodel gebruelde echter zijn ingebouwde gezond verstand om deze aanpassingen te maken. Zelfs in moeilijke situaties waar de gegevens schaars waren, zoals op regenachtige dagen wanneer slechts een handvol bezoekers werd geregistreerd, behield het model een hoog niveau van nauwkeurigheid door correct te voorspellen dat mensen op zoek zouden gaan naar binnenbeschutting. Het slaagde er ook in om volledige dagprogramma's te genereren die realistisch aanvoelden, beginnend met ochtendbezoeken aan belangrijke monumenten, bewegend naar de lunch en eindigend met rust in de middag, zonder dat hiervoor expliciete regels waren geprogrammeerd.

De onderzoekers ontdekten dat het vermogen van het model om de "waarom" achter een beslissing te begrijpen net zo belangrijk was als het vermogen om te raden "waar" iemand heen gaat. Hoewel het iets minder accuraat was in het voorspellen van de exacte naam van een specifieke winkel of tuin, was het zeer goed in het voorspellen van het type plaats dat een bezoeker zou kiezen, zoals een restaurant of een historische site. Dit suggereert dat het model de algemene intenties van de toeristen had geleerd. Interessant genoeg testte het team ook een versie van het model die specifiek was getraind op de Japanse taal en cultuur, maar de algemene, meertalige versie presteerde beter. Dit geeft aan dat voor het begrijpen van hoe mensen bewegen en keuzes maken, de brede, diverse kennis van menselijk gedrag die in een algemeen model te vinden is, waardevoller is dan gespecialiseerde taaltraining.

Dit werk beweert niet te hebben bewezen het probleem van het voorspellen van menselijk gedrag perfect te hebben opgelost, noch bewijst het dat deze modellen exact kunnen voorspellen hoe een nieuwe maatregel de toekomst zal veranderen. De onderzoekers merken er voorzichtig bij op dat hun model een krachtig hulpmiddel is voor het voorspellen van wat mensen doen onder de huidige omstandigheden, maar het gebruik ervan om de effecten van een nieuwe interventie, zoals een nieuwe pendelbus, te simuleren, vereist verdere tests. Echter, de studie demonstreert dat deze grote taalmodellen als zeer nauwkeurige spiegels van menselijk gedrag kunnen dienen, in staat om de subtiele, contextafhankelijke beslissingen te begrijpen die een dag in het park definiëren. Door de logica te vangen van waarom een vermoeide ouder voor een bankje kiest in plaats van een lange wandeling, of waarom een groep een heuvel vermijdt op een warme dag, biedt deze technologie een nieuwe manier voor bestemmingbeheerders om voor de toekomst te plannen, waarbij ze verder gaan dan eenvoudige statistieken naar een dieper begrip van de mensen die hun terreinen bezoeken.