Large Language Models for Travel Behavior Prediction

Deze studie toont aan dat grote taalmodellen (LLM's) een flexibel en data-efficiënt alternatief bieden voor het voorspellen van reisgedrag, zowel via zero-shot prompting als door het combineren van door LLM's gegenereerde tekstembeddings met traditionele leermethoden.

De kern

Stel je voor dat je een reisknooppunt bent, maar in plaats van treinen en bussen, beheer je de gedachten en keuzes van mensen.

Vroeger, als je wilde voorspellen of iemand met de trein, de auto of het vliegtuig zou reizen, gebruikten we strenge wiskundige formules. Dat was als een rekenmachine: je stopte cijfers in (tijd, kosten, afstand) en de machine spitste een antwoord uit. Het werkte goed als je duizenden voorbeelden had, maar als je maar een paar voorbeelden had, raakte de rekenmachine in de war.

Deze paper onderzoekt iets heel nieuws: grote taalmodellen (LLMs), zoals de slimme AI's die we nu kennen (bijv. ChatGPT). De onderzoekers vragen zich af: "Kan een AI die miljoenen boeken en artikelen heeft gelezen, ook begrijpen waarom mensen reizen, zonder dat we haar eerst duizenden reisinformatiebestanden hoeven te geven?"

Ze hebben twee slimme manieren bedacht om dit te doen:

1. De "Slimme Vriend" (Zero-Shot Prompting)

Stel je voor dat je een zeer belezen vriend hebt die alles over reizen weet, maar die je nog nooit hebt zien reizen.

• Hoe het werkt: Je geeft deze vriend een beschrijving: "Hoi, ik heb een klant die 30 minuten met de trein doet, 10 minuten met de auto, maar de auto is duurder. Hij is een treinliefhebber. Wat kiest hij?"
• Het resultaat: De vriend denkt na, gebruikt zijn algemene kennis over menselijk gedrag (bijv. "mensen houden van tijdswinst") en geeft direct een antwoord: "Waarschijnlijk kiest hij de auto, want tijd is geld."
• Het geheim: Je hebt geen duizenden voorbeelden nodig om hem te trainen. Hij gebruikt zijn "hersenen" (de kennis die hij al heeft) om direct een gok te wagen.

2. De "Vertaler" (Embeddings + Kleine Lijstjes)

Stel je voor dat je een vertaler hebt die complexe menselijke gevoelens en situaties omzet in een geheime code (een vector).

• Hoe het werkt: De AI leest de situatie van de reiziger en maakt er een korte, krachtige samenvatting van (de code).
• De samenwerking: Vervolgens geeft je die code aan een klassieke rekenmachine (een traditioneel model). Omdat de code alle belangrijke nuances bevat, kan de rekenmachine nu zelfs met heel weinig voorbeelden (bijv. slechts 10 reizigers) een goede voorspelling doen.
• De analogie: Het is alsof je een kookrecept (de AI) gebruikt om de ingrediënten te begrijpen, en dan een beginner-kok (de rekenmachine) de rest laat doen. De beginner maakt minder fouten omdat hij een perfect recept heeft gekregen.

Wat vonden ze?

De onderzoekers hebben dit getest met echte data (zoals de keuze tussen trein, auto en een magneettrein in Zwitserland).

• Met veel data: De oude rekenmachines (wiskundige modellen) waren nog steeds de snelste en nauwkeurigste.
• Met weinig data: Hier werd het spannend! De Slimme Vriend (de AI zonder training) deed het bijna net zo goed als de rekenmachine, en deed het veel beter dan de rekenmachine die met weinig data worstelde.
• De Vertaler: De combinatie van AI-code + rekenmachine deed het zelfs nog beter in de "weinig data" situatie.

De Grootte en de Valkuilen

De paper laat ook zien dat de AI niet perfect is:

• De Kracht: De AI kan uitleggen waarom ze een keuze maakt. "Ik denk dat hij de trein kiest omdat hij een abonnement heeft." Dit is als een reistipschrijver die zijn gedachten hardop deelt.
• Het Gevaar: Soms hallucineert de AI. Ze kan zeggen: "Hij kiest de trein omdat hij van blauw houdt," terwijl er in de gegevens niets over blauw staat. Ze verzonnen soms feiten, net als iemand die een verhaal verzint om een vraag te beantwoorden.

Conclusie in één zin

Dit onderzoek toont aan dat AI's niet alleen tekst kunnen schrijven, maar ook menselijk reiskiezen kunnen begrijpen, vooral als we weinig data hebben. Ze zijn als een slimme, goed geïnformeerde reisadviseur die je kunt raadplegen zonder eerst jarenlang te hoeven studeren, maar je moet wel oppassen dat ze niet te veel verzint!

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het artikel "Large Language Models for Travel Behavior Prediction" in het Nederlands.

Probleemstelling

Het voorspellen van reisgedrag (zoals de keuze van vervoermiddel of het doel van een reis) is een kernprobleem in het vervoersplanning en -beheer. Traditioneel worden deze problemen opgelost met numerieke modellen (zoals discrete keuzemodellen, multinomiale logit, of machine learning-algoritmen zoals Random Forests en Neurale Netwerken) die zijn gekalibreerd op waargenomen data. Deze methoden hebben echter beperkingen:

1. Ze vereisen grote hoeveelheden gelabelde trainingsdata om goed te presteren.
2. Ze zijn vaak "black boxes" zonder natuurlijke taalverklaringen voor hun voorspellingen.
3. Ze hebben moeite om complexe menselijke besluitvorming en contextuele kennis direct te modelleren zonder uitgebreide feature engineering.

Met de opkomst van Large Language Models (LLMs) rijst de vraag of deze modellen, die zijn getraind op enorme corpora van tekst en wereldkennis, in staat zijn om menselijk reisgedrag te voorspellen, zelfs zonder specifieke training op vervoersdata.

Methodologie

De auteurs stellen twee complementaire frameworks voor om LLMs toe te passen op reisgedragsvoorspelling:

1. Zero-Shot Prompting Strategie
In deze aanpak wordt de LLM direct gevraagd om een voorspelling te doen zonder dat er specifieke trainingsdata wordt gebruikt. De prestatie hangt sterk af van het ontwerp van de prompt (de instructie). De auteurs ontwerpen een gestructureerde prompt die vier componenten bevat:

• Taakbeschrijving: Duidelijke definitie van het voorspellingstaken (bijv. keuze tussen trein, auto, Swissmetro).
• Gestructureerde data: Reiskenmerken (tijd, kosten) worden gepresenteerd in een dictionary-formaat.
• Beschrijvende data: Persoonlijke kenmerken van de reiziger (bijv. "gebruikt regelmatig de trein") worden in natuurlijke taal beschreven in plaats van als binaire dummy-variabelen.
• Richtlijnen voor denken met domeinkennis: Dit is een cruciaal onderdeel. De prompt bevat expliciete instructies om de LLM te leiden in het redeneren (Chain-of-Thought), inclusief domeinspecifieke kennis (bijv. "mensen kiezen vaker voor goedkopere opties") en numerieke vergelijkingen (bijv. "Swissmetro bespaart 36% tijd").
• Output: De LLM moet een voorspelling en een onderbouwing in JSON-formaat genereren.

2. Embedding als Feature Representatie
In dit hybride framework worden LLMs gebruikt om tekstuele beschrijvingen van reisscenario's om te zetten in hoge-dimensionale vector-embeddings. Deze embeddings dienen als ingang voor conventionele toezichtslende modellen (zoals Multinomiale Logit, Random Forest of Neurale Netwerken).

• De LLM fungeert hier als een "feature extractor" die semantische informatie en contextuele relaties vastlegt die moeilijk handmatig te coderen zijn.
• Dit is vooral nuttig in kleine-steekproefscenario's (small-sample settings), waar traditionele modellen vaak falen door gebrek aan data.

Experimenteel Opzet
De studie werd getest op twee datasets:

• Swissmetro: Een stated preference survey voor modale keuze (Trein, Auto, Swissmetro).
• NHTS (National Household Travel Survey): Data voor het voorspellen van reisdoeleinden (werken, sociale, recreatie, overig).
  De prestaties werden vergeleken met klassieke benchmarks (MNL, RF, NN) op zowel grote trainingssets (1000 samples) als zeer kleine sets (10 samples).

Kernresultaten

De empirische resultaten tonen de volgende inzichten:

• Prestaties bij grote datasets: Traditionele toezichtslende modellen (getraind op 1000 samples) presteren over het algemeen het beste. LLMs in zero-shot modus (zonder training) halen vergelijkbare resultaten, maar niet altijd superieur.
• Prestaties bij kleine datasets: Bij zeer kleine trainingssets (10 samples) degradeert de prestatie van traditionele modellen drastisch. De zero-shot LLMs presteren hier significant beter dan de getrainde traditionele modellen. Dit toont de data-efficiëntie van LLMs aan.
• Embedding-aanpak: Het gebruik van LLM-gegenereerde embeddings als input voor traditionele modellen in kleine-steekproefscenario's leidt tot een consistente verbetering ten opzichte van het gebruik van handmatig ontworpen features. Dit suggereert dat LLMs rijkere semantische informatie vastleggen.
• Interpreteerbaarheid: Een uniek voordeel van LLMs is de mogelijkheid om natuurlijke taalverklaringen te geven voor hun voorspellingen. Hoewel er gevallen van "hallucinaties" (onjuiste feiten) en redeneerfouten voorkomen, zijn de verklaringen vaak logisch en consistent met vervoersgedragstheorieën, zelfs als de voorspelling zelf fout is.
• Ablatie-studie: Het verwijderen van de "richtlijnen voor denken" (guide of thinking) had een grote negatieve impact op de prestaties van GPT-3.5, maar minder op GPT-4. Dit suggereert dat geavanceerdere modellen (zoals GPT-4) minder afhankelijk zijn van expliciete prompt-engineering voor redenering.

Belangrijkste Bijdragen

1. Nieuwe Paradigma: De studie introduceert en valideert twee nieuwe frameworks voor reisgedragsvoorspelling die LLMs gebruiken als centrale componenten, zowel als directe voorspellers als als feature-encoders.
2. Data-efficiëntie: Het bewijst dat LLMs een haalbaar alternatief zijn in situaties waar gelabelde data schaars is, een veelvoorkomend probleem in vervoersonderzoek.
3. Interpreteerbaarheid: Het biedt een methode om voorspellingen te koppelen aan menselijke redenering, wat de transparantie van modellen vergroot.
4. Prompt-ontwerp: De studie levert inzicht in hoe domeinkennis en gestructureerde prompts essentieel zijn om de redeneercapaciteiten van LLMs voor kwantitatieve taken te activeren.

Betekenis en Toekomstperspectief

Dit onderzoek markeert een verschuiving in de vervoerswetenschap van puur datagedreven modellen naar hybride modellen die gebruikmaken van de wereldkennis en redeneercapaciteiten van LLMs. Het suggereert dat LLMs niet alleen een aanvulling zijn, maar in data-arme contexten een superieur alternatief kunnen zijn voor klassieke statistische modellen.

Toekomstig onderzoek moet zich richten op:

• Het testen op bredere en diversere datasets.
• Het optimaliseren van prompts en het onderzoeken van "few-shot learning" (het geven van voorbeelden in de prompt).
• Het verminderen van hallucinaties en het verbeteren van de betrouwbaarheid van de gegenereerde verklaringen voor besluitvorming in kritieke toepassingen.