Predicting Human Mobility during Extreme Events via LLM-Enhanced Cross-City Learning

Titel: Voorspellen van Menselijke Mobiliteit tijdens Extreme Gebeurtenissen via LLM-Versterkte Stadsoverschrijdende Leer

Auteurs: Yinzhou Tang, Huandong Wang, Xiaochen Fan, en Yong Li (Tsinghua Universiteit).

---

1. Het Probleem

Met de snelle urbanisatie en klimaatverandering worden steden kwetsbaarder voor extreme gebeurtenissen (zoals extreme weersomstandigheden, overstromingen of verkeersopstoppingen). Het is cruciaal om menselijke mobiliteit tijdens deze gebeurtenissen te voorspellen voor downstream-taken zoals vroege rampenwaarschuwingen en het vooraf toewijzen van reddingsmiddelen.

De bestaande oplossingen voor mobiliteitsvoorspelling hebben echter twee fundamentele tekortkomingen:

1. Focus op normale scenario's: De meeste modellen (zoals DeepMove, Flashback) zijn getraind op data uit normale omstandigheden. Ze falen in extreme scenario's omdat de mobiliteitspatronen (ruimtelijke verdeling en de kans op immobiliteit) drastisch veranderen.
2. Data-schaarste en domeinverschil: Het is moeilijk om specifieke modellen te trainen voor een bepaalde extreme gebeurtenis in een specifieke stad, omdat er vaak onvoldoende historische data is voor dat specifieke scenario. Bestaande methoden voor stadsoverschrijdende kennisoverdracht (transfer learning) presteren ook slecht omdat de ruimtelijke verdeling van locaties (POI's) tussen steden te verschillend is om direct kennis over te dragen.

2. Methodologie: Het X-MLM Framework

De auteurs stellen X-MLM (cross-eXtreme-event Mobility Language Model) voor. Dit is een raamwerk dat Large Language Models (LLM's) gebruikt om kennis over te dragen tussen steden en scenario's op het niveau van mobiliteitsintentie, in plaats van op het niveau van ruwe trajecten.

Het framework bestaat uit drie kernmodules:

A. RAG-Versterkte Intentie Predictor (RAG-Enhanced Intention Predictor)

• Doel: Het omzetten van ruwe trajectdata naar een abstracte "intentie" en het oplossen van data-schaarste.
• Intentie-Vertaler en -Predictor: Trajecten worden omgezet in een reeks "reisfeatures" (bijv. POI-categorieën, afstand tot vervoer). Deze features worden via Transfer Component Analysis (TCA) en clustering gemapt naar een gedeelde intentieruimte.
• Intentie-CLIP: Om de intentie-features te laten begrijpen door een LLM (die is getraind op taal), gebruiken de auteurs een Contrastive Language-Intention Pre-training (Intention-CLIP). Dit aligneert de intentie-modality met de taal-modality van de LLM.
• Retrieval-Augmented Generation (RAG): Om data-schaarste in de doelstad (bij een nieuwe ramp) op te lossen, worden vergelijkbare trajecten opgehaald uit een database van bronsteden en andere extreme scenario's. Dit dient als externe kennis.

B. LLM-gebaseerde Intentie Refiner (LLM-Based Intention Refiner)

• Doel: Het verfijnen van de voorspelde intentie rekening houdend met de specifieke extreme gebeurtenis.
• Hybride Prompting Strategie:
  • Intentie-Opgenomen Prompt: In plaats van alleen tekst, worden de intentie-features direct als embeddings ingevoerd in de LLM.
  • Chain-of-Thought (CoT): De LLM wordt gevraagd stap voor stap te redeneren: "Is de voorspelling correct?", "Is het een situatie van immobiliteit (stilstaan)?", en zo niet, "Welke intentie is het meest waarschijnlijk?".
  • Event-Level-Aware Soft Prompt: Een leerbaar "soft prompt" (prefix) wordt gebruikt om de heterogeniteit van verschillende extreme gebeurtenissen (bijv. lichte regen vs. overstroming) te modelleren zonder de hele LLM opnieuw te hoeven trainen (Prefix-tuning).

C. Intentie-Modulerende Locatie Predictor (Intention-Modulated Location Predictor)

• Doel: Het voorspellen van de exacte volgende locatie.
• Mechanisme: De verfijnde intentie-embedding wordt gebruikt om een bestaand diep-lerend mobiliteitsmodel (de "base model", zoals LSTM of DeepMove) te moduleren.
• Modulatie: De intentie wordt geïntegreerd via element-wise vermenigvuldiging, concatenatie of een attention-mechanisme voordat de uiteindelijke locatie wordt voorspeld.

3. Belangrijkste Bijdragen

1. X-MLM Framework: Een nieuw raamwerk dat LLM's gebruikt om kennis over de impact van extreme gebeurtenissen op menselijk gedrag te transfereren tussen steden op het niveau van intentie.
2. Intentie-CLIP: Een innovatieve methode om de modality tussen menselijke mobiliteitsintenties en taal te aligneren, waardoor LLM's beter in staat zijn om intenties te begrijpen en te voorspellen.
3. Hybride Prompting: Een unieke combinatie van CoT-redenering en soft prompting om de LLM te laten leren hoe extreme gebeurtenissen de intentie verschuiven (bijv. van "naar werk" naar "thuis blijven").
4. Empirische Validatie: Uitgebreide experimenten tonen aan dat het framework de prestaties van bestaande modellen aanzienlijk verbetert in extreme scenario's.

4. Resultaten

De auteurs hebben het model getest op datasets van 7 Chinese steden tijdens extreme regenbuien. Ze vergeleken X-MLM met traditionele modellen (LSTM, GRU, DeepMove), modellen voor extreme scenario's (HMM+MDP), en andere LLM-gebaseerde modellen.

• Prestatieverbetering: In vergelijking met de beste baselines (zoals STiSAN+), boekte X-MLM de volgende verbeteringen:
  • 32,8% verbetering in Acc@1 (nauwkeurigheid van de top-1 voorspelling).
  • 28,3% verbetering in MRR (Mean Reciprocal Rank).
  • 35,0% verbetering in de F1-score voor het voorspellen van immobiliteit (het niet bewegen, wat cruciaal is tijdens rampen).
• Robuustheid: Het model compenseert effectief voor de prestatiedaling die optreedt wanneer normale modellen worden toegepast op extreme scenario's. Zelfs als de basismodellen in extreme scenario's tot 82% minder goed presteren, herstelt X-MLM dit grotendeels.
• Ablatie-studie: Het verwijderen van enige module (RAG, Soft-prompt, LLM-refining) leidt tot een significante daling in prestaties, wat aantoont dat elk onderdeel essentieel is.

5. Betekenis en Toekomstperspectief

Dit onderzoek is significant omdat het een brug slaat tussen de wereld van Large Language Models en ruimtelijke data-analyse voor crisismanagement.

• Praktische Toepassing: Het biedt een oplossing voor het "koude start"-probleem bij rampen in steden waar nog geen specifieke data voor die ramp beschikbaar is, door kennis over te dragen van andere steden.
• Gedragsonderstanding: Door te focussen op intentie in plaats van alleen coördinaten, begrijpt het model beter waarom mensen bewegen of stilstaan tijdens een ramp.
• Toekomst: De auteurs suggereren dat het model in de toekomst kan worden getest op andere extreme gebeurtenissen (zoals epidemieën of bosbranden) en dat overheidsbeleid (zoals evacuatiebevelen) kan worden geïntegreerd in het model.

Samenvattend biedt X-MLM een robuuste, schaalbare oplossing om menselijke mobiliteit tijdens onvoorspelbare en gevaarlijke gebeurtenissen nauwkeuriger te voorspellen, wat direct bijdraagt aan betere rampenbestrijding en hulpverlening.