Llama-Mob: Instruction-Tuning Llama-3-8B Excels in City-Scale Mobility Prediction

Dit paper introduceert Llama-Mob, een instructie-getrainde Llama-3-8B-versie die door middel van vraag-en-antwoordinteracties superieure prestaties levert bij het voorspellen van langdurige menselijke mobiliteit in steden en sterke zero-shot generalisatie toont naar andere steden.

De kern

Llama-Mob: De slimme voorspeller die weet waar je morgen bent

Stel je voor dat je een enorme, onzichtbare spookstad hebt, gevuld met miljoenen mensen die elke dag van A naar B gaan. Voor stedenplanners, hulpdiensten bij rampen of artsen die een epidemie proberen te voorspellen, is het cruciaal om te weten: Waar zullen deze mensen over een week of twee zijn?

Vroeger probeerden computers dit te doen met ingewikkelde, specifieke formules. Het was alsof je voor elke stad een nieuwe sleutel moest smeden. Als je die sleutel naar een andere stad bracht, paste hij niet meer.

De nieuwe aanpak: Een slimme chatbot als voorspeller

In dit onderzoek hebben de auteurs een heel andere route gekozen. Ze hebben een kunstmatige intelligentie (een 'Large Language Model' genaamd Llama3-8B) getraind, niet om teksten te schrijven, maar om menselijk gedrag te begrijpen. Ze noemen hun model Llama-Mob.

Hier is hoe het werkt, in simpele bewoordingen:

1. Het probleem: De "Vraag en Antwoord" truc

Stel je voor dat je een detective bent. Je hebt een dagboek van iemand (hun verleden) en je moet voorspellen wat ze de komende 15 dagen doen.
In plaats van de computer te laten rekenen met coördinaten (x, y), hebben de onderzoekers de computer een vraag gesteld in de vorm van een gesprek:

• De instructie: "Je bent een assistent die menselijke bewegingen voorspelt. Hier is een lijst met waar iemand de afgelopen tijd was. Sommige plekken ontbreken (gemarkeerd met '999'). Vul die in."
• Het antwoord: De AI geeft een lijst terug met de voorspelde locaties.

Het is alsof je de AI een puzzel geeft en zegt: "Vul de ontbrekende stukjes in."

2. De kracht: Leren van één stad, toepassen op de wereld

Het meest verbazingwekkende aan Llama-Mob is zijn vermogen om te generaliseren.

• De oude manier: Als je een model traint op de straten van Tokio, werkt dat model vaak niet in New York. Het is als een auto die alleen op Japanse wegen kan rijden.
• De Llama-Mob manier: Ze trainden het model op data van slechts één Japanse stad (bijvoorbeeld Stad B). Vervolgens lieten ze het model voorspellingen doen voor drie andere steden (Stad C, D en zelfs A), zonder die steden ooit te hebben gezien tijdens het trainen.
• Het resultaat: Het model deed het beter dan de beste bestaande methoden! Het is alsof je iemand één keer de weg naar het station in Amsterdam leert, en die persoon vervolgens perfect de weg naar het station in Parijs, Berlijn en Londen kan vinden. De AI heeft het concept van "menselijke beweging" begrepen, niet alleen de specifieke straten.

3. De vergelijking: Een snelle raceauto vs. een langzame, slimme olifant

De onderzoekers vergeleken hun model met de huidige kampioen (LP-Bert).

• LP-Bert is als een raceauto: Hij is supersnel in het berekenen van een voorspelling (een paar milliseconden), maar hij is niet zo slim. Hij neigt om patronen te zien die er niet zijn (zoals mensen die in perfecte driehoeken lopen, wat in het echt niet gebeurt).
• Llama-Mob is als een slimme, maar langzame olifant. Hij duurt veel langer om een voorspelling te doen (soms wel 15 minuten per persoon), maar hij denkt na. Hij begrijpt dat mensen niet in geometrische vormen lopen, maar dat ze naar werk, winkels en huis gaan. Zijn voorspellingen lijken veel meer op de echte, chaotische menselijke beweging.

4. De prestatie: Een wedstrijd winnen met een handicap

Tijdens een wereldwijde wedstrijd (de ACM SIGSPATIAL 2024 Mobility Challenge) moest Llama-Mob concurreren tegen 35 andere modellen.

• De meeste modellen kregen de volledige dataset.
• Llama-Mob kreeg slechts 16% van de trainingsdata.
• Uitslag: Llama-Mob won de wedstrijd! Hij eindigde als tweede in het voorspellen van de route en als eerste in de gemiddelde ranglijst. Dit bewijst dat je met een slim model en weinig data meer kunt bereiken dan met een dom model en veel data.

5. De keerzijde: Het is niet perfect

Er is een nadeel. Omdat Llama-Mob zo'n groot en complex brein is, kost het veel tijd en energie om een voorspelling te maken. Het is nog niet snel genoeg om in real-time verkeer te gebruiken (zoals een navigatie-app die je elke seconde bijwerkt). Het is meer geschikt voor lange-termijn planning, zoals: "Hoe ziet het verkeer eruit over twee weken als we een nieuw stadion bouwen?"

Conclusie

Kortom, dit onderzoek laat zien dat we de kracht van moderne chatbots (zoals Llama) kunnen gebruiken om menselijk gedrag te voorspellen. In plaats van complexe wiskunde te bouwen voor elke stad, kunnen we een AI leren wat "mens zijn" betekent in een stad. En als je die AI eenmaal hebt getraind, werkt hij verrassend goed in elke stad ter wereld, zelfs als je hem daar nooit eerder hebt laten zien.

Het is de eerste keer dat een AI zo goed presteert in het voorspellen van bewegingen over een lange periode (15 dagen), en het opent de deur voor een toekomst waar steden slimmer en veiliger kunnen worden ingedeeld.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "Llama-Mob: Instruction-Tuning Llama3-8B Excels in City-Scale Mobility Prediction" in het Nederlands.

Probleemstelling

Menselijke mobiliteitsvoorspelling is cruciaal voor toepassingen zoals rampenbeheer, stedelijke planning en epidemie-voorspelling. Traditionele methoden vertrouwen vaak op handmatig ontworpen, domeinspecifieke modellen (zoals RNN's of grafische modellen) die zich richten op korte-termijn voorspellingen (bijv. de volgende locatie). Deze methoden hebben echter moeite om te generaliseren over verschillende stedelijke omgevingen en zijn beperkt in hun vermogen om langetermijntrajecten (bijv. 15 dagen vooruit) nauwkeurig te voorspellen. Hoewel Large Language Models (LLM's) recent succesvol zijn toegepast op korte-termijn voorspellingen via "zero-shot" prompting, blijft de prestatie van open-source LLM's zonder fijnafstemming (fine-tuning) ontoereikend voor deze specifieke taken, en is de overdraagbaarheid tussen steden onvoldoende onderzocht.

Methodologie

De auteurs introduceren Llama3-8B-Mob, een versie van het Llama3-8B model dat is geoptimaliseerd via instruction tuning voor langetermijn mobiliteitsvoorspelling.

1. Probleemherformulering (Q&A Formaat):
   In plaats van een traditionele regressie- of classificatieopdracht, wordt het trajectvoorspellingsprobleem omgezet in een vraag-antwoord (Q&A) taak.

   • Instructieblok: Bevat de rol van het model, de definitie van de omgeving (een 200x200 raster), de definitie van een traject (tijdstip, dag, x, y coördinaten) en het vereiste uitvoerformaat (JSON).
   • Vraagblok: Bevat de historische trajectdata van een gebruiker, waarbij ontbrekende toekomstige coördinaten zijn gemarkeerd met 999,999.
   • Antwoordblok: Het model genereert de ontbrekende coördinaten in een JSON-structuur.

2. Instruction Tuning:

   • Data Voorbereiding: Een subset van gebruikers uit de trainingsset wordt gebruikt om een corpus te bouwen waarbij de instructie en vraag als input dienen en het echte traject als output.
   • Parameter-efficiënt Fine-tuning: Om de hoge rekeneisen van LLM's te beheersen, wordt LoRA (Low Rank Adaptation) gebruikt. Hierbij worden alleen de query, key, value en output-projecties van de transformer-lagen aangepast, in plaats van het hele model.
   • Verliesfunctie: Token-level cross-entropy wordt gebruikt, wat het ruimtelijk-temporele leerprobleem reduceert tot een taak binnen het domein van natuurlijke taalverwerking (NLP).

3. Dataset:
   De evaluatie gebruikt data van de "Human Mobility Challenge 2024" uit vier Japanse metropolen (Steden A, B, C en D) over een periode van 75 dagen. De taak is om trajecten voor de dagen 61-75 te voorspellen op basis van data van dagen 1-60.

Belangrijkste Resultaten

De resultaten tonen aan dat Llama3-8B-Mob aanzienlijk beter presteert dan de huidige state-of-the-art (SOTA) methoden, zoals LP-Bert (de winnaar van de challenge in 2023).

• Voorspellingskwaliteit: Llama3-8B-Mob behaalt de beste resultaten op meerdere metrieken, waaronder DTW (Dynamic Time Warping, voor vormgelijkenis) en GEO-BLEU (voor ruimtelijke sequentiegelijkenis).
• Generalisatievermogen: Een opmerkelijke bevinding is het sterke zero-shot generalisatievermogen. Een model dat uitsluitend is getraind op data van één stad (bijv. Stad B), presteert beter in andere steden dan modellen die zijn getraind op data van alle steden samen. Dit suggereert dat het model fundamentele patronen van menselijk gedrag heeft geleerd die stadsongebonden zijn.
• ACM SIGSPATIAL Challenge: In de Human Mobility Prediction Challenge 2024 behaalde het model de 2e plaats voor semantische trajectgelijkenis en de 3e plaats voor vormgelijkenis, ondanks dat het slechts met 16% van de trainingsdata was gefinetuned.
• Case Study: Visuele vergelijkingen tonen aan dat traditionele modellen (LP-Bert) vaak onrealistische, geometrische patronen (zoals rechthoekige driehoeken) voorspellen, terwijl Llama3-8B-Mob menselijk gedrag veel natuurlijker nabootst.

Beperkingen en Efficiëntie

Hoewel de voorspellingskwaliteit superieur is, brengt het gebruik van LLM's aanzienlijke kosten met zich mee:

• Trainingstijd: Het trainen duurt ongeveer 2,4 keer langer dan bij LP-Bert.
• Inferentie: De inferentie is extreem traag; het voorspellen van één traject duurt gemiddeld 225 seconden (ongeveer 16.000x langzamer dan LP-Bert) vanwege de autoregressieve aard van het model. Dit vormt een uitdaging voor real-time toepassingen.

Significantie en Toekomstperspectief

Dit paper bewijst dat Large Language Models, wanneer ze correct worden geinstruction-tuned, een krachtig alternatief vormen voor traditionele, domeinspecifieke modellen in de mobiliteitsvoorspelling.

• Paradigmaverschuiving: Het toont aan dat LLM's in staat zijn om complexe ruimtelijk-temporele patronen te leren zonder expliciete ruimtelijke inductieve bias, puur via instructies en voorbeelddata.
• Generalisatie: Het sterke generalisatievermogen tussen steden suggereert dat LLM's universele kennis van menselijke mobiliteit kunnen vastleggen.
• Extensie: De methode is succesvol uitgebreid naar de "Next POI" (Point of Interest) voorspellingstaak, wat aantoont dat het framework breed toepasbaar is.

De auteurs concluderen dat hoewel de inferentiesnelheid momenteel een beperking is, de potentie van LLM's voor langetermijnvoorspelling en cross-city generalisatie ongekend is. Toekomstig werk zal zich richten op het verbeteren van de inferentie-efficiëntie en het optimaliseren van de data-selectiestrategieën voor fine-tuning.