RHYTHM: Reasoning with Hierarchical Temporal Tokenization for Human Mobility

Probleemstelling

Het voorspellen van menselijke mobiliteit is fundamenteel uitdagend vanwege de complexe lange-afstand afhankelijkheden en multi-schaal periodieke gedragingen (zoals dagelijkse routines en wekelijkse patronen). Bestaande methoden hebben hierin tekortkomingen:

• Markov- en RNN-modellen negeren vaak lange-termijn periodiciteit of lijden onder het "vanish gradient"-probleem bij lange sequenties.
• Transformer-gebaseerde modellen behandelen tijd vaak als statisch en slagen er niet in om multi-schaal temporele patronen (bijv. het onderscheid tussen dagelijkse en wekelijkse cycli) effectief te ontrafelen.
• Bestaande LLM-toepassingen behandelen mobiliteit vaak als generieke sequenties, waarbij ze de inherente periodieke structuur van menselijke beweging negeren.

Het doel is een model te creëren dat zowel lokale gedragingen (bijv. ochtendcommute) als globale temporele afhankelijkheden (bijv. wekelijkse routines) kan modelleren, terwijl de rekentijd en het geheugengebruik beperkt blijven.

Methodologie: RHYTHM

RHYTHM is een unificerend kader dat Large Language Models (LLMs) gebruikt als universele spatio-temporele voorspellers en redeneerders. De kern van de methode bestaat uit drie pijlers:

1. Temporele Tokenisatie (Temporal Tokenization):

   • In plaats van een volledige trajectorie als één continue sequentie te verwerken, wordt deze opgedeeld in niet-overlappende segmenten (bijv. per dag).
   • Elk segment wordt gecodeerd als een discreet token.
   • Dit reduceert de sequentielengte kwadratisch, wat de rekentijd voor de attention-mechanismen drastisch verlaagt.
   • Hiërarchische Attention: Het model gebruikt intra-segment attention om lokale patronen binnen een dag te vangen, en inter-segment attention om lange-afstand afhankelijkheden tussen dagen (wekelijkse patronen) te modelleren.

2. Semantische Context Integratie:

   • Om de betekenis van de tokens te verrijken, worden vooraf berekende prompt-embeddings gebruikt.
   • Voor elk trajectsegment wordt een beschrijving gegenereerd (bijv. "Dit is het traject van gebruiker X op dinsdag...") en voor toekomstige tijdstippen wordt een taakbeschrijving toegevoegd.
   • Deze prompts worden verwerkt door een bevroren (frozen) LLM om semantische embeddings te genereren.
   • Deze embeddings worden vervolgens opgeteld bij de temporele segment-embeddings, waardoor het model rijke contextuele informatie krijgt zonder de contextlengte tijdens het trainen te vergroten.

3. Parameter-efficiënte Adaptatie:

   • De backbone van het LLM wordt bevroren tijdens het trainen. Alleen de projectielagen en de attention-mechanismen worden getraind.
   • Dit zorgt voor snellere convergentie, lager geheugengebruik en behoudt de sterke redeneercapaciteiten van het vooraf getrainde LLM.

Belangrijkste Bijdragen

• Unificatie van Tokenisatie en Redenering: RHYTHM introduceert een nieuwe manier om mobiliteit te modelleren door tijd te tokeniseren in hiërarchische eenheden (dagen/week) en deze te combineren met de redeneercapaciteit van LLMs.
• Efficiënte Prompt-Gestuurde Benadering: Het integreert semantische informatie (trajectbeschrijvingen en taakcontext) via embeddings, wat het model helpt complexe mobiliteitspatronen beter te interpreteren.
• Reken-efficiëntie: Door de LLM-backbone bevroren te houden en de sequentielengte te reduceren, worden trainbare parameters gereduceerd tot slechts 12,37% van de volledige modelgrootte.
• Empirische Validatie: Uitgebreide evaluaties op drie real-world datasets (Kumamoto, Sapporo, Hiroshima) tonen superioriteit ten opzichte van state-of-the-art baselines.

Resultaten

RHYTHM werd getest op drie datasets en vergeleken met modellen zoals LSTM, DeepMove, PatchTST, en andere LLM-gebaseerde modellen (zoals Time-LLM en Mobility-LLM).

• Nauwkeurigheid: RHYTHM behaalde een 2,4% verbetering in de algehele voorspellingsnauwkeurigheid (Accuracy@1) ten opzichte van de beste baseline.
• Weekendprestaties: Er was een opvallende 5,0% stijging in nauwkeurigheid op weekenden, wat aangeeft dat het model beter presteert bij complexere, minder routineuze beslissingen.
• Efficiëntie: Het model reduceerde de trainingtijd met 24,6% ten opzichte van de beste baselines, terwijl het toch een hogere nauwkeurigheid leverde.
• Schaalbaarheid: De prestaties schalen positief met de grootte van het gebruikte LLM (bijv. van 1B naar 3B parameters), waarbij grotere modellen betere resultaten opleveren.
• Geografische Metrieken: RHYTHM toonde superioriteit in DTW (ruimtelijke alignering) en MRR (rangschikking), wat aantoont dat het niet alleen de juiste locatie voorspelt, maar ook de ruimtelijke coherentie van het traject behoudt.

Betekenis en Impact

RHYTHM markeert een belangrijke stap in de mobiliteitsvoorspelling door de kloof tussen traditionele tijdsreeksmodellen en de redeneercapaciteit van moderne LLMs te overbruggen.

• Toepassingen: Het model is cruciaal voor het optimaliseren van verkeerssystemen, het plannen van epidemiebestrijding (door verspreiding te voorspellen) en duurzaam stadsplanning.
• Innovatie: Het bewijst dat het gebruik van bevroren LLMs voor specifieke domeinen (zoals mobiliteit) mogelijk is zonder de enorme rekentkosten van full fine-tuning, terwijl het wel profiteert van de semantische kennis van het LLM.
• Toekomst: De aanpak biedt een schaalbaar kader dat kan worden toegepast op andere complexe spatio-temporele voorspellingsproblemen, waarbij de balans tussen nauwkeurigheid en rekenefficiëntie centraal staat.

Kortom, RHYTHM levert een robuust, schaalbaar en nauwkeurig kader voor het voorspellen van menselijke beweging, dat specifiek is ontworpen om de complexe, periodieke aard van menselijk gedrag te modelleren.