TrajTok: Adaptive Spatial Tokenization for Trajectory Representation Learning

Technische Samenvatting: TrajTok: Adaptieve Ruimtelijke Tokenisatie voor Trajectrepresentatieleren

Probleemstelling
Het leren van generaliseerbare representaties uit ruwe GPS-trajecten is uitdagend vanwege de continue, ruisende en onregelmatig bemonsterde aard van de data. Bestaande fundamentele modellen en paradigma's voor geografische representatieleren vertrouwen vaak op discretisatie in roosters met een vaste grootte. Deze aanpak presenteert een fundamentele afweging: roosters met een hoge resolutie creëren cellen met onvoldoende GPS-bezoeken om robuuste embeddings te leren, terwijl roosters met een lage resolutie lijden onder interne fragmentatie, waarbij heterogene lokale bewegingspatronen worden samengevoegd tot enkele tokens. Bovendien hebben traditionele methoden moeite om zowel geometrische routestructuren als kinematische bewegingsdynamiek tegelijkertijd vast te leggen zonder te vertrouwen op rigide voorverwerking via kaartmatching.

Methodologie
De auteurs stellen TrajTok voor, een raamwerk voor trajectcodering dat ruwe GPS-sporen omzet in discrete tokens via adaptieve ruimtelijke tokenisatie en representaties leert via een gefactoriseerde transformer-architectuur.

1. Adaptieve Ruimtelijke Tokenisatie:
   In plaats van vaste roosters, construeert TrajTok een meeresolutie hexagonale vocabulaire met behulp van het H3-systeem. De vocabulaire wordt hiërarchisch opgebouwd: cellen in gebieden met hoge dichtheid worden recursief opgesplitst in fijnere resoluties totdat een capaciteitsdrempel wordt bereikt of een maximale resolutie wordt bereikt, terwijl gebieden met lage dichtheid op grovere resoluties blijven. Dit wijst fijnere ruimtelijke eenheden toe aan dichte gebieden terwijl een compacte vocabulaire wordt behouden. Ruwe GPS-punten worden gemapt naar de vocabulairecel met de hoogste resolutie die ze bevat, wat een discrete tokensequentie oplevert met bijbehorende cel-ID's, resoluties, coördinaten en tijdstippen.

2. Gefactoriseerde Transformer-coder:
   De architectuur maakt gebruik van een ontwerp met twee stromen om geometrische en kinematische leerprocessen te scheiden voordat ze worden samengevoegd:

   • Geometrisch Kanaal: Codeert de ruimtelijke locatie via geleerde vectoren voor celidentiteit.
   • Kinematisch Kanaal: Codeert bewegingskenmerken (genormaliseerde snelheid en koers) continu, met behulp van sinus/cosinus-transformaties voor de koers om de circulaire structuur te respecteren.
   • Spatiotemporale Positieve Encodering: Het geometrische kanaal maakt gebruik van Spatiotemporale Rotatoire Positie-embeddings (ST-RoPE) over breedtegraad, lengtegraad en tijd. Het kinematische kanaal gebruikt alleen temporale RoPE.
   • Fusie: Vroege lagen verwerken elke stroom onafhankelijk via zelf-attention. Aansluitende fusielagen passen cross-attention toe, waardoor de geometrische en kinematische stromen naar elkaar kunnen attenderen, wat een geünificeerde trajectrepresentatie creëert.

3. Pretrainingsdoel:
   TrajTok wordt voorgetraind met een doel voor co-gemaskerde gemaskerde tokenmodellering. Gegeven een traject met gedeelde gemaskerde posities in beide kanalen:

   • Het geometrische kanaal voorspelt de gemaskerde cel-ID's.
   • Het kinematische kanaal reconstrueert genormaliseerde snelheid en koers.
   • Het verlies is een lineaire combinatie van het voorspellingsverlies voor geometrie en het regressieverlies voor kinematica.
   • De auteurs introduceren run-bewuste span-maskering, die kandidaat-maskerspans die volledig binnen een enkele herhalende cel-run liggen, verwijdert om te voorkomen dat het model triviale shortcuts leert (het kopiëren van eindpunten).

Belangrijkste Bijdragen

• Dichtheidsadaptieve Tokenisatie: Een methode om continue trajecten op te delen in ruimtelijke tokens met meerdere resoluties, waarbij fijnere cellen worden toegewezen aan dichte gebieden terwijl een compacte vocabulaire wordt behouden, waarmee de afweging inherent aan roosteraanpakken met vaste grootte wordt aangepakt.
• Gefactoriseerde Architectuur: Een transformer-coder die de signaalverwerking voor geometrie (locatie) en kinematica (beweging) in vroege lagen scheidt en ze vervolgens samenvoegt via cross-attention om zowel routegeometrie als bewegingsdynamiek vast te leggen.
• Pretrainingsrecept: Een eenvoudig maar effectief doel voor gemaskerde tokenmodellering dat is toegesneden op ruwe GPS-stromen, met integratie van co-maskering en run-bewuste span-maskering om het leren van overdraagbare structuren te stimuleren.
• Generaliseerbaarheid: Demonstratie dat een enkele bevroren voorgetrainde coder, gekoppeld aan lichte taakadapters, state-of-the-art of concurrerende prestaties behaalt over diverse downstream-taken, inclusief zowel geometrie-gedomineerde (similarity search, classificatie) als kinematica-gedomineerde (ETA, regressie van reistijd) scenario's.

Experimentele Resultaten
Geëvalueerd op het Porto-taxidataset, behaalde een enkele bevroren TrajTok-coder met taakspecifieke adapters het volgende:

• Traject-Similarity Search: Behaalde een HR@1 van 0,435, wat beter presteerde dan sterke baselines zoals NeuTraj (0,308) en SIMformer (0,300).
• Call-Type Classificatie: Behaalde een macro-F1 van 0,773, wat gelijkwaardig is aan of lichtjes boven gespecialiseerde methoden zoals START en JGRM uitkomt, ondanks dat TrajTok uitsluitend werkt op ruwe GPS zonder kaartmatching.
• Geschatte Aankomsttijd (ETA): Behaalde een MAE van 42,27 seconden bij voorspelling op basis van prefix, wat aanzienlijk beter presteerde dan eerdere neurale systemen voor reistijd (bijv. MetaER-TTE op 93,75s).
• Regressie van Reistijd voor Volledige Trajecten: Behaalde een MAE van 38,41 seconden, wat significant beter presteerde dan baselines zoals TIGR (86,86s).

Ablatiestudies bevestigden dat dichtheidsadaptieve tokenisatie, cross-attention-fusie en het specifieke pretrainingsrecept allemaal kritieke drijvers van de prestaties zijn. Opmerkelijk is dat de auteurs observeerden dat het uitbreiden van de pretraining voorbij een bepaald punt (verhogen van stappen van 60k naar 120k) het validatieverlies verlaagde maar de downstream-retrievalprestaties verslechterde, wat suggereert dat pretrainingsverlies alleen geen voldoende proxy is voor overdraagbaarheid.

Betekenis en Beweringen
Het artikel beweert dat TrajTok aantoont dat geleerde ruimtelijke tokenisatie met meerdere resoluties, gecombineerd met een eenvoudig doel voor gemaskerde-token-pretraining, een veelbelovend raamwerk is voor fundamentele modellen voor trajecten met een algemeen doel. De belangrijkste bevinding is dat een enkele bevroren coder effectief kan worden overgedragen op zowel geometrie-gedomineerde taken (waar de "waar" belangrijk is) als kinematica-gedomineerde taken (waar de "hoe" belangrijk is). Dit geeft aan dat de geleerde representatie overdraagbare trajectstructuur vastlegt in plaats van taakspecifieke shortcuts. De auteurs positioneren dit als een stap naar fundamentele modellen voor trajectintelligentie die direct werken op ruwe GPS-data, waarbij de voorverwerkingsaannames en rekenkosten van kaartmatching-pijplijnen worden vermeden.

Beperkingen
De auteurs merken op dat alle experimenten zijn uitgevoerd op het Porto-taxidataset. Hoewel ze overdracht over vier downstream-toepassingen hebben geverifieerd, erkennen ze de noodzaak van toekomstig werk om overdrachtslering naar andere datasets met minimale fine-tuning te testen, schaling naar meerdere steden, en mogelijk het verrijken van tokens met lichte geografische priors zonder terug te vallen op volledige kaartmatching.