TrajTok: Adaptive Spatial Tokenization for Trajectory Representation Learning

Sintesi Tecnica: TrajTok: Tokenizzazione Spaziale Adattiva per l'Apprendimento di Rappresentazioni di Traiettorie

Enunciato del Problema
L'apprendimento di rappresentazioni generalizzabili da tracce GPS grezze è una sfida a causa della natura continua, rumorosa e campionata in modo irregolare dei dati. I modelli fondazionali esistenti e i paradigmi di apprendimento di rappresentazioni geografiche fanno spesso affidamento su una discretizzazione a griglia di dimensioni fisse. Questo approccio presenta un compromesso fondamentale: le griglie ad alta risoluzione creano celle con visite GPS insufficienti per apprendere embedding robusti, mentre le griglie a bassa risoluzione soffrono di frammentazione interna, fondendo modelli di movimento locale eterogenei in singoli token. Inoltre, i metodi tradizionali faticano a catturare simultaneamente le strutture geometriche dei percorsi e le dinamiche cinematiche del movimento senza affidarsi a una pre-elaborazione rigida di allineamento alla mappa (map-matching).

Metodologia
Gli autori propongono TrajTok, un framework di codificatore di traiettorie che converte le tracce GPS grezze in token discreti tramite tokenizzazione spaziale adattiva e apprende rappresentazioni attraverso un'architettura di transformer fattorizzata.

1. Tokenizzazione Spaziale Adattiva:
   Invece di griglie fisse, TrajTok costruisce un vocabolario esagonale a multi-risoluzione utilizzando il sistema H3. Il vocabolario è costruito gerarchicamente: le celle nelle regioni ad alta densità vengono suddivise ricorsivamente in risoluzioni più fini fino al raggiungimento di una soglia di capacità o di una risoluzione massima, mentre le regioni sparse rimangono a risoluzioni più grezze. Questo alloca unità spaziali più fini alle aree dense mantenendo un vocabolario compatto. I punti GPS grezzi vengono mappati sulla cella del vocabolario a più alta risoluzione che li contiene, producendo una sequenza di token discreti con associati ID cella, risoluzioni, coordinate e timestamp.

2. Codificatore Transformer Fattorizzato:
   L'architettura impiega un design a doppio flusso per separare l'apprendimento geometrico e cinematico prima di fonderli:

   • Canale Geometrico: Codifica la posizione spaziale tramite vettori di identità della cella appresi.
   • Canale Cinematico: Codifica le caratteristiche di movimento (velocità normalizzata e direzione) in modo continuo, utilizzando trasformazioni seno/coseno per la direzione per rispettare la struttura circolare.
   • Codifica Posizionale Spazio-Temporale: Il canale geometrico utilizza Embedding Posizionali Rotativi Spazio-Temporali (ST-RoPE) su latitudine, longitudine e tempo. Il canale cinematico utilizza RoPE solo temporale.
   • Fusione: I primi livelli elaborano ciascun flusso indipendentemente tramite auto-attenzione. I successivi livelli di fusione applicano l'attenzione incrociata, permettendo ai flussi geometrico e cinematico di prestare attenzione l'uno all'altro, creando una rappresentazione unificata della traiettoria.

3. Obiettivo di Pre-addestramento:
   TrajTok viene pre-addestrato utilizzando un obiettivo di modellazione di token mascherati co-mascherati. Data una traiettoria con posizioni mascherate condivise in entrambi i canali:

   • Il canale geometrico prevede gli ID delle celle mascherate.
   • Il canale cinematico ricostruisce la velocità normalizzata e la direzione.
   • La perdita è una combinazione lineare della perdita di previsione geometrica e della perdita di regressione cinematica.
   • Gli autori introducono la mascheratura di span consapevole delle sequenze (run-aware span masking), che rifiuta gli span candidati di mascheratura che giacciono interamente all'interno di una singola sequenza ripetuta di celle per impedire al modello di apprendere scorciatoie banali (copia degli estremi).

Contributi Chiave

• Tokenizzazione Adattiva alla Densità: Un metodo per partizionare traiettorie continue in token spaziali a multi-risoluzione, allocando celle più fini alle regioni dense preservando un vocabolario compatto, affrontando il compromesso intrinseco negli approcci a griglia fissa.
• Architettura Fattorizzata: Un codificatore transformer che separa l'elaborazione del segnale geometrico (posizione) e cinematico (movimento) nei primi livelli, fondendoli tramite attenzione incrociata per catturare sia la geometria del percorso che le dinamiche di movimento.
• Ricetta di Pre-addestramento: Un obiettivo di modellazione di token mascherati semplice ma efficace, adattato per flussi GPS grezzi, che incorpora il co-mascheramento e la mascheratura di span consapevole delle sequenze per incoraggiare l'apprendimento di strutture trasferibili.
• Generalizzabilità: Dimostrazione che un singolo codificatore pre-addestrato congelato, accoppiato con adattatori di compito leggeri, ottiene prestazioni all'avanguardia o competitive su diversi compiti downstream, inclusi scenari dominati dalla geometria (ricerca di similarità, classificazione) e scenari dominati dalla cinematica (ETA, regressione del tempo di viaggio).

Risultati Sperimentali
Valutato sul dataset dei taxi di Porto, un singolo codificatore TrajTok congelato con adattatori specifici per il compito ha ottenuto quanto segue:

• Ricerca di Similarità di Traiettoria: Ha ottenuto un HR@1 di 0,435, superando basi solide come NeuTraj (0,308) e SIMformer (0,300).
• Classificazione del Tipo di Chiamata: Ha ottenuto un macro-F1 di 0,773, uguagliando o superando leggermente metodi specializzati come START e JGRM, nonostante TrajTok operi esclusivamente su GPS grezzi senza allineamento alla mappa.
• Tempo Stimato di Arrivo (ETA): Ha ottenuto un MAE di 42,27 secondi sulla previsione basata sui prefissi, superando sostanzialmente i precedenti sistemi neurali di tempo di viaggio (ad es. MetaER-TTE a 93,75s).
• Regressione del Tempo di Viaggio su Traiettoria Completa: Ha ottenuto un MAE di 38,41 secondi, superando significativamente basi come TIGR (86,86s).

Studi di ablazione hanno confermato che la tokenizzazione adattiva alla densità, la fusione tramite attenzione incrociata e la specifica ricetta di pre-addestramento sono tutti driver critici delle prestazioni. Notevolmente, gli autori hanno osservato che estendere il pre-addestramento oltre un certo punto (aumentando i passaggi da 60k a 120k) ha ridotto la perdita di validazione ma ha degradato le prestazioni di recupero downstream, suggerendo che la perdita di pre-addestramento da sola non è un proxy sufficiente per la trasferibilità.

Significato e Affermazioni
Il documento afferma che TrajTok dimostra che la tokenizzazione spaziale a multi-risoluzione appresa, combinata con un semplice obiettivo di pre-addestramento a token mascherati, è un framework promettente per modelli fondazionali di traiettorie a scopo generale. La scoperta chiave è che un singolo codificatore congelato può trasferirsi efficacemente sia a compiti dominati dalla geometria (dove conta il "dove") sia a compiti dominati dalla cinematica (dove conta il "come"). Ciò indica che la rappresentazione appresa cattura una struttura di traiettoria trasferibile piuttosto che scorciatoie specifiche per il compito. Gli autori lo posizionano come un passo verso modelli fondazionali per l'intelligenza delle traiettorie che operano direttamente su dati GPS grezzi, evitando le ipotesi di pre-elaborazione e i costi computazionali delle pipeline di allineamento alla mappa.

Limitazioni
Gli autori notano che tutti gli esperimenti sono stati condotti sul dataset dei taxi di Porto. Sebbene abbiano verificato il trasferimento su quattro applicazioni downstream, riconoscono la necessità di lavori futuri per testare l'apprendimento trasferibile su altri dataset con un minimo di fine-tuning, il passaggio alla scala di più città e, potenzialmente, l'arricchimento dei token con priori geografici leggeri senza ricorrere a un pieno allineamento alla mappa.