RHYTHM: Reasoning with Hierarchical Temporal Tokenization for Human Mobility

1. Il Problema

La previsione della mobilità umana è una sfida complessa a causa di diverse caratteristiche intrinseche dei dati:

• Dipendenze a lungo raggio: I modelli devono catturare relazioni temporali che si estendono su giorni o settimane.
• Comportamenti multi-scala: Le traiettorie umane mostrano sia routine giornaliere (orari di lavoro, pasti) che ritmi settimanali (differenze tra giorni feriali e weekend).
• Non stazionarietà: I pattern di movimento sono influenzati da eventi esterni (meteo, festività) e mostrano eterogeneità spaziale.

I metodi esistenti presentano limitazioni:

• I modelli basati su Markov e RNN faticano a catturare le periodicità a lungo termine o soffrono del problema del gradiente che svanisce.
• I modelli basati su Transformer trattano il tempo come statico, fallendo nel distinguere i pattern temporali multi-scala e subendo un costo computazionale quadratico ($O(T^2)$) per sequenze lunghe.
• I recenti approcci con LLM (Large Language Models) spesso trattano la mobilità come una sequenza generica, ignorando la periodicità strutturata intrinseca del movimento umano.

2. Metodologia: RHYTHM

RHYTHM è un framework unificato che utilizza un LLM pre-addestrato (congelato) come motore di ragionamento per la previsione spaziotemporale. L'architettura si basa su tre pilastri fondamentali:

A. Tokenizzazione Temporale Gerarchica

Invece di elaborare l'intera traiettoria come una sequenza continua di punti, RHYTHM suddivide il percorso in segmenti temporali significativi (es. giorni).

• Segmentazione: La sequenza di embedding spaziotemporale viene divisa in $N$ segmenti non sovrapposti (es. $L=48$ slot temporali per un giorno).
• Attenzione Intra-segmento: All'interno di ogni segmento, un meccanismo di attenzione cattura le dipendenze locali (routine giornaliere).
• Pooling: Ogni segmento viene compresso in un singolo "token" rappresentativo.
• Attenzione Inter-segmento: Questi token di livello superiore vengono elaborati tramite un meccanismo di attenzione gerarchica per catturare le dipendenze a lungo raggio (es. ritmi settimanali).
• Vantaggio: Questa riduzione della lunghezza della sequenza da $T$ a $N$ riduce la complessità dell'attenzione da quadratica a $O((N+H)^2)$, preservando al contempo le informazioni cicliche.

B. Integrazione del Contesto Semantico (Prompt-Guided)

Per arricchire la rappresentazione dei token temporali, RHYTHM utilizza un approccio guidato dai prompt:

• Embedding Semantici Pre-calcolati: Vengono generati embedding semantici per i segmenti di traiettoria e per la descrizione del compito (previsione futura) utilizzando un LLM pre-addestrato congelato. Questi embedding catturano il contesto semantico (es. "routine mattutina", "fine settimana").
• Allineamento: Gli embedding semantici vengono aggiunti agli embedding temporali/segmentati prima di essere inseriti nel backbone LLM. Questo permette al modello di "ragionare" sul significato del movimento senza estendere la lunghezza del contesto durante l'inferenza.

C. Efficienza Computazionale e Adattamento

• LLM Congelato: Il backbone LLM rimane congelato durante tutto il processo di addestramento. Solo i parametri di proiezione e di adattamento sono aggiornabili.
• Vantaggi: Questo approccio riduce drasticamente i parametri addestrabili (solo il 12,37% del modello totale), accelera la convergenza, riduce l'uso di memoria e mantiene le capacità di ragionamento semantico del modello pre-addestrato.

3. Contributi Chiave

1. Tokenizzazione Temporale Gerarchica: Un nuovo meccanismo che codifica i pattern di mobilità quotidiana come token discreti, riducendo la lunghezza della sequenza e catturando le dipendenze cicliche multi-scala.
2. Approccio Guidato dai Prompt: Integrazione efficiente di informazioni semantiche (descrizioni della traiettoria e del compito) direttamente nei token temporali, migliorando la capacità del modello di interpretare pattern complessi.
3. Strategia di Adattamento Efficiente: Utilizzo di LLM pre-addestrati congelati, che riduce i parametri addestrabili e i costi computazionali rispetto al fine-tuning completo, rendendo il modello scalabile.
4. Prestazioni Superiori: Validazione empirica su tre dataset reali che dimostra un miglioramento significativo rispetto agli stati dell'arte (SOTA).

4. Risultati Sperimentali

Il modello è stato valutato su tre dataset reali (Kumamoto, Sapporo, Hiroshima) confrontandosi con modelli basati su LSTM, Transformer e altri approcci LLM.

• Accuratezza: RHYTHM ha ottenuto un miglioramento del 2,4% nell'accuratezza complessiva (Accuracy@1) rispetto al miglior modello baseline.
• Performance nei Weekend: Ha mostrato un aumento del 5,0% nell'accuratezza durante i weekend, un periodo in cui i pattern di mobilità sono meno deterministici e più complessi da prevedere.
• Efficienza:
  • Riduzione del 24,6% nel tempo di addestramento rispetto ai baselines migliori.
  • Riduzione dei parametri addestrabili al 12,37% del modello completo.
• Metriche Geografiche: RHYTHM ha ottenuto le migliori prestazioni in termini di DTW (Dynamic Time Warping) su Sapporo, indicando una migliore allineamento spaziale delle traiettorie previste rispetto al ground truth.
• Scalabilità: Le prestazioni migliorano all'aumentare delle dimensioni del modello LLM sottostante (da 1B a 3B parametri), confermando la scalabilità dell'approccio.

5. Significato e Impatto

RHYTHM rappresenta un passo avanti significativo nella modellazione della mobilità umana:

• Paradigma Ibrido: Unisce la capacità di ragionamento semantico degli LLM con la necessità di modellare strutture temporali rigide (ciclicità) tipiche della mobilità.
• Efficienza: Dimostra che è possibile ottenere prestazioni superiori senza il costo proibitivo del fine-tuning completo di grandi modelli, rendendo la tecnologia accessibile anche in ambienti con risorse computazionali limitate.
• Generalizzazione: La capacità di gestire periodi irregolari (come i weekend) suggerisce che il modello non si limita a memorizzare pattern, ma apprende una comprensione più profonda delle decisioni di mobilità umana.

In sintesi, RHYTHM offre un framework scalabile ed efficiente che supera i limiti dei modelli precedenti sfruttando la tokenizzazione temporale gerarchica e il ragionamento semantico guidato da prompt, ponendosi come una soluzione promettente per la pianificazione urbana, la gestione del traffico e la risposta alle emergenze.