Predicting Human Mobility during Extreme Events via LLM-Enhanced Cross-City Learning

1. Il Problema

Con l'urbanizzazione e i cambiamenti climatici, le città sono sempre più vulnerabili a eventi estremi (es. alluvioni, ondate di calore, congestioni gravi). Prevedere la mobilità umana durante queste situazioni è cruciale per il pre-allarme, l'allocazione delle risorse di soccorso e la pianificazione umanitaria.

Tuttavia, i modelli esistenti di previsione della mobilità presentano due limiti fondamentali:

• Fallimento negli scenari estremi: I modelli tradizionali (come DeepMove, Flashback) sono addestrati su scenari normali. Quando applicati a scenari estremi, le loro prestazioni crollano drasticamente (fino al 46,4% in meno di accuratezza) a causa dello spostamento significativo dei pattern di mobilità (distribuzione spaziale e aumento dell'immobilità).
• Scarsità di dati e trasferimento inefficace: Non esistono dati sufficienti per addestrare modelli specifici su eventi estremi rari in una città specifica prima che accadano. Le tecniche di transfer learning cross-città esistenti (come CHAML) falliscono nel trasferire efficacemente la conoscenza a causa delle differenze nella distribuzione dei luoghi (POI) tra le città e dell'incapacità di cogliere come un evento specifico alteri l'intenzione di movimento.

2. Metodologia: Il Framework X-MLM

Gli autori propongono X-MLM (cross-eXtreme-event Mobility Language Model), un framework di transfer learning guidato dai Large Language Models (LLM) che opera a livello di "intenzione" di movimento piuttosto che su coordinate grezze. Il framework si compone di tre moduli principali:

A. RAG-Enhanced Intention Predictor (Predittore di Intenzione Potenziato da RAG)

• Trasformazione in Intenzione: Le traiettorie di movimento vengono convertite in una sequenza di "intenzioni" (es. andare al lavoro, fermarsi) tramite l'estrazione di feature di viaggio e un'analisi delle componenti di trasferimento (TCA) seguita da clustering.
• Intention-CLIP: Viene introdotto un meccanismo di pre-addestramento contrastivo (ispirato a CLIP) per allineare la modalità "intenzione" (feature spaziali) con la modalità "linguaggio" (vocabolario LLM). Questo permette all'LLM di comprendere le intenzioni di movimento.
• RAG (Retrieval-Augmented Generation): Per affrontare la scarsità di dati nella città target durante un evento estremo, il sistema recupera traiettorie di riferimento simili da altre città (sorgenti) che hanno sperimentato eventi simili, utilizzando il Dynamic Time Wrapping per la similarità temporale.

B. LLM-based Intention Refiner (Raffinatore di Intenzione basato su LLM)

Questo modulo utilizza un LLM (es. Llama-3) per affinare la previsione dell'intenzione successiva, tenendo conto della natura specifica dell'evento estremo.

• Prompting Ibrido:
  • Intention-Incorporated Prompt: Le intenzioni sono codificate direttamente come embedding nel prompt, non solo come testo.
  • Chain-of-Thought (CoT): Il modello viene guidato a ragionare passo-passo: "L'intenzione prevista è corretta?", "Dovrebbe esserci immobilità?", "Quale intenzione è la più probabile?".
  • Soft Prompt Event-Level: Vengono utilizzati embedding trainabili (soft prompts) per rappresentare il livello di gravità dell'evento (es. pioggia leggera vs. alluvione), permettendo all'LLM di adattarsi alla specificità dell'evento senza ri-addestrare tutti i parametri.

C. Intention-Modulated Location Predictor (Predittore di Posizione Modulato dall'Intenzione)

• Prende in input un modello base di mobilità (es. LSTM, DeepMove) e l'intenzione raffinata.
• Utilizza una funzione di modulazione (prodotto elemento per elemento, concatenazione o meccanismo di attenzione) per fondere l'informazione sull'intenzione con le feature di mobilità estratte dal modello base, prevedendo così la prossima posizione esatta.

3. Contributi Chiave

1. Framework X-MLM: La prima architettura che integra LLM e transfer learning cross-città specificamente per la previsione della mobilità in scenari estremi, modellando il problema a livello di intenzione.
2. Intention-CLIP: Un nuovo meccanismo per allineare le feature di mobilità spaziale con il vocabolario linguistico degli LLM, migliorando la capacità di comprensione delle intenzioni umane.
3. Strategia di Prompting Ibrida: L'uso combinato di CoT, soft prompt per il livello dell'evento e embedding diretti di intenzione per guidare l'LLM nel ragionamento su scenari di crisi.
4. Decoupling delle Distribuzioni: Il metodo riesce a trasferire la conoscenza su come gli eventi estremi influenzano le intenzioni (che sono più universali) piuttosto che le traiettorie grezze (che sono specifiche della città), superando l'eterogeneità dei luoghi tra città diverse.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su dataset reali di 7 città cinesi durante eventi di pioggia estrema.

• Performance Generali: Rispetto ai migliori baseline (inclusi modelli specifici per eventi estremi e altri basati su LLM), X-MLM ha ottenuto:
  • +32,8% di miglioramento in Acc@1 (accuratezza al primo posto).
  • +28,3% di miglioramento in MRR (Mean Reciprocal Rank).
  • +35,0% di miglioramento nel F1-score per l'immobilità (cruciale per prevedere chi rimane bloccato).
• Robustezza: Il framework ha dimostrato di compensare efficacemente il crollo delle prestazioni dei modelli base quando applicati a scenari estremi, migliorando le prestazioni anche su modelli base diversi (LSTM, GRU, DeepMove, Flashback, STiSAN+).
• Ablation Study: La rimozione di qualsiasi modulo (RAG, Soft-prompt, Raffinamento LLM) ha portato a un calo significativo delle prestazioni, confermando la necessità di ogni componente.
• Efficienza: Il tempo di inferenza è paragonabile ad altri modelli basati su LLM, rendendo il sistema praticabile per applicazioni reali.

5. Significato e Impatto

Questo lavoro rappresenta un passo avanti significativo nella gestione delle emergenze urbane.

• Adattabilità: Dimostra che è possibile costruire modelli robusti per eventi rari e mai visti in una città specifica, sfruttando la conoscenza trasferita da altre città e la capacità di ragionamento semantico degli LLM.
• Gestione dell'Immobilità: A differenza dei modelli precedenti che si concentrano sul movimento, X-MLM modella esplicitamente l'immobilità, un fattore critico durante disastri (es. persone bloccate in casa o in edifici).
• Scalabilità: L'approccio basato sull'intenzione permette di scalare la soluzione a diversi tipi di eventi estremi (non solo pioggia, ma potenzialmente epidemie o incendi) e diverse città senza bisogno di enormi quantità di dati storici specifici per ogni combinazione evento-città.

In sintesi, X-MLM trasforma il problema della previsione della mobilità in emergenza da un compito puramente statistico a uno semantico, sfruttando l'intelligenza degli LLM per comprendere il "perché" del movimento umano in condizioni di crisi.