Sintesi Tecnica: GLIDE – Graph-guided Leap Inference for Diffusion Estimation of Spatio-Temporal Point Processes

1. Formulazione del Problema

I processi puntuali spazio-temporali (STPP) modellano eventi asincroni nel tempo e nello spazio continui, con l'obiettivo di stimare la distribuzione condizionata del prossimo evento data una sequenza storica. Gli approcci esistenti basati sul deep learning affrontano un compromesso fondamentale:

• I modelli deterministici (ad esempio, processi neurali puntuali ricorrenti o basati sull'attenzione) spesso esibiscono un comportamento di "ricerca della media" (mean-seeking), collassando le previsioni verso i centroidi spaziali e fallendo nel catturare distribuzioni future multimodali.
• I modelli di diffusione standard offrono una modellazione flessibile della distribuzione ma faticano nei domini spazio-temporali sparsi. Il campionamento inverso da puro rumore gaussiano è computazionalmente costoso (richiede molti step di denoising) e manca di vincoli strutturali, portando spesso alla dispersione della massa di probabilità in regioni spaziali non valide prima della convergenza.

La sfida centrale è progettare un framework generativo che preservi l'espressività stocastica dei modelli di diffusione migliorando al contempo l'efficienza del campionamento e la localizzazione spaziale in domini continui e sparsi.

2. Metodologia

Gli autori propongono GLIDE (Graph-guided Leap Inference for Diffusion Estimation), un framework unificato che integra l'encoding storico strutturato su grafi con la diffusione condizionale. L'architettura è composta da quattro componenti primari:

2.1 Costruzione di Grafi Dinamici Multi-Scala

Gli eventi storici sono organizzati in un grafo diretto dove i nodi rappresentano gli eventi e gli archi collegano gli eventi entro specifiche finestre temporali ($K_{scales}$).

• Caratteristiche degli Archi (Edge Features): Gli archi codificano differenze temporali normalizzate ($\Delta t$), distanze euclidee spaziali ($\Delta s$) e identificatori di scala della finestra. Questi sono modulati da funzioni di decadimento ispirate ai processi auto-eccitanti (ad esempio, i processi di Hawkes) per riflettere la prossimità temporale e spaziale.
• Caratteristiche dei Nodi (Node Features): Combinano attributi degli eventi normalizzati con statistiche locali multi-scala (ad esempio, media/varianza dei tempi inter-evento, vettori di deriva spaziale).

2.2 Encoder Spazio-Temporale a Doppio Stream

Per affrontare la natura distinta dell'evoluzione temporale e della topologia spaziale, GLIDE impiega due stream di encoding separati prima di fonderli:

• Stream Temporale: Elabora le sequenze di eventi utilizzando un Transformer con Rotary Positional Embeddings (RoPE) per catturare l'ordine relativo e le dipendenze a lungo raggio.
• Stream Spaziale: Utilizza una rete di Graph Attention (GATv2) operante sul grafo costruito. Incorpora il "Fourier lifting" delle coordinate per espandere lo spazio rappresentativo e modula i coefficienti di attenzione utilizzando gli attributi degli archi per pesare l'influenza dei vicini in base alle scale spazio-temporali.
• Fusione: Uno strato di interazione a porta (gated interaction layer) fonde i due stream in una matrice di contesto $C$, permettendo al modello di pesare dinamicamente l'evidenza temporale rispetto a quella spaziale.

2.3 Diffusion Transformer (DiT) a Doppio Branch

Il processo di diffusione inversa è parametrizzato da un DiT condizionale.

• Doppio Branch: Inveve di un singolo percorso condiviso, il modello utilizza branch paralleli per il denoising temporale ($\Delta t$) e spaziale ($s$). Ciò preserva distinti bias induttivi, poiché la previsione temporale si basa sulla progressione mentre la previsione spaziale è spesso multimodale.
• Interazione: L'interazione tra i branch è ritardata fino agli strati più profondi per evitare l'over-sharing precoce delle caratteristiche, permettendo l'emergere di pattern di denoising specializzati prima del successivo accoppiamento spazio-temporale esplicito.
• Condizionamento: Il contesto $C$ e lo step di diffusione $k$ modulano i blocchi DiT tramite l'Adaptive Layer Normalization.

2.4 Prior-Guided Leap Inference

Per affrontare l'inefficienza del partire da puro rumore, GLIDE introduce una strategia "Leap" (salto):

1. Ancora Deterministica: Un leggero Joint Mean Predictor (JMP) genera una stima deterministica grossolana $\hat{x}_0$ a partire dal contesto $C$.
2. Inizializzazione Leap: Il processo inverso non parte dallo step $K$ (rumore puro) ma da uno step intermedio $\tau$. Lo stato iniziale $x_\tau$ è costruito mescolando l'ancora $\hat{x}_0$ con rumore gaussiano: $x_\tau = \sqrt{\bar{\alpha}_\tau}\hat{x}_0 + \sqrt{1-\bar{\alpha}_\tau}\epsilon$.
3. Guida Elastica: Durante gli step inversi $t \in [\tau, 1]$, una regola di guida elastica fonde gradualmente l'output denoisato standard con l'ancora, decadendo linearmente mentre $t \to 0$. Questo transita il processo dalla localizzazione grossolana al raffinamento stocastico fine.

3. Contributi Chiave

Il documento delinea tre contributi principali:

1. Framework di Diffusione Guidato da Grafi: GLIDE integra grafi di correlazione dinamica multi-scala con un'architettura di diffusione a doppio stream per modellare complesse dipendenze spazio-temporali, affrontando la mancanza di vincoli strutturali nei modelli di diffusione standard.
2. Leap Inference Informata dal Prior: Una nuova strategia di campionamento che ancora la traiettoria di diffusione con un prior deterministico. Questo riduce sostanzialmente il costo di inferenza bypassando la fase di ricerca iniziale non guidata, pur preservando la capacità di esplorare molteplici modi locali.
3. Performance Empirica: Il framework raggiunge lo stato dell'arte nelle prestazioni di fitting della distribuzione (Negative Log-Likelihood) e nella previsione del prossimo evento su molteplici dataset reali, con guadagni significativi nell'accuratezza spaziale e nella velocità di inferenza (fino a $3.1\times$ più veloce rispetto ai baseline di diffusione standard).

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su quattro dataset reali: Earthquake, COVID-19, Citibike e Crime.

• Fitting della Distribuzione (NLL): GLIDE ha superato i baseline (inclusi DSTPP, SMASH e DeepSTPP) nella NLL spaziale su tutti i dataset. Il miglioramento è stato più pronunciato sul dataset sparso Earthquake (la Spatial NLL è scesa da 0.452 a -0.067), indicando una migliore concentrazione della massa di probabilità nelle regioni valide. La NLL temporale è rimasta competitiva.
• Previsione del Prossimo Evento: GLIDE ha ottenuto l'errore spaziale più basso (distanza Euclidea) su Earthquake e COVID-19 e ha eguagliato i migliori risultati su Citibike. L'RMSE temporale è rimasto competitivo, dimostrando che i guadagni spaziali non sono stati ottenuti a scapito dell'accuratezza temporale.
• Efficienza: La strategia di inferenza Leap ha ridotto significativamente il tempo di inferenza. Su GLIDE, il tempo medio di generazione è sceso da 0.275 ms (senza Leap) a 0.109 ms (con Leap), un'accelerazione di $2.7\times$, con un overhead di parametri minimo (0.1685M parametri aggiuntivi).
• Studi di Ablazione:
  • Leap Initialization: Rimuovere la strategia leap ha portato a una convergenza più lenta e a un errore spaziale più elevato, confermando che l'ancora prior efficace salta la fase iniziale di diffusione non informativa.
  • Graph Guidance: Rimuovere il modulo grafico ha degradato le prestazioni più significativamente sui dataset con forti dinamiche di propagazione locale (COVID-19, Crime), validando l'utilità dei prior strutturati su grafi.
  • Cross-Stream Interaction: Rimuovere l'interazione tra i branch temporale e spaziale ha danneggiato l'apprendimento spaziale, suggerendo che l'informazione di fase temporale è cruciale per la localizzazione spaziale.

5. Significato e Rivendicazioni

Il paper sostiene che GLIDE riesca a colmare il divario tra il potere espressivo dei modelli di diffusione e l'efficienza richiesta per le applicazioni pratiche di STPP.

• Fedeltà Spaziale: Sfruttando la storia strutturata su grafi e un'ancora deterministica, GLIDE mitiga il problema della "dispersione di probabilità" comune nella diffusione standard, portando a previsioni spaziali più accurate nei domini sparsi.
• Efficienza: Il meccanismo di leap inference trasforma la generazione da una costosa ricerca globale a un processo di raffinamento locale, rendendo i modelli STPP basati su diffusione praticabili per applicazioni real-time o con risorse limitate.
• Generalità: Il framework è applicabile a diverse dinamiche spazio-temporali, dalla diffusione di epidemie e previsione di terremoti alla mobilità urbana.

Gli autori segnalano dei limiti: la formulazione attuale gestisce coordinate continue ma non modella esplicitamente i "mark" degli eventi o i tipi categorici, e il componente a grafo è più efficace quando le interazioni locali sono intrinseche al processo sottostante. Si suggerisce come lavoro futuro l'estensione di GLIDE a STPP marcati e strutture grafiche in evoluzione dinamica.