In-Context Learning of Temporal Point Processes with Foundation Inference Models

Il paper presenta il FIM-PP, un modello di inferenza fondazionale preaddestrato su processi temporali sintetici che, sfruttando l'apprendimento in contesto, stima le funzioni di intensità dei processi temporali su dati reali senza necessità di addestramento aggiuntivo, raggiungendo prestazioni pari a quelle di modelli specializzati.

L'essenziale

🌧️ Il Problema: Prevedere la Pioggia di Eventi

Immagina di dover prevedere quando pioverà, ma non solo "se" pioverà, ma anche dove e con che intensità.
Nel mondo reale, gli eventi accadono in modo disordinato: un tweet, un acquisto su Amazon, un taxi che prende un passeggero, o un neurone che si attiva nel cervello. Questi eventi hanno due caratteristiche:

1. Tempo: Arrivano in momenti casuali (non ogni 5 minuti esatti).
2. Tipo (Marca): Possono essere di diverse nature (es. "compra", "vende", "loda", "critica").

Fino a oggi, per prevedere questi eventi, gli scienziati dovevano costruire un modello matematico specifico per ogni singolo sistema.

• Vuoi prevedere i tweet? Costruisci un modello per i tweet.
• Vuoi prevedere i taxi? Devi buttare via il modello dei tweet e costruirne uno nuovo da zero per i taxi.
• È come se ogni volta che cambiassi città, dovessi imparare a guidare di nuovo da zero, anche se le regole della strada sono simili.

💡 La Soluzione: Il "Genio Poliglotta" (FIM-PP)

Gli autori di questo paper hanno creato qualcosa di rivoluzionario chiamato FIM-PP (Foundation Inference Model for Point Processes).

Immagina FIM-PP non come un tecnico specializzato in un solo compito, ma come un genio poliglotta o un detective super-addestrato.

1. L'Addestramento: La "Simulazione Universale"

Invece di studiare solo i dati reali (che sono pochi e specifici), gli autori hanno creato un mondo virtuale gigantesco.
Hanno programmato un computer per generare 14,4 milioni di eventi simulati, basandosi su tutte le possibili regole matematiche immaginabili:

• Eventi che si attraggono (come le persone che si mettono in fila).
• Eventi che si respingono (come le auto che evitano di scontrarsi).
• Eventi che arrivano a caso (come la pioggia).
• Eventi che seguono ritmi complessi.

Hanno "nutrito" il modello con questa enorme varietà di scenari sintetici. Il modello ha imparato le leggi fondamentali che governano il tempo e le interazioni, senza mai vedere un singolo dato reale (come un tweet vero o un taxi vero).

2. L'Apprendimento "In-Context": Il Potere dell'Esperienza

Una volta addestrato, ecco la magia. Quando vuoi usare FIM-PP su un problema reale (es. prevedere i taxi di New York), non devi riaddestrarlo.
Basta dargli un contesto: "Ehi, guarda questi 1000 taxi che hanno lavorato ieri".
Il modello, grazie alla sua vasta esperienza nella simulazione, guarda questi dati e dice: "Ah, vedo un pattern! Sembra che quando piove, i taxi si muovano così. Ora so come prevedere il prossimo".

È come se avessi un cuoco che ha cucinato milioni di piatti in cucina simulata. Quando gli dai gli ingredienti reali (i dati dei taxi), non ha bisogno di imparare le basi della cucina: sa già come combinarli perché ha visto milioni di varianti.

🚀 Cosa Succede nella Pratica?

Il paper mostra due modi per usare questo "genio":

1. Modalità Zero-Shot (Senza allenamento):
   Dai al modello i dati reali e lui fa previsioni immediatamente, senza toccare i suoi parametri interni.

   • Risultato: Funziona quasi quanto i modelli specializzati costruiti da zero per quel compito specifico. È incredibile perché non ha mai visto quei dati prima!

2. Modalità Fine-Tuning (Raffinamento rapido):
   Se vuoi che sia perfetto, lo fai "aggiornare" per pochi minuti sui dati reali.

   • Risultato: Diventa il miglior modello in assoluto, superando tutti gli altri. E il bello è che questo aggiornamento richiede pochi minuti e poca energia, mentre i vecchi metodi richiedevano ore o giorni di calcolo.

📊 Le Metafore Chiave

• Il Vecchio Metodo (Modelli Specializzati): È come avere un fabbro che sa solo fare chiavi inglesi. Se ti serve un martello, devi chiamare un altro fabbro. Se ti serve un cacciavite, un terzo. È lento e costoso.
• FIM-PP (Il Modello Fondamentale): È come un Maestro Artigiano Universale. Ha passato anni a studiare la teoria di tutti i metalli e gli strumenti in una scuola virtuale. Quando gli dai un pezzo di metallo reale, sa esattamente cosa fare, sia che tu gli chieda una chiave, un martello o un cacciavite. Se gli dai un po' di pratica specifica sul tuo metallo, diventa il miglior artigiano del mondo per quel compito.

🏆 Perché è Importante?

Questo lavoro cambia le regole del gioco perché:

1. Risparmia tempo e denaro: Non serve addestrare modelli da zero per ogni nuovo progetto.
2. È flessibile: Funziona su dati che non ha mai visto prima (dai tweet ai contagi epidemici, fino ai mercati finanziari).
3. È veloce: Si adatta a nuovi compiti in pochi minuti.

In sintesi, gli autori hanno creato il primo "modello fondazionale" (come GPT per il testo, ma per gli eventi nel tempo) che impara le regole del caos temporale in un laboratorio virtuale e poi le applica al mondo reale con incredibile precisione.

Sommario tecnico

1. Il Problema

I Processi a Punti Temporali con Segni (MTPP - Marked Temporal Point Processes) sono un framework matematico fondamentale per modellare sequenze di eventi asincroni e irregolari, dove ogni evento ha un timestamp e un tipo (o "segno"). Sono ampiamente utilizzati in neuroscienze, finanza, epidemiologia e analisi dei social media.

Tuttavia, l'approccio attuale presenta limiti significativi:

• Mancanza di trasferibilità: I metodi neurali esistenti (come i processi di Hawkes neurali o modelli basati su Transformer) richiedono l'addestramento di modelli specializzati da zero per ogni nuovo dataset o sistema dinamico.
• Costo computazionale: Ogni nuovo dominio richiede un ri-addestramento completo, rendendo difficile l'adattamento rapido a nuovi scenari.
• Assenza di Modelli Fondamentali: A differenza del NLP (con LLM) o di altri sistemi dinamici (come ODE e SDE), non esisteva un "Foundation Model" pre-addestrato capace di inferire le dinamiche dei processi a punti in modo zero-shot (senza addestramento specifico sul target).

2. Metodologia: FIM-PP

Gli autori propongono FIM-PP (Foundation Inference Model for Point Processes), un modello basato sull'apprendimento in-context (in contesto) e sull'inferenza ammortizzata.

A. Generazione del Dataset Sintetico

Per pre-addestrare il modello, gli autori hanno creato un dataset sintetico massiccio (14,4 milioni di eventi da 72.000 processi) campionando da una distribuzione a priori molto ampia di MTPP.

• Parametrizzazione: Utilizzano una generalizzazione dei processi di Hawkes con intensità condizionale definita come:
  $$\lambda(t, \kappa | H_t) = \max\left(0, \mu_\kappa(t) + \sum_{(t', \kappa') \in H_t} z_{\kappa\kappa'} \gamma_{\kappa\kappa'}(t - t') \right)$$
• Diversità: La distribuzione include processi con:
  • Intensità di base ($\mu$) costanti, sinusoidali, o distribuite secondo una Gamma.
  • Kernel di interazione ($\gamma$) esponenziali, Rayleigh o a legge di potenza (power-law).
  • Interazioni eccitatorie ($z=1$), inibitorie ($z=-1$) e neutrali ($z=0$).
  • Variabilità nel numero di segni (fino a 22) e nella densità degli eventi.

B. Architettura del Modello

FIM-PP è un'architettura basata su Transformer progettata per stimare la funzione di intensità condizionale $\hat{\lambda}$ direttamente dal contesto.

1. Codifica del Contesto: Un insieme di sequenze di eventi osservate ($C = \{S_j\}$) viene codificato indipendentemente da un encoder Transformer, producendo embedding contestuali.
2. Codifica della Storia: La storia degli eventi ($H_t$) fino al tempo $t$ viene codificata e utilizzata come query in un decoder Transformer.
3. Meccanismo di Attenzione: Il decoder utilizza la storia come query e le rappresentazioni del contesto come key e value. Questo permette al modello di "imparare" le dinamiche del sistema target direttamente dai dati di contesto forniti.
4. Parametrizzazione dell'Intensità: L'output del decoder viene proiettato su parametri ($\hat{\mu}, \hat{\alpha}, \hat{\beta}$) che definiscono una funzione di intensità flessibile e interpretabile (simile a un decadimento esponenziale ma adattabile localmente).
5. Normalizzazione: Viene utilizzata una normalizzazione istanza-specifica per rendere il modello invariante alle scale temporali assolute.

C. Addestramento e Inferenza

• Pre-addestramento: Il modello viene addestrato su dati sintetici minimizzando la Negative Log-Likelihood (NLL) della sequenza target, utilizzando le altre sequenze come contesto.
• Zero-Shot: Una volta pre-addestrato, FIM-PP può essere applicato a dati reali senza alcun ulteriore addestramento, semplicemente fornendo sequenze di contesto.
• Fine-Tuning: Il modello può essere rapidamente adattato (in pochi minuti) a un dataset specifico utilizzando una frazione dei dati di addestramento come contesto, migliorando le prestazioni.

3. Contributi Chiave

1. Primo Modello Fondamentale per MTPP: Introduzione di FIM-PP, il primo modello in grado di inferire processi a punti temporali in modalità zero-shot e few-shot.
2. Framework di Generazione Sintetica: Sviluppo di un generatore di dati sintetici robusto che copre un vasto spazio di iperparametri (tipi di kernel, interazioni, basi temporali), permettendo al modello di generalizzare su dinamiche non viste.
3. Architettura In-Context: Dimostrazione che un Transformer può apprendere direttamente le funzioni di intensità condizionale trattando la storia come query e il contesto come memoria, superando la necessità di addestramenti specifici per ogni dataset.
4. Riduzione dei Costi: Il fine-tuning richiede meno di 11 GB di memoria e pochi minuti, rendendo il modello accessibile anche con risorse computazionali limitate.

4. Risultati Sperimentali

Il modello è stato valutato su 5 dataset reali (TAXI, TAOBAO, STACKOVERFLOW, AMAZON, RETWEET) confrontandolo con lo stato dell'arte (es. CDiff, NHP, AttNHP, Dual-TPP).

• Prestazioni Zero-Shot: FIM-PP (zero-shot) raggiunge prestazioni competitive, spesso paragonabili o superiori ai modelli specializzati, specialmente nella previsione multi-evento (orizzonte N=20) e nella stima dell'intensità.
• Prestazioni con Fine-Tuning: Dopo un rapido fine-tuning, FIM-PP supera sistematicamente tutti i baseline su quasi tutte le metriche (OTD, RMSE, sMAPE) e su tutti i dataset.
• Generalizzazione: Il modello dimostra una forte capacità di generalizzare su kernel non presenti nel training (es. kernel a legge di potenza), grazie alla vastità della distribuzione sintetica pre-addestrata.
• Limitazioni: In modalità zero-shot, il modello fatica a catturare pattern specifici e periodici molto stretti (es. alternanza rigida tra due segni nel dataset TAXI) che non erano rappresentati nella distribuzione sintetica. Tuttavia, il fine-tuning risolve rapidamente questo problema.

5. Significato e Impatto

Questo lavoro segna un cambio di paradigma nell'analisi delle serie temporali di eventi:

• Democratizzazione: Permette di applicare modelli complessi di processi a punti a nuovi domini senza la necessità di grandi dataset etichettati o risorse di addestramento massicce.
• Interpretabilità: Mantenendo una parametrizzazione dell'intensità che può essere analizzata (tassi di rilassamento, basi, ecc.), il modello offre un compromesso migliore tra le "scatole nere" generative e i modelli classici interpretabili.
• Futuro: Apre la strada all'applicazione di modelli fondazionali a problemi di dinamica temporale complessa, suggerendo che l'apprendimento in-context può essere esteso a una vasta gamma di sistemi stocastici, riducendo la dipendenza dall'addestramento de novo.

In sintesi, FIM-PP dimostra che è possibile costruire un "cervello" universale per i processi a punti temporali, capace di adattarsi istantaneamente a nuovi scenari osservando solo pochi esempi contestuali.