Riepilogo Tecnico: Progressi nei Processi Puntuali Temporali: Approcci Bayesiani, Neurali e basati su LLM

Definizione del Problema

I Processi Puntuali Temporali (Temporal Point Processes, TPP) sono modelli stocastici progettati per caratterizzare sequenze di eventi che si verificano in tempo continuo. A differenza delle serie temporali sincrone, le sequenze di eventi (ad esempio, spike neurali, ordini finanziari, post sui social media) sono asincrone, spesso esibiscono dinamiche di auto-eccitazione o inibizione complesse e possono dipendere dall'intera storia degli eventi passati. La sfida centrale nella ricerca sui TPP risiede nella modellazione della funzione di intensità condizionata $\lambda^*(t)$, che definisce la probabilità che un evento si verifichi al tempo $t$ data la storia $H_{t^-}$.

Mentre i TPP statistici tradizionali (ad esempio, processi di Poisson, processi di Hawkes) offrono interpretabilità, essi spesso si affidano a rigide assunzioni parametriche che ne limitano l'espressività su dataset complessi. Al contrario, i recenti progressi nel deep learning e nei grandi modelli linguistici (LLM) offrono una maggiore flessibilità, ma introducono sfide riguardanti la quantificazione dell'incertezza, l'efficienza computazionale in tempo continuo e l'integrazione del contesto semantico. Questa survey affronta la necessità di una revisione completa di questi evolversi paradigmi, concentrandosi specificamente sul periodo dal 2020 al 2025.

Metodologia e Tassonomia

Il documento organizza i recenti progressi nei TPP in tre framework metodologici primari: approcci Bayesiani, Neurali e basati su LLM.

1. TPP Non Parametrici Bayesiani

Questo framework va oltre le forme parametriche fisse trattando la funzione di intensità stessa come una variabile casuale con dimensioni infinite, tipicamente modellata utilizzando i Processi Gaussiani (GP).

• Processi di Poisson: L'intensità $\lambda(t)$ è modellata come $l \circ g(t)$, dove $g(t)$ segue un prior GP e $l(\cdot)$ è una funzione di legame (ad esempio, esponenziale, sigmoide). L'inferenza è difficile a causa della natura "doppiamente intrattabile" del posterior (integrali nel tempo e nello spazio delle funzioni). Le soluzioni includono il Markov Chain Monte Carlo (MCMC) con punti latenti sottili (thinned points), approssimazioni di Laplace (utilizzando metodi di Kronecker o spettrali) e l'Inferenza Variazionale (VI).
• Processi di Hawkes: La intensità condizionata consiste in una linea di base $\mu(t)$ e una funzione di innesco $\phi(\tau)$. Gli approcci non parametrici bayesiani applicano i GP su entrambi i componenti. Una tecnica chiave coinvolge le variabili latenti di branching (che indicano se un evento è un evento di background o innescato da un evento precedente) per decomporre la verosimiglianza in processi di Poisson indipendenti, consentendo l'uso di metodi standard di inferenza GP (ad esempio, Gibbs sampling, algoritmi EM, VI). Studi recenti utilizzano anche l'aumento dei dati tramite Pólya-Gamma per ottenere la coniugatezza condizionale.

2. TPP Neurali

I TPP neurali sfruttano architetture di deep learning per modellare l'embedding della storia e la distribuzione condizionata del prossimo evento. La survey categorizza questi in tre famiglie architettoniche:

• TPP Neurali Ricorrenti: Utilizzano RNN, LSTM o GRU per aggiornare uno stato nascosto $h_n$ sequenzialmente ad ogni evento. Sebbene siano computazionalmente efficienti per la predizione ($O(1)$), soffrono di colli di bottiglia nell'addestramento sequenziale ($O(N)$) e difficoltà nel catturare dipendenze a lungo raggio. Recenti integrazioni con i Modelli di Spazio di Stato (ad esempio, S4, Mamba) mirano ad affrontare queste limitazioni.
• TPP Neurali Autoregressivi: Impiegano architetture Transformer con meccanismi di self-attention per catturare dipendenze a lungo raggio e consentire un addestramento parallelo. Questi modelli codificano i tempi degli eventi e i "mark" in embedding e utilizzano punteggi di attenzione per generare rappresentazioni della storia. Tuttavia, incorrono tipicamente in una complessità di addestramento quadratica ($O(N^2)$) e una complessità di predizione lineare ($O(N)$), a meno che non vengano ottimizzati con il KV caching.
• TPP Neurali basati su Equazioni Differenziali: Questi modelli (ad esempio, Neural ODE/SDE) definiscono l'evoluzione dello stato nascosto continuamente tra gli eventi. Lo stato evolve fluidamente tramite una Neural ODE e compie salti ai tempi degli eventi tramite una Neural SDE. Ciò consente una modellazione flessibile della funzione di intensità su intervalli continui, superando i limiti temporali discreti di RNN e Transformer, sebbene a costo di un costoso' integrazione numerica durante l'addestramento.
• TPP basati su Diffusione: Un paradigma più recente che tratta la generazione di sequenze di eventi come un processo di denoising. A differenza dei modelli autoregressivi, i modelli di diffusione generano l'intera sequenza (o molteplici eventi futuri) simultaneamente, mitigando potenzialmente l'accumulo di errori nella previsione a lungo orizzonte, sebbene affrontino sfide nel mantenere la coerenza temporale e nei costi computazionali.

Strategie di Parametrizzazione: Il documento evidenzia che i TPP neurali possono parametrizzare la distribuzione del prossimo evento tramite:

1. Funzione di Intensità Condizionata ($\lambda^*$): Richiede l'integrazione numerica per la Massima Verosimiglianza (MLE).
2. Funzione di Densità Condizionata ($f$): Modellazione "libera dall'intensità"; evita l'integrazione, consentendo un campionamento efficiente.
3. Intensità Cumulativa ($\Lambda^*$) o Distribuzione ($F$): Riformula la log-verosimiglianza per utilizzare le derivate invece degli integrali, migliorando l'efficienza dell'addestramento tramite differenziazione automatica.

3. TPP basati su LLM

Questo campo emergente integra i Large Language Models per gestire gli aspetti semantici e multimodali delle sequenze di eventi.

• TPP ispirati agli LLM: Utilizzano meccanismi di LLM (ad esempio, prompt learning, ragionamento abduttivo) per potenziare i convenzionali TPP neurali. Esempi includono PromptTPP per l'apprendimento continuo e LAMP per il ragionamento causale.
• Integrazione Diretta LLM-TPP: Tratta l'LLM come il modello di sequenza centrale. Gli eventi vengono tokenizzati (tempo, tipo, testo) e inseriti direttamente nell'LLM. TPP-LLM utilizza descrizioni testuali per gli eventi, mentre Language-TPP codifica gli intervalli di tempo continuo come token a livello di byte, permettendo all'LLM di modellare congiuntamente tempo e semantica.
• Estensioni: Studi recenti estendono i TPP a benchmark multimodali (ad esempio, DanmakuTPPBench) che coinvolgono testo, video e timestamp, e alla generazione aumentata dal recupero (retrieval-augmented generation).

Contributi Chiave

1. Tassonomia Comprensiva: Il documento fornisce una revisione strutturata dei TPP attraverso i paradigmi Bayesiano, Neurale e basato su LLM, aggiornando il campo oltre il 2020. Evidenzia specificamente l'area sottovalutata dei TPP non parametrici bayesiani e il campo nascente dei TPP basati su LLM.
2. Sintesi Metodologica: Dettaglia i compromessi tra diversi approcci di modellazione (ad esempio, espressività vs costo computazionale, tempo discreto vs continuo) e le strategie di parametrizzazione (basate su intensità vs basate su densità).
3. Analisi di Addestramento e Valutazione: La survey confronta gli obiettivi di addestramento (MLE, distanza di Wasserstein, Noise Contrastive Estimation, Fisher Divergence) e discute la mancanza di benchmark standardizzati, evidenziando sforzi recenti come EasyTPP e DanmakuTPPBench.
4. Revisione delle Applicazioni: Rivisita le classiche applicazioni (predizione di eventi, scoperta causale) in vari domini come finanza, epidemiologia e neuroscienze, notando come i metodi moderni migliorino rispetto ai baseline tradizionali.

Risultati e Intuizioni Empiriche

Il documento sintetizza i risultati empirici della letteratura esistente piuttosto che presentare nuovi risultati sperimentali:

• Performance: I TPP neurali, in particolare i modelli basati su Transformer, generalmente superano i modelli parametrici classici (ad esempio, Hawkes) su dataset su larga scala e complessi per la predizione del prossimo evento.
• Efficienza: I modelli che parametrizzano la densità condizionata o la funzione di intensità cumulativa spesso ottengono un'efficienza di addestramento migliore e un'accuratezza comparabile ai modelli basati su intensità, evitando l'integrazione numerica.
• Limitazioni: La predizione a lungo orizzonte rimane una sfida per tutte le classi; i metodi autoregressivi soffrono di accumulo di errori, mentre i metodi non autoregressivi (diffusione) faticano con la coerenza temporale.
• Impatto degli LLM: Gli approcci basati su LLM mostrano promesse in compiti che richiedono comprensione semantica o ragionamento multimodale, ma non dominano necessariamente i benchmark di pura predizione temporale.

Significato e Direzioni Future

Il documento rivendica la sua importanza come risorsa tempestiva che colma il divario tra rigore statistico (metodi bayesiani), flessibilità del deep learning (metodi neurali) e comprensione semantica (LLM). Sottolinea che il campo si sta spostando dalla pura modellazione delle probabilità di occorrenza degli eventi alla comprensione dei dati di eventi indicizzati temporalmente con un ricco contesto.

Sfide Identificate:

• Dati e Benchmark: La mancanza di dataset curati e standardizzati e di protocolli di valutazione ostacola il confronto equo.
• Interpretabilità: I TPP neurali agiscono spesso come scatole nere, rendendo difficile la scoperta causale e il supporto alle decisioni.
• Scalabilità: La modellazione del tempo continuo combinata con lunghe sequenze crea colli di bottiglia computazionali (ad esempio, $O(N^2)$ per l'attenzione, costi di integrazione numerica).
• Efficienza di Campionamento: Generare sequenze di eventi valide rimane computazionalmente costoso rispetto alla valutazione della verosimiglianza.
• Integrazione Multimodale: Allineare efficacementmente le rappresentazioni del tempo continuo con modalità discrete e ad alta dimensionalità (testo, immagini) rimane un problema aperto.

Gli autori concludono che il progresso futuro dipenderà dall'integrazione del rigore statistico con la flessibilità neurale e le capacità linguistiche, affrontando scalabilità e interpretabilità per abilitare applicazioni più ampie in contesti reali e multimodali.