Sintesi Tecnica: Latent Laplace Diffusion per Serie Temporali Multivariate Irregolari

1. Definizione del Problema

Le serie temporali multivariate irregolari (IMTS), comuni in ambito sanitario, nelle scienze climatiche e nella finanza, presentano un compromesso fondamentale per la previsione a lungo orizzonte. Gli approcci esistenti rientrano generalmente in tre categorie, ciascuna con significativi limiti:

• Pipeline a tempo discreto: Questi metodi interpolano o ricampionano i dati su una struttura regolare. Sebbene efficienti, il ricampionamento aggressivo distorce le informazioni temporali e sfuma la semantica della mancanza di dati sotto condizioni di forte irregolarità.
• Modelli a tempo continuo (es. Neural ODE/CDE): Questi incorporano naturalmente i timestamp, ma si affidano all'integrazione numerica sequenziale. Ciò aumenta il costo computazionale e porta all'accumulo di errori (drift) su lunghi orizzonti, particolarmente quando i gap sono ampi.
• Modelli di diffusione/basati su score: Pur offrendo una forte quantificazione dell'incertezza, la maggior parte dei metodi di diffusione per serie temporali esistenti esegue il denoising direttamente nello spazio delle osservazioni. Spesso mancano di una struttura dinamica esplicita o di un controllo della stabilità, rendendo la generazione a lungo orizzonte fragile sotto campionamenti irregolari.

La sfida centrale è modellare le IMTS in modo da rispettare il tempo fisico e i gap di campionamento senza ridurre l'irregolarità a un artefatto di pre-elaborazione, garantendo al contempo una generazione di traiettorie stabile a lungo orizzonte senza il drift associato ai solver sequenziali.

2. Metodologia: Latent Laplace Diffusion (LLapDiff)

LLapDiff è un framework generativo condizionale che colma il divario tra la modellazione discreta e quella continua. Evita l'integrazione numerica sequenziale nel tempo fisico modellando il target come una traiettoria latente a bassa dimensionalità e svolgendo la diffusione nello spazio latente.

2.1 Rappresentazione della Traiettoria Latente

Il metodo rappresenta gli orizzonti target irregolari come traiettorie latenti $z$ a bassa dimensionalità su un manifold. Un VAE pre-addestrato codifica i target reali in questo spazio latente. Il processo di diffusione corrompe e denoise queste traiettorie latenti invece delle osservazioni grezze e sparse, evitando il denoising diretto su dati mascherati.

2.2 Bias di Stabilità tramite Dinamiche Stochastic Port-Hamiltonian

Per guidare il processo di diffusione inversa verso dinamiche stabili senza solver numerici, gli autori traggono ispirazione dai sistemi stocastici port-Hamiltonian.

• Bilancio Energetico: Il framework impone un bias induttivo basato sulla passività in cui l'energia attesa del sistema è non crescente tra gli aggiornamenti del contesto. Questo isola le dinamiche prevedibili dalla volatilità stocastica.
• Parametrizzazione nel Dominio di Laplace: Inve invece di procedere per step temporali, l'evoluzione della media della traiettoria latente è parametrizzata nel dominio di Laplace. Il sistema è modellato utilizzando poli complesso-coniugati stabili $(\rho_k, \omega_k)$, dove $\rho_k$ rappresenta i tassi di decadimento e $\omega_k$ le frequenze di oscillazione.
• Sintesi Modale Stabile: Il denoiser predice questi parametri modali (poli e residui) condizionati dalla storia. La traiettoria latente viene quindi sintetizzata tramite una somma in forma chiusa di sinusoidi smorzate:
  $$\hat{z}_0(\tilde{t}_r) = \sum_{k=1}^K e^{-\hat{\rho}_k \tilde{t}_r} \left( \hat{c}_k \cos(\hat{\omega}_k \tilde{t}_r) + \hat{b}_k \sin(\hat{\omega}_k \tilde{t}_r) \right)$$
  Ciò consente la generazione su tutto l'orizzonte in un unico passaggio parallelizzabile, bypassando la necessità di integrazione sequenziale.

2.3 Renewal-Averaging e Condizionamento Consapevole dei Gap

Gli autori stabiliscono un legame teorico tra i poli a tempo continuo e i gap di campionamento casuale tramite l'analisi di renewal-averaging.

• Poli Effettivi: I gap casuali mappano i poli a tempo continuo in poli effettivi nel dominio degli eventi. La varianza dei gap modula lo smorzamento e l'oscillazione efficaci.
• Riassunto della Storia (History Summarizer): Per adattare le dinamiche apprese ai pattern irregolari, un "riassunto della storia consapevole dei gap" aggrega le osservazioni, i gap temporali e le maschere di mancanza dei dati. Questo riassunto condiziona il predittore modale, permettendo al modello di apprendere parametri a tempo continuo che rimangono coerenti anche sotto schemi di campionamento non-renewal complessi.

2.4 Architettura

Il modello consiste in:

1. Riassunto della Storia ($S_\phi$): Codifica la storia osservata in una sequenza di token contenente segnali di porta, proxy dinamici ed encoding temporali/dei gap.
2. Predittore Modale ($L_\theta$): Predice i parametri modali a tempo continuo (poli e residui) condizionati dallo stato latente rumoroso e dal riassunto della storia.
3. Sintetizzatore Modale ($L^+_\theta$): Ricostruisce la traiettoria latente denoisata usando i parametri predetti tramite l'equazione in forma chiusa nel dominio di Laplace.

3. Contributi Chiave

1. Framework LLapDiff: Un framework di diffusione latente per IMTS che modella l'evoluzione come traiettorie latenti a bassa dimensionalità preservando la fedeltà dei timestamp, evitando il drift dei solver sequenziali.
2. Parametrizzazione Modale nel Dominio di Laplace: Una derivazione fondata sulle dinamiche port-Hamiltoniane stocastiche che consente la generazione su tutto l'orizzonte con un controllo esplicito della stabilità attraverso il vincolo del decadimento dei poli ($\rho_k > 0$).
3. Legame Teorico con i Gap di Campionamento: Un'analisi che collega i poli a tempo continuo ai gap di campionamento casuale tramite renewal averaging, motivando un meccanismo di condizionamento della storia consapevole dei gap che migliora la modellazione a lungo orizzonte sotto diverse irregolarità.

4. Risultati Sperimentali

Gli autori hanno valutato LLapDiff su sette dataset reali che spaziano dalla qualità dell'aria, alla sanità (PhysioNet), alla meteorologia (NOAA) e alla finanza (Crypto, US Equity).

• Performance di Previsione: LLapDiff ha ottenuto le migliori metriche distribuzionali (CRPS) e metriche di punto competitive (MAE/MSE) nella maggior parte dei dataset. I guadagni sono stati più pronunciati nella previsione a lungo orizzonte (es. 168 step) e su dataset altamente irregolari (es. PhysioNet, NOAA UK).
• Imputazione: Grazie alla sua natura di generazione di traiettorie, il modello supporta l'imputazione di valori mancanti interrogando lo stesso modello ai timestamp storici. Ha superato i baseline come CSDI nei compiti di imputazione probabilistica.
• Stabilità e Robustezza:
  • Visualizzazione dei Poli: I poli appresi soddisfacevano costantemente $\rho_k > 0$, garantendo il decadimento esponenziale e la stabilità. Il modello ha adattato i tassi di decadimento in base alle statistiche dei gap.
  • Stress Test: Il modello ha dimostrato una degradazione graduale sotto perdita di copertura indotta. Sebbene le performance siano diminuite con perdite estreme di copertura, il modello è rimasto robusto rispetto ai baseline che spesso subivano drift o eccessivo smoothing.
  • Shift di Regime: Il modello ha mantenuto la stabilità sotto shift spettrali controllati (cambiamenti di frequenza e decadimento).
• Efficienza: A differenza delle Neural ODE o dei Transformer a tempo continuo che richiedono step di solver sequenziali, il tempo di inferenza di LLapDiff è rimasto quasi costante attraverso i diversi orizzonti di previsione. È stato significativamente più veloce di TimeGrad (39.8x) e ContiFormer (150.6x) in termini di tempo di inferenza reale (wall-clock time).

5. Significato e Rivendicazioni

Il paper sostiene che LLapDiff riesca a colmare il divario tra la modellazione di serie temporali a tempo discreto e continuo integrando la diffusione latente con un bias induttivo a tempo continuo stabile.

• Generazione Senza Solver: Spostando la modellazione della dinamica nel dominio di Laplace e utilizzando una parametrizzazione modale stabile, il metodo raggiunge la generazione su tutto l'orizzonte senza il passaggio di tempo fisico, risolvendo efficacemente il problema del drift dei solver sequenziali.
• Unificazione di Previsione e Imputazione: La visione della traiettoria latente continua permette allo stesso modello di eseguire sia la previsione che l'imputazione di valori mancanti semplicemente interrogando diversi timestamp, offrendo un approccio unificato per i dati irregolari.
• Adattamento Consapevole dei Gap: L'analisi di renewal-averaging fornisce una base teorica per il condizionamento sui gap di campionamento, consentendo al modello di apprendere dinamiche robuste rispetto ai pattern di osservazione irregolari.

Gli autori riconoscono i limiti, tra cui la dipendenza da rappresentazioni latenti pre-addestrate e un'approssimazione modale localmente lineare. Suggeriscono che il lavoro futuro potrebbe esplorare dinamiche non lineari più ricche e un reverse sampling più veloce. Il lavoro si posiziona come un passo verso la modellazione generativa più stabile ed efficiente per le serie temporali irregolari del mondo reale.