📊 statistics

Diffusion-Driven State Space Models

Il documento introduce il Diffusion-Driven State Space Model (DDSSM), un nuovo framework che sostituisce le convenzionali transizioni gaussiane con modelli di diffusione per addestrare congiuntamente un autoencoder e un processo di diffusione su dati sequenziali, ottenendo così una precisione superiore nel fitting e nella previsione di serie temporali con dinamiche complesse e multimodali rispetto agli esistenti modelli di spazio di stato profondi.

Autori originali: Jack Ruder, Michael Wojnowicz

Pubblicato 2026-06-23

📖 20 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Jack Ruder, Michael Wojnowicz

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di cercare di insegnare a un robot come prevedere il futuro di un sistema caotico, come il meteo o il mercato azionario. Il robot deve capire due cose:

Il "Presente": Cosa sta accadendo proprio ora?
Il "Futuro": Come fa il "Presente" a trasformarsi nel "Futuro"?

Per molto tempo, gli scienziati hanno usato due tipi diversi di robot per questo compito, ma entrambi avevano un grande difetto.

I Due Vecchi Robot (E Perché Sono Falliti)

1. Il Robot "Gaussiano" (Il Modello di Spazio di Stato Profondo)
Questo robot è molto organizzato. Presuppone che il futuro abbia sempre l'aspetto di una curva morbida a forma di campana (una distribuzione gaussiana).

L'Analogia: Immagina che questo robot sia un bibliotecario che crede che ogni libro nella biblioteca debba essere collocato su uno scaffale in una linea perfettamente dritta e prevedibile.
Il Problema: La realtà è disordinata. A volte il futuro si divide in due possibilità completamente diverse (come il lancio di una moneta: testa o croce). Il robot gaussiano cerca di forzare queste due possibilità in un'unica linea morbida, creando una previsione sfocata e imprecisa nel mezzo. Perde i "picchi" della realtà.

2. Il Robot "Diffusion"
Questo robot è molto creativo. Impara partendo da un mucchio di rumore statico e pulendolo lentamente finché non forma un'immagine chiara. È bravo a catturare forme complesse e disordinate.

L'Analogia: Questo robot è come uno scultore che parte da un blocco di marmo e via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via

Sintesi Tecnica: Diffusion-Driven State Space Models (DDSSM)

Definizione del Problema

I professionisti della modellazione di serie temporali affrontano spesso un compromesso tra l'espressività del modello e la capacità di catturare la dinamica latente del sistema. Gli approcci esistenti tipicamente sacrificano uno dei due obiettivi:

Deep State Space Models (DSSMs) (ad es. i Deep Kalman Filter) offrono un'inferenza fondata e un addestramento end-to-end, ma tipicamente assumono densità di transizione gaussiane. Questa assunzione ne limita l'espressività, fallendo spesso nel catturare dinamiche multimodali, e induce un prior gaussiano che può sovra-regolarizzare le rappresentazioni latenti, scartando informazioni strutturali necessarie.
Modelli di Diffusione sono altamente espressivi e capaci di modellare distribuzioni complesse e multimodali. Tuttavia, quando applicati alle serie temporali, vengono spesso utilizzati come campionatori generativi condizionati da osservazioni passate o si affidano a un addestramento in due fasi (prima l'apprendimento di un autoencoder, poi di un modello di diffusione). Questo approccio in due fasi può produrre spazi latenti sovra-regolarizzati che scartano informazioni necessarie per la dinamica generativa a valle.

Esiste un problema aperto riguardante come addestrare congiuntamente un autoencoder e un modello di diffusione su dati sequenziali in modo rigoroso, per combinare i punti di forza di entrambi i framework.

Metodologia

Gli autori propongono il Diffusion-Driven State Space Model (DDSSM), che integra i modelli di diffusione direttamente nella densità di transizione di un Modello di Spazio di Stato (SSM).

Modello Generativo

Il modello assume che le osservazioni $x_{1:T}$ siano generate da stati latenti $z_{1:T}$ che evolvono tramite un processo di Markov, potenzialmente condizionati da covariate $u_{1:T}$ . La verosimiglianza congiunta è fattorizzata come:
$p(x_{1:T}, z_{1:T} | u_{1:T}) = p_{\eta,\theta}(z_{1:j}, x_{1:j} | u_{1:j}) \prod_{t=j+1}^T p^{(t)}_\psi(z_t | z_{t-j:t-1}, u_{t-j:t}) p^{(t)}_\theta(x_t | z_{t-j+1:t}, u_{t-j+1:t})$

Le innovazioni chiave includono:

Transizioni di Diffusione: Invece di una transizione parametrica gaussiana $p^{(t)}_\psi$ , il modello utilizza un processo di diffusione. Per ogni istante temporale $t$ , la densità di transizione è modellata introducendo stati latenti rumorosi intermedi $z^1_t, \dots, z^K_t$ . La transizione è definita come:
$p^{(t)}_\psi(z^0_t, z^{1:K}_t | z_{t-j:t-1}, u_{t-j:t}) = p(z^K_t) \prod_{k=1}^K p^{(t)}_\psi(z^{k-1}_t | z^k_t, z_{t-j:t-1}, u_{t-j:t})$
dove $z^0_t = z_t$ e $z^K_t \sim \mathcal{N}(0, I)$ . Ciò consente al modello di apprendere densità di transizione arbitrarie e potenzialmente multimodali.
Emissioni: La densità di emissione $p^{(t)}_\theta$ rimane una standard gaussiana parametrizzata da reti neurali, gestendo l'incertezza residua mentre il modello di diffusione cattura strutture non gaussiane complesse.
Inizializzazione: La distribuzione dello stato iniziale $p_\eta(z_{1:j}|u_{1:j})$ utilizza un Prior Gerarchico Variazionale (VHP) per evitare assunzioni restrittive sugli stati latenti iniziali.

Inferenza e Addestramento

Poiché la vera distribuzione a posteriori è intrattabile, gli autori impiegano un framework di inferenza variazionale. Essi derivano un Evidence Lower Bound (ELBO) che rispecchia la struttura di indipendenza condizionale della vera distribuzione a posteriori.

Posteriore Variazionale: La distribuzione a posteriori è fattorizzata per includere un termine di transizione "smoothed" (dipendente dai latenti passati e dalle osservazioni future) e un termine di processo di noising della diffusione.
Addestramento Congiunto: A differenza dei metodi in due fasi, il DDSSM è addestrato end-to-end. L'obiettivo massimizza l'ELBO, che include:
- Una perdita di ricostruzione (log-verosimiglianza negativa delle emissioni).
- Un termine di divergenza KL per l'inizializzazione.
- Una perdita della catena di diffusione (derivata dal processo inverso del modello di diffusione) che incoraggia l'encoder a produrre stati latenti prevedibili sotto le dinamiche di transizione apprese.
Precondizionamento: Per garantire la stabilità del gradiente attraverso i livelli di rumore durante l'addestramento congiunto, gli autori impiegano il precondizionamento (Karras et al., 2022) per riscalare gli input e gli output della rete di diffusione.

Contributi Chiave

Framework DDSSM: L'introduzione di un Modello di Spazio di Stato in cui la densità di transizione è sostituita da un modello di diffusione, consentendo l'apprendimento di dinamiche latenti flessibili e multimodali senza le restrittive assunzioni gaussiane.
Addestramento End-to-End: Una soluzione rigorosa al problema aperto di addestrare congiuntamente un autoencoder e un modello di diffusione su dati sequenziali. Questo evita i problemi di sovra-regolarizzazione associati agli approcci in due fasi comuni nella diffusione latente di serie temporali.
Derivazione Teorica: Una derivazione rigorosa dell'ELBO per questo modello ibrido, dimostrando come l'ottimale posteriore variazionale si fattorizzi per corrispondere alla struttura della vera distribuzione a posteriori, restringendo così il divario di approssimazione.

Risultati Sperimentali

Gli autori hanno valutato il DDSSM su un dataset di serie temporali simulato caratterizzato da rumore bimodale (un random walk latente con transizioni bimodali).

Configurazione: Hanno confrontato il DDSSM con un Deep Kalman Filter (DKF) con un Prior Gerarchico Variazionale e un baseline Last Observation Carried Forward (LOCF).
Metriche: Le prestazioni sono state misurate utilizzando la divergenza di Jensen-Shannon (JSD) tra la distribuzione predittiva a un passo del modello e la distribuzione reale.
Risultati:
- Il DKF, vincolato da transizioni gaussiane, posizionava la massa di probabilità tra i due veri modi, fallendo nel catturare la struttura bimodale.
- Il DDSSM ha catturato con successo entrambi i modi della distribuzione reale.
- Quantitativamente, il DDSSM ha ottenuto una JSD significativamente inferiore rispetto al DKF.
- Qualitativamente, il DDSSM ha prodotto ricostruzioni e previsioni rappresentative dei dati, mentre le previsioni del DKF mancavano di pattern coerenti e non riuscivano a ricostruire bene i dati osservati.

Significato e Rivendicazioni

L'articolo sostiene che, inquadrando il problema della diffusione latente di serie temporali come un Modello di Spazio di Stato con una distribuzione di transizione di diffusione, sia possibile ottenere un addestramento end-to-end che permetta ricostruzioni flessibili senza penalizzare l'apprendimento delle dinamiche latenti.

Gli autori posizionano il DDSSM come un metodo che risolve la tensione tra l'espressività dei modelli di diffusione e il rigore strutturale degli SSM. Affermano che l'assunzione del prior gaussiano nei tradizionali Deep SSM è dannosa per l'apprendimento di rappresentazioni latenti in contesti multimodali, e che il loro approccio fornisce un prior più espressivo sulle traiettorie latenti. Il lavoro estende la letteratura sui modelli di diffusione latente per serie temporali andando oltre i paradigmi di addestramento in due fasi.

Gli autori notano che il lavoro futuro comporterà l'applicazione del DDSSM a dataset su larga scala e l'integrazione di ulteriori idee dalla letteratura dei deep SSM per sfruttare appieno la potenza della distribuzione di transizione della diffusione.