Causal Optimal Coupling for Gaussian Input-Output Distributional Data

1. Il Problema: Identificazione di Sistemi da Dati Distribuzionali

Il lavoro affronta il problema di identificare la relazione tra processi di input e output in un sistema dinamico causale, basandosi su dati osservati sotto forma di distribuzioni di probabilità (distribuzionali) piuttosto che su coppie di traiettorie accoppiate.

• Contesto: Si considerano due processi stocastici, input $U = \{U_t\}_{t=1}^T$ e output $Y = \{Y_t\}_{t=1}^T$, con distribuzioni marginali note $\mu$ e $\nu$. Tuttavia, l'accoppiamento congiunto (la legge di probabilità congiunta) tra le realizzazioni di $U$ e $Y$ è sconosciuto.
• Obiettivo: Trovare un accoppiamento ottimale $\pi$ tra $\mu$ e $\nu$ che sia coerente con la struttura temporale del sistema.
• Vincolo di Causalità: L'accoppiamento deve soddisfare un vincolo di causalità: il futuro degli input non deve influenzare il passato degli output. Formalmente, per ogni $t$, il futuro input $(U_{t+1}, \dots, U_T)$ deve essere indipendente dal passato output $(Y_1, \dots, Y_t)$ dato il passato input.
• Formulazione: Il problema è formulato come un Ponte di Schrödinger (Schrödinger Bridge). Si cerca l'accoppiamento $\pi$ che minimizza la divergenza di Kullback-Leibler (KL) rispetto a un modello di riferimento $\gamma$ (prior), soggetto ai vincoli di marginalità e causalità:
  $$\min_{\pi \in \Pi_c(\mu, \nu)} D(\pi, \gamma)$$
  dove $\Pi_c(\mu, \nu)$ è l'insieme degli accoppiamenti causali. Questo problema è definito come Trasporto Ottimale Causale Entropico (ECOT).

2. Metodologia e Impostazione Matematica

Gli autori si concentrano su un caso specifico ma fondamentale per le applicazioni ingegneristiche:

• Distribuzioni: I marginali $\mu$ e $\nu$ sono distribuzioni Gaussiane.
• Modello di Riferimento: Il modello a priori $\gamma$ è indotto da un modello lineare-Gaussiano causale del tipo:
  $$Y_t = h_t^\top U_{1:t} + f_t^\top Y_{1:t-1} + b_t + w_t$$
  dove $w_t$ è rumore gaussiano.
• Funzione di Costo: Questa scelta implica che la funzione di costo nel problema di ottimizzazione sia di forma quadratica generale e dipendente dal tempo, che cattura le dipendenze temporali dinamiche (non solo la distanza euclidea istantanea).

La metodologia principale consiste nello sviluppare iterazioni di Sinkhorn esplicite e trattabili per risolvere il problema ECOT in questo setting gaussiano.

Iterazioni di Sinkhorn

L'algoritmo di Sinkhorn risolve il problema alternando proiezioni sui vincoli di marginalità:

1. Iterazione Dispari (Proiezione Causale): Si proietta l'accoppiamento corrente sull'insieme degli accoppiamenti causali con margine $U$ fissato a $\mu$.
2. Iterazione Pari (Proiezione Non Causale): Si proietta il risultato sull'insieme di tutti gli accoppiamenti con margine $Y$ fissato a $\nu$.

Contributo Chiave della Metodologia:
Gli autori dimostrano che, nel caso gaussiano, la famiglia delle distribuzioni gaussiane è invariante sotto queste proiezioni. Ciò significa che ad ogni iterazione $k$, l'accoppiamento $\pi^{(k)}$ rimane una distribuzione gaussiana congiunta.

• Teorema 1 (Iterazione Dispari): Fornisce formule esplicite per aggiornare i parametri della distribuzione condizionata $\pi(y_t | u_{1:t}, y_{1:t-1})$ mantenendo fissi i parametri di $\mu$. La soluzione è una combinazione convessa dei parametri del modello di riferimento e di un termine correttivo derivato dalla discrepanza tra le distribuzioni attuali e quelle target.
• Teorema 2 (Iterazione Pari): Fornisce le formule per aggiornare la distribuzione condizionata $\pi(u_{1:T} | y_{1:T})$ mantenendo fissi i parametri di $\nu$. In questo caso, la proiezione su $\nu$ fissa semplicemente i parametri marginali di $Y$ a quelli del target, mantenendo la struttura condizionale di $U$ data $Y$ invariata rispetto al riferimento (o aggiornata in modo analogo).

Questo approccio trasforma un problema di ottimizzazione funzionale complesso in un algoritmo iterativo che aggiorna solo vettori e matrici (parametri di media e covarianza), rendendolo computazionalmente efficiente.

3. Risultati Principali

• Caratterizzazione Chiusa: È stata derivata una caratterizzazione completamente trattabile delle iterazioni di Sinkhorn per costi quadratici generali e marginali gaussiani.
• Algoritmo Implementabile: L'articolo fornisce un algoritmo numerico completo che converge alla soluzione ottimale. Una volta ottenuta l'accoppiamento congiunto ottimo $\pi^*$, è possibile estrarre un modello lineare-Gaussiano input-output (equazione 5) calcolando le medie e le covarianze condizionate.
• Esempio Numerico:
  • È stato testato su un intervallo temporale discretizzato ($T=128$) con processi stazionari gaussiani.
  • Confronto Causale vs. Non Causale: Il confronto tra la soluzione con vincolo causale e quella senza (OT classico) rivela differenze strutturali fondamentali.
  • Analisi delle Covarianze: Nel caso non causale, la matrice di covarianza condizionata mostra correlazioni "anticipatorie" (valori non nulli dove l'output dipende da input futuri o viceversa in modo non fisico). Nel caso causale, queste correlazioni sono nulle, rispettando rigorosamente la struttura temporale (non-anticipazione).

4. Significato e Contributi

Il lavoro offre contributi significativi sia teorici che pratici:

1. Ponte tra Teoria e Applicazione: Colma il divario tra la teoria astratta del Trasporto Ottimale Causale (COT) e l'applicazione pratica nell'identificazione di sistemi dinamici. Mentre lavori precedenti (es. Eckstein & Pammer) proponevano iterazioni astratte, questo paper le rende esplicite per il caso gaussiano.
2. Flessibilità del Modello: A differenza di approcci precedenti limitati a costi separabili o processi Markoviani semplici, il metodo proposto gestisce costi quadratici generali che catturano dipendenze temporali complesse (input passati che influenzano output futuri in modi non banali).
3. Identificazione da Dati Aggregati: Fornisce un fondamento principiato per l'identificazione di modelli dinamici quando non si dispone di coppie input-output sincronizzate, ma solo di distribuzioni statistiche separate.
4. Scalabilità: La natura gaussiana garantisce che la complessità computazionale rimanga gestibile, evitando la necessità di discretizzazioni spaziali ad alta dimensionalità tipiche dei metodi Monte Carlo.

Conclusione

In sintesi, Xu e Taghvaei dimostrano come il Trasporto Ottimale Causale Entropico possa essere risolto efficientemente per dati gaussiani, fornendo un algoritmo robusto per identificare relazioni dinamiche causali direttamente a livello di leggi di probabilità. Questo apre la strada all'applicazione di tali metodi in ambiti come il controllo, la finanza e l'apprendimento automatico generativo per serie temporali, con prospettive future che includono l'estensione a modelli non lineari e distribuzioni non gaussiane.