Scalable Bi-causal Optimal Transport via KL Relaxation and Policy Gradients

Riepilogo Tecnico: Trasporto Ottimo Bi-causale Scalabile tramite Rilassamento KL e Gradienti di Politica

Enunciato del Problema
Il trasporto ottimo (OT) bi-causale fornisce un quadro per confrontare e accoppiare processi stocastici sotto vincoli di informazione non anticipativa. A differenza dell'OT classico, l'OT bi-causale vincola gli accoppiamenti ammissibili in modo che la legge condizionale del prossimo stato di ciascun processo dipenda solo dalla storia congiunta fino al tempo corrente, garantendo che nessuno dei due processi anticipi il futuro dell'altro. Questa struttura è fondamentale per applicazioni nella finanza robusta (ad esempio, copertura in presenza di incertezza del modello) e nella quantificazione sequenziale dell'incertezza (ad esempio, downscaling di serie temporali).

Tuttavia, l'applicazione pratica dell'OT bi-causale è ostacolata dall'intrattabilità computazionale. I metodi esistenti, come la regolarizzazione entropica con iterazioni di Sinkhorn o l'iterazione del valore adattata, faticano con distribuzioni continue, alte dimensioni dello stato e orizzonti temporali lunghi. La difficoltà principale risiede nell'imporre vincoli marginali rigidi sullo spazio dei percorsi, il che rende l'ottimizzazione diretta combinatoriamente difficile e computazionalmente costosa.

Metodologia
Gli autori propongono un quadro di ottimizzazione stocastica scalabile che sostituisce i vincoli marginali rigidi con una penalità differenziabile di Kullback–Leibler (KL), consentendo l'uso di metodi a gradiente di politica.

1. Rilassamento Penalizzato KL:
   Gli autori rilassano il problema originale dell'OT bi-causale ampliando l'insieme ammissibile degli accoppiamenti per includere kernel di transizione congiunti arbitrari. Introducono una penalità di divergenza KL per regolare le deviazioni dalle transizioni marginali prescritte ($T_n, T'_n$) e dalle marginali iniziali ($\mu_0, \mu'_0$). La funzione obiettivo rilassata $W_{rel}$ minimizza il costo cumulativo atteso più un termine di penalità ponderato da un parametro $\beta$:
   $$W_{rel}(\mu, \mu') = \inf_{\pi \in \Pi_{rel}} \mathbb{E}_\pi \left[ \sum_{n=0}^N c_n(Y_n, Y'_n) + \beta \cdot \text{penalità KL} \right]$$
   Questa formulazione preserva la struttura ricorsiva del problema, consentendo la programmazione dinamica.

2. Fondamenti Teorici:

   • Programmazione Dinamica: Il lavoro stabilisce principi di programmazione dinamica sia per il problema vincolato originale che per la formulazione rilassata. Ciò riduce l'ottimizzazione globale sullo spazio dei percorsi a una sequenza di ottimizzazioni a un passo su accoppiamenti iniziali e kernel di transizione.
   • $\Gamma$-Convergenza: Gli autori dimostrano che, al tendere del parametro di penalità $\beta \to \infty$, l'obiettivo rilassato e i suoi accoppiamenti ottimi convergono al problema originale dell'OT bi-causale e alle sue soluzioni ottimali. Ciò garantisce che il rilassamento sia un surrogato principiato e non solo euristico.

3. Algoritmo a Gradiente di Politica:

   • Parametrizzazione: L'accoppiamento è parametrizzato utilizzando modelli condizionali espressivi, in particolare flussi normalizzanti (strati di spline neurali), che permettono una valutazione esatta della densità logaritmica.
   • Rappresentazione del Gradiente: Gli autori derivano una rappresentazione esplicita a gradiente di politica per l'obiettivo rilassato. Il gradiente si decompone in due componenti:
     • Una componente valore ($\nabla J_{val}$): Un'attesa sotto l'accoppiamento parametrizzato corrente, ponderata dal costo cumulativo residuo.
     • Una componente KL ($\nabla J_{KL}$): Un'attesa sotto le dinamiche marginali prescritte (misura di riferimento), che cattura il termine di penalità.
   • Stima: L'algoritmo impiega stimatori di gradiente non distorti su mini-batch. Per ridurre la varianza, utilizza variabili di controllo dipendenti dallo stato adattate su traiettorie ausiliarie.
   • Convergenza: Il lavoro fornisce garanzie di convergenza non asintotica, mostrando che il rimpianto medio è dell'ordine $O(1/K)$ sotto condizioni di Polyak–Łojasiewicz, dove $K$ è il numero di iterazioni.

Contributi Chiave

• Teoria del Rilassamento: L'instaurazione di principi di programmazione dinamica per il problema rilassato KL e la prova della $\Gamma$-convergenza al problema vincolato originale.
• Algoritmo Scalabile: Lo sviluppo di un algoritmo a gradiente di politica con stimatori non distorti e riduzione della varianza, capace di gestire marginali generali (inclusi casi continui e ad alta dimensionalità) senza richiedere la discretizzazione degli spazi di stato o di azione.
• Garanzie di Convergenza: Derivazione di limiti di rimpianto non asintotici ($O(1/K)$) per il metodo di ottimizzazione stocastica proposto.
• Validazione Empirica: Dimostrazione della capacità del metodo di catturare sia leggi marginali che dipendenze temporali in contesti sintetici e applicazioni reali.

Risultati
Il lavoro convalida il quadro attraverso esperimenti sintetici e due applicazioni specifiche:

1. Esperimenti Sintetici:

   • Il metodo recupera accuratamente le distribuzioni marginali (sia Gaussiane che non Gaussiane/Beta) e le dipendenze temporali (correlazioni tra passi adiacenti) in contesti sia unimodali che bimodali.
   • Le metriche di prestazione (distanza di Wasserstein, distanza di KS, distanza di Wasserstein tagliata) mostrano una bassa discrepanza tra le distribuzioni generate e quelle reali.
   • Il metodo scala efficacemente a dimensioni superiori ($d=3$) e orizzonti più lunghi ($N=10$).

2. Copertura Robusta (Applicazione Finanziaria):

   • Il quadro è applicato per calcolare prezzi di sottocopertura robusta per derivati finanziari sotto vincoli non anticipativi.
   • L'accoppiamento appreso recupera limiti di prezzo quasi ottimi con errori relativi inferiori all'1% rispetto alle soluzioni in forma chiusa.
   • Il metodo preserva le dinamiche martingala e supera gli approcci esistenti in termini di velocità computazionale (ad esempio, più veloce dei metodi di iterazione del valore adattata).

3. Downscaling Statistico di Serie Temporali:

   • Il metodo è utilizzato per generare serie temporali ad alta fedeltà da osservazioni a bassa fedeltà, prima debiasando i dati a bassa risoluzione tramite OT bi-causale.
   • Il modello di diffusione condizionale "aggiustato-OT" supera significativamente la generazione incondizionata e la condizionalità diretta su dati grezzi, ottenendo minori discrepanze distributive e correlazioni temporali più accurate.

Significato e Affermazioni
Il lavoro afferma di fornire un approccio computazionale scalabile all'OT bi-causale, colmando il divario tra quadri teorici e implementazione pratica in contesti dove i vincoli di informazione non anticipativa sono essenziali.

• Fattibilità Computazionale: Convertendo il problema vincolato sullo spazio dei percorsi in un problema di ottimizzazione stocastica differenziabile, il metodo rende l'OT bi-causale trattabile per distribuzioni continue e orizzonti lunghi, superando la "maledizione della dimensionalità" e i costi di memoria associati ai metodi precedenti.
• Generalità: Il quadro è applicabile a marginali generali, non limitato a campioni discreti o empirici.
• Utilità Pratica: I risultati suggeriscono che l'OT bi-causale può servire come primitiva computazionale pratica per pipeline di ottimizzazione e quantificazione dell'incertezza più ampie nella ricerca operativa e nella finanza quantitativa, specificamente per compiti come la copertura robusta e il downscaling statistico, dove il rispetto del flusso di informazioni è critico per la qualità delle decisioni.

Gli autori mantengono un tono modesto riguardo al lavoro futuro, notando che, sebbene l'analisi corrente si concentri sul contesto markoviano, il quadro potrebbe essere esteso a contesti non markoviani e costi dipendenti dal percorso, sebbene ciò richiederebbe ulteriore sviluppo teorico.