Constrained Density Estimation via Optimal Transport

1. Il Problema

Il lavoro affronta il problema della stima della densità in presenza di vincoli di aspettazione (expectation constraints). In molti scenari pratici (finanza, inferenza statistica, allocazione delle risorse), si dispone di una distribuzione a priori (o sorgente) $\rho$, ma la distribuzione target $\mu$ non è specificata esplicitamente. Invece, $\mu$ è definita solo attraverso vincoli sui valori attesi di un insieme di funzioni $\{f_k\}$:
$$\int f_k(y) d\mu = \bar{f}_k$$
L'obiettivo è trovare la densità target $\mu$ che sia "più vicina" alla prior $\rho$ secondo una metrica specifica, rispettando tali vincoli.

Il paper critica l'approccio tradizionale basato sulla divergenza di Kullback-Leibler (KL), che misura la dissimilarità in modo "verticale" (confrontando i valori delle densità punto per punto). Tale approccio tende a produrre soluzioni con artefatti come angoli acuti o distorsioni verticali. L'autori propongono invece di utilizzare la distanza di Wasserstein (o distanza di trasporto ottimo), che offre una misura "orizzontale" della dissimilarità, quantificando lo spostamento necessario nello spazio delle variabili per allineare le distribuzioni.

2. Metodologia

Formulazione del Problema

Il problema è formulato come un Problema di Trasporto Ottimo Vincolato (Constrained Optimal Transport - COT).

• Obiettivo: Minimizzare il costo di trasporto (distanza di Wasserstein) tra la prior $\rho$ e la target $\mu$.
• Vincoli: I valori attesi delle funzioni $\{f_k\}$ sotto $\mu$ devono essere uguali a valori dati $\{\bar{f}_k\}$.
• Formulazioni: Il problema è presentato sia nella formulazione di Monge (mappe deterministiche $T$) che di Kantorovich (piani di trasporto $\pi$). È dimostrato che, per costi quadratici in 1D, la mappa ottima è monotona.

Gestione delle Non-Linearità e Vincoli di Liscezza

Un problema critico identificato è che quando le funzioni vincolanti $\{f_k\}$ non sono lisce (es. funzioni indicatrici o ReLU), la soluzione ottima tende a essere singolare:

• Accumulo di massa su insiemi di misura nulla (delta di Dirac).
• Formazione di "buchi" (gap) dove la densità è zero.

Per mitigare questi artefatti, il framework introduce vincoli di regolarizzazione disuguali:

1. Limitare l'accumulo di massa: $\int p_\mu^2(y) dy \leq M_\delta$.
2. Limitare le densità troppo basse in domini specifici: $\int_D \frac{1}{p_\mu(y)} dy \leq M_0$.

Algoritmo Numerico

Poiché soluzioni analitiche esplicite sono raramente disponibili per problemi generali (specialmente con vincoli di regolarizzazione), gli autori sviluppano un algoritmo numerico basato su campioni:

1. Approssimazione Empirica: La prior $\rho$ è approssimata da un insieme di campioni $\{x_i\}$. Si cerca una trasformazione che mappi questi campioni in $\{y_i\}$ (campioni di $\mu$).
2. Funzione di Perdita: Si minimizza una funzione di costo che include:
   • Il costo di trasporto quadratico medio.
   • Penalità quadratiche per i vincoli di aspettazione.
   • Funzioni barriera per i vincoli di regolarizzazione (disuguali).
3. Strategia di Annealing: Poiché le funzioni vincolanti (come ReLU o indicatori) hanno gradienti nulli o non definiti, si utilizza una tecnica di mollificazione (smussamento) con un parametro $\epsilon$.
   • Si inizia con un $\epsilon$ grande per garantire gradienti non nulli.
   • Si esegue la discesa del gradiente.
   • Si riduce progressivamente $\epsilon$ (annealing) fino a convergere alla soluzione per le funzioni originali non lisce.
4. Ottimizzazione: Utilizzo di una ricerca di linea con backtracking (condizione di Armijo-Goldstein) per determinare il passo di apprendimento.

3. Contributi Chiave

1. Nuovo Framework OT: Introduzione di un modello di trasporto ottimo generalizzato che incorpora vincoli di aspettazione direttamente sulla distribuzione target, estendendo l'applicabilità dell'OT oltre i problemi classici di trasporto.
2. Confronto KL vs. Wasserstein: Dimostrazione teorica ed empirica che l'approccio basato su Wasserstein sposta la massa orizzontalmente (preservando meglio la struttura della distribuzione), mentre l'approccio KL la "stira" verticalmente, creando artefatti indesiderati.
3. Gestione delle Singolarità: Sviluppo di vincoli di regolarizzazione (inequazioni) e di un algoritmo di annealing per gestire funzioni non lisce, evitando la formazione di delta di Dirac e gap nella densità stimata.
4. Algoritmo Scalabile: Proposta di un metodo numerico efficace per prior basate su campioni (empirical measures), cruciale per applicazioni reali dove la prior non è nota in forma chiusa.

4. Risultati

I risultati sono validati attraverso esempi sintetici e un caso di studio finanziario:

• Esempi 1D e 2D:

  • In problemi con vincoli su funzioni indicatrici (es. supporto limitato a un intervallo o cerchio), la soluzione OT non regolarizzata produce masse concentrate sui bordi. L'aggiunta dei vincoli di regolarizzazione distribuisce la massa in modo più realistico, riempiendo i gap.
  • Confrontando con la minimizzazione KL, la soluzione OT mostra una migliore preservazione della forma della distribuzione sottostante, evitando le distorsioni verticali tipiche del KL.

• Caso Studio Finanziario (Pricing di Opzioni):

  • Scenario: Stima della misura di pricing neutrale al rischio di un asset dato il prezzo di alcune opzioni vanilla (vincoli).
  • Test: Utilizzo di dati sintetici (distribuzione log-normale come ground truth) per stimare la misura target e poi prezzare opzioni esotiche (Up-and-out, Cash-or-nothing, Asset-or-nothing).
  • Performance: Il metodo basato su Wasserstein (sia standard che regolarizzato) ha ottenuto errori relativi significativamente inferiori rispetto al metodo KL e alla prior iniziale. In 5 casi su 6 testati, il metodo Wasserstein ha mostrato l'errore più basso.
  • Conclusione: La distanza di Wasserstein si è rivelata una metrica superiore per la calibrazione dei modelli di pricing, in quanto meglio capace di incorporare le informazioni dei vincoli di mercato senza distorcere eccessivamente la distribuzione sottostante.

5. Significato e Implicazioni

Questo lavoro è significativo perché:

• Ponte tra Teoria e Pratica: Fornisce un framework matematico rigoroso ma implementabile numericamente per problemi di stima della densità in contesti reali dove i dati sono parziali o vincolati.
• Alternativa al KL: Offre un'alternativa solida alla massima verosimiglianza (o minimizzazione KL), che è spesso inadeguata quando si tratta di spostare masse di probabilità in modo geometricamente coerente.
• Applicabilità Finanziaria: Dimostra l'efficacia nel settore finanziario, un campo dove la corretta stima della distribuzione sottostante è critica per la valutazione di derivati complessi e la gestione del rischio.
• Flessibilità: La metodologia è generale e può essere applicata a qualsiasi dominio (economia, fisica, machine learning) dove si debba trovare una distribuzione che soddisfi vincoli di momento o aspettazione partendo da una prior.

In sintesi, il paper propone un avanzamento metodologico che combina la robustezza geometrica del Trasporto Ottimo con la flessibilità dei vincoli di aspettazione, risolvendo efficacemente il problema della stima della densità in presenza di dati incompleti o vincolati.