Infinite-dimensional spherical-radial decomposition for probabilistic functions, with application to constrained optimal control and Gaussian process regression

1. Il Problema

Il lavoro affronta problemi di ottimizzazione stocastica sotto incertezza, in particolare la stima e l'ottimizzazione di funzioni di probabilità definite su variabili casuali a dimensione infinita. Questi problemi sorgono in contesti come:

• Ottimizzazione stocastica con vincoli di probabilità (Chance-constrained optimization): Minimizzare un costo soggetta a vincoli che devono essere soddisfatti con una certa probabilità $p$.
• Controllo ottimo di PDE stocastiche: Dove lo stato del sistema è governato da equazioni alle derivate parziali con dati incerti.
• Regressione con Processi Gaussiani (GP): Dove si desidera ottimizzare i parametri del kernel garantendo che il processo a posteriori soddisfi vincoli di limite con alta probabilità.

La sfida principale risiede nella natura delle variabili casuali $\xi$, che sono spesso campi casuali su un dominio spaziale $D$. Queste vengono tipicamente rappresentate tramite espansioni infinite (es. espansione di Karhunen-Loève):
$$\xi(x) = \bar{\xi}(x) + \sum_{k=1}^{\infty} \xi_k \phi_k(x)$$
L'approssimazione diretta di queste funzioni di probabilità richiede l'integrazione su spazi a dimensionalità molto alta o infinita. I metodi tradizionali di Monte Carlo (MC) sono computazionalmente costosi e non forniscono gradienti affidabili per l'ottimizzazione. La decomposizione sferico-radiale (SRD) è un metodo efficiente per distribuzioni ellittiche in dimensioni finite, ma la sua applicazione diretta a spazi infiniti tramite troncamento introduce un bias (errore sistematico) significativo.

2. Metodologia: hiSRD (Hybrid infinite-dimensional SRD)

Gli autori propongono un nuovo metodo chiamato hiSRD (Hybrid infinite-dimensional Spherical-Radial Decomposition) che combina la SRD classica con il campionamento Monte Carlo standard per eliminare il bias di troncamento mantenendo i vantaggi della varianza ridotta.

Concetto Chiave

Invece di troncare semplicemente l'espansione della variabile casuale a un numero finito $K$ di termini (il che causa bias), lo spazio di Hilbert $H$ viene decomposto in due sottospazi ortogonali:

1. Sottospazio principale ($H_K$): Spazio generato dai primi $K$ termini dell'espansione. Su questo sottospazio viene applicata la SRD.
2. Spazio di resto ($H_R$): Spazio generato dai termini rimanenti (infiniti). Su questo spazio viene applicato il campionamento Monte Carlo standard.

La variabile casuale $\xi$ è decomposta come $\xi = \xi_K + \xi_R$. La funzione di probabilità $\phi(u) = P(g(u, \xi) \le 0)$ viene riscritta come un integrale doppio:
$$\phi(u) = \int_{H_R} \left( \int_{S^{K-1}} \mu_{\chi_K}(\{r \ge 0 : g(u, \bar{\xi} + z + r L_K v) \le 0\}) d\mu_U(v) \right) d\mu_{\xi_R}(z)$$
Dove:

• $z$ è una realizzazione del resto $\xi_R$ (campionato via MC).
• $v$ è un punto sulla sfera unitaria $S^{K-1}$ (campionato via SRD).
• $r$ è la coordinata radiale.

Gestione della Convessità e dei Gradienti

Un'innovazione cruciale è la generalizzazione della definizione delle distanze di ingresso ($\rho_{in}$) e uscita ($\rho_{out}$) lungo i raggi. Poiché il centro spostato $\bar{\xi} + z$ può cadere fuori dall'insieme ammissibile (a differenza della SRD classica che assume il centro all'interno), il metodo calcola l'intervallo di intersezione del raggio con l'insieme ammissibile.
Gli autori dimostrano teoricamente che l'estimatore risultante è:

• Non distorto (Unbiased): Indipendentemente dalla dimensione di troncamento $K$.
• Differenziabile: Forniscono formule esplicite per il gradiente $\nabla \phi(u)$, essenziali per algoritmi di ottimizzazione basati sul gradiente (es. SQP).
• A bassa varianza: La componente SRD riduce la varianza rispetto al MC puro, mentre la componente di resto gestisce l'infinità dimensionale.

3. Contributi Principali

1. Generalizzazione alla dimensione infinita: Estensione della SRD a distribuzioni ellittiche in spazi di Hilbert separabili, risolvendo il problema del bias introdotto dal troncamento.
2. Analisi teorica della varianza: Dimostrazione che la riduzione di varianza della SRD si degrada all'aumentare della dimensione $K$ (convergenza verso la varianza del MC standard con tasso $O(K^{-1/2})$), giustificando l'approccio ibrido.
3. Differenziabilità: Estensione dei risultati di differenziabilità della SRD finita al caso ibrido, gestendo casi geometrici complessi (raggi che entrano ed escono dall'insieme ammissibile).
4. Applicazioni pratiche: Implementazione e validazione numerica su due problemi complessi:
   • Controllo ottimo stocastico di un'equazione alle derivate parziali ellittica con vincoli di probabilità congiunti sullo stato.
   • Ottimizzazione dei parametri del kernel nella regressione con Processi Gaussiani sotto vincoli di probabilità congiunti.

4. Risultati Numerici

Gli esperimenti confermano l'efficacia del metodo hiSRD rispetto ai metodi esistenti (Monte Carlo standard e SRD troncata):

• Errore Quadratico Medio (RMSE):

  • La SRD troncata mostra un bias dominante quando il numero di campioni $N$ è alto e la dimensione di troncamento $K$ è insufficiente. L'errore non scende sotto una certa soglia.
  • Il metodo hiSRD rimane non distorto indipendentemente da $K$ e raggiunge un RMSE significativamente inferiore rispetto al MC standard e alla SRD troncata.
  • L'uso di sequenze a bassa discrepanza (Quasi-Monte Carlo, QMC) sulla sfera migliora ulteriormente la convergenza.

• Analisi della Varianza:

  • L'analisi mostra che la varianza totale è composta dalla varianza della SRD condizionata ($V_{SRD}$) e dalla varianza del resto ($V_{rem}$).
  • All'aumentare di $K$, $V_{rem}$ decade rapidamente, mentre $V_{SRD}$ diventa il termine dominante ma rimane inferiore alla varianza del MC puro.

• Ottimizzazione:

  • Nel problema di controllo PDE, il metodo permette di risolvere efficientemente il problema vincolato trovando soluzioni ottimali.
  • Nella regressione GP, l'ottimizzazione dei parametri del kernel sotto vincoli di probabilità porta a una riduzione della varianza del processo a posteriori e a una lunghezza di scala più piccola per soddisfare vincoli più stringenti, dimostrando la capacità del metodo di gestire vincoli complessi in modo differenziabile.

5. Significato e Impatto

Questo lavoro è significativo perché colma un divario teorico e pratico nell'ottimizzazione stocastica ad alta dimensione.

• Superamento del compromesso Bias-Varianza: I metodi precedenti dovevano scegliere tra un bias elevato (troncamento basso) o una varianza elevata (troncamento alto). HiSRD risolve questo dilemma eliminando il bias e mantenendo una varianza controllata.
• Applicabilità a problemi reali: La capacità di calcolare gradienti accurati per funzioni di probabilità in spazi infiniti apre la strada all'uso di algoritmi di ottimizzazione basati sul gradiente in problemi di controllo ottimo PDE e ingegneria dei sistemi complessi, dove i metodi "black-box" o privi di gradiente sono inefficienti.
• Fondamento teorico solido: La dimostrazione della differenziabilità e l'analisi asintotica della varianza forniscono una base teorica robusta per l'uso di tecniche di decomposizione sferico-radiale in contesti di dimensione infinita.

In sintesi, il paper introduce un metodo ibrido che combina l'efficienza della SRD con la flessibilità del Monte Carlo, offrendo uno strumento potente per l'analisi e l'ottimizzazione di sistemi stocastici complessi con vincoli di probabilità congiunti.