Empirical risk minimization for risk-neutral composite optimal control with applications to bang-bang control

1. Il Problema

Il lavoro affronta problemi di controllo ottimo composito a rischio neutro sotto incertezza, formulati come problemi di minimizzazione della forma:
$$\min_{u \in U} G(u) := F(Bu) + \psi(u)$$
dove:

• $F(w) = \mathbb{E}[f(w, \xi)]$ è una funzione di aspettata (rischio neutro) che può essere non convessa.
• $\psi: U \to [0, \infty]$ è una funzione convessa ma potenzialmente non liscia (nonsmooth), utilizzata come regolarizzatore.
• $B: U \to W$ è un operatore lineare compatto tra uno spazio di Hilbert $U$ e uno spazio di Banach $W$.
• $\xi$ è un elemento casuale che rappresenta l'incertezza (ad esempio, coefficienti diffusivi stocastici in equazioni alle derivate parziali).

L'obiettivo specifico è l'applicazione a problemi di controllo vincolati da Equazioni alle Derivate Parziali (PDE) stocastiche, con un focus particolare sui problemi di tipo bang-bang (o bang-bang-off), dove la soluzione ottima tende ad assumere valori estremi (es. $\{-1, 0, 1\}$). Questo comportamento è promosso dalla scelta di $\psi(u) = \beta \|u\|_{L^1} + I_{U_{ad}}(u)$, che include la norma $L^1$ e una funzione indicatrice per i vincoli di ammissibilità.

2. Metodologia

Per gestire l'attesa matematica $\mathbb{E}[\cdot]$ che rende il problema intrattabile analiticamente, gli autori utilizzano l'Approssimazione della Media Campionaria (Sample Average Approximation - SAA), nota anche come minimizzazione del rischio empirico.

• Formulazione SAA: L'attesa viene sostituita dalla media su un campione di $N$ realizzazioni indipendenti $\xi_1, \dots, \xi_N$:
  $$\min_{u \in U} \hat{G}_N(u) := \hat{F}_N(Bu) + \psi(u), \quad \text{dove } \hat{F}_N(w) = \frac{1}{N}\sum_{i=1}^N f(w, \xi_i).$$
• Analisi Asintotica e Non-Asintotica: Lo studio si concentra sulla consistenza asintotica (convergenza quando $N \to \infty$) e sulla derivazione di stime non asintotiche per la dimensione del campione necessaria per garantire una certa accuratezza.
• Strumenti Matematici:
  • Utilizzo di immersioni compatte (compact embeddings) tipiche delle PDE (es. $H^1 \hookrightarrow L^2$) per gestire la non convessità e la non liscietà.
  • Analisi dei punti critici tramite funzionali di "gap" ($\Psi$ e $\hat{\Psi}_N$), definiti come il supremo di una funzione che misura la violazione delle condizioni di ottimalità del primo ordine.
  • Applicazione di teoremi di Legge dei Grandi Numeri Uniforme e stime basate sui numeri di copertura (covering numbers) degli insiemi compatti.
• Algoritmo: Per la risoluzione numerica dei problemi SAA, viene proposto l'uso di un metodo del gradiente condizionato (Conditional Gradient Method), adatto per problemi con regolarizzatori non lisci come la norma $L^1$.

3. Contributi Chiave

I principali contributi teorici e pratici del lavoro sono:

1. Consistenza Asintotica: Si dimostra che, con probabilità 1, i valori ottimali, le soluzioni e i punti critici del problema SAA convergono a quelli del problema deterministico originale (P) al crescere di $N$.
2. Stime Non Asintotiche per Problemi Non Convessi: Vengono derivati limiti superiori per l'errore atteso del funzionale di gap. In particolare, si mostra che per ogni $\epsilon > 0$, l'errore atteso è limitato da $\epsilon$ se la dimensione del campione $N$ soddisfa una disuguaglianza che dipende dal numero di copertura dell'immagine dell'insieme ammissibile tramite l'operatore $B$.
3. Tassi di Convergenza per Problemi Convessi: Nel caso in cui l'integrando sia convesso e valga una condizione di crescita (growth condition) sul funzionale obiettivo, si ottengono risultati più forti:
   • Convergenza in media delle soluzioni con tasso Monte Carlo standard ($1/\sqrt{N}$).
   • Super-convergenza (tasso $1/N$) per il valore del funzionale di gap e per la sub-ottimalità del valore della funzione obiettivo. Questo risultato è ottenuto senza richiedere la compattezza dell'operatore $B$ nel caso convesso, sfruttando invece condizioni di crescita.
4. Applicazione a PDE Bilineari e Affini: Il framework teorico è applicato con successo a problemi di controllo ottimo vincolati da PDE ellittiche sia lineari che bilineari, permettendo l'uso di regolarizzatori $L^1$ che inducono soluzioni di tipo bang-bang.

4. Risultati Numerici

Gli autori hanno condotto esperimenti numerici per validare i risultati teorici su due casi di studio:

• Problema Affine-Lineare: Controllo ottimo con PDE lineare.
• Problema Bilineare: Controllo ottimo con PDE bilineare (dove il controllo appare moltiplicando lo stato).

Risultati principali:

• Le simulazioni confermano i tassi di convergenza teorici.
• Per il problema affine-lineare, i tassi empirici di convergenza per l'errore di ottimalità e la distanza tra soluzioni sono coerenti con le previsioni teoriche ($O(1/N)$ per il gap e $O(1/\sqrt{N})$ per la distanza delle soluzioni).
• Per il problema bilineare, si osserva una convergenza ancora più rapida di quella prevista dalla teoria (tasso empirico superiore a quello teorico). Gli autori ipotizzano che questo sia dovuto al fatto che le stime basate sui numeri di copertura non sfruttano la regolarità di ordine superiore dell'integrando o la curvatura locale attorno ai minimi isolati.
• Le soluzioni ottenute mostrano chiaramente la struttura "bang-bang" (valori che si concentrano sui limiti del dominio o sullo zero), confermando l'efficacia della regolarizzazione $L^1$.

5. Significato e Impatto

Questo lavoro è significativo per diversi motivi:

• Generalità: Estende l'analisi SAA a problemi di controllo ottimo non convessi e non lisci, un ambito tradizionalmente difficile a causa della mancanza di convessità forte e della presenza di regolarizzatori come la norma $L^1$.
• Rilassamento delle Ipotesi: A differenza di lavori precedenti che richiedevano regolarizzatori forti (es. Tikhonov $L^2$) per garantire la compattezza, questo approccio utilizza la compattezza dell'operatore $B$ (tipica nelle PDE) per estendere i risultati a regolarizzatori generali convessi.
• Guida Pratica: Fornisce stime quantitative sulla dimensione del campione necessaria per ottenere una certa accuratezza, guidando la scelta delle risorse computazionali in applicazioni ingegneristiche reali (es. posizionamento di sensori, gestione di risorse energetiche, bonifica delle acque sotterranee).
• Riproducibilità: Il codice sorgente e i dati degli esperimenti sono resi disponibili pubblicamente, facilitando la verifica e l'ulteriore sviluppo della ricerca in ottimizzazione stocastica vincolata da PDE.

In sintesi, il paper fornisce un quadro teorico rigoroso e strumenti pratici per risolvere problemi di controllo ottimo stocastico complessi, ponendo le basi per l'applicazione di tecniche di ottimizzazione empirica in scenari ingegneristici ad alta dimensionalità e non linearità.