Sintesi Tecnica: Un Framework Distribuzionalmente Robusto per Ricostruzioni Apprese in Problemi Inversi

Definizione del Problema

I problemi inversi mirano a recuperare un segnale ignoto $x$ da misurazioni indirette e rumorose $y$, tipicamente modellate come $y = Hx + \eta$. Sebbene gli operatori di ricostruzione appresi (ad esempio, le reti neurali) siano diventati popolari, essi sono solitamente addestrati sotto assunzioni fisse riguardanti il modello di rumore e la distribuzione dei dati. Di conseguenza, questi modelli spesso generalizzano scarsamente quando la distribuzione di test diverge dalla distribuzione di addestramento.

La standard Distributionally Robust Optimization (DRO) affronta questo problema ottimizzando rispetto alla peggiore distribuzione all'interno di un insieme di ambiguità (tipicamente una palla di Wasserstein) attorno alla distribuzione empirica. Tuttavia, la standard Wasserstein DRO perturba l'intera distribuzione congiunta $\mu \in \mathcal{P}(X \times Y)$ in modo uniforme. Questo approccio è spesso eccessivamente conservativo perché ignora la specifica fisica del processo di misurazione, trattando le incertezze nella distribuzione di input e nel rumore di misurazione (operatore diretto) come indistinguibili.

Metodologia: Structured DRO

Gli autori propongono la Structured DRO, un framework che restringe l'insieme di ambiguità a perturbazioni allineate con il processo di acquisizione dei dati. L'idea centrale è quella di fattorizzare la legge generatrice dei dati come $\mu = \mu_X \otimes \mu_{Y|X}$, dove $\mu_X$ rappresenta il prior sugli input e $\mu_{Y|X}$ rappresenta la verosimiglianza condizionale della misurazione (che codifica l'operatore diretto e il rumore).

Il Framework

Invece di perturbare arbitrariamente la distribuzione congiunta, l'avversario è vincolato a un sottoinsieme strutturato $\mathcal{K} \subseteq \mathcal{P}(X \times Y)$. Il paper si concentra principalmente sulle perturbazioni $Y|X$, dove la marginale di input $\mu_X$ è fissa e solo la distribuzione condizionale $\mu_{Y|X}$ viene perturbata. Ciò isola l'incertezza alla misurazione, allineandosi con la realtà fisica secondo cui il rumore e le imperfezioni dell'operatore diretto influenzano $y$ dato $x$, ma non alterano la distribuzione del segnale sottostante $x$.

Il problema di ottimizzazione è formulato come:
$$\inf_{G \in \mathcal{G}} \sup_{\pi_{S|S} \in \Omega_{\mathcal{K}, c, \varepsilon}} \int_S \int_S \ell(r, G) \, d\pi_{S|S=s}(r) \, d\mu^*(s)$$
dove $\mathcal{G}$ è lo spazio degli operatori di ricostruzione, $\ell$ è la funzione di perdita e $\Omega_{\mathcal{K}, c, \varepsilon}$ è l'insieme dei kernel di perturbazione ammissibili vincolati da una funzione di costo $c$ e un raggio $\varepsilon$.

Contributi Teorici

1. Dualità Forte: Gli autori stabiliscono la dualità forte per questa formulazione generale su spazi polacchi compatti, estendendo i risultati di Blanchet e Murthy [12] e Blanchet et al. [9] ai set di perturbazione strutturati.
2. Rappresentazioni Duali Esplicite: Derivano formulazioni duali a dimensione finita per le perturbazioni nelle distribuzioni congiunte, marginali e condizionali.
   • Per le perturbazioni $P(Y|X)$, la formulazione duale porta a un esplicito limite del rischio nel caso peggiore.
3. Connessione con la Regolarizzazione: Un risultato centrale è la derivazione di un esplicito limite del rischio nel caso peggiore per le perturbazioni $P(Y|X)$:
   $$\text{Rischio} \leq \left( \sqrt{\mathbb{E}[\|G(y) - x\|^2]} + L_G \sqrt{\varepsilon} \right)^2$$
   dove $L_G$ è la costante di Lipschitz dell'operatore di ricostruzione $G$. Questo limite induce una regolarizzazione di tipo Tikhonov sulla costante di Lipschitz di $G$.
   • Nel setting lineare, questa regolarizzazione penalizza i valori singolari più grandi dell'operatore inverso, recuperando efficacementmente un analogo data-driven della regolarizzazione SVD troncata che tronca all'altezza della dimensione intrinseca dei dati.
   • Gli autori dimostrano che questo limite strutturato è strettamente meno conservativo della standard joint DRO (che produce un fattore di $\sqrt{1 + L_G^2}$) per problemi ben posti, poiché rimuove la penalità associata alla perturbazione della marginale di input.

Implementazione Computazionale

Per rendere il framework trattabile, gli autori utilizzano la distanza di Sinkhorn condizionale (distanza di Wasserstein con regolarizzazione entropica) come approssimazione. Utilizzano un algoritmo di Biased Stochastic Mirror Descent (BSMD) con ricerca per bisezione per risolvere il problema min-max, approssimando le variabili duali e l'operatore di ricostruzione.

Risultati Sperimentali

Il framework è stato valutato su diversi problemi inversi: differenziazione, deblurring (MNIST e CIFAR-10) e ricostruzione sinogramma-CT.

1. Robustezza e Stabilità: In tutti gli esperimenti, la Structured DRO ha dimostrato una robustezza superiore agli shift distribuzionali (ad esempio, livelli di rumore variabili, diversi tipi di rumore come Gaussiano vs Poisson, e operatori diretti errati) rispetto ai baseline standard di Errore Quadratico Medio (MSE) e alla standard joint DRO.
2. Interpretabilità: Le mappe di salienza hanno rivelato che i modelli addestrati con DRO si concentrano su caratteristiche strutturalmente significative (bordi, tratti) e ignorano il rumore di fondo, mentre i baseline MSE esibivano una sensibilità diffusa e non strutturata.
3. Comportamento Spettrale: Nel compito di differenziazione, è stato dimostrato che l'inverso appreso tramite DRO è efficacemente a basso rango, troncando i valori singolari oltre la dimensione intrinseca dei dati, confermando il legame teorico con la SVD troncata.
4. Simulazione Diretta: Il framework è stato applicato anche a un "simulatore robusto" (apprendimento di una mappa diretta stabile sotto perturbazioni di input), dimostrando la sua flessibilità oltre i problemi inversi.
5. Ricostruzione CT: Nella ricostruzione CT a basso dosaggio (alto rumore), l'UNet-DRO ha mantenuto la qualità dell'immagine e l'integrità strutturale laddove l'UNet-MSE degradava significativamente con artefatti.

Significato e Rivendicazioni

Il paper sostiene che la Structured DRO colma il divario tra l'ottimizzazione distribuzionalmente robusta e la classica regolarizzazione dei problemi inversi. Vincolando le perturbazioni alla distribuzione condizionale $P(Y|X)$, il framework:

• Modella l'incertezza in modo più fedele: Rispetta la fisica del processo di misurazione separando l'incertezza di input dal rumore di misurazione.
• Riduce il Conservatorismo: Fornisce un limite del rischio meno conservativo rispetto alla standard DRO per problemi ben posti, evitando penalità non necessarie sulla distribuzione di input.
• Induce una Regolarizzazione Interpretabile: Porta naturalmente alla regolarizzazione di Lipschitz, che nei setting lineari si manifesta come SVD troncata data-driven, offrendo una giustificazione teorica per la stabilità degli inversi appresi.
• Migliora la Generalizzazione: Produce operatori di ricostruzione che sono più stabili e interpretabili in condizioni fuori distribuzione, inclusi modelli di rumore variabili e operatori diretti errati.

Gli autori concludono che, sebbene l'attuale implementazione si basi su approssimazioni entropiche, il framework fornisce una via ben fondata verso l'apprendimento di operatori di ricostruzione robusti che siano intrinsecamente allineati con la struttura del problema inverso.