Technische Samenvatting: Een Distributioneel Robuust Framework voor Geleerde Reconstructies in Inverse Problemen

Probleemstelling

Inverse problemen beogen het herstellen van een onbekend signaal $x$ uit indirecte, ruisgevoelige metingen $y$, die doorgaans worden gemodelleerd als $y = Hx + \eta$. Hoewel geleerde reconstructie-operators (bijv. neurale netwerken) populair zijn geworden, worden ze meestal getraind onder vaste aannames over het ruismodel en de datadistributie. Hierdoor generaliseren deze modellen vaak slecht wanneer de testdistributie afwijkt van de trainingsdistributie.

Standaard Distributionally Robust Optimization (DRO) adresseert dit door te optimaliseren tegen de slechtst denkbare distributie binnen een ambiguïteitsset (typisch een Wasserstein-bal) rond de empirische distributie. Echter, standaard Wasserstein DRO perturbeert de volledige gezamenlijke distributie $\mu \in \mathcal{P}(X \times Y)$ uniform. Deze aanpak is vaak te conservatief omdat het de specifieke fysica van het meetproces negeert, waarbij onzekerheden in de inputdistributie en de meetruis (forward operator) als ononderscheidbaar worden behanden.

Methodologie: Gestructureerde DRO

De auteurs stellen Gestructureerde DRO voor, een framework dat de ambiguïteitsset beperkt tot perturbaties die in lijn zijn met het proces van data-acquisitie. De kern van het idee is het factoriseren van de datagenererende wet als $\mu = \mu_X \otimes \mu_{Y|X}$, waarbij $\mu_X$ de prior over inputs vertegenwoordigt en $\mu_{Y|X}$ de conditionele meetlikelihood (die de forward operator en ruis codeert).

Het Framework

In plaats van de gezamenlijke distributie willekeurig te perturberen, wordt de tegenstander beperkt tot een gestructureerde deelverzameling $\mathcal{K} \subseteq \mathcal{P}(X \times Y)$. Het paper richt zich primair op $Y|X$-perturbaties, waarbij de marginale inputdistributie $\mu_X$ vaststaat en alleen de conditionele distributie $\mu_{Y|X}$ wordt geperturbeerd. Dit isoleert de onzekerheid tot het meetmodel, wat overeenkomt met de fysieke realiteit dat ruis en imperfecties in de forward operator $y$ beïnvloeden gegeven $x$, maar de distributie van het onderliggende signaal $x$ niet veranderen.

Het optimalisatieprobleem wordt geformuleerd als:
$$\inf_{G \in \mathcal{G}} \sup_{\pi_{S|S} \in \Omega_{\mathcal{K}, c, \varepsilon}} \int_S \int_S \ell(r, G) \, d\pi_{S|S=s}(r) \, d\mu^*(s)$$
waarbij $\mathcal{G}$ de ruimte van reconstructie-operators is, $\ell$ de verliesfunctie is, en $\Omega_{\mathcal{K}, c, \varepsilon}$ de verzameling van toelaatbare perturbatie-kernels is, begrensd door een kostenfunctie $c$ en straal $\varepsilon$.

Theoretische Bijdragen

1. Sterke Dualiteit: De auteurs vestigen sterke dualiteit voor deze algemene formulering op compacte Polish-ruimten, waarbij zij de resultaten van Blanchet en Murthy [12] en Blanchet et al. [9] uitbreiden naar gestructureerde perturbatie-sets.
2. Expliciete Duale Representaties: Zij leiden einddimensionale duale formuleringen af voor perturbaties in de gezamenlijke, marginale en conditionele distributies.
   • Voor $P(Y|X)$-perturbaties leidt de duale formulering tot een expliciete worst-case risicobegrenzing.
3. Connectie met Regularisatie: Een centraal resultaat is de afleiding van een expliciete worst-case risicobegrenzing voor $P(Y|X)$-perturbaties:
   $$\text{Risico} \leq \left( \sqrt{\mathbb{E}[\|G(y) - x\|^2]} + L_G \sqrt{\varepsilon} \right)^2$$
   waarbij $L_G$ de Lipschitz-constante van de reconstructie-operator is. Deze begrenzing induceert een Tikhonov-type regularisatie op de Lipschitz-constante van $G$.
   • In de lineaire setting bestraft deze regularisatie de grootste singuliere waarden van de inverse operator, wat effectief een data-gedreven analoog van de truncated-SVD regularisatie herstelt die afkapt bij de intrinsieke dimensie van de data.
   • De auteurs tonen aan dat deze gestructureerde begrenzing strikt minder conservatief is dan standaard gezamenlijke DRO (die een factor van $\sqrt{1 + L_G^2}$ oplevert) voor goed gestelde problemen, omdat het de straf die gepaard gaat met het perturberen van de marginale inputdistributie wegneemt.

Computationele Implementatie

Om het framework hanteerbaar te maken, gebruiken de auteurs de conditionele Sinkhorn-afstand (entropisch geregulariseerde Wasserstein-afstand) als benadering. Zij maken gebruik van een Biased Stochastic Mirror Descent (BSMD) algoritme met bisection search om het min-max probleem op te lossen, waarbij de duale variabelen en de reconstructie-operator worden benaderd.

Experimentele Resultaten

Het framework werd geëvalueerd op verschillende inverse problemen: differentiatie, ontblurring (MNIST en CIFAR-10), en sinogram-naar-CT reconstructie.

1. Robuustheid en Stabiliteit: In alle experimenten vertoonde Gestructureerde DRO een superieure robuustheid tegen distributieverschuivingen (bijv. variërende ruisniveaus, verschillende soorten ruis zoals Gaussische vs. Poisson-ruis, en gespecificeerde forward operators) vergeleken met standaard Mean Squared Error (MSE) baselines en standaard gezamenlijke DRO.
2. Interpreteerbaarheid: Saliency maps toonden aan dat DRO-getrainde modellen zich concentreren op structureel betekenisvolle kenmerken (randen, streken) en achtergrondruis negeren, terwijl MSE-baselines een diffuse, ongestructureerde gevoeligheid vertoonden.
3. Spectraal Gedrag: In de differentiatie-taak werd aangetoond dat de geleerde DRO-inverse effectief low-rank is, waarbij singuliere waarden voorbij de intrinsieke dimensie van de data worden afgekapt, wat de theoretische link met truncated-SVD bevestigt.
4. Forward Simulatie: Het framework werd ook toegepast op een "robuuste simulator" (het leren van een forward map die stabiel is onder input-perturbaties), wat de flexibiliteit buiten inverse problemen aantoont.
5. CT-Reconstructie: In low-dose CT-reconstructie (hoge ruis) behield de DRO-UNet de beeldkwaliteit en structurele integriteit, waar de MSE-UNet significant degradeerde met artefacten.

Betekenis en Claims

Het paper claimt dat Gestructureerde DRO de kloof overbrugt tussen distributioneel robuuste optimalisatie en klassieke inverse probleem-regularisatie. Door perturbaties te beperken tot de conditionele distributie $P(Y|X)$, zorgt het framework voor:

• Getrouwere Modellering van Onzekerheid: Het respecteert de fysica van het meetproces door de onzekerheid van de input te scheiden van de meetruis.
• Vermindering van Conservatisme: Het biedt een minder conservatieve risicobegrenzing dan standaard DRO voor goed gestelde problemen, waardoor onnodige straffen op de inputdistributie worden vermeden.
• Inductie van Interpreteerbare Regularisatie: Het leidt natuurlijk tot Lipschitz-regularisatie, wat in lineaire settings manifesteert als data-gedreven truncated-SVD, wat een theoretische rechtvaardiging biedt voor de stabiliteit van geleerde inverses.
• Verbeterde Generalisatie: Het levert reconstructie-operators op die stabieler en interpreteerbaarder zijn onder out-of-distribution condities, inclusief variërende ruismodellen en fout gespecificeerde forward operators.

De auteurs concluderen dat hoewel de huidige implementatie steunt op entropische benaderingen, het framework een principieel pad biedt naar het leren van robuuste reconstructie-operators die inherent zijn afgestemd op de structuur van het inverse probleem.