Technische Samenvatting: Physics Matters in PnP: Recovery Guarantees with the MMSE and NN Denoisers

1. Probleemstelling

Het artikel behandelt het lineaire slecht gestelde inverse probleem van het herstellen van een willekeurige vector $x \in \mathbb{R}^n$ uit een observatie $y \in \mathbb{R}^m$ die wordt beheerst door het voorwaartse model:
$$y = Ax + e$$
waarbij $A: \mathbb{R}^n \to \mathbb{R}^m$ een lineaire operator is, en $e$ Gaussische ruis is met een gemiddelde van nul en een mogelijk niet-diagonale, positief definiete covariantie-matrix $\Sigma_E$. Het probleem is slecht gesteld en potentieel niet-uniek als $A$ niet injectief is.

De auteurs onderzoeken het Plug-and-Play (PnP) paradigma, specifiek de forward-backward splitting (FBS) iteratie. In tegenstelling tot klassieke benaderingen die vertrouwen op expliciete regularisatiefuncties, vervangt PnP de proximale operator door een denoising operator $\hat{D}$. De algemene iteratie die wordt overwogen is:
$$x_{k+1} = \hat{D}(x_k + \gamma B(y - Ax_k))$$
waarbij $\gamma > 0$ een stapgrootte is en $B \in \mathbb{R}^{n \times m}$ een lineaire operator is. De centrale uitdaging die wordt aangepakt, is het vaststellen van rigoureuze herstelgaranties (foutgrenzen) voor deze iteratie wanneer de denoiser de Minimum Mean Square Error (MMSE) schatter is, en het uitbreiden van deze resultaten naar gevallen waarin de MMSE wordt benaderd door een neuraal netwerk (NN).

Een cruciaal onderscheid in dit werk is de behandeling van de ruisverdeling. Terwijl veel bestaande PnP-analyses aannemen dat de denoiser is getraind op isotrope Gaussische ruis ($\sigma^2 I$), besch Considereert dit artikel gedegenereerde Gaussische ruis met algemene covariantiestructuren, in de erkenning dat de ruis die in de PnP-iteratie in de denoiser wordt geïnjecteerd, afhankelijk is van de voorwaartse operator $A$ en de keuze van $B$.

2. Methodologie

2.1 Het MMSE Denoiser Framework

De auteurs definiëren de optimale denoiser $\hat{D}$ als de MMSE-schatter van $X$ gegeven een verruiste observatie $Z = X + \Upsilon$, waarbij $\Upsilon \sim \mathcal{N}(0, \Sigma_\Upsilon)$. Cruciaal is dat $\Sigma_\Upsilon$ niet wordt aangenomen isotroop te zijn; het mag gedegenereerd zijn (rank-tekortrijk) en wordt gekozen om overeen te komen met de distributie van de ruisterm $\gamma B e$ die tijdens de PnP-iteratie wordt gegenereerd.

De MMSE-schatter wordt gedefinieerd als de posterieure conditionele gemiddelde:
$$\hat{D}_\mu(z) = \mathbb{E}[X | Z=z] = \frac{\int x \phi(z-x; \tilde{\Sigma}_\Upsilon) d\mu(x)}{\int \phi(z-x; \tilde{\Sigma}_\Upsilon) d\mu(x)}$$
waarbij $\phi$ de Gaussische dichtheidskern is die is aangepast aan de subruimte $V = \text{Im}(\Sigma_\Upsilon)$.

2.2 Belangrijke Aannames

De analyse steunt op verschillende structurele aannames:

• Compactheid: De ondersteuning van de prior-distributie $\mu_X$ is compact en begrensd door $M$.
• Subspace Consistentie: De ondersteuning van $\mu_X$ ligt binnen de subruimte $V$ gespannen door de ruis-covariantie $\Sigma_\Upsilon$.
• Operator Eigenschappen: De matrix $BA$ is symmetrisch en positief semidefiniet. De operator $B$ brengt naar $V$.
• Beperkte Injectiviteit: De intersectie van de kernel van $BA$ en de raakconus van de convexe omhullende van de ondersteuning van $\mu_X$ is triviaal, wat inversibiliteit op de relevante verzameling garandeert.

2.3 Analyse van Neurale Netwerk Approximaties

In het besef dat de exacte MMSE-schatter computationeel onhandelbaar is in hoge dimensies, breiden de auteurs hun analyse uit naar denoisers geparametriseerd door ReLU neurale netwerken. Ze maken gebruik van benaderingstheorie om de noodzakelijke breedte, diepte en gewichtsmagnitude van een netwerk te begrenzen dat de identiteitsafbeelding (en dus de MMSE-denoiser) op de ondersteuning van de prior kan benaderen met een specifieke precisie $\epsilon$.

3. Belangrijkste Bijdragen

Het artikel levert drie primaire bijdragen, waarbij het verder gaat dan de "black-box" visie op PnP-denoisers:

1. Regulariteit en Stabiliteit van MMSE Denoisers:
   De auteurs stellen vast dat de MMSE-denoiser Lipschitz-continu is en, onder specifieke condities (Gaussische ruis met niet-gedegenereerde covariantie), cocoercief. Dit biedt een rigoureuze theoretische rechtvaardiging voor de "firm non-expansiveness" die vaak heuristisch wordt afgedwongen in PnP-methoden. Ze bewijzen ook de stabiliteit van de denoiser ten opzichte van de prior-maat (Wasserstein-continuïteit).

2. Herstelgaranties voor PnP met MMSE:
   Het artikel leidt puntuele en Wasserstein-afstand herfelfoutgrenzen af voor de P P-FBS iteratie.

   • Puntuele Grenzen: De herfelfout hangt af van de conditiegetal van de operator $BA$ beperkt tot de raakconus van de oplossingsverzameling, het ruisniveau en de bemonsteringsfout van de empirische prior.
   • Wasserstein Grenzen: De distributie van de iteraties convergeert naar de ware prior-distributie. De grens bevat expliciet een Bures-metriek term, die de discrepantie meet tussen de ruisverdeling die gebruikt wordt om de denoiser te trainen ($\Upsilon$) en de effectieve ruis in de iteratie ($\gamma B E$).

3. De Noodzaak van Physics-Aware Denoisers:
   Een centrale theoretische bevinding is dat de denoiser niet op een physics-agnostische manier gekozen kan worden. De keuze van de operator $B$ en de ruis-covariantie $\Sigma_\Upsilon$ die gebruikt wordt om de denoiser te construeren, moet gekoppeld zijn. Specifiek, voor optimale prestaties moet de denoiser getraind zijn op ruisstatistieken die overeenkomen met de getransformeerde observatieruis $\gamma B E$. De standaardkeuze $B = A^\top$ impliceert dat de denoiser agnostisch is voor het voorwaartse model, wat de auteurs laten zien tot suboptimale herstelgrenzen leidt, tenzij aan specifieke voorwaarden wordt voldaan.

4. Hoofdresultaten

4.1 Puntueel Herstel

Theorem 3.2 biedt een grens op de reconstructiefout $\|x_k - x\|$. De fout convergeert naar een omgeving van de oplossing die bepaald wordt door:

• Ruisversterking: Proportioneel aan $\gamma \|B\| \|e\|$.
• Denoiser Prestaties: Gerelateerd aan de afstand tussen het ware signaal en de empirische trainingsvoorbeelden.
• Conditionering: De convergentiesnelheid $q$ hangt af van het conditiegetal van $BA$ op de oplossingsverzameling.
  Cruciaal is dat de grens standhoudt, zelfs als de denoiser niet contractief is, mits het conditiegetal van $BA$ voldoende gunstig is ten opzichte van de Lipschitz-constante van de denoiser.

4.2 Distributioneel Herstel

Theorem 3.6 stelt grenzen vast voor de verwachte gekwadrateerde Wasserstein-afstand $W_2^2(\hat{\mu}_k, \mu_X)$ tussen de distributie van de iteraties en de ware prior. De grens laat zien dat de fout wordt geminimaliseerd wanneer de covariantie van de trainingsruis $\Sigma_\Upsilon$ overeenkomt met de covariantie van de iteratieruis $\gamma^2 B \Sigma_E B^\top$. Als deze match perfect is, verdwijnt de Bures-metriek term, wat de grens aanzienlijk verbetert.

4.3 Neurale Netwerk Approximatie

Theorem 3.11 breidt de puntuele grenzen uit naar het geval waarin de MMSE-denoiser wordt vervangen door een getraind neuraal netwerk. De foutgrens bevat termen voor:

• De benaderingsfout van het netwerk (afhankelijk van $\epsilon$).
• De Lipschitz-constanten van het netwerk.
• De bemonsteringsfout van de trainingsdata.
  De auteurs leiden specifieke vereisten af voor de diepte en breedte van het netwerk om een gewenste benaderingsprecisie te bereiken, waarbij ze aantonen dat de herstelgaranties standhouden mits het netwerk voldoende expressief is.

5. Betekenis en Claims

Het artikel claimt dat de analyse fundamenteel het begrip van PnP-methoden verschuift door aan te tonen dat physics matters.

• Verwerping van Agnostisme: De auteurs betogen dat de gangbare praktijk van het trainen van denoisers op generieke ruis (bijv. isotrope Gaussische ruis) en het toepassen van deze op inverse problemen met willekeurige voorwaartse operatoren $A$ en ruis-covarianties $\Sigma_E$ theoretisch gebrekkig is. De denoiser moet "physics-aware" zijn, wat betekent dat de trainingsruisverdeling moet uitlijnen met de effectieve ruis geïntroduceerd door de operator $B$ in de PnP-iteratie.
• Verzwakte Aannames: Door gebruik te maken van de specifieke eigenschappen van de MMSE-schatter (cocoerciviteit en Lipschitz-grenzen afgeleid van de prior), leiden de auteurs herstelgaranties af zonder de sterke aanname te vereisen dat de denoiser een contractie-afbeelding of een proximale operator van een convexe functie is.
• Kwantitatieve Grenzen: Het artikel biedt expliciete, niet-asymptotische foutgrenzen die de trade-offs kwantificeren tussen de conditionering van het inverse probleem, de kwaliteit van de denoiser (en de trainingsdata), en het ruisniveau.

Concluderend biedt dit werk een rigoureuze theoretische basis voor Plug-and-Play methoden, waarbij wordt benadrukt dat het ontwerp van de denoiser en de keuze van de splitting-operator $B$ onlosmakelijk verbonden zijn met het voorwaartse model en de ruisstatistieken van het specifieke inverse probleem dat wordt opgelost.