Technisches Resümee: Physik ist entscheidend für PnP: Rekonstruktionsgarantien mit MMSE- und NN-Denoisern

1. Problemstellung

Die vorliegende Arbeit adressiert das lineare, schlecht gestellte inverse Problem der Rekonstruktion eines Zufallsvektors $x \in \mathbb{R}^n$ aus einer Beobachtung $y \in \mathbb{R}^m$, die durch das Vorwärtsmodell gesteuert wird:
$$y = Ax + e$$
wobei $A: \mathbb{R}^n \to \mathbb{R}^m$ ein linearer Operator ist und $e$ ein Gaußsches Rauschen mit einem Nullmittelwert und einer möglicherweise nicht-diagonale, positiv definiten Kovarianzmatrix $\Sigma_E$ darstellt. Das Problem ist schlecht konditioniert und potenziell nicht eindeutig, falls $A$ nicht injektiv ist.

Die Autoren untersuchen das Plug-and-Play (PnP)-Paradigma, speziell die Forward-Backward-Splitting (FBS)-Iteration. Im Gegensatz zu klassischen Ansätzen, die auf expliziten Regularisierungsfunktionalen beruhen, ersetzt PnP den proximalen Operator durch einen Denoiser-Operator $\hat{D}$. Die betrachtete allgemeine Iteration lautet:
$$x_{k+1} = \hat{D}(x_k + \gamma B(y - Ax_k))$$
wobei $\gamma > 0$ eine Schrittweite und $B \in \mathbb{R}^{n \times m}$ ein linearer Operator ist. Die zentrale Herausforderung, die hier adressiert wird, ist die Etablierung rigider Rekonstruktionsgarantien (Fehlergrenzen) für diese Iteration, wenn der Denoiser der Minimum Mean Square Error (MMSE) Schätzer ist, sowie die Erweiterung dieser Ergebnisse auf Fälle, in denen der MMSE durch ein neuronales Netz (NN) approximiert wird.

Eine entscheidende Unterscheidung dieser Arbeit liegt in der Behandlung der Rauschverteilung. Während viele bestehende PnP-Analysen davon ausgehen, dass der Denoiser auf isotropem Gaußschen Rauschen ($\sigma^2 I$) trainiert wurde, betrachtet dieses Paper degeneriertes Gaußsches Rauschen mit allgemeinen Kovarianzstrukturen. Dies geschieht in Anerkennung dessen, dass das in die PnP-Iteration injizierte Rauschen von dem Vorwärtsoperator $A$ und der Wahl von $B$ abhängt.

2. Methodik

2.1 Das MMSE-Denoiser-Framework

Die Autoren definieren den optimalen Denoiser $\hat{D}$ als den MMSE-Schätzer von $X$ gegeben eine verrauschte Beobachtung $Z = X + \Upsilon$, wobei $\Upsilon \sim \mathcal{N}(0, \Sigma_\Upsilon)$. Entscheidend ist, dass $\Sigma_\Upsilon$ nicht isotrop sein muss; sie darf degeneriert sein und wird so gewählt, dass sie die Verteilung des während der PnP-Iteration erzeugten Rauschterms $\gamma B e$ widerspiegelt.

Der MMSE-Schätzer ist definiert als der posteriore bedingte Mittelwert:
$$\hat{D}_\mu(z) = \mathbb{E}[X | Z=z] = \frac{\int x \phi(z-x; \tilde{\Sigma}_\Upsilon) d\mu(x)}{\int \phi(z-x; \tilde{\Sigma}_\Upsilon) d\mu(x)}$$
wobei $\phi$ der an den Unterraum $V = \text{Im}(\Sigma_\Upsilon)$ angepasste Gaußsche Dichtekern ist.

2.2 Zentrale Annahmen

Die Analyse stützt sich auf mehrere strukturelle Annahmen:

• Kompaktheit: Der Support der Prior-Verteilung $\mu_X$ ist kompakt und durch $M$ beschränkt.
• Subraum-Konsistenz: Der Support von $\mu_X$ liegt innerhalb des durch die Rauschkovarianz $\Sigma_\Upsilon$ aufgespannten Unterraums $V$.
• Operatoreigenschaften: Die Matrix $BA$ ist symmetrisch und positiv semidefinit. Der Operator $B$ bildet in $V$ ab.
• Restriktive Injektivität: Der Schnittpunkt des Kerns von $BA$ und des Tangentialkegels des konvexen Hüllkörpers des Supports ist trivial, was die Invertierbarkeit auf der relevanten Menge sicherstellt.

2.3 Analyse von neuronalen Netz-Approximationen

In Anerkennung dessen, dass der exakte MMSE-Schätzer in hohen Dimensionen rechnerisch nicht handhabbar ist, erweitern die Autoren ihre Analyse auf Denoiser, die durch ReLU-neuronale Netze parametrisiert sind. Sie nutzen die Approximationstheorie, um die notwendige Breite, Tiefe und Gewichtsmagnitüde eines Netzwerks zu begrenzen, das erforderlich ist, um die Identitätsabbildung (und somit den MMSE-Denoiser) auf dem Support des Priors mit einer spezifischen Präzision $\epsilon$ zu approximieren.

3. Zentrale Beiträge

Das Paper leistet drei primäre Beiträge, die über die "Black-Box"-Sicht auf PnP-Denoiser hinausgehen:

1. Regelmäßigkeit und Stabilität von MMSE-Denoisern:
   Die Autoren stellen fest, dass der MMSE-Denoiser Lipschitz-stetig und unter spezifischen Bedingungen (Gaußsches Rauschen mit nicht-degenerierter Kovarianz) cocoercitiv ist. Dies liefert eine rigorose theoretische Rechtfertigung für die "starke Nicht-Expansivität" (firm non-expansiveness), die in PnP-Methoden oft heuristisch erzwungen wird. Sie beweisen zudem die Stabilität des Denoisers gegenüber der Prior-Maß (Wasserstein-Kontinuität).

2. Rekonstruktionsgarantien für PnP mit MMSE:
   Das Paper leitet punktweise sowie Wasserstein-Distanz basierende Rekonstruktionsfehlergrenzen für die PnP-FBS-Iteration ab.

   • Punktuelle Schranken: Die Fehlerschranke hängt von der Konditionszahl des Operators $BA$ eingeschränkt auf den Tangentialkegel der Lösungsmenge, dem Rauschniveau und dem Sampling-Fehler des empirischen Priors ab.
   • Wasserstein-Schranken: Die Verteilung der Iterationen konvergiert gegen die wahre Prior-Verteilung. Die Schranke beinhaltet explizit einen Bures-Metrik-Term, der die Diskrepanz zwischen der zum Training des Denoisers verwendeten Rauschverteilung ($\Upsilon$) und dem effektiven Rauschen in der Iteration ($\gamma B E$) misst.

3. Die Notwendigkeit physik-bewusster Denoiser:
   Ein zentraler theoretischer Befund ist, dass der Denoiser nicht auf eine physik-agnostische Weise gewählt werden kann. Die Wahl des Operators $B$ und der Rauschkovarianz $\Sigma_\Upsilon$, die zur Konstruktion des Denoisers verwendet werden, müssen gekoppelt sein. Speziell muss der Denoiser für eine optimale Leistung auf Rauschstatistiken trainiert werden, die dem transformierten Beobachtungswauschen $\gamma B E$ entsprechen. Die Standardwahl $B = A^\top$ impliziert, dass der Denoiser agnostisch gegenüber dem Vorwärtsmodell ist, was die Autoren zeigen, zu suboptimalen Rekonstruktionsschranken führt, sofern keine spezifischen Bedingungen erfüllt sind.

4. Hauptergebnisse

4.1 Punktuelle Rekonstruktion

Theorem 3.2 liefert eine Schranke für den Rekonstruktionsfehler $\|x_k - x\|$. Der Fehler konvergiert in eine Umgebung der Lösung, die bestimmt wird durch:

• Rauschverstärkung: Proportional zu $\gamma \|B\| \|e\|$.
• Denoiser-Leistung: Bezogen auf den Abstand zwischen dem wahren Signal und den empirischen Trainingsbeispielen.
• Konditionierung: Die Konvergenzrate $q$ hängt von der Konditionszahl von $BA$ auf der Lösungsmenge ab.
  Entscheidend ist, dass die Schranke auch dann gilt, wenn der Denoiser nicht kontraktiv ist, vorausgesetzt, die Konditionszahl von $BA$ ist ausreichend günstig im Verhältnis zur Lipschitz-Konstante des Denoisers.

4.2 Distributionale Rekonstruktion

Theorem 3.6 etabliert Schranken für den erwarteten quadratischen Wasserstein-Abstand $W_2^2(\hat{\mu}_k, \mu_X)$ zwischen der Verteilung der Iterationen und der wahren Prior-Verteilung. Die Schranke zeigt, dass der Fehler minimiert wird, wenn die Kovarianz des Trainingsrauschens $\Sigma_\Upsilon$ mit der Kovarianz des Iterationsrauschens $\gamma^2 B \Sigma_E B^\top$ übereinstimmt. Wenn diese Übereinstimmung perfekt ist, verschwindet der Bures-Metrik-Term, was die Schranke signifikant verbessert.

4.3 Neuronale Netz-Approximation

Theorem 3.11 erweitert die punktuellen Schranken auf den Fall, in dem der MMSE-Denoiser durch ein trainiertes neuronales Netz ersetzt wird. Die Fehlerschranke enthält Terme für:

• Den Approximationsfehler des Netzwerks (abhängig von $\epsilon$).
• Die Lipschitz-Konstanten des Netzwerks.
• Den Sampling-Fehler der Trainingsdaten.
  Die Autoren leiten spezifische Anforderungen an die Tiefe und Breite des Netzwerks ab, um eine gewünschte Approximationspräzision zu erreichen, und zeigen, dass die Rekonstruktionsgarantien bestehen bleiben, sofern das Netzwerk ausreichend expressiv ist.

5. Bedeutung und Ansprüche

Das Paper behauptet, dass seine Analyse das Verständnis von PnP-Methoden grundlegend verändert, indem sie demonstriert, dass Physik entscheidend ist.

• Ablehnung von Agnostizismus: Die Autoren argumentieren, dass die gängige Praxis, Denoiser auf generischem Rauschen (z. B. isotropem Gaußschen Rauschen) zu trainieren und sie dann auf inverse Probleme mit beliebigen Vorwärtsoperatoren $A$ und Rauschkovarianzen $\Sigma_E$ anzuwenden, theoretisch fehlerhaft ist. Der Denoiser muss "physik-bewusst" sein, was bedeutet, dass seine Trainings-Rauschverteilung mit dem effektiven Rauschen des durch den Operator $B$ in der PnP-Iteration eingeführten Rauschens übereinstimmen muss.
• Gelockerte Annahmen: Durch die Nutzung der spezifischen Eigenschaften des MMSE-Schätzers (Cocoercitivität und Lipschitz-Schranken abgeleitet aus dem Prior) leiten die Autoren Rekonstruktionsgarantien ab, ohne die starke Annahme zu benötigen, dass der Denoiser eine Kontraktionsabbildung oder ein proximaler Operator eines konvexen Funktionals ist.
• Quantitative Schranken: Das Paper liefert explizite, nicht- asymptotische Fehlerschranken, welche die Trade-offs zwischen der Konditionierung des inversen Problems, der Qualität des Denoisers (und seiner Trainingsdaten) und dem Rauschniveau quantifizieren.

Zusammenfassend bietet die Arbeit eine rigorose theoretische Grundlage für Plug-and-Play-Methoden und betont, dass das Design des Denoisers und die Wahl des Splitting-Operators $B$ untrennbar mit dem Vorwärtsmodell und den Rauschstatistiken des spezifischen inversen Problems verknüpft sind.