Résumé technique : La physique importe dans le PnP : Garanties de récupération avec les débruiteurs MMSE et NN

1. Énoncé du problème

L'article traite du problème inverse linéaire mal posé consistant à récupérer un vecteur aléatoire $x \in \mathbb{R}^n$ à partir d'une observation $y \in \mathbb{R}^m$ régie par le modèle direct :
$$y = Ax + e$$
où $A: \mathbb{R}^n \to \mathbb{R}^m$ est un opérateur linéaire, et $e$ est un bruit gaussien de moyenne nulle avec une matrice de covariance $\Sigma_E$ potentiellement non diagonale et définie positive. Le problème est mal conditionné et potentiellement non unique si $A$ n'est pas injective.

L'article étudie le paradigme Plug-and-Play (PnP), spécifiquement l'itération de séparation de type forward-backward (FBS). Contrairement aux approches classiques qui reposent sur des fonctionnelles de régularisation explicites, le PnP remplace l'opérateur proximal par un opérateur de débruitage (denoiser) $\hat{D}$. L'itération générale considérée est :
$$x_{k+1} = \hat{D}(x_k + \gamma B(y - Ax_k))$$
où $\gamma > 0$ est un pas et $B \in \mathbb{R}^{n \times m}$ est un opérateur linéaire. Le défi central abordé est d'établir des garanties de récupération rigoureuses (bornes d'erreur) pour cette itération lorsque le débruiteur est l'estimateur de l'erreur quadratique moyenne minimale (MMSE), et d'étendre ces résultats aux cas où le MMSE est approximé par un réseau de neurones (NN).

Une distinction critique de ce travail est le traitement de la distribution du bruit. Alors que de nombreuses analyses PnP existantes supposent que le débruiteur est entraîné sur un bruit gaussien isotrope ($\sigma^2 I$), cet article considère un bruit gaussien dégénéré avec des structures de covariance générales, reconnaissant que le bruit injecté dans le débruiteur lors de l'itération PnP dépend de l'opérateur direct $A$ et du choix de $B$.

2. Méthodologie

2.1 Le cadre du débruiteur MMSE

Les auteurs définissent le débruiteur optimal $\hat{D}$ comme l'estimateur MMSE de $X$ étant donné une observation bruitée $Z = X + \Upsilon$, où $\Upsilon \sim \mathcal{N}(0, \Sigma_\Upsilon)$. Crucialement, $\Sigma_\Upsilon$ n'est pas supposée être isotrope ; elle peut être dégénérée (de rang inférieur) et est choisie pour correspondre à la distribution du terme de bruit $\gamma B e$ généré lors de l'itération PnP.

L'estimateur MMSE est défini comme la moyenne conditionnelle a posteriori :
$$\hat{D}_\mu(z) = \mathbb{E}[X | Z=z] = \frac{\int x \phi(z-x; \tilde{\Sigma}_\Upsilon) d\mu(x)}{\int \phi(z-x; \tilde{\Sigma}_\Upsilon) d\mu(x)}$$
où $\phi$ est le noyau de densité gaussienne adapté au sous-espace $V = \text{Im}(\Sigma_\Upsilon)$.

2.2 Hypothèses clés

L'analyse repose sur plusieurs hypothèses structurelles :

• Compacité : Le support de la distribution a priori $\mu_X$ est compact et borné par $M$.
• Cohérence du sous-espace : Le support de $\mu_X$ réside dans le sous-espace $V$ engendré par la covariance du bruit $\Sigma_\Upsilon$.
• Propriétés de l'opérateur : La matrice $BA$ est symétrique et semi-définie positive. L'opérateur $B$ s'injecte dans $V$.
• Injectivité restreinte : L'intersection du noyau de $BA$ et du cône tangent de l'enveloppe convexe du support de $\mu_X$ est triviale, garantissant l'invertibilité sur l'ensemble pertinent.

2.3 Analyse des approximations par réseaux de neurones

Reconnaissant que l'estimateur MMSE exact est numériquement intraitable dans les hautes dimensions, les auteurs étendent leur analyse à des débruiteurs paramétrés par des réseaux de neurones ReLU. Ils utilisent la théorie de l'approximation pour borner la largeur, la profondeur et l'amplitude des poids nécessaires à un réseau pour approximer l'application identité (et donc le débruiteur MMSE) sur le support de la distribution a priori avec une précision spécifique $\epsilon$.

3. Contributions principales

L'article présente trois contributions majeures, dépassant la vision "boîte noire" des débruiteurs PnP :

1. Régularité et stabilité des débruiteurs MMSE :
   Les auteurs établissent que le débruiteur MMSE est Lipschitz continu et, sous des conditions spécifiques (bruit gaussien avec covariance non dégénérée), cocoercitif. Cela fournit une justification théorique rigoureuse pour la "non-expansivité ferme" souvent imposée de manière heuristique dans les méthodes PnP. Ils prouvent également la stabilité du débruiteur par rapport à la mesure a priori (continuité de Wasserstein).

2. Garanties de récupération pour le PnP avec MMSE :
   L'article dérive des bornes d'erreur de récupération ponctuelles et en distance de Wasserstein pour l'itération PnP-FBS.

   • Bornes ponctuelles : La borne d'erreur dépend du conditionnement de l'opérateur $BA$ restreint au cône tangent de l'ensemble des solutions, du niveau de bruit et de l'erreur d'échantillonnage de l'a priori empirique.
   • Bornes de Wasserstein : La distribution des itérations converge vers la distribution a priori réelle. La borne inclut explicitement un terme de métrique de Bures, qui mesure l'écart entre la distribution du bruit utilisée pour entraîner le débruiteur ($\Upsilon$) et le bruit effectif de l'itération ($\gamma B E$).

3. La nécessité de débruiteurs conscients de la physique (Physics-Aware) :
   Une conclusion théorique centrale de ce travail est que le débruiteur ne peut pas être choisi de manière agnostique vis-à-vis de la physique. Le choix de l'opérateur $B$ et de la covariance du bruit $\Sigma_\Upsilon$ utilisés pour construire le débruiteur doit être couplé. Plus précisément, pour une performance optimale, le débruiteur doit être entraîné sur des statistiques de bruit qui correspondent au bruit transformé de l'observation $\gamma B E$. Le choix standard $B = A^\top$ suppose implicitement que le débruiteur est agnostique au modèle direct, ce que les auteurs montrent comme menant à des bornes de récupération sous-optimales, à moins que des conditions spécifiques ne soient remplies.

4. Résultats principaux

4.1 Récupération ponctuelle

Le Théorème 3.2 fournit une borne sur l'erreur de reconstruction $\|x_k - x\|$. L'erreur converge vers un voisinage de la solution déterminé par :

• Amplification du bruit : Proportionnelle à $\gamma \|B\| \|e\|$.
• Performance du débruiteur : Liée à la distance entre le signal réel et les échantillons de l'a priori empirique.
• Conditionnement : Le taux de convergence $q$ dépend du nombre de condition de $BA$ sur l'ensemble des solutions.
  Crucialement, la borne tient même si le débruiteur n'est pas contractant, à condition que le nombre de condition de $BA$ soit suffisamment favorable par rapport à la constante de Lipschitz du débruiteur.

4.2 Récupération distributionnelle

Le Théorème 3.6 établit des bornes sur la distance de Wasserstein au carré attendue $W_2^2(\hat{\mu}_k, \mu_X)$ entre la distribution des itérations et l'a priori réel. La borne révèle que l'erreur est minimisée lorsque la covariance du bruit d'entraînement $\Sigma_\Upsilon$ correspond à la covariance du bruit d'itération $\gamma^2 B \Sigma_E B^\top$. Si cette correspondance est parfaite, le terme de métrique de Bures s'annule, améliorant significativement la borne.

4.3 Approximation par réseau de neurones

Le Théorème 3.11 étend les bornes ponctuelles au cas où le débruiteur MMSE est remplacé par un réseau de neurones entraîné. La borne d'erreur inclut des termes pour :

• L'erreur d'approximation du réseau (dépendante de $\epsilon$).
• Les constantes de Lipschitz du réseau.
• L'erreur d'échantillonnage des données d'entraînement.
  Les auteurs dérivent des exigences spécifiques sur la profondeur et la largeur du réseau pour atteindre une précision d'approximation donnée, montrant que les garanties de récupération tiennent pourvu que le réseau soit suffisamment expressif.

5. Signification et affirmations

L'article affirme que son analyse change fondamentalement la compréhension des méthodes PnP en démontant que la physique importe.

• Rejet de l'agnosticisme : Les auteurs soutiennent que la pratique courante consistant à entraîner des débruiteurs sur un bruit générique (par exemple, gaussien isotrope) et à les appliquer à des problèmes inverses avec des opérateurs directs $A$ et des covariances de bruit $\Sigma_E$ arbitraires est théoriquement erronée. Le débruiteur doit être "conscient de la physique", ce qui signifie que sa distribution de bruit d'entraînement doit s'aligner avec la distribution du bruit effectif introduit par l'opérateur $B$ dans l'itération PnP.
• Hypothèses assouplies : En exploitant les propriétés spécifiques de l'estimateur MMSE (cocoercivité et bornes de Lipschitz dérivées de l'a priori), les auteurs dérivent des garanties de récupération sans nécessiter l'hypothèse forte selon laquelle le débruiteur est une application contractante ou un opérateur proximal d'une fonctionnelle convexe.
• Bornes quantitatives : L'article fournit des bornes d'erreur explicites et non asymptotiques qui quantifient les compromis entre le conditionnement du problème inverse, la qualité du débruiteur (et de ses données d'entraînement) et le niveau de bruit.

En conclusion, ce travail fournit un fondement théorique rigoureux pour les méthodes Plug-and-Play, en soulignant que la conception du débruiteur et le choix de l'opérateur de séparation $B$ sont inextricablement liés au modèle direct et aux statistiques de bruit du problème inverse spécifique résolu.