The Gaussian Latent Machine: Efficient Prior and Posterior Sampling for Inverse Problems

1. Problématique

L'article aborde le défi du échantillonnage efficace à partir de distributions de probabilité complexes rencontrées dans les problèmes d'imagerie bayésienne et les problèmes inverses.

Ces distributions sont souvent modélisées sous la forme d'un produit d'experts (PoE - Product of Experts) :
$$f_X(x) \propto \prod_{i=1}^m \phi_i((Kx)_i)$$
où :

• $x \in \mathbb{R}^n$ est l'image ou le signal à estimer.
• $K \in \mathbb{R}^{m \times n}$ est un opérateur linéaire (ex: gradients, transformée de Fourier, opérateur de flou).
• $\phi_i$ sont des fonctions univariées (priors ou termes de vraisemblance) qui peuvent être non gaussiennes, non convexes, ou même non normalisables (distributions impropres).

Les défis majeurs sont :

• La complexité du calcul de la constante de normalisation.
• La difficulté d'échantillonner dans des espaces de haute dimension (images).
• La performance médiocre des méthodes MCMC classiques (comme MALA - Metropolis-Adjusted Langevin Algorithm) qui souffrent de corrélations élevées entre les échantillons et d'une sensibilité aux conditions initiales, surtout pour des distributions non lisses ou à queues lourdes (ex: Laplace, Student-t).
• La gestion des priors impropres (où $K$ a un noyau non trivial), fréquents en imagerie (invariance par translation).

2. Méthodologie : La Machine Latente Gaussienne (GLM)

Les auteurs proposent une approche unifiée basée sur l'élévation du modèle PoE vers un modèle à variables latentes appelé Gaussian Latent Machine (GLM).

A. Hypothèse de Base : Propriété de Marginalisation des Facteurs

L'approche repose sur l'hypothèse que chaque facteur $\phi_i$ peut être représenté comme un mélange gaussien univarié (GMM). Formellement, un facteur $\phi(t)$ satisfait la propriété de marginalisation des facteurs (FMP) s'il existe une densité latente $f(z)$ et un facteur gaussien $g(t, z)$ tels que :
$$\phi(t) = \int g(t, z) f(z) dz$$
où $g(t, z) = \mathcal{N}(t; \mu(z), \sigma^2(z))$.
Cela inclut exactement ou approximativement de nombreuses distributions courantes (Laplace, Student-t, mélanges gaussiens, etc.).

B. Construction du Modèle GLM

En introduisant des variables latentes $Z = (Z_1, \dots, Z_m)$ pour chaque facteur, la distribution conjointe devient :
$$f_{X,Z}(x, z) \propto \prod_{i=1}^m \mathcal{N}((Kx)_i; \mu_i(z_i), \sigma_i^2(z_i)) \cdot f_i(z_i)$$
Cette structure permet de décomposer le problème d'échantillonnage en un échantillonnage de Gibbs à deux blocs :

1. Échantillonnage de $X$ conditionnel à $Z$ ($X|Z$) :

   • La distribution conditionnelle $f_{X|Z}$ est une distribution gaussienne multivariée $\mathcal{N}(\mu(z), \Sigma(z))$.
   • Les paramètres sont donnés par :
     $$\Sigma(z) = (K^\top \Sigma_0(z)^{-1} K)^{-1}, \quad \mu(z) = \Sigma(z) K^\top \Sigma_0(z)^{-1} \mu_0(z)$$
   • Implémentation efficace : Au lieu de calculer l'inverse explicite de la matrice de covariance (coûteux en $O(n^3)$), les auteurs utilisent une méthode sans matrice (matrix-free). Ils génèrent un bruit gaussien $Y \sim \mathcal{N}(\mu_0, \Sigma_0)$ et résolvent le système linéaire $K^\top \Sigma_0^{-1} K X = K^\top \Sigma_0^{-1} Y$ via la méthode du gradient conjugué préconditionné. Cela permet de traiter des images de très grande taille.

2. Échantillonnage de $Z$ conditionnel à $X$ ($Z|X$) :

   • Grâce à la structure du modèle, les variables latentes sont conditionnellement indépendantes étant donné $X$.
   • $f_{Z|X}(z|x) = \prod_{i=1}^m f_{Z_i|X}(z_i|x)$.
   • Chaque $Z_i$ suit une distribution univariée spécifique (ex: Inverse Gaussian Généralisée pour Laplace, Gamma pour Student-t, Catégorielle pour GMM) qui peut être échantillonnée efficacement.

C. Gestion des Distributions Impropres

Le papier propose une extension théorique rigoureuse pour les cas où $K$ n'est pas de rang plein (distributions impropres). En ajoutant des facteurs supplémentaires agissant sur le noyau de $K$ (par exemple, la moyenne des pixels), le modèle devient propre sur tout l'espace $\mathbb{R}^n$ tout en préservant la distribution originale sur le sous-espace pertinent. Cela permet d'utiliser des algorithmes d'échantillonnage directs pour les priors sur des graphes en arbre ou en chaîne.

3. Contributions Clés

1. Unification théorique : La GLM offre un cadre unifié qui généralise et unifie de nombreux algorithmes existants (échantillonnage direct pour les priors en chaîne, méthodes GSM pour les priors de type "Fields of Experts", etc.).
2. Efficacité algorithmique :
   • Développement d'un échantillonneur de Gibbs à deux blocs qui se réduit à la résolution de systèmes linéaires et à l'échantillonnage univarié.
   • Utilisation de techniques "sans matrice" et de préconditionnement diagonal pour l'échantillonnage gaussien en haute dimension.
3. Gestion des cas limites : Traitement rigoureux des priors impropres et des extensions non linéaires (ex: régularisateurs isotropes comme la variation totale isotrope).
4. Implémentation open-source : Fourniture de codes CUDA optimisés pour l'échantillonnage de distributions complexes (GIG, Catégorielles) permettant une mise à l'échelle sur GPU.

4. Résultats Expérimentaux

Les auteurs comparent leur méthode (Gibbs GLM) à l'algorithme MALA (l'état de l'art pour l'imagerie bayésienne) sur divers problèmes.

• Expériences de prior sampling (Échantillonnage de priors) :

  • Convergence : Le GLM converge en quelques itérations (souvent < 20), tandis que MALA nécessite des milliers d'itérations, voire échoue à converger pour des facteurs complexes (GMM, Student-t) ou des tailles d'images grandes (96x96).
  • Indépendance des échantillons : Le GLM produit des échantillons pratiquement non corrélés (efficacité d'échantillonnage $\gamma \approx 1$), alors que MALA souffre d'une forte autocorrélation ($\gamma \approx 0$).
  • Robustesse : Le GLM est insensible aux conditions initiales, contrairement à MALA qui peut rester bloqué dans des régions à faible gradient.
  • Temps de calcul : Pour des images de 96x96, le GLM converge en quelques secondes/minutes, tandis que MALA nécessite des heures ou des jours, voire ne converge pas du tout.

• Expériences de posterior sampling (Problèmes inverses) :

  • Application au débruitage et à l'inpainting (DCT).
  • Le GLM permet de générer des échantillons de la distribution a posteriori pour quantifier l'incertitude (écart-type pixel par pixel).
  • Les reconstructions basées sur le GLM (moyenne conditionnelle) montrent des performances PSNR supérieures ou comparables, avec une meilleure estimation de l'incertitude, en particulier pour les priors appris (GMM).

5. Signification et Impact

• Changement de paradigme : L'article déplace l'accent des méthodes basées sur le gradient (Langevin) vers des méthodes basées sur la structure latente (Gibbs), démontrant que pour une large classe de modèles d'imagerie, l'échantillonnage exact et efficace est possible sans approximation de type "diffusion" ou "pas de temps".
• Validation des priors : La méthode permet d'échantillonner efficacement des priors complexes, facilitant ainsi l'évaluation de la capacité des priors à modéliser les statistiques naturelles des images (les auteurs montrent par exemple que les priors de type Student-t sont moins adaptés que des mélanges gaussiens appris pour les images naturelles).
• Applicabilité : La méthode est générale, s'appliquant aussi bien aux signaux 1D, aux images 2D, aux données vidéo, et aux modèles définis sur des graphes complexes.
• Outils pratiques : La disponibilité du code et des noyaux CUDA rend cette approche accessible pour des applications réelles en imagerie médicale et scientifique où la quantification de l'incertitude est critique.

En résumé, la Gaussian Latent Machine propose une solution élégante et hautement performante pour le problème fondamental de l'échantillonnage bayésien en imagerie, surpassant significativement les méthodes MCMC traditionnelles en termes de vitesse, de stabilité et de qualité des échantillons.