Résumé Technique : Variational Sparse Paired Autoencoders (vsPAIR) pour les problèmes inverses et la quantification de l'incertitude

1. Énoncé du Problème

Les problèmes inverses consistent à reconstruire des quantités d'intérêt (QoI), notées $x$, à partir d'observations indirectes et bruitées $y$, généralement modélisées par $y = F(x) + \varepsilon$. Ces problèmes sont souvent mal posés, ce qui signifie que de petites perturbations dans $y$ peuvent entraîner des changements importants dans le $x$ admissible.

Bien que les méthodes variationnelles classiques (ex. Tikhonov, Total Variation) et les approches bayésiennes offrent des garanties théoriques, elles nécessitent souvent des évaluations répétées de l'opérateur direct $F$ et un réglage minutieux des paramètres de régularisation, ce qui les rend coûteuses en termes de calcul pour des contextes de haute dimension ou non linéaires. À l'inverse, les approches fondées sur les données comme les réseaux de neurones de bout en bout offrent une inférence rapide mais ne produisent généralement que des estimations ponctuelles, manquant de la structure probabiliste nécessaire à la Quantification de l'Incertitude (UQ).

Les méthodes génératives existantes pour l'UQ, telles que les modèles de diffusion basés sur le score, peuvent approximer la distribution postérieure $p(x|y)$ mais sacrifient souvent la vitesse d'inférence en raison des exigences d'échantillonnage itératif. De plus, de nombreuses approches dans l'espace latent souffrent de codes latents « denses » où l'information est entrelacée à travers toutes les dimensions, obscurcissant les sources d'incertitude et rendant difficile l'interprétation de savoir quelles caractéristiques des données pilotent les erreurs de reconstruction.

2. Méthodologie : Le cadre vsPAIR

Les auteurs proposent le Variational Sparse Paired Autoencoder (vsPAIR), un cadre conçu pour fournir une inférence amortie rapide ainsi que des estimations d'incertitude structurées et interprétables. L'architecture intègre trois composantes principales :

2.1 Structure de l'Autoencodeur Apparié (Paired Autoencoder)

Inspiré par les architectures de type « Jumeau Latent » (Latent Twin), vsPAIR emploie deux autoencodeurs distincts :

1. Encodeur d'Observation : Un autoencodeur variationnel (VAE) standard encode les observations $y$ dans un espace latent $z_y$ en utilisant une distribution postérieure variationnelle gaussienne $q_{\phi_y}(z_y | y)$.
2. Encodeur de QoI : Un autoencodeur variationnel creux (sVAE) encode les quantités d'intérêt $x$ dans un espace latent $z_x$ en utilisant une distribution variationnelle de type « spike-and-slab » (pointe et dalle) $q_{\phi_x}(z_x | x)$.
3. Cartographie Latente : Une application apprise $M_{\leftarrow}$ connecte les deux espaces latents, transformant les paramètres de distribution de l'encodeur d'observation $(\mu_y, \sigma_y)$ vers ceux de l'encodeur de QoI $(\mu_x, \sigma_x, \omega_x)$.

Cet appariement permet à l'encodeur de QoI d'apprendre des caractéristiques ancrées à des données propres ($x$) plutôt qu'à partir d'observations corrompues, séparant ainsi l'apprentissage des caractéristiques du signal du processus d'inversion.

2.2 Représentations Latentes Creuses (sVAE)

Pour remédier au problème de l'information entrelacée, l'encodeur de QoI utilise une distribution spike-and-slab pour son a priori et sa distribution postérieure. Pour chaque dimension latente $i$, la distribution est un mélange d'une masse ponctuelle à zéro (la « pointe » ou spike) et d'une gaussienne continue (la « dalle » ou slab) :
$$q_{\phi}(z_i | x) = \omega_i \mathcal{N}(z_i | \mu_i, \sigma_i^2) + (1 - \omega_i)\delta_0(z_i)$$
Ici, $\omega_i$ représente la probabilité que la $i$-ème dimension soit active. Cette structure force le modèle à concentrer l'information dans un petit nombre de facteurs identifiables (dimensions actives) plutôt que de la diffuser à travers l'ensemble de l'espace latent.

2.3 Objectif d'Entraînement

Le cadre est entraîné de bout en bout en minimisant une fonction de perte composite (Équation 14) qui inclut :

• ELBO pour la QoI ($L_{sVAE}$): Encourage la reconstruction de $x$ à partir de codes latents creux.
• ELBO pour les Observations ($L_{VAE}$): Encourage la reconstruction de $y$.
• Perte de Cartographie Latente ($L_M$): Minimise l'erreur quadratique moyenne (MSE) entre les vrais paramètres latents de $x$ et les paramètres prédits dérivés de $y$ via $M_{\leftarrow}$. Une pénalité d'entropie binaire optionnelle est ajoutée pour encourager un partitionnement décisif (poussant $\omega$ vers 0 ou 1).
• Régularisation Beta ($L_\rho$): Un terme utilisé pour apprendre le niveau de parcimonie (sparsity) de l'a priori $\rho$.

Crucialement, le cadre ne nécessite pas l'accès à l'opérateur direct $F$ pendant l'entraînement ; il repose uniquement sur des échantillons appariés $(x, y)$.

3. Contributions Clés

L'article présente trois contributions principales :

1. Le cadre vsPAIR : Une nouvelle architecture combinant l'inférence probabiliste, la parcimonie et les cartographies latentes appariées pour permettre une inversion rapide et sensible à l'incertitude sans nécessiter l'opérateur direct.
2. Validation Expérimentale : Démonstration de performances de reconstruction compétitives sur des problèmes inverses mal posés, incluant l'inpainting aveugle, la tomographie calculée (CT) et l'inférence de conditions initiales pour l'équation de la chaleur.
3. Incertitude Structurée et Interprétable : Preuve que vsPAIR produit des représentations latentes creuses où les dimensions actives correspondent aux caractéristiques centrales de la reconstruction. Par conséquent, l'incertitude n'est pas diffusée mais localisée dans ces caractéristiques spécifiques, permettant de retracer les variations d'estimation vers des sources identifiables.

4. Résultats Expérimentaux

Les auteurs ont évalué vsPAIR par rapport à des bases déterministes (PAIR), des bases variationnelles (vPAIR) et des bases uniquement creuses (sVAE), ainsi qu'à des méthodes d'UQ basées sur la diffusion (DPS).

• Modèle Linéaire Gaussien : Dans un cas de test simple avec une distribution postérieure connue, vsPAIR a réussi à apprendre un espace latent structuré où les dimensions actives se sont effondrées pour correspondre à la dimensionnalité réelle des données. Les perturbations dans ces dimensions actives s'alignaient avec les vecteurs propres de la véritable covariance de la distribution postérieure.
• Inpainting Aveugle (MNIST) :
  • Reconstruction : vsPAIR a obtenu un MSE compétitif, bien que légèrement supérieur à celui de PAIR (déterministe), ce qui est cohérent avec le compromis de régularisation inhérent aux VAE.
  • Localisation de l'Incertitude : Les analyses qualitatives et quantitatives ont montré que vsPAIR pouvait identifier des dimensions latentes contrôlant sélectivement les régions corrompues. Bien que vPAIR et vsPAIR présentent des « ratios de localisation » similaires (variance concentrée dans les zones manquantes), vsPAIR a démontré que sa structure appariée et creuse permettait une séparation plus distincte entre la structure globale et l'incertitude locale.
  • Stabilité : vsPAIR a maintenu un sous-ensemble stable de dimensions systématiquement actives (environ 11,5 par image), tandis que le sVAE à encodeur unique présentait une grande variabilité dans les dimensions actives, suggérant que la structure appariée stabilise l'apprentissage des caractéristiques.
• Tomographie Calculée (LoDoPaB-CT) :
  • vsPAIR a produit des reconstructions compétitives avec TV-ADMM et plus rapides que la Diffusion Posterior Sampling (DPS).
  • Les estimations d'incertitude étaient concentrées sur les bords et les structures (ex. trous, structures osseuses).
  • Contrairement à DPS, qui introduit parfois des détails fins « hallucinés », vsPAIR a fait preuve d'un comportement conservateur, ce que les auteurs notent comme pouvant être favorable dans les applications médicales où éviter les faux positifs est critique.
  • Le modèle a réussi à concentrer la variance dans un ensemble creux d'indices latents (environ 1 383 dimensions actives sur 4 096).
• Équation de la Chaleur (Non linéaire) :
  • Appliqué à l'inférence des conditions initiales à partir d'états temporels ultérieurs, vsPAIR a obtenu des reconstructions de haute fidélité (MSE 0,071).
  • Les graphiques de variance se sont correctement concentrés autour des sources de chaleur primaires, et les traversées de l'espace latent ont montré que des indices spécifiques contrôlaient les caractéristiques macroscopiques de la reconstruction.

5. Signification et Revendications

L'article affirme que vsPAIR offre une voie fondée sur des principes vers une Quantification de l'Incertitude interprétable. Contra l'une des méthodes d'UQ standard qui fournissent des mesures d'incertitude agrégées (ex. « le modèle est sûr à 80 % »), vsPAIR vise à répondre à la question : qu'est-ce qui est incertain. En ancrant les représentations de la QoI à des données propres et en imposant la parcimonie, le cadre isole l'incertitude à des facteurs latents spécifiques et identifiables.

Les auteurs positionnent vsPAIR comme particulièrement adapté aux applications où :

• L'interprétabilité est primordiale : Les utilisateurs doivent comprendre quelles caractéristiques pilotent l'ambiguïté (ex. distinguer une pathologie d'un artefact en imagerie médicale).
• Les modèles directs sont inconnus ou coûteux : La méthode ne nécessite que des données appariées, pas l'opérateur $F$.
• Une inférence rapide est requise : Une fois entraîné, vsPAIR fournit une inférence amortie via une seule passe directe, évitant les coûts d'échantillonnage itératifs des modèles de diffusion.

Les auteurs reconnaissent modestement certaines limites : l'empreinte du modèle est importante (environ 550 millions de paramètres pour la CT), et les probabilités d'activation ($\omega$) ainsi que les variances ($\sigma$) de la distribution latente ont montré une dépendance limitée vis-à-vis de l'observation $y$ spécifique dans les expériences, suggisant que le modèle apprend un sous-espace réduit plutôt qu'une UQ entièrement dépendante de l'observation. Les auteurs notent que, bien que le cadre ne garantisse pas un étalonnage avec la véritable distribution postérieure bayésienne, sa structure permet de caractériser l'incertitude induite par le modèle dans un cadre réduit. Des travaux futurs sont identifiés comme nécessaires pour mieux calibrer le cadre et affiner l'implémentation du sVAE pour une plus grande dépendance aux données.