Résumé technique : Modélisation générative à partir de corruptions boîte noire via des interpolants stochastiques auto-cohérents

1. Énoncé du problème

Dans de nombreux domaines scientifiques et techniques, des échantillons de données propres issus d'une distribution cible $\pi$ sont indisponibles. À la place, les chercheurs n'observent que des mesures corrompues $y$ générées par une application directe $y = \mathcal{F}(x)$, où $\mathcal{F}$ est typiquement un canal bruyant, mal conditionné et potentiellement non différentiable. L'objectif est de construire un modèle génératif pour les données propres originales $\pi$ en utilisant uniquement l'ensemble de données corrompu $\{y_i\}$ et un accès boîte noire au simulateur direct $\mathcal{F}$.

Cette tâche constitue un problème inverse au niveau des distributions : trouver une loi a priori $\pi$ telle que l'image directe de $\pi$ par l'opérateur de canal $\mathcal{K}$ (associé à $\mathcal{F}$) soit égale à la distribution observée $\mu$ (c'est-à-dire $\mathcal{K}\pi = \mu$).

Les approches existantes présentent des limitations significatives :

• Méthodes de Bayes empirique/EM : Nécessitent une connaissance explicite de la vraisemblance $P(y|x)$ et un échantillonnage de l'a posteriori coûteux en calcul, exigeant souvent des hypothèses restrictives telles que la linéarité et un bruit gaussien.
• Méthodes basées sur la diffusion : Requièrent généralement des données propres pour le pré-entraînement ou une différentiabilité explicite du modèle direct pour calculer les gradients.
• Limitations actuelles : La plupart des méthodes échouent lorsque le modèle direct est non linéaire, non différentiable (par exemple, compression JPEG), ou implique un bruit non gaussien (par exemple, bruit de Poisson).

2. Méthodologie : Interpolants stochastiques auto-cohérents (SCSI)

Les auteurs proposent les Interpolants Stochastiques Auto-cohérents (SCSI), un cadre qui apprend une application de transport des données corrompues vers les données propres en utilisant uniquement un accès boîte noire au processus direct.

Concept de base

La méthode exploite les Interpolants Stochastiques (SI), qui définissent un chemin continu entre deux distributions via une équation différentielle stochastique (EDS) ou une équation différentielle ordinaire (EDO). L'entraînement SI standard nécessite des paires d'échantillons $(x_0, x_1)$ issus des distributions propres et corrompues. Puisque les échantillons propres sont indisponibles, SCSI introduit un schéma itératif auto-cohérent :

1. Initialisation : Démarrer avec une application de transport initiale paramétrée par $\Theta^{(0)}$.
2. Mise à jour itérative (Optimisation bi-niveau) :
   • Boucle externe (équivalent à l'étape E) : Utiliser l'application de transport actuelle $\Phi_{\Theta^{(k)}}$ pour générer des échantillons « pseudo-propres » $\hat{x} = \Phi_{\Theta^{(k)}}(y)$ à partir des données corrompues $y \sim \mu$.
   • Simulation directe : Faire passer ces échantillons pseudo-propres à travers le modèle direct boîte noire pour générer des observations simulées $\tilde{y} = \mathcal{F}(\hat{x})$.
   • Construction de l'interpolant : Construire un interpolant stochastique $I_t$ entre les $\hat{x}$ générés et les $\tilde{y}$ simulés (plus du bruit).
   • Boucle interne (équivalent à l'étape M) : Entraîner les paramètres de transport $\Theta$ pour minimiser la perte SI standard (régression des moindres carrés du champ de vitesse et du débruiteur) en utilisant l'interpolant construit.
   • Mise à jour : Mettre à jour $\Theta^{(k)} \to \Theta^{(k+1)}$.

Condition d'auto-cohérence

La procédure cherche un point fixe $\Theta^*$ tel que l'application de transport $\Phi_{\Theta^*}$ pousse la distribution corrompue $\mu$ vers une distribution $\pi_{\Theta^*}$ qui, une fois passée à travers le canal direct, reproduit la distribution corrompue originale :
$$\mathcal{K}(\Phi_{\Theta^*})_\# \mu = \mu$$
Si le canal est injectif au niveau de la distribution, ce point fixe correspond à la vraie distribution propre $\pi$.

Efficacité et mise en œuvre

• Boucle interne tronquée : Pour une efficacité computationnelle, l'optimisation interne n'est pas exécutée jusqu'à convergence ; à la place, un nombre fixe d'étapes de gradient ($T_{tr}$) est effectué, en initialisant à partir des paramètres de l'itération précédente.
• Compatibilité boîte noire : La méthode ne nécessite ni les gradients de $\mathcal{F}$, ni une évaluation explicite de la vraisemblance. Elle traite $\mathcal{F}$ comme un simulateur.
• Génération conditionnelle : Le cadre s'étend naturellement à la génération conditionnelle (par exemple, lorsque la corruption implique un masque ou un noyau aléatoire) en « élevant » l'espace d'état pour inclure les variables latentes du processus direct.

3. Analyse théorique

L'article établit des garanties de convergence sous des hypothèses spécifiques :

• Injectivité : Le canal direct $\mathcal{K}$ doit être injectif sur l'espace des mesures de probabilité (c'est-à-dire $\mathcal{K}\pi = \mathcal{K}\pi' \implies \pi = \pi'$).
• Contraction de Wasserstein : Sous une hypothèse de stabilité lipschitzienne sur l'application de transport inverse, le schéma converge linéairement selon la métrique de Wasserstein ($W_2$) si la constante de Lipschitz $R < 1$.
• Contraction de la divergence KL : Pour le cadre EDS ($\epsilon > 0$), les auteurs prouvent une convergence linéaire en divergence de Kullback-Leibler (KL). Cela repose sur un « nombre de conditionnement » $\chi$ du problème inverse régularisé et une hypothèse de Lipschitz sur la dérive de l'équation de Fokker-Planck.
• Étude de cas gaussienne : Dans le cas spécifique d'une loi a priori gaussienne et d'un bruit blanc additif gaussien (AWGN), les auteurs dérivent des taux de convergence linéaire explicites. Ils montrent que le transport basé sur l'EDO ($\epsilon=0$) offre un taux de convergence plus rapide par rapport à l'algorithme EM (qui correspond à un choix d'EDS spécifique avec $\epsilon=1$), en particulier dans les régimes à faible rapport signal-sur-bruit (SNR).

4. Résultats expérimentaux

Les auteurs évaluent SCSI sur trois catégories de tâches :

1. Modèles synthétiques de faible dimension :

   • Démonstration que le SCSI basé sur l'EDO est robuste et efficace en calcul, tandis que le SCSI basé sur l'EDS peut être plus robuste face au bruit élevé mais plus sensible aux hyperparamètres.
   • Vérification des taux de convergence linéaires dans le cadre gaussien AWGN.

2. Tâches d'imagerie (CIFAR-10, CelebA) :

   • Corruptions testées : Masquage aléatoire, flou gaussien, flou de mouvement (non linéaire) et compression JPEG (non linéaire, non différentiable).
   • Performance : SCSI atteint une qualité de restauration (mesurée par LPIPS, FID, PSNR) comparable ou supérieure à DPS (Échantillonnage de l'a posteriori par diffusion), une base de référence solide qui nécessite un pré-entraînement sur des données propres et les gradients du modèle direct.
   • Efficacité : SCSI est significativement plus efficace en calcul que les méthodes de diffusion basées sur EM (par exemple, ~86 heures GPU contre 512 heures GPU pour des tâches comparables).
   • Robustesse : SCSI gère avec succès le bruit non gaussien (Poisson) et les opérateurs non différentiables (JPEG) là où les méthodes basées sur les gradients échouent ou nécessitent des approximations.

3. Reconstruction scientifique (Spectres de quasars) :

   • Application à la récupération des vrais spectres de quasars à partir d'observations télescopiques bruyantes et de faible résolution.
   • SCSI a surpassé la base de référence du filtre de Wiener dans la récupération de caractéristiques spectrales critiques (hauteurs et emplacements des pics) à travers divers régimes de SNR et de résolution.

5. Importance et revendications

L'article revendique les aspects suivants de pertinence pour le cadre SCSI :

• Flexibilité boîte noire : Contrairement aux méthodes antérieures qui nécessitent des modèles directs explicites et différentiables, SCSI fonctionne avec des processus directs arbitraires non linéaires, non différentiables et non gaussiens, à condition qu'ils puissent être simulés.
• Efficacité des données : Il élimine le besoin de données d'entraînement propres, reposant uniquement sur des observations corrompues et un simulateur.
• Garanties théoriques : Il fournit les premières garanties de convergence pour un schéma d'entraînement auto-cohérent dans ce contexte, établissant les conditions sous lesquelles la procédure itérative converge vers la vraie distribution de données.
• Supériorité pratique : Les résultats empiriques montrent que SCSI égale ou dépasse les performances des méthodes ayant accès à des données propres (pour le pré-entraînement) ou à des gradients explicites, tout en étant plus efficace en calcul.
• EDO vs EDS : L'analyse et les expériences suggèrent que le transport basé sur l'EDO (flux de probabilité) offre souvent des taux de convergence et une stabilité supérieurs par rapport aux approches basées sur l'EDS, en particulier dans les régimes à faible SNR.

Les auteurs positionnent leur travail comme une alternative pratique et évolutive aux approches de Bayes empirique et de contrôle basé sur modèle, établissant un parallèle conceptuel avec l'apprentissage par renforcement sans modèle où les politiques sont optimisées par interaction avec un simulateur plutôt que par une connaissance explicite de la dynamique du système.