Résumé Technique : Diffusion Conditionnelle sous Contraintes Linéaires

Énoncé du Problème

L'article aborde le problème de l'échantillonnage conditionnel sans exemple (zero-shot) pour les problèmes d'inversion linéaire (par exemple, l'inpainting d'images, la super-résolution) en utilisant des modèles de diffusion préentraînés. Dans ces scénarios, une observation $y$ est liée à un signal propre $Z$ via un opérateur linéaire $A$ tel que $y = AZ$. L'objectif est d'échantillonner à partir de la distribution conditionnelle $\text{Loi}(Z \mid AZ = y)$.

Les méthodes existantes basées sur la projection (par exemple, DDRM, DDNM) imposent la cohérence des mesures en corrigeant analytiquement la composante « normale » du signal (la partie déterminée par $A$) durant le processus de diffusion inverse. Cependant, les auteurs soutiennent que la cohérence des mesures seule est insuffisante. Bien que la composante normale soit fixée par l'observation, la composante « tangente » (la partie dans le noyau de $A$) reste indéterminée. Les méthodes de projection standard laissent la dynamique tangente régie entièrement par le score inconditionnel préentraîné. Cela conduit à un biais d'espace tangent, où la masse de probabilité est distribuée incorrectement le long de l'ensemble affine réalisable, accumulant souvent des erreurs provenant des modes dominants de l'a priori inconditionnel qui sont sans rapport avec l'observation spécifique.

Méthodologie

Les auteurs proposent un cadre d'échantillonnage en deux étapes fondé sur une décomposition normale–tangente de la fonction de score conditionnelle sous un bruitage gaussien.

1. Décomposition Normale–Tangente

Pour un processus de diffusion à explosion de variance (VE) $X_t = Z + W_t$, le score conditionnel $s^*_t(x)$ peut être décomposé en composantes normale ($P_\perp$) et tangente ($P_\parallel$) par rapport à l'espace des lignes de $A$ :

• Composante Normale : Le score normal $P_\perp s^*_t(x)$ est disponible sous forme fermée via la formule de Tweedie et l'observation $b = P_\perp Z$. Il est donné par $\frac{1}{t}P_\perp(b - x)$.
• Composante Tangente : Le score tangent $P_\parallel s^*_t(x)$ est inconnu. Les méthodes basées sur la projection l'approximent par le score tangent inconditionnel $P_\parallel s_t(x)$.

Les auteurs identifient que l'erreur dans l'échantillonnage sans exemple standard provient du remplacement du score tangent conditionnel inconnu par le score inconditionnel. Cette approximation est particulièrement problématique à des niveaux de bruit élevés où le score inconditionnel agrège des informations de tous les modes de données, risquant d'attirer l'échantillon vers des clusters non pertinents.

2. Échantillonneur Proposé : Initialisation Langevin Projetée + Débruitage Guidé

Pour atténuer ce biais, les auteurs proposent un algorithme en trois étapes (Algorithme 1) :

1. Initialisation à un Niveau de Bruit Intermédiaire ($t^*$) : Au lieu de démarrer le processus inverse depuis le niveau de bruit le plus élevé ($T$), l'échantillonneur démarre à un niveau de bruit « sûr » intermédiaire $t^*$. À ce niveau, la composante normale est échantillonnée exactement selon la loi conditionnelle $\text{Loi}(P_\perp X_{t^*} \mid P_\perp Z = b)$.
2. Mélange Langevin Sous-amorti Projeté : Avant de commencer le débruitage inverse, l'échantillonneur exécute une courte phase de dynamique Langevin sous-amortie projetée (utilisant l'intégrateur BAOAB) restreinte à l'ensemble affine défini par la composante normale bruitée. Cette étape utilise le score inconditionnel projeté $P_\parallel s_{t^*}$ pour mélanger la composante tangente. L'objectif est de produire une initialisation déjà bien mélangée le long de la variété réalisable et cohérente avec la contrainte, réduisant ainsi l'accumulation d'erreurs de mismatch du score tangent.
3. Débruitage Inverse Guidé : À partir de l'état initialisé à $t^*$, l'échantillonneur effectue un débruitage inverse guidé jusqu'à $t=0$. La dynamique utilise la dérive normale exacte (pour imposer la contrainte) et le score tangent inconditionnel préentraîné (pour guider les directions tangentes).

Contributions Clés

L'article apporte quatre contributions principales :

1. Décomposition Théorique : Il dérive une décomposition normale–tangente rigoureuse pour la diffusion conditionnelle affine, montrant que le score normal est exactement déterminé par la mesure, isolant le score tangent comme la seule source d'erreur d'approximation dans les contextes sans exemple.
2. Proposition Algorithmique : Il introduit un échantillonneur combinant une correction normale exacte avec une phase d'initialisation Langevin projetée. Cette phase mélange explicitement les directions tangentes à un niveau de bruit intermédiaire avant le débruitage guidé, traitant l'accumulation de biais observée dans les méthodes de projection naïves.
3. Bornes d'Erreur Informationnelles : Les auteurs prouvent une borne d'erreur pathologique (Théorème 4) montrant que la divergence de Kullback–Leibler (KL) entre le chemin conditionnel idéal et le chemin de substitution est majorée par l'information mutuelle conditionnelle $I(Z_\parallel; Z_\perp \mid X_{t^*})$. Cela fournit un critère informationnel : la méthode est précise lorsque la dépendance statistique résiduelle entre les composantes tangente et normale est faible au niveau de bruit choisi.
4. Garanties Terminales : Sous l'hypothèse d'un modèle de mélange gaussien latent, l'article fournit une borne KL terminale (Théorème 9) qui sépare l'erreur en un terme d'initialisation et un terme pathologique. De plus, sous une condition de séparation sur le livre de codes latent (Théorème 11), les auteurs montrent que les deux termes d'erreur décroissent exponentiellement avec le rapport de séparation au bruit, établissant des régimes où la méthode est hautement précise.

Résultats Expérimentaux

La méthode proposée, nommée LCDM-BAOAB, a été évaluée sur des problèmes standards d'inversion d'images linéaires (inpainting et super-résolution 8×) sur les ensembles de données CelebA-HQ, LSUN Church et ImageNet.

• Lignes de Base : La méthode a été comparée à DDNM, une forte ligne de base de projection sans exemple.
• Métriques : La performance a été mesurée à l'aide de la Distance d'Inception Fréchet (FID) et de la Similarité Apparente d'Échantillons d'Images Appris (LPIPS) sous un budget de calcul apparié (100 évaluations de fonctions de réseau).
• Constats :
  • LCDM-BAOAB a systématiquement surpassé DDNM sur tous les ensembles de données et toutes les tâches.
  • Les améliorations étaient les plus significatives sur ImageNet et pour la super-résolution 8×, des contextes caractérisés par une forte ambiguïté d'espace tangent (de nombreuses images haute résolution cohérentes avec la même observation basse résolution).
  • Les résultats visuels ont montré que LCDM-BAOAB produisait des reconstructions plus nettes et plus cohérentes avec moins d'artefacts de texture par rapport à DDNM, en particulier dans les scénarios à haute ambiguïté.

Signification et Revendications

L'article revendique que l'imposition de la cohérence des mesures dans les directions normales est insuffisante pour résoudre des problèmes d'inversion linéaire très mal posés avec des priors de diffusion. L'obstacle central est l'ambiguïté d'espace tangent, où le score inconditionnel échoue à distribuer correctement la masse de probabilité le long de l'ensemble réalisable.

La signification de ce travail réside dans :

• Identification de la Source du Biais : Il isole l'approximation du score tangent comme le mécanisme spécifique causant le biais dans les méthodes sans exemple existantes.
• Garanties Indépendantes de la Dimension : Les bornes théoriques sont indépendantes de la dimension, dépendant plutôt de l'information mutuelle conditionnelle et de la sensibilité du conditionnel tangent au code normal.
• Efficacité Pratique sans Affinage : La méthode atteint des performances sans exemple de pointe en exploitant le conditionnement au moment de l'inférence et le mélange Langevin, sans nécessiter d'affinage spécifique à la tâche ni l'apprentissage de modèles supplémentaires.
• Justification Théorique du Mélange Tangent : Il fournit une justification théorique expliquant pourquoi le mélange dans les directions tangentes à des niveaux de bruit intermédiaires améliore la qualité de l'échantillonnage, reliant cette amélioration à la réduction de la dépendance statistique résiduelle entre les composantes observées et non observées.