Measurement-Consistent Langevin Corrector for Stabilizing Latent Diffusion Inverse Problem Solvers

Cet article propose le Correcteur de Langevin Consistant aux Mesures (MCLC), un module de stabilisation théorique qui corrige les instabilités des solveurs de problèmes inverses basés sur les modèles de diffusion latente en alignant leurs dynamiques avec celles apprises par le modèle via des mises à jour consistantes aux mesures.

L'essentiel

Imagine que vous essayez de deviner l'original d'un tableau de maître, mais vous n'avez qu'une photo de lui très floue, tachée et incomplète. C'est ce qu'on appelle un problème inverse : retrouver la cause (l'image originale) à partir d'une conséquence (la photo abîmée).

Pour aider à cette tâche, les scientifiques utilisent des "modèles de diffusion latente". On peut les voir comme des artistes virtuels extrêmement talentueux qui ont appris à dessiner des millions de visages et de paysages. Ils savent à quoi ressemble un monde "normal".

Le Problème : L'Artiste qui Trébuche

Le problème, c'est que quand on demande à cet artiste de reconstruire l'image floue, il commence bien, mais il se met à trébucher.

Imaginez que l'artiste suit un chemin de terre bien tracé (le chemin stable qu'il connaît par cœur). Mais, pour coller à votre photo floue, on le force à faire des détours brusques. Soudain, il sort du chemin, il s'égare dans des zones où il ne devrait pas être (comme dessiner un nez sur le front d'un éléphant). C'est ce qu'on appelle l'instabilité. Le résultat final est souvent une image bizarre, avec des artefacts (des taches, des déformations).

Les anciennes méthodes disaient : "Il faut le remettre sur le chemin, car le chemin est une ligne droite." Mais en réalité, le chemin de l'artiste n'est pas une ligne droite, c'est une route de montagne sinueuse et complexe. Essayer de le remettre sur une ligne droite ne fonctionne pas bien.

La Solution : Le Correcteur MCLC

Les auteurs de cette paper ont une nouvelle idée. Au lieu de regarder le chemin comme une ligne droite, ils disent : "L'artiste s'est éloigné de la musique qu'il connaît par cœur. Il faut le ramener en rythme."

Ils proposent un outil appelé MCLC (Correcteur de Langevin Consistant aux Mesures). Voici comment ça marche avec une analogie simple :

1. Le Guide Musical (La Stabilité) : L'artiste a une partition de musique parfaite (la distribution stable apprise par le modèle). Quand il joue faux (qu'il s'éloigne du chemin), le MCLC l'entend et lui dit : "Non, non, reviens sur le rythme de la partition !".
2. Le Fil Invisible (La Cohérence) : Mais attention ! Si on le ramène trop brutalement, il risque d'oublier votre photo floue originale. Le MCLC est intelligent : il utilise un fil invisible qui le relie à votre photo.
   • Il pousse l'artiste vers la bonne partition (stabilité).
   • MAIS il le fait uniquement dans les directions qui ne cassent pas le fil invisible (cohérence avec la photo).

C'est comme si vous guidiez un enfant qui court dans un parc (l'artiste) :

• Vous voulez qu'il reste sur le sentier principal (stabilité).
• Mais vous ne voulez pas qu'il s'éloigne de vous (la photo).
• Le MCLC est la main qui le pousse doucement vers le sentier, sans jamais le tirer vers l'arrière pour qu'il vous perde de vue.

Pourquoi c'est génial ?

• C'est un "Plug-and-Play" : Vous n'avez pas besoin de réapprendre à l'artiste à dessiner. Vous lui donnez juste ce petit correcteur MCLC, comme un accessoire de vélo, et il fonctionne immédiatement avec n'importe quel modèle existant.
• Plus de taches : Les images finales sont beaucoup plus propres, sans ces taches bizarres (artefacts) qui apparaissaient avant.
• Fidélité : L'image reconstruite ressemble vraiment à ce que vous avez photographié, tout en étant belle et naturelle.

En résumé, cette paper nous dit : "Ne forcez pas l'artiste à marcher en ligne droite. Écoutez plutôt sa musique intérieure pour le stabiliser, tout en gardant un œil sur la photo originale." C'est une méthode plus intelligente et plus douce pour reconstruire le monde à partir de ses fragments.

Résumé technique

1. Problématique

Les modèles de diffusion latents (LDMs) sont devenus des priors puissants pour résoudre des problèmes inverses (comme le défloutage, la super-résolution ou l'inpainting). Cependant, les solveurs basés sur les LDMs souffrent fréquemment d'instabilité, se manifestant par des artefacts visuels et une qualité de reconstruction dégradée.

Les travaux antérieurs attribuaient cette instabilité à un comportement "hors variété" (off-manifold), supposant que les trajectoires de l'échantillonnage s'éloignaient de la variété des données. Pour y remédier, ils reposaient sur une hypothèse de variété linéaire (approximation locale de la variété comme linéaire). Or, cette hypothèse échoue souvent dans l'espace latent des LDMs en raison de la forte non-linéarité du décodeur du modèle d'auto-encodeur variationnel (VAE).

2. Méthodologie : MCLC

Les auteurs proposent une nouvelle perspective sur l'instabilité et introduisent le Correcteur de Langevin Consistant aux Mesures (MCLC).

A. Nouvelle caractérisation de l'instabilité

Au lieu de se baser sur des hypothèses géométriques de variété, les auteurs définissent l'instabilité comme un écart (discrepancy) entre :

1. La dynamique induite par le solveur (après l'étape de consistance aux mesures).
2. La dynamique de diffusion inverse stable apprise par le modèle (définie par la séquence des distributions marginales temporelles $p_t$).

Ils quantifient cet écart via la divergence de Kullback-Leibler (KL). L'objectif est de réduire cette divergence pour stabiliser le solveur.

B. Le Correcteur de Langevin (Langevin Corrector)

Pour réduire cet écart, l'article propose d'ajouter une étape de correction basée sur la dynamique de Langevin. Théoriquement, si l'on applique une dynamique de Langevin guidée par le score du modèle de diffusion ($\nabla \log p_t$) après l'étape de consistance aux mesures, la distribution du solveur converge vers la distribution cible $p_t$, réduisant ainsi la divergence KL.

C. Consistance aux Mesures (Measurement-Consistent)

Une mise à jour de Langevin standard perturberait la consistance aux mesures (l'adéquation entre la reconstruction et les observations $y$), ce qui est inacceptable pour un problème inverse.
Pour résoudre ce dilemme, le MCLC projette la mise à jour de Langevin sur le complément orthogonal du gradient de consistance aux mesures.

• Soit $g_t$ le gradient de la perte de consistance aux mesures.
• La mise à jour est restreinte à l'espace orthogonal à $g_t$ via un opérateur de projection $P_{\perp g_t} = (I - g_t g_t^T)$.

Formule de mise à jour :
$$z^c_t \leftarrow z^\#_t + \eta_t \cdot P_{\perp g_t} s_\theta(z^\#_t, t) + \sqrt{2\eta_t} \cdot P_{\perp g_t} (\epsilon)$$
Où $z^\#_t$ est la variable latente après l'étape de consistance aux mesures, $s_\theta$ est le réseau de score, et $\epsilon$ est du bruit gaussien.

Cette approche garantit que la correction réduit l'écart avec la dynamique stable du modèle de diffusion tout en préservant la fidélité aux mesures (jusqu'à un ordre de Taylor contrôlé).

3. Contributions Clés

1. Nouvelle perspective théorique : Identification de l'instabilité non pas comme un problème de variété géométrique, mais comme un écart dynamique par rapport aux distributions marginales temporelles stables du modèle de diffusion.
2. MCLC (Plug-and-Play) : Introduction d'un module de stabilisation théoriquement fondé qui peut être intégré dans n'importe quel solveur inverse basé sur LDM sans modifier son algorithme central.
3. Preuve de stabilité : Démonstration que le MCLC réduit la divergence KL tout en maintenant la consistance aux mesures dans des bornes contrôlées, sans hypothèse de variété linéaire.
4. Généralité : La méthode est applicable non seulement aux solveurs LDM, mais aussi aux solveurs basés sur des flux (flow-based models).

4. Résultats Expérimentaux

Les auteurs ont évalué MCLC sur divers problèmes inverses (défloutage gaussien/motion, super-résolution, inpainting, HDR) et deux jeux de données (FFHQ, ImageNet), en l'intégrant à plusieurs solveurs de base (LDPS, PSLD, ReSample, LatentDAPS).

• Performance Quantitative : MCLC améliore systématiquement les métriques de qualité d'image (PSNR, LPIPS, FID, Patch-FID) par rapport aux solveurs de base et à l'état de l'art (notamment DiffStateGrad, qui repose sur l'hypothèse de variété linéaire).
  • Exemple : Sur la super-résolution 4x avec ReSample, le FID passe de 70.16 (Base) à 53.85 (MCLC).
  • Les histogrammes de PSNR montrent un déplacement vers des valeurs plus élevées et une réduction drastique des échecs sévères (faible PSNR).
• Qualité Visuelle : Les reconstructions sont plus stables, avec une réduction significative des artefacts (notamment les "blob artifacts" ou taches localisées) et une meilleure structure.
• Efficacité : Le surcoût computationnel est minime (environ 3% de temps d'exécution supplémentaire pour LDPS/PSLD) car MCLC ne nécessite pas de rétropropagation à travers le décodeur (il réutilise le gradient déjà calculé).
• Robustesse : La méthode fonctionne bien avec un seul jeu d'hyperparamètres par défaut pour différents types de tâches et modèles (SD v1.5, SD v2.1, Realistic Vision).

5. Signification et Impact

Ce travail est significatif car il remet en cause l'hypothèse dominante de la "variété linéaire" dans les solveurs de diffusion inverse, démontrant qu'elle est souvent invalide dans l'espace latent. En proposant une approche basée sur la cohérence dynamique plutôt que géométrique, MCLC offre un mécanisme de stabilisation plus robuste et universel.

Le MCLC permet de débloquer le plein potentiel des solveurs inverses basés sur LDMs, rendant les solutions plus fiables et fidèles aux données observées, ce qui est crucial pour les applications scientifiques et d'ingénierie où la précision des mesures est primordiale. Il établit également une base théorique solide pour comprendre et corriger l'instabilité dans les solveurs de diffusion et de flux latents.