🤖 AI

VIPaint: Image Inpainting with Pre-Trained Diffusion Models via Variational Inference

L'article propose VIPaint, un algorithme d'inférence variationnelle hiérarchique qui permet l'inpainting d'images de haute qualité et diversifié ainsi que d'autres problèmes inverses en optimisant une approximation markovienne non gaussienne du vrai posterior de diffusion, résolvant efficacement les limites des méthodes existantes dans la gestion de grandes régions masquées et de modèles de diffusion latente.

Auteurs originaux : Sakshi Agarwal, Gabriel Hope, Jimin Heo, Erik B. Sudderth

Publié 2026-05-01

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Sakshi Agarwal, Gabriel Hope, Jimin Heo, Erik B. Sudderth

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous possédiez une magnifique photographie haute résolution, mais que quelqu'un ait gribouillé un énorme gribouillage au marqueur sur une grande partie de celle-ci. Vous souhaitez la réparer, mais vous ne savez pas ce qui se trouvait sous le gribouillage. Était-ce un chat ? Une voiture ? Une montagne ?

C'est le problème de l'inpainting d'image. Pendant longtemps, les ordinateurs ont eu du mal à combler ces grands trous manquants sans rendre les choses floues, étranges ou complètement erronées.

Voici VIPaint, une nouvelle méthode décrite dans cet article. Considérez VIPaint non pas comme un peintre qui se contente de deviner, mais comme un détective ultra-intelligent qui utilise une immense bibliothèque de « et si » pour résoudre le mystère des pixels manquants.

Voici comment cela fonctionne, décomposé en concepts simples :

1. La « Bibliothèque Magique » (Modèles de Diffusion Pré-entraînés)

D'abord, imaginez un ordinateur qui a passé des années à étudier des millions de photos. Il a appris les « règles » de l'apparence du monde : comment l'oreille d'un chat se connecte à sa tête, à quoi ressemblent les nuages dans le ciel, ou comment la roue d'une voiture s'adapte à sa carrosserie. Dans l'article, ceci est appelé un Modèle de Diffusion.

Considérez ce modèle comme une Bibliothèque Magique de chaque image possible qui pourrait exister. Si vous lui demandez de dessiner un « chat », il sait exactement à quoi ressemble un chat car il les a tous vus auparavant.

2. Le Problème des Anciennes Méthodes (Le « Jeu de Devinettes »)

Les méthodes précédentes tentaient de réparer la photo gribouillée en faisant une hypothèse, en examinant le résultat, puis en essayant de le ramener vers les parties visibles de la photo.

L'article dit que c'est comme essayer de traverser une pièce sombre en faisant un pas, en trébuchant, puis en espérant ne pas heurter un mur. Si la partie manquante est énorme (comme un visage entier), ces anciennes méthodes se perdent souvent. Elles pourraient combler le trou avec la tête d'un chat, mais alors le corps ressemblerait à celui d'un chien, ou les couleurs ne correspondraient pas au reste de la pièce. Elles peinent à maintenir la « vue d'ensemble » cohérente tout en remplissant les détails.

3. L'Arme Secrète de VIPaint : La « Carte Hiérarchique »

VIPaint change la donne en utilisant une technique appelée Inférence Variationnelle. Au lieu de simplement deviner l'image finale, VIPaint construit une carte hiérarchique (un guide étape par étape) pour naviguer dans la Bibliothèque Magique.

Voici l'analogie :

Les anciennes méthodes tentent de sauter directement du « bruit pur » (statique) à l'« image finale ». Elles trébuchent souvent et tombent, créant un désordre.
VIPaint s'arrête à plusieurs « points de contrôle » en cours de route. Imaginez que vous faites une randonnée en descendant une montagne pour trouver une vallée cachée (l'image manquante).
- Point de contrôle 1 (En haut) : Vous observez la vue d'ensemble. « D'accord, c'est définitivement une forêt, pas une ville. »
- Point de contrôle 2 (À mi-chemin) : Vous voyez les arbres. « D'accord, ce sont des pins, pas des palmiers. »
- Point de contrôle 3 (Près du bas) : Vous voyez les branches et les feuilles spécifiques.

VIPaint optimise ces points de contrôle simultanément. Il s'assure que la « vue d'ensemble » (la forêt) correspond aux « petits détails » (les aiguilles de pin) et que tout s'aligne avec les parties de la photo qui n'ont pas été gribouillées.

4. Pourquoi C'est Mieux (L'« Argile Flexible »)

L'article affirme que VIPaint est spécial car il traite l'image manquante comme de l'argile flexible plutôt que comme une statue rigide.

Incertitude : Si vous avez un grand trou dans une photo, il n'y a pas une seule bonne réponse. Il pourrait y avoir un chat, un chien ou un renard. VIPaint le comprend. Il ne force pas l'ordinateur à choisir immédiatement une seule réponse « correcte ». Au lieu de cela, il maintient les options ouvertes (l'« incertitude ») jusqu'à ce qu'il ait rassemblé suffisamment d'indices à partir des parties visibles de l'image pour les réduire.
Apprentissage Zero-Shot : C'est une grande avancée. VIPaint n'a pas besoin d'être réentraîné pour chaque nouveau type de photo. Il prend une « Bibliothèque Magique » pré-entraînée (comme celle utilisée pour Stable Diffusion) et l'adapte instantanément à votre photo gribouillée spécifique. C'est comme avoir un chef étoilé qui peut cuisiner un repas parfait pour vous en utilisant les ingrédients que vous venez de lui remettre, sans avoir besoin d'aller à l'école de cuisine au préalable.

5. Les Résultats : Net, Réaliste et Diversifié

L'article a testé VIPaint sur de nombreux scénarios différents :

Combler d'énormes trous : Même lorsque 50 à 80 % de l'image est manquante, VIPaint la remplit de détails réalistes qui correspondent au reste de l'image.
Réparer les photos floues : Il peut également affiner les images floues (défloutage) ou agrandir les petites photos (super-résolution).
Texte vers Image : Il fonctionne même avec les générateurs d'images les plus avancés et guidés par le texte (comme Stable Diffusion 3.5), créant des images non seulement nettes, mais aussi cohérentes à l'échelle globale.

En résumé :
VIPaint est une nouvelle façon de réparer des photos abîmées ou gribouillées. Au lieu de deviner aveuglément, il utilise une stratégie intelligente et étape par étape pour naviguer dans une immense bibliothèque de connaissances sur les images. Il vérifie la « vue d'ensemble » et les « petits détails » en même temps, garantissant que le résultat final est réaliste, net et cohérent, même lorsque de grandes parties de l'image sont manquantes. Il fait tout cela sans avoir besoin d'être réentraîné, ce qui en fait un outil puissant « brancher et jouer » pour réparer des images.

1. Énoncé du problème

Le papier aborde le défi de l'inpainting d'images (remplissage des régions manquantes ou masquées d'une image) en utilisant des modèles de diffusion pré-entraînés (DM), en particulier les modèles de diffusion latente (LDM) comme Stable Diffusion.

La difficulté fondamentale : Bien que les DM excellent à générer de nouvelles images à partir du bruit, les conditionner sur des images corrompues ou partiellement observées (inpainting) n'est pas trivial. L'objectif est d'échantillonner à partir de la vraie distribution postérieure conditionnelle $p(x|y)$ , où $y$ est l'image observée (masquée) et $x$ l'image complète.
Limites des méthodes existantes :
- Méthodes heuristiques/itératives : Des approches comme RePaint, CoPaint et DPS (Diffusion Posterior Sampling) reposent souvent sur un raffinement itératif ou des heuristiques de « voyage dans le temps ». Elles échouent fréquemment à capturer la structure globale lorsque de grandes régions sont masquées, conduisant à des résultats incohérents ou irréalistes.
- Méthodes variationnelles (REDdiff) : Les tentatives précédentes d'inférence variationnelle (par exemple, REDdiff) optimisent souvent une seule image au niveau sans bruit ( $t=0$ ) en utilisant une approximation gaussienne simple. Cela échoue à capturer l'incertitude, est sujet à une instabilité d'optimisation (surtout dans les régimes à faible bruit) et peine à se généraliser aux LDM.
- Exigences d'entraînement : De nombreuses méthodes de pointe nécessitent un ajustement fin (fine-tuning) du modèle génératif sur des jeux de données ou des masques spécifiques, ce qui est coûteux en calcul et empêche une application « zero-shot » à de nouvelles tâches.

2. Méthodologie : VIPaint

Les auteurs proposent VIPaint, un algorithme d'inférence variationnelle (VI) hiérarchique qui traite le modèle de diffusion pré-entraîné comme une a priori. Au lieu d'optimiser une seule image, VIPaint optimise une distribution sur des variables latentes à plusieurs niveaux de bruit.

A. Postérior variationnel hiérarchique

VIPaint définit une approximation non gaussienne et markovienne du vrai postérior de diffusion. Il introduit un ensemble de $K$ « points clés » (étapes intermédiaires) $\{h(1), \dots, h(K)\}$ au sein de la trajectoire de diffusion inverse (où $h(K)$ correspond à un bruit élevé et $h(1)$ à un bruit faible).

La distribution variationnelle est définie comme suit :
$q_\lambda(z_{h(1):h(K)}) = q_\lambda(z_{h(K)}) \prod_{i=1}^{K-1} q_\lambda(z_{h(i)} | z_{h(i+1)})$

Structure :
- Bruit élevé ( $h(K)$ ) : Modélisé comme une gaussienne factorisée.
- Bruit intermédiaire/faible : Modélisé comme une gaussienne dont la moyenne est une combinaison convexe de la prédiction de diffusion a priori (issue du modèle pré-entraîné) et d'un paramètre variationnel appris spécifique à l'image.
- Variance : La variance est apprise et spécifique aux dimensions, permettant au modèle d'augmenter dynamiquement l'incertitude dans les régions masquées tout en maintenant la certitude dans les régions observées.

B. La fonction objectif

VIPaint optimise une borne inférieure variationnelle sur la vraisemblance marginale de l'observation $y$ . La fonction de perte se compose de trois termes :

Perte de reconstruction : Garantit que les échantillons générés au niveau de bruit le plus faible ( $h(1)$ ) sont cohérents avec les pixels observés $y$ . Cela est approximé en utilisant une prédiction de débruitage en une étape.
Perte a priori : Régularise le niveau de bruit le plus élevé ( $h(K)$ ) pour l'aligner avec la sémantique globale encodée par l'a priori de diffusion dans le régime de bruit élevé.
Perte hiérarchique : Garantit la cohérence entre les points clés adjacents dans la hiérarchie, capturant les détails et la structure de niveau intermédiaire de l'image.

C. Optimisation et échantillonnage

Optimisation : Les paramètres variationnels $\lambda$ (moyennes, variances et poids de mélange) sont optimisés par image par descente de gradient (Adam). Crucialement, cela se fait sans recuit (un échantillonnage aléatoire du temps est utilisé pour la perte), ce qui fournit une borne non biaisée et évite l'instabilité observée dans les méthodes qui effectuent un recuit de $T$ à $0$.
Échantillonnage : Après optimisation, des reconstructions diversifiées sont générées par :
1. Échantillonnage ancestral : Échantillonnage à partir du postérior hiérarchique optimisé, de $h(K)$ jusqu'à $h(1)$ .
2. Raffinement : Affinement supplémentaire de l'échantillon de $h(1)$ jusqu'à $t=0$ en utilisant le réseau de débruitage pré-entraîné, guidé par le gradient de vraisemblance (similaire à DPS mais démarrant d'un postérior mieux initialisé).

3. Contributions clés

Approximation hiérarchique non gaussienne : Contrairement aux méthodes VI précédentes qui approximent le postérior en un seul point ( $t=0$ ), VIPaint modélise le postérior à travers une hiérarchie de niveaux de bruit. Cela lui permet de capturer simultanément la sémantique globale (à bruit élevé) et les détails locaux (à bruit faible).
Adaptation Zero-Shot : VIPaint ne nécessite pas d'ajustement fin du modèle de diffusion pré-entraîné. Il adapte le modèle à de nouveaux masques et images en optimisant les paramètres variationnels pour chaque requête, le rendant applicable à n'importe quel DM pré-entraîné (basé sur les pixels ou latent).
Stabilité et modélisation de l'incertitude : En évitant le régime de faible bruit pendant la phase principale d'optimisation (où les réseaux de débruitage sont non lisses et instables) et en modélisant explicitement la variance, VIPaint produit des imputations plausibles et diversifiées qui reflètent l'incertitude des données manquantes.
Généralisation aux LDM : La méthode est explicitement conçue pour fonctionner avec les modèles de diffusion latente, permettant un inpainting haute résolution (par exemple, 1024x1024) avec un coût computationnel inférieur aux approches basées sur les pixels.

4. Résultats expérimentaux

Les auteurs ont évalué VIPaint sur ImageNet64, ImageNet256, LSUN-Churches et Stable Diffusion 3.5 (conditionné par le texte).

Performance quantitative :
- Grandes masques : VIPaint surpasse nettement les bases de référence (DPS, RePaint, CoPaint, REDdiff) sur les grandes régions masquées (40-80 % de l'image) en termes de PSNR, SSIM et LPIPS.
- Modèles conditionnés par le texte : Sur Stable Diffusion 3.5, VIPaint atteint un PSNR supérieur (26,69 contre 25,22 pour DPS) et un LPIPS inférieur (0,050 contre 0,061), produisant des images globalement cohérentes qui préservent les détails fins.
- Autres problèmes inverses : La méthode montre également de fortes performances en défloutage et en super-résolution, surpassant des bases de référence spécialisées comme PSLD et ReSample.
Performance qualitative :
- Les résultats visuels montrent que VIPaint génère des structures globalement cohérentes (par exemple, des formes d'objets et un éclairage cohérents) là où d'autres méthodes produisent des artefacts flous ou incohérents.
- Il génère avec succès plusieurs complétions plausibles et diversifiées pour la même image masquée, démontrant sa capacité à modéliser la nature multimodale du postérior.
Efficacité :
- VIPaint est computationnellement efficace. Pour $K=2$ , il nécessite seulement environ 150 appels au réseau de débruitage pour l'optimisation (contre plus de 1000 pour les méthodes basées sur l'échantillonnage) et est plus rapide que de nombreuses bases de référence tout en offrant une qualité supérieure.

5. Signification

VIPaint représente une avancée significative dans les problèmes inverses avec les modèles de diffusion. En passant d'un échantillonnage heuristique ou d'une optimisation ponctuelle à un cadre d'inférence variationnelle hiérarchique principielle, il résout le problème critique de l'incohérence globale dans l'inpainting avec de grands masques.

Sa capacité à fonctionner en zero-shot avec des modèles de base de pointe (comme Stable Diffusion 3.5) sans réentraînement en fait un outil hautement pratique pour les tâches d'édition, de restauration et de complétion d'images dans le monde réel. Il comble le fossé entre la rigueur théorique de l'inférence variationnelle et les capacités pratiques de l'IA générative moderne.