Résumé Technique : SONIC (Spectral Optimization of Noise for Inpainting with Consistency)

Énoncé du Problème

Les approches actuelles d'inpainting d'images utilisant des modèles de génération de texte-à-image prêts à l'emploi (spécifiquement les modèles de diffusion de débruitage et de flux) sont confrontées à un compromis entre polyvalence et performance. Bien que les méthodes sans entraînement (training-free) qui reposent sur le guidage ou l'échantillonnage de la distribution postérieure permettent d'utiliser des modèles génériques pour des problèmes inverses sans entraînement coûteux, elles produisent souvent des résultats avec des structures d'image incohérentes par rapport aux modèles d'inpainting spécialisés et entraînés.

Les auteurs soutiennent que la principale limitation des méthodes existantes sans entraînement est l'omission de l'échantillon de bruit initial. Bien qu'il soit établi que le bruit initial détermine largement la disposition et la structure de la génération finale, l'optimisation directe de ce bruit est informatiquement prohibitive. Les approches standards nécessitent une rétropropagation à travers toute la chaîne de débruitage (déroulement de $T$ étapes), ce qui est irréalisable pour les modèles modernes à grande échelle en raison des contraintes de mémoire et de calcul. Par conséquent, les méthodes existantes se contentent souvent d'une initialisation de bruit sous-optimale, entraînant des désalignements structurels dans les régions inpaintées.

Méthodologie

SONIC propose un nouveau cadre de travail sans entraînement qui optimise l'échantillon de bruit initial pour reproduire fidèlement les régions non masquées d'une image d'entrée, assurant ainsi la cohérence structurelle dans l'inpainting final. La méthode évite la rétropropagation à travers le débruiteur en employant deux innovations techniques centrales :

1. Linéarisation de la trajectoire de débruitage

Pour contourner la nécessité de dérouler la chaîne de débruitage, SONIC approxime la trajectoire de débruitage comme un chemin linéaire.

• Formulation : Au lieu de traiter le processus de débruitage $x_0 = D_T(x_T)$ comme une fonction non linéaire complexe nécessitant le calcul du gradient à travers chaque étape, les auteurs approchent la trajectoire $x(t)$ comme suit :
  $$\hat{x}(t) \approx \text{stopgrad}(D_T(x_T) - x_T)(1 - \frac{t}{T}) + x_T$$
• Mécanisme : Cette linéarisation suppose que la différence entre l'image finale débruitée et le bruit initial est constante tout au long du processus. Cela permet de formuler l'objectif d'optimisation comme une perte différentiable par rapport à $x_T$ sans rétropropager à travers le débruiteur $D_T(\cdot)$. La perte minimise la différence entre l'image masquée observée $y$ et la version corrompue de la sortie débruitée approximée linéairement.

2. Préconditionnement Spectral

L'optimisation directe du bruit initial dans le domaine spatial conduit souvent à une instabilité, où différentes fréquences spatiales convergent à des rythmes différents, provoquant des scintillements ou des artefacts.

• Optimisation dans le domaine spectral : La méthode transforme le problème d'optimisation dans le domaine fréquentiel. Le bruit initial $x_T$ est représenté par sa transformée de Fourier $X_T$.
• Optimisation Adam : L'optimisation est effectuée sur $X_T$ en utilisant l'optimiseur Adam. Puisque Adam divise les mises à jour des paramètres par leurs seconds moments, opérer dans le domaine spectral agit efficacement comme un préconditionneur. Cela permet aux différentes composantes fréquentielles de converger à leurs rythmes respectifs, stabilisant le processus d'optimisation et empêissant le bruit de diverger de la variété (manifold) acceptable.
• Contraintes Spatiales : Pour éviter que les régions non observées (masquées) du bruit ne s'éloignent de la distribution gaussienne attendue par le modèle, les mises à jour de gradient sont masquées. Seuls les gradients correspondant aux pixels observés (non masqués) sont appliqués.

Détails de Mise en Œuvre

• Efficacité de l'Espace Latent : La méthode opère entièrement dans l'espace latent. Pour les images masquées, les auteurs emploient une stratégie simple de remplissage par plus proche voisin avant l'encodage dans l'espace latent, jugeant cela suffisant pour une performance robuste.
• Flux de Travail : Le processus implique l'optimisation du bruit initial $X_T$ pour un nombre fixe d'itérations (par exemple, 20) en utilisant la perte linéarisée et le préconditionnement spectral. Le bruit optimisé résultant est ensuite injecté dans un pipeline d'inpainting standard sans entraînement (par exemple, BLD-SD3.5) pour générer l'image finale.

Contributions Clés

1. Optimisation du Bruit Initial sans Rétropropagation : Le papier introduit une stratégie de linéarisation qui permet l'optimisation de l'échantillon de bruit initial pour les problèmes inverses sans le coût de calcul du déroulement de la chaîne de débruitage.
2. Préconditionnement Spectral : Les auteurs démontrent que l'optimisation dans le domaine spectral avec Adam fournit une convergence nettement plus stable que l'optimisation spatiale, traitant les taux de convergence dépendants de la fréquence inhérents aux modèles de diffusion/flux.
3. État de l'Art Sans Entraînement : La méthode atteint des performances supérieures par rapport aux bases de comparaison (baselines) sans entraînement existantes et des résultats compétitifs face aux modèles spécialisés entraînés.

Résultats Expérimentaux

Les auteurs ont évalué SONIC sur trois jeux de données standards : FFHQ (visages), DIV2K (images naturelles) et BrushBench (masques complexes).

• Performance Quantitative : SONIC a surpassé les méthodes sans entraînement de pointe (FLAIR, FlowChef, FlowDPS, BLD-SD3.5) et le modèle spécialisé entraîné BrushNet sur des métriques perceptuelles clés : SSIM, LPIPS et FID.
  • Sur FFHQ, SONIC a obtenu un LPIPS de 0,121 et un FID de 12,883, ce qui est nettement meilleur que FLAIR (0,266 LPIPS, 18,982 FID) et BrushNet (0,237 LPIPS, 17,950 FID).
  • Sur DIV2K et BrushBench, des tendances similaires ont été observées, SONIC montrant la meilleure cohérence structurelle et similitude perceptuelle.
• Résultats Qualitatifs : Les comparaisons visuelles ont montré que SONIC produit des régions inpaintées qui s'alignent mieux avec la structure globale, l'éclairage et la disposition de l'image d'entrée par rapport aux bases de comparaison, qui souffraient souvent de désalignement structurel ou d'artefacts de flou.
• Études d'Ablation :
  • Le retrait du préconditionnement spectral (optimisation dans le domaine spatial) a conduit à des performances nettement moins bonnes (LPIPS et FID plus élevés), confirmant la nécessité de la stabilisation dans le domaine fréquentiel.
  • Le retrait des contraintes spatiales a provoqué la divergence de l'optimisation, introduisant des artefacts visibles et des dérives de couleur.
  • L'utilisation de pixels de vérité terrain (ground-truth) pour l'encodeur (borne supérieure) a produit des résultats presque identiques au simple remplissage par plus proche voisin, validant la robustesse de la stratégie de l'espace latent.

Signification et Revendications

Le papier affirme que SONIC comble une lacune critique dans l'application des modèles génératifs génériques aux problèmes inverses. En identifiant l'échantillon de bruit initial comme l'« ingrédient manquant » et en fournissant une méthode pratique et stable pour l'optimiser, SONIC permet aux modèles prêts à l'emploi d'atteindre des performances auparavant réservées aux réseaux d'inpainting spécialisés et entraînés.

Les auteurs soulignent que leur méthode est sans entraînement, évitant les coûts et les problèmes de généralisation associés au fine-tuning de modèles sur des types de masques spécifiques. Ils positionnent SONIC non pas seulement comme un outil d'inpainting, mais comme une preuve de concept que la linéarisation et le préconditionnement spectral peuvent libérer le potentiel des modèles de flux génériques pour une gamme plus large de problèmes inverses, tels que la super-résolution et le défloutage, sans nécessiter d'échantillonnage de la distribution postérieure complexe ou de rétropropagation.