Spectral Collapse in Diffusion Inversion

Titre : Spectral Collapse in Diffusion Inversion

Auteurs : Nicolas Bourriez, Alexandre Vérine, Auguste Genovesio (École Normale Supérieure PSL, Paris)

1. Problématique : L'Effondrement Spectral (Spectral Collapse)

L'article identifie une limitation fondamentale des méthodes d'inversion déterministes (comme DDIM) dans les tâches de traduction d'image non appariée (unpaired image-to-image translation), particulièrement lorsque le domaine source est spectralement épars par rapport au domaine cible (ex. : super-résolution, conversion croquis-image).

• Le Phénomène : Lors de l'inversion d'une image source (pauvre en hautes fréquences, comme une image basse résolution ou un croquis) vers un bruit latent $z_T$, le bruit récupéré ne suit pas la distribution gaussienne isotrope attendue. Au lieu de cela, il conserve des résidus structurels basse fréquence de l'image d'entrée.
• La Conséquence : Ce "bruit effondré" manque de variance stochastique nécessaire pour générer de nouvelles textures. Lors de l'échantillonnage conditionnel vers le domaine cible, cela se traduit par des générations lissées (oversmoothed), dépourvues de détails réalistes et de textures haute fréquence.
• Le Dilemme Existant : Les méthodes stochastiques alternatives (comme TABA ou ReNoise) tentent de restaurer la variance du bruit, mais elles brisent le lien sémantique avec l'entrée, provoquant une dérive structurelle (hallucinations structurelles) où le contenu généré s'éloigne de la forme originale.

2. Méthodologie : Orthogonal Variance Guidance (OVG)

Pour résoudre ce compromis entre fidélité structurelle et réalisme textural, les auteurs proposent l'Orthogonal Variance Guidance (OVG), une méthode d'inférence qui corrige la dynamique de l'ODE (Ordinary Differential Equation) de la diffusion.

Analyse Théorique et Observations

• Cause Racine : L'effondrement spectral est exacerbé par les objectifs d'entraînement basés sur la prédiction du bruit ($\epsilon$-prediction) dans des régimes à faible rapport signal-sur-bruit (SNR). Les réseaux de neurones (biais spectral) peinent à apprendre les hautes fréquences manquantes.
• Avantage de la Prédiction $x_0$ : Les auteurs montrent que les modèles entraînés pour prédire l'image propre ($x_0$-prediction, comme dans le cadre EDM) sont intrinsèquement plus robustes à cet effondrement, car la connexion résiduelle permet de mieux préserver la variance. Cependant, cela introduit une dérive structurelle si non contrôlée.

Le Mécanisme OVG

L'OVG agit en injectant de la variance haute fréquence strictement dans le sous-espace orthogonal au gradient structurel de l'image source.

1. Deux Termes de Perte :

   • Correction Haute Fréquence ($L_{HF}$) : Pénalise l'écart entre l'énergie du bruit prédit et l'attente théorique d'une gaussienne (norme du vecteur). Cela force la restauration de la variance nécessaire aux textures.
   • Correction Basse Fréquence ($L_{LF}$) : Pénalise la dérive de la reconstruction de l'image propre par rapport à la référence basse fréquence (l'entrée source). Cela préserve la structure globale.

2. Projection Orthogonale :
   Lorsque les gradients de ces deux objectifs entrent en conflit (similitude cosinus négative), l'algorithme projette chaque mise à jour sur le plan normal de l'autre.

   • L'énergie haute fréquence est injectée uniquement dans le noyau (null-space) du gradient structurel.
   • Cela permet de restaurer le profil spectral gaussien requis pour le réalisme textural sans corrompre la disposition sémantique de l'entrée.

3. Mise à Jour Corrigée :
   La trajectoire d'inversion de base (ODE déterministe) est augmentée par ces dérivées orthogonales :
   $$x_{t+1} = x_{t+1}^{base} + u_{LF}(x_t) + u_{HF}(x_t)$$

3. Contributions Clés

1. Identification de l'Effondrement Spectral : Analyse systématique démontrant que l'inversion déterministe échoue à restaurer la distribution gaussienne dans les tâches éparses, menant à une perte de texture.
2. Analyse du Biais de Paramétrisation : Démonstration que la prédiction $x_0$ (EDM) résout le problème de variance mais introduit une dérive structurelle, nécessitant une guidance hybride.
3. Proposition de l'OVG : Une méthode de guidage qui sépare géométriquement la restauration de la texture (hautes fréquences) de la préservation de la structure (basses fréquences) via une projection orthogonale.
4. Validation Empirique : Résultats state-of-the-art sur des tâches complexes comme la super-résolution de microscopie (BBBC021) et la conversion croquis-chaussure (Edges2Shoes).

4. Résultats Expérimentaux

Les expériences ont été menées sur deux jeux de données principaux avec des facteurs de super-résolution agressifs (jusqu'à $\times 32$) :

• Qualité de Texture (SHF - High-Frequency Score) : L'OVG restaure efficacement les hautes fréquences, surpassant les méthodes déterministes (DDIM standard) qui produisent des images floues.
• Fidélité Structurelle (SLF - Low-Frequency Score) : Contrairement aux méthodes stochastiques pures (TABA) qui dégradent la structure, l'OVG maintient une alignement structurel strict avec l'entrée.
• Performance Globale :
  • Sur Edges2Shoes, la configuration EDM+OVG atteint le meilleur compromis perceptuel (LPIPS le plus bas) tout en préservant la structure bien mieux que TABA.
  • Sur BBBC021 (microscopie), l'OVG permet de reconstruire des détails biologiques réalistes (noyaux, membranes) là où les méthodes déterministes échouent complètement, même à un facteur $\times 32$.
• Robustesse Architecturale : L'effet d'effondrement spectral et l'efficacité de l'OVG sont observés aussi bien avec des architectures U-Net que DiT (Diffusion Transformers), prouvant que le problème est inhérent à la dynamique d'inversion et non à l'architecture du modèle.

5. Signification et Impact

Ce travail apporte une compréhension fondamentale des limitations des modèles de diffusion lors de l'inversion sur des données pauvres en information.

• Théorique : Il établit un lien causal entre la statistique du bruit latent (non-gaussien) et la qualité de génération (lissage), et propose une solution géométrique élégante pour contourner le compromis structure-texture.
• Pratique : L'OVG permet d'utiliser la diffusion pour des tâches de restauration et de traduction d'image où la source est très dégradée, sans sacrifier la cohérence structurelle ni la richesse texturale. Cela ouvre la voie à des applications critiques en imagerie médicale (super-résolution) et en design assisté par IA.

En résumé, l'article propose une solution ingénieuse pour "réveiller" les textures manquantes dans les modèles de diffusion sans "oublier" la forme de l'objet original, en exploitant la géométrie des gradients pour guider l'inversion.