Résumé Technique : Échantillonnage de Bruit Coloré par Diffusion (CNS)

Énoncé du Problème

Les modèles de diffusion ont établi des performances de pointe en synthèse d'images, pourtant leurs trajectoires génératives présentent un biais spectral fondamental : ils résolvent les structures globales de basse fréquence tôt dans le processus d'échantillonnage et les détails fins de haute fréquence plus tard. Les solveurs d'Équations Différentielles Stochastiques (EDS) conventionnels ne tiennent pas compte de cette dynamique. Ils injectent naïvement un bruit blanc uniforme tout au long du processus de génération, traitant toutes les bandes de fréquence de manière égale. Cette approche abuse du « budget énergétique » fini du processus stochastique, allouant de l'énergie de bruit à des bandes de fréquence déjà résolues structurellement tout en négligeant celles qui sont en retard. Par conséquent, les EDS standards échouent souvent à récupérer parfaitement la densité spectrale de puissance (DSP) de la variété de données réelle, conduisant à un « écart spectral » entre les images générées et réelles.

Les solutions existantes modifient soit le cadre d'entraînement (nécessitant un réentraînement coûteux), soit appliquent des modifications au moment de l'inférence qui traitent le solveur stochastique sous-jacent comme une boîte noire statique (par exemple, opérations découplées en fréquence ou ajustements de la taille des pas). Ces méthodes restent contraintes par leur dépendance à des solveurs spectralement uniformes.

Méthodologie : Échantillonnage de Bruit Coloré (CNS)

Les auteurs proposent l'Échantillonnage de Bruit Coloré (CNS), un solveur stochastique novateur et sans entraînement qui exploite activement le biais spectral inhérent du modèle. L'idée centrale est que l'inférence par EDS peut être reformulée comme un transfert d'énergie ciblé et découplé en fréquence.

1. Cadre Mathématique

Les auteurs établissent que l'inférence par diffusion agit comme un mécanisme de transfert préservant le signal. Bien que le bruit initial soit préservé dans une certaine mesure, les incréments stochastiques injectés par les solveurs d'EDS tout au long de la trajectoire sont également mappés directement dans les caractéristiques spatiales de l'image finale. Crucialement, ce mappage est découplé en fréquence : le bruit injecté dans une bande de fréquence spécifique se mappe vers des caractéristiques spatiales dans cette même bande.

Les auteurs démontrent que l'exigence classique de Langevin pour un bruit blanc uniforme peut être relâchée en toute sécurité. En s'assurant que l'énergie totale injectée par pas reste normalisée (une contrainte de conservation globale de la variance), les états intermédiaires ne dérivent pas hors de la distribution, même si la composition spectrale du bruit change.

2. L'Algorithme CNS

CNS remplace l'injection de bruit blanc uniforme par un calendrier dynamique dépendant du pas de temps et de la fréquence.

• Suivi de la Progression : La méthode utilise un indice de progression borné, $\gamma(f, t)$, qui mesure la part de la structure finale d'une bande de fréquence spécifique résolue par le réseau au pas de temps $t$. Les basses fréquences se résolvent tôt ($\gamma \to 1$), tandis que les hautes fréquences se résolvent tard.
• Allocation Dynamique : CNS calcule un poids d'échelle $\beta_f(t)$ pour chaque bande de fréquence. Ce poids est inversement proportionnel à la résolution structurelle de la bande. Plus précisément, le multiplicateur de variance est proportionnel au déficit structurel ($1 - \gamma(f, t)$).
  • Les bandes entièrement résolues ($\gamma \approx 1$) reçoivent moins d'énergie injectée (atténuation).
  • Les bandes structurellement non résolues ($\gamma \approx 0$) reçoivent plus d'énergie injectée (amplification).
• Contrainte Globale : Pour maintenir la stabilité, les poids d'échelle sont normalisés de sorte que l'énergie injectée moyenne sur toutes les dimensions reste constante : $\frac{1}{D}\sum \beta_f^2(t) = 1$. Cela traite l'injection de bruit comme un jeu à somme nulle, réallouant l'énergie des bandes « résolues » vers les bandes « en retard ».

3. Implémentation

CNS est implémenté comme un remplacement plug-and-play pour les solveurs d'EDS standards (par exemple, Euler-Maruyama, Heun, SRK). Il ne nécessite aucun réentraînement du modèle et opère entièrement au moment de l'inférence. L'algorithme colore dynamiquement l'incrément de bruit à chaque étape en fonction du profil spectral de l'état actuel.

Contributions Clés

1. Cadre Théorique : L'article établit un cadre mathématique reformulant l'injection de bruit par EDS comme un transfert d'énergie ciblé. Il prouve que l'exigence stricte d'un bruit blanc spectralement uniforme peut être relâchée pour résoudre les écarts spectraux sans pousser les états intermédiaires hors de la distribution.
2. Nouveau Solveur (CNS) : L'introduction de l'Échantillonnage de Bruit Coloré, un solveur stochastique sans entraînement qui alloue dynamiquement l'énergie de bruit injectée vers les bandes de fréquence structurellement non résolues, exploitant activement le biais spectral du modèle.
3. Validation Empirique : Des expériences extensives sur diverses architectures (SiT, JiT, FLUX) et modalités (espace pixel, espace latent, texte-vers-image) démontrent que CNS surpasse significativement les bases ODE et EDS standards.

Résultats Expérimentaux

Les auteurs évaluent CNS sur ImageNet-256 et les benchmarks texte-vers-image (FLUX), mesurant la performance via la Distance Fréchet Inception (FID), le FID spatial (sFID), le Score Inception (IS) et des métriques de préférence humaine.

• Génération Conditionnée par la Classe (ImageNet-256) :
  • SiT-XL/2 : CNS réduit le FID non guidé de 8,26 (EDS) à 6,27.
  • JiT-B/16 : CNS réduit le FID non guidé de 32,39 (EDS) à 26,69.
  • JiT-H/16 : CNS réduit le FID non guidé de 11,88 (EDS) à 8,31.
  • CNS produit également des améliorations relatives de FID cohérentes lorsqu'il est utilisé avec une Guidance Sans Classifieur (CFG), allant d'environ 8 % à environ 50 % par rapport aux bases.
• Génération Texte-vers-Image (FLUX) :
  • L'intégration dans FLUX.1-dev et FLUX.2-klein améliore les scores de préférence humaine automatisés (ImageReward) et les scores esthétiques tout en maintenant l'alignement sémantique (CLIPScore).
• Robustesse : CNS surpasse constamment l'échantillonnage standard à travers divers pas de discrétisation et ordres de solveurs (du 1er au 5e ordre).
• Orthogonalité : CNS apporte des améliorations même lorsqu'il est appliqué à des modèles entraînés avec des distributions de bruit alternatives (par exemple, Bruit Bleu pour les Modèles de Diffusion), confirmant son utilité générale.

Signification et Revendications

L'article revendique que CNS adresse une inefficacité fondamentale dans les solveurs d'EDS de diffusion standards : l'injection uniforme et wasteful de bruit blanc. En reconceptualisant l'inférence comme un transfert d'énergie ciblé, CNS oriente systématiquement la distribution générée vers la variété de données réelle.

Les auteurs soulignent que CNS est une solution strictement plug-and-play. Il améliore la fidélité de génération et la qualité visuelle sans nécessiter aucun réentraînement du modèle ni modification de l'architecture du réseau sous-jacent. Le travail suggère que l'« écart spectral » dans les images générées n'est pas simplement une erreur numérique mais le résultat d'une allocation d'énergie inadaptée, qui peut être corrigée en colorant dynamiquement le bruit pour correspondre à la courbe d'apprentissage structurel du modèle.

Limitations : Les auteurs notent que CNS repose sur le cadre EDS et est donc incompatible avec les solveurs ODE déterministes, qui restent préférables pour une inférence ultra-rapide à faible nombre de pas. Un travail futur est suggéré pour explorer l'extension du routage d'énergie dépendant de la fréquence aux paradigmes déterministes et l'application de la méthode à la génération vidéo.