Résumé Technique : FREPix

Énoncé du Problème

Bien que les modèles de diffusion dans l'espace latent soient devenus le paradigme dominant pour la génération d'images en raison de leur efficacité, ils introduisent un goulot d'étranglement structurel : la qualité de génération est strictement bornée par la fidélité de reconstruction des Autoencodeurs Variationnels (VAE) utilisés pour compresser les données. Cela a ravivé l'intérêt pour la génération dans l'espace des pixels, où les modèles opèrent directement sur les images brutes pour éviter les artefacts de représentation. Cependant, les méthodes existantes dans l'espace des pixels traitent largement la génération d'images comme un processus homogène en fréquence. Elles modélisent l'image entière avec un état unique et un chemin d'interpolation partagé, comptant implicitement sur le réseau pour découvrir la séparation entre les structures globales (basses fréquences) et les détails fins (hautes fréquences). Cette approche néglige les propriétés statistiques distinctes, les distributions d'énergie et les dynamiques d'apprentissage de ces composantes fréquentielles, imposant un biais inductif inutilement restrictif au processus de génération.

Méthodologie : FREPix

Les auteurs proposent FREPix (FREPix : appariement de flux hétérogène en fréquence), un cadre qui décompose explicitement la génération d'images dans l'espace des pixels en composantes de basses et hautes fréquences tout au long de l'ensemble du pipeline. La méthodologie repose sur quatre innovations clés :

1. Espace d'État Décomposé en Fréquences et Interpolation Hétérogène

Au lieu de traiter l'image $x_t$ comme un état homogène unique, FREPix reparamétrise l'état en utilisant une Transformée en Ondelettes Discrète (DWT) orthonormale, $W$. L'image est décomposée en un sous-état de basse fréquence $l_t$ (structure) et un sous-état de haute fréquence $h_t$ (détail).
Crucialement, le cadre attribue des chemins d'interpolation hétérogènes à ces sous-états. Plutôt que d'appliquer un calendrier unique et partagé à toutes les fréquences, FREPix définit des calendriers strictement croissants séparés, $g_l(t)$ et $g_h(t)$, pour les composantes de basses et hautes fréquences :
$$l_t = g_l(t) l + (1 - g_l(t)) \epsilon_l$$
$$h_t = g_h(t) h + (1 - g_h(t)) \epsilon_h$$
Cela permet aux dynamiques de transport de refléter l'asymétrie naturelle de la formation d'images, où la structure globale est établie avant que les détails fins ne soient affinés. Les auteurs prouvent que cette interpolation hétérogène est une extension rigoureuse de l'appariement de flux standard, préservant la validité de l'équation de continuité et l'apprenabilité.

2. Modélisation Générative Factorisée par Découplage Architectural Explicite

Pour empêcher le transport décomposé de s'effondrer vers un problème de prédiction unifié, FREPix emploie une architecture explicitement découplée. La cible de génération est factorisée en deux modules spécialisés :

• Prédicteur de Structure ($f_\phi$) : Un Transformer de Diffusion (DiT) qui prend le sous-état de basse fréquence bruité $l_t$ et prédit la composante de basse fréquence propre $\hat{l}$. Ce module capture les dépendances à longue portée et la sémantique globale.
• Affineur de Détails ($g_\phi$) : Un décodeur léger, sans attention (adapté de DeCo), qui prend le sous-état de haute fréquence bruité $h_t$ et la structure de basse fréquence prédite $\hat{l}$ comme condition pour prédire la composante de haute fréquence propre $\hat{h}$.

Cette conception transforme la génération « du grossier au fin » d'une tendance architecturale implicite en un principe de conception explicite, imposant une dépendance conditionnelle où les détails de haute fréquence sont générés sur la base de la structure de basse fréquence établie.

3. Objectif d'Appariement de Flux Aligné sur les Fréquences

L'objectif d'entraînement est aligné sur la structure décomposée. Le cadre convertit la prédiction d'image propre du réseau ($\hat{x}$) en un champ de vitesse induit basé sur le chemin d'interpolation hétérogène. Une fonction de perte consciente des fréquences est ensuite définie, appliquant des poids dépendants du temps $\lambda_l(t)$ et $\lambda_h(t)$ aux erreurs de vitesse de basses et hautes fréquences respectivement :
$$\mathcal{L}_{FA} = \mathbb{E}_{t,x,\epsilon} \left[ \lambda_l(t) \| W_l(v_\theta - v_t) \|^2 + \lambda_h(t) \| W_h(v_\theta - v_t) \|^2 \right]$$
Cela permet au modèle de rééquilibrer la difficulté d'optimisation au fil du temps (par exemple, en priorisant la structure de basse fréquence au début de la trajectoire et l'affinement de haute fréquence plus tard) sans altérer le champ de vitesse marginal cible.

4. Pertes Auxiliaires

L'objectif d'entraînement final combine la perte d'appariement de flux alignée sur les fréquences avec des pertes d'alignement de représentation (REPA) et des pertes perceptuelles LPIPS pour assurer la cohérence des caractéristiques et la récupération des motifs locaux.

Résultats Clés

FREPix a été évalué sur la génération d'images par classe ImageNet aux résolutions 256×256 et 512×512.

• Performance : À 256×256, FREPix-XL (674M de paramètres) atteint un FID de 1,91 et un IS de 295,6 après 320 époques. À 512×512, il atteint un FID de 2,38 et un IS de 334,7. Ces résultats sont compétitifs par rapport aux modèles de l'état de l'art dans l'espace des pixels (par exemple, DeCo, PixelDiT) et approchent la performance des modèles dans l'espace latent, malgré le fonctionnement direct sur les pixels.
• Efficacité de l'Entraînement : Le modèle démontre de fortes performances tôt dans l'entraînement. Après seulement 80 époques, il atteint un FID de 2,29, surpassant d'autres références dans l'espace des pixels à des étapes similaires.
• Efficacité d'Échantillonnage : FREPix excelle dans le régime faible NFE (Nombre d'Évaluations de Fonction). Avec un échantillonnage Euler en 25 étapes, il atteint un FID de 2,59, surpassant nettement DeCo (3,30) et PixNerd (3,28).
• Coût Computationsnel : FREPix-XL opère à 230 GFLOPs par passage avant, ce qui est inférieur à la plupart des méthodes récentes dans l'espace des pixels (par exemple, PixelFlow à 5818 GFLOPs) et compétitif avec les modèles dans l'espace latent (par exemple, DiT à 238 GFLOPs), démontrant un compromis qualité-computation amélioré.

Signification et Revendications

L'article revendique que la modélisation explicite de l'hétérogénéité fréquentielle fournit un biais inductif plus fort pour la génération end-to-end dans l'espace des pixels. En rendant explicites les rôles distincts des composantes de basses et hautes fréquences dans l'espace d'état, le chemin de transport, l'architecture et l'objectif, FREPix transforme le processus de génération « du grossier au fin » d'un comportement émergent en un principe de conception rigide.

Les auteurs affirment que cette approche :

1. Atténue l'Enchevêtrement Fréquentiel : En découplant les cibles de prédiction, le modèle réduit la dimensionnalité effective et la complexité statistique que chaque branche doit apprendre, comme le soutiennent leurs bornes de généralisation.
2. Améliore l'Efficacité d'Échantillonnage : La conception de transport hétérogène est particulièrement bénéfique lors de l'échantillonnage avec peu d'étapes, suggérant que l'alignement du chemin d'interpolation avec l'ordre naturel de récupération des fréquences d'image accélère la convergence.
3. Offre une Alternative Viable à l'Espace Latent : FREPix démontre que la génération dans l'espace des pixels peut atteindre une qualité compétitive sans le goulot d'étranglement représentationnel des VAE, tout en maintenant une efficacité computationnelle comparable aux méthodes dans l'espace latent.

L'article conclut que l'hétérogénéité fréquentielle est une perspective utile pour concevoir de futurs modèles génératifs dans l'espace des pixels, bien qu'il reconnaisse des limitations concernant la famille spécifique de calendriers d'interpolation explorée et la nature fixe de la décomposition en ondelettes utilisée.