Résumé Technique : Synthèse d'Images Efficace avec Encodeur de Latents Sphériques

Énoncé du Problème

La génération d'images en peu d'étapes a considérablement progressé grâce aux méthodes basées sur la cohérence et le flux moyen, pourtant ces approches souffrent souvent d'instabilité lors de l'entraînement, de sensibilité aux hyperparamètres et de conflits inhérents dans les objectifs d'optimisation. Une alternative, l'Encodeur Sphérique [40], permet une génération de haute qualité en peu d'étapes en projetant les représentations latentes sur une hypersphère. Cependant, le cadre de l'Encodeur Sphérique présente deux limitations critiques :

1. Inefficacité Computationnelle : Le processus de génération nécessite des transitions répétées entre l'espace des pixels et l'espace latent (décodage vers une image, puis ré-encodage) à chaque étape d'échantillonnage. Cela introduit une surcharge computationnelle substantielle tant lors de l'entraînement que de l'inférence.
2. Conflit d'Objectifs : Le cadre optimise conjointement la reconstruction et la génération au sein d'une architecture unique encodeur-décodeur. Des recherches antérieures suggèrent que ces tâches favorisent des représentations différentes ; par exemple, des niveaux de bruit plus faibles améliorent la reconstruction mais dégradent les performances génératives en réduisant la couverture hypersphérique. Cette tension force l'utilisation d'architectures plus grandes pour maintenir la qualité des échantillons.

Méthodologie

Les auteurs proposent l'Encodeur de Latents Sphériques, un cadre qui découple la reconstruction de la génération pour éliminer les opérations itératives dans l'espace des pixels. L'innovation centrale consiste à effectuer l'ensemble du processus génératif au sein d'un espace latent sphérique fixe.

Architecture

La méthode se compose de trois composants principaux :

1. Tokeniseur d'Image Fixe : Un autoencodeur de représentation préentraîné (RAE) [43] est utilisé comme encodeur ($E$) et décodeur ($D$) fixes. L'encodeur, basé sur DINOv2, mappe les images vers des représentations latentes, tandis que le décodeur reconstruit les images. Ce composant est figé pendant l'entraînement.
2. Modèle de Débruitage Latent : Un réseau de débruitage séparé basé sur un transformateur ($G$, utilisant l'architecture SiT [25]) opère exclusivement dans l'espace latent. Il prend un latent sphérique bruité en entrée et prédit le latent propre.
3. Projection Sphérique : Les représentations latentes sont projetées sur une hypersphère à l'aide d'une fonction de sphérisation basée sur RMSNorm ($F$), assurant une structure latente uniforme.

Objectif d'Entraînement

Contrairement à l'Encodeur Sphérique, qui calcule les pertes dans l'espace des pixels, l'Encodeur de Latents Sphériques déplace toute la supervision vers l'espace latent pour améliorer l'efficacité. L'entraînement implique deux latents sphériques bruités, $v_{NOISY}$ et $v_{noisy}$, générés en ajoutant du bruit gaussien à différentes échelles.

• Perte de Reconstruction ($L_{recon}$) : Combine une perte $\ell_1$ et une perte de similarité cosinus entre le latent propre prédit $G(v_{noisy})$ et le latent propre de référence $z$. Cela aligne le latent débruité avec la représentation propre.
• Perte de Cohérence ($L_{cons}$) : Impose la cohérence entre les prédictions issues de différents niveaux de bruit ($v_{NOISY}$ et $v_{noisy}$). La prédiction issue du latent à faible bruit est traitée comme une cible fixe (via un stop-gradient) pour encourager la régularité locale sur l'hypersphère.
• Suppression de la Perte de Cohérence Latente : Les auteurs suppriment explicitement la perte de cohérence latente utilisée dans l'Encodeur Sphérique (qui ré-encode les images décodées), constatant qu'elle ajoute une surcharge computationnelle sans améliorer les performances dans leur configuration découplée.

Procédure d'Échantillonnage

L'échantillonnage se déroule entièrement dans l'espace latent (Algorithme 1) :

1. Un latent est échantillonné à partir d'une distribution gaussienne.
2. Il est projeté sur l'hypersphère.
3. Le modèle de débruitage $G$ affine le latent en utilisant un guidage sans classifieur.
4. Le latent affiné est reprojeté, perturbé par du bruit, et utilisé comme entrée pour l'étape suivante.
5. Cette raffinement itératif se poursuit pendant $T$ étapes.
6. Le décodeur est invoqué une seule fois à la fin pour mapper le latent final vers les pixels.

Les auteurs proposent également une stratégie d'échantillonnage de bruit modifiée utilisant une distribution log-normale pour mieux convenir à l'échantillonnage en peu d'étapes, se distinguant de l'échantillonnage uniforme de l'Encodeur Sphérique.

Contributions Clés

1. Cadre Encodeur de Latents Sphériques : Un cadre génératif opérant entièrement dans l'espace latent sphérique qui élimine les transitions répétées pixel-latent. Cela réduit le coût d'inférence d'environ 85 % (environ 6,5 fois moins d'opérations flottantes) par rapport à l'Encodeur Sphérique pour le même nombre d'étapes d'échantillonnage.
2. Conception Découplée : En exploitant un autoencodeur préentraîné fixe et un modèle de débruitage séparé, le cadre permet à la reconstruction et à la génération de se spécialiser indépendamment, résolvant le conflit d'objectifs inhérent à l'optimisation conjointe.
3. Optimisation Efficace : La méthode évite les objectifs d'approximation du premier ordre (par exemple, produits vecteur-Jacobien) requis par certaines méthodes de flux en peu d'étapes, apprenant à la place un processus direct de débruitage latent sur une variété sphérique structurée.

Résultats Expérimentaux

La méthode a été évaluée sur Animal-Faces, Oxford-Flowers et ImageNet-1K (256×256).

• Performance vs Encodeur Sphérique : Sur Animal-Faces et Oxford-Flowers, la méthode proposée surpasse significativement l'Encodeur Sphérique tant en qualité de génération (FID) qu'en coût computationnel (GFLOPs) sur 2, 4 et 6 étapes d'échantillonnage. Par exemple, sur Animal-Faces avec 4 étapes, le FID s'est amélioré de 18,23 (Encodeur Sphérique) à 6,89 (Nôtre), tandis que les GFLOPs sont passés de 4554 à 390.
• Résultats ImageNet-1K : Avec 4 étapes d'échantillonnage (8 NFE avec guidage), la méthode a atteint un FID de 2,25, une amélioration substantielle par rapport aux 4,02 de l'Encodeur Sphérique sous le même budget. Elle surpasse également plusieurs récentes références en peu d'étapes (par exemple, MeanFlow, $\alpha$-Flow) et approche les performances des modèles de diffusion multi-étapes (par exemple, DiT-XL/2) qui nécessitent plus de 250 étapes, mais avec beaucoup moins d'évaluations de fonctions.
• Études d'Ablation :
  • Distribution du Bruit : L'échantillonnage log-normal a surpassé l'échantillonnage uniforme.
  • Pertes : La combinaison des pertes de reconstruction et de cohérence a produit les meilleurs résultats ; l'ajout de la perte de cohérence latente a dégradé les performances.
  • Autoencodeur : Le choix du tokeniseur était critique. Le RAE [43] (avec des caractéristiques DINOv2 et $d=768$) a nettement surpassé FLUX-VAE et GAE, soulignant le besoin de représentations sémantiques fortes et d'espaces latents de haute dimension.

Importance et Revendications

L'article revendique que l'Encodeur de Latents Sphériques offre un pipeline plus simple et plus efficace pour la génération d'images en peu d'étapes. En éliminant la dépendance au raffinement itératif dans l'espace des pixels, la méthode atteint :

• Efficacité Supérieure : Réduction drastique des opérations flottantes et du temps d'inférence par rapport à l'Encodeur Sphérique.
• Meilleure Qualité : Amélioration de la qualité des échantillons (FID plus faible) grâce au découplage de la reconstruction et de la génération, permettant au modèle de débruitage de se concentrer uniquement sur la génération sans compromettre la fidélité de la reconstruction.
• Stabilité : Un processus d'entraînement qui évite l'instabilité associée aux produits vecteur-Jacobien et aux objectifs conflictuels de l'optimisation conjointe.

Les auteurs positionnent ce travail comme une étape vers une modélisation générative évolutive et efficace qui exploite les avantages des espaces latents sphériques sans les pénalités computationnelles des implémentations précédentes. Ils reconnaissent les limites, notant l'accent actuel mis sur la génération conditionnelle par classe et la dépendance à la qualité de l'autoencodeur préentraîné, ce qui peut limiter les capacités d'échantillonnage en une étape.