💻 computer science

CrossFlow: One-Step Generation Across Latent and Pixel Spaces

CrossFlow introduit une nouvelle formulation de flux cross-espace qui permet la génération d'images en une seule étape en mappant directement les entrées latentes bruitées vers des sorties dans l'espace des pixels, combinant ainsi l'efficacité des représentations latentes avec une supervision directe dans l'espace des pixels pour éliminer le besoin d'un décodeur distinct lors de l'inférence.

Auteurs originaux : Xiyuan Wang, Xiao Zhang, Yang Li, Ruoxi Jiang, Zhao Zhong, Liefeng Bo, Muhan Zhang

Publié 2026-06-19

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Xiyuan Wang, Xiao Zhang, Yang Li, Ruoxi Jiang, Zhao Zhong, Liefeng Bo, Muhan Zhang

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayiez de peindre un chef-d'œuvre, mais que vous ayez un flux de travail très spécifique et complexe.

L'ancienne méthode : Le problème du « Traducteur »

La plupart des générateurs d'images par IA actuels fonctionnent selon un processus de traduction en deux étapes.

L'esquisse (Espace latent) : D'abord, l'IA dessine une esquisse grossière et compressée de l'image dans un langage secret et abstrait (appelé « espace latent »). C'est efficace car c'est comme dessiner avec des traits larges et simples plutôt que de peindre chaque pixel individuellement.
La traduction (Le décodeur) : Ensuite, un outil séparé (appelé « décodeur ») doit traduire cette esquisse grossière en une véritable photo haute définition.

Le Problème : L'IA qui dessine l'esquisse est entraînée à parler le « langage de l'esquisse », et l'outil qui traduit est entraîné à lire des « esquisses propres ». Mais quand l'IA dessine une esquisse, celle-ci est souvent un peu désordonnée ou imparfaite. L'outil de traduction s'embrouille face à ces esquisses désordonnées, ce qui conduit à des images floues ou déformées. C'est comme un traducteur qui ne parle un français parfait, mais qui trébuche dès que le locuteur utilise de l'argot ou fait une faute de frappe.

La nouvelle méthode : CrossFlow (L'« Artiste Direct »)

Le document présente CrossFlow, une nouvelle méthode qui supprime entièrement le traducteur.

Au lieu de dessiner une esquisse puis de la traduire, CrossFlow est un artiste unique qui prend une idée abstraite et désordonnée (l'esquisse bruitée) et peint directement la photo finale en une seule fois.

Voici comment cela fonctionne, en utilisant des métaphores simples :

1. Le pont « Sans Traduction »
Habituellement, les modèles d'IA sont comme des personnes qui ne peuvent parler qu'une seule langue. Si vous voulez passer de la Langue A (l'esquisse) à la Langue B (la photo), vous avez besoin d'un dictionnaire. CrossFlow est comme un polyglotte de génie capable d'entendre une phrase décousue en Langue A et de répondre immédiatement par une phrase parfaite en Langue B, sans avoir besoin de dictionnaire entre les deux.

2. La magie de l'« Étape Unique »
La plupart des générateurs d'images prennent de nombreuses petites étapes pour affiner une image, comme si l'on rendait progressivement nette une photo floue. CrossFlow est un générateur en « une seule étape ». Il regarde l'entrée désordonnée et produit instantanément l'image finale et nette. C'est la différence entre développer lentement une photo dans une chambre noire et prendre une photo parfaite avec un smartphone moderne instantanément.

3. Un entraînement avec de « vraies » erreurs
Avec l'ancienne méthode, l'outil « traducteur » était entraîné sur des esquisses parfaites et propres. Mais dans le monde réel, les esquisses qu'il reçoit sont désordonnées. CrossFlow corrige cela en entraînant l'artiste pendant qu'il regarde des esquisses désordonnées. Il apprend à ignorer le bruit pour se concentrer sur l'image finale. Parce qu'il voit l'image finale pendant l'entraînement, il peut également apprendre de la « perception » (est-ce que cela semble réel ?) et des vérifications « adverses » (est-ce que cela trompe un critique ?) que l'ancienne méthode en deux étapes ne pouvait pas gérer facilement.

Les Résultats

Les chercheurs ont testé cela sur un ensemble massif de données d'images (ImageNet).

Vitesse : Il génère des images en une seule étape (une seule « évaluation de fonction »).
Qualité : Il produit des images tout aussi nettes et réalistes que les meilleures méthodes à plusieurs étapes, mais beaucoup plus rapidement.
Polyvalence : Il peut agir comme l'artiste principal (générer des images à partir de zéro) OU comme un traducteur surpuissant (corriger les esquisses désordonnées produites par d'autres systèmes d'IA).

L'essentiel

CrossFlow résout le problème du « décalage » en réalisant qu'il n'est pas nécessaire de parler la même langue pour créer un chef-d'œuvre. Vous pouvez partir d'une idée brute et compressée et produire directement une image époustouflante en haute définition, en sautant l'intermédiaire qui cause habituellement des erreurs. Il combine la vitesse de travail avec des esquisses simples et la qualité du travail direct sur la photo finale.

Résumé Technique : CrossFlow : Génération en une seule étape à travers les espaces latents et de pixels

1. Énoncé du Problème

Les systèmes de génération d'images de pointe actuels, particulièrement les modèles de diffusion latente (LDM) et les méthodes de flow-matching, opèrent en définissant le prior, le chemin de probabilité et la cible de prédiction au sein d'un espace de représentation unique. Bien que les LDM améliorent l'efficacité computationnelle en effectuant la trajectoire générative dans un espace latent d'auto-encodeur compressé, ils reposent sur un pipeline à deux étapes : un débruitage itératif dans l'espace latent suivi d'une étape de décodage distincte pour mapper les latents vers les pixels.

Cette architecture introduit un décalage fondamental :

Décalage d'optimisation : Le générateur est optimisé pour prédire des déplacements latents, alors que la qualité finale de l'image dépend d'un décodeur entraîné séparément.
Décalage de distribution : Lors de l'inférence, le décodeur reçoit des latents générés qui peuvent différer de manière distributionnelle des latents propres produits par l'encodeur lors de l'entraînement. Ce décalage peut amplifier les erreurs.
Limitation de la supervision : Le générateur ne peut pas être directement entraîné avec des pertes perceptuelles ou adverses au niveau de l'image, à moins que sa sortie ne passe par le décodeur séparé, ce qui affaiblit la supervision directe dans l'espace des pixels.

L'article demande si l'espace de bruit et l'espace de sortie doivent être identiques, proposant un cadre qui préserve l'efficacité des représentations latentes tout en prédisant directement l'image elle-même.

2. Méthodologie : CrossFlow

CrossFlow est une formulation de flux cross-espace qui mappe des entrées latentes bruitées directement vers des images dans l'espace des pixels en une seule évaluation de fonction. Il résout le décalage d'espace en dérivant des objectifs où la vélocité dans l'espace latent est éliminée de la cible supervisée.

Formulation Technique Centrale :

Cadre Unifié : Les auteurs définissent une fonction cible unifiée $Z$ pour les paradigmes de génération en une seule étape. Les méthodes standards reposent sur des champs de vélocité dans l'espace latent, ce qui empêche la génération cross-espace.
Critères de Conception : Pour permettre la supervision cross-espace, les auteurs établissent deux critères :
1. Élimination des dépendances de vélocité latente : L'objectif doit être structurellement découplé des vélocités de l'espace latent. La sortie du réseau ne doit pas être un vecteur de déplacement latent.
2. Conditions aux limites de l'extrémité : Le cadre doit produire une image valide à la frontière de destination ( $r=0$ ).
L'Objectif CrossFlow : En satisfaisant ces critères, les auteurs dérivent une fonction de perte générale (Éq. 10) où le réseau $F_\theta$ $F_{θ}$ prédit une image dans l'espace des pixels $x_0$ $x_{0}$ plutôt qu'une vélocité latente.
- La trajectoire latente (définie par $\alpha(t)$ et $\beta(t)$ ) dicte toujours comment les latents propres sont corrompus pour créer les entrées.
- La cible supervisée est l'image de pixels propre.
- L'objectif spécifique utilisé dans les expériences (Éq. 11) implique un terme de dérivée temporelle calculé via un Produit Jacobien-Vecteur (JVP) le long de la trajectoire latente, garantissant que le modèle apprend la dynamique de flux correcte sans prédire les vélocités latentes.

Détails d'Implémentation :

Architecture : Le modèle utilise un encodeur d'image pré-entraîné et fixe (VA-VAE) pour mapper les images en latents et un générateur Vision Transformer (ViT) ( $F_\theta$ ) pour mapper directement les latents bruités vers les pixels.
Pipeline d'Entraînement : Une approche en deux étapes est utilisée pour assurer la stabilité :
1. Entraîner l'encodeur $E$ en utilisant des objectifs d'auto-encodeur standards (reconstruction + adversaire).
2. Geler $E$ et entraîner le générateur $F_\theta$ à partir de zéro en utilisant l'objectif CrossFlow.
Fonction de Perte : L'objectif total combine la perte CrossFlow analytique avec des pertes auxiliaires dans l'espace des pixels :
- Perte de Reconstruction L1 : Alignement pixel par pixel.
- Perte Perceptuelle : Similitude structurelle.
- Perte Adversaire (GAN) : Fidélité des hautes fréquences.
- Note : Le facteur de pondération analytique de l'objectif de flux est omis lors du calcul de la perte perceptuelle pour éviter l'instabilité de l'entraînement.

3. Contributions Clés

Cadre Cross-Espace : Introduction de CrossFlow, un cadre de génération en une seule étape où l'entrée (prior latent) et l'image de sortie (pixels) résident dans des espaces de représentation différents.
Objectif de l'Étape Unique sans Vélocité : Une dérivation novatrice qui permet à un modèle d'agir à la fois comme un générateur latent-vers-pixel en une étape et comme un remplacement de décodeur, éliminant le besoin d'un décodeur séparé lors de l'inférence.
Supervision Directe dans l'Espace des Pixels : La capacité d'entraîner directement le générateur avec des pertes perceptuelles et adverses sur l'image générée, en contournant l'étape intermédiaire du décodeur.
Validation Empirique : Démonstration qu'un seul modèle peut atteindre des scores FID compétitifs sur ImageNet-1k (256×256) avec une seule évaluation de fonction (1-NFE) tout en surpassant les méthodes latentes standards en une étape et en égalant les bases de diffusion latente multi-étapes.

4. Résultats Expérimentaux

Les expériences ont été menées sur ImageNet-1k à une résolution de 256×256 en génération conditionnelle de classe.

Performance Principale :
- CrossFlow-XL (461M paramètres) atteint un FID de 1,62 avec 1-NFE.
- C'est compétitif avec les bases de diffusion latente multi-étapes comme DiT-XL/2 (2,27 FID avec 250 étapes) et SiT-XL/2 (2,06 FID avec 250 étapes).
- Cela surpasse significativement les autres méthodes latentes en une étape (ex: iMF-XL/2 à 1,72 FID) et évite le besoin d'un décodeur séparé.
- CrossFlow-B (95M) et CrossFlow-L (315M) atteignent respectivement des FID de 2,54 et 1,69, démontrant la scalabilité.
Études d'Ablation :
- Choix de l'Encodeur : L'encodeur VA-VAE (32 canaux) a produit les meilleurs résultats (2,54 FID), surpassant SD-VAE (4,08 FID) et FLUX.2 (3,81 FID), suggérant que la structure de la représentation latente est critique.
- Composantes de la Perte : Supprimer la perte perceptuelle a provoqué une chute sévère du FID à 30,21, et supprimer la perte GAN l'a fait chuter à 8,86. L'objectif de flux CrossFlow fournit le signal structurel, tandis que les pertes perceptuelles et adverses sont vitales pour la fidélité des hautes fréquences.
- Remplacement du Décodeur : Lorsqu'il est utilisé comme décodeur pour les latents générés par un LightningDiT-B/1, CrossFlow améliore systématiquement le FID par rapport au décodeur VA-VAE standard tout au long de l'entraînement.

5. Signification et Revendications

L'article affirme que CrossFlow comble avec succès le fossé entre l'efficacité des représentations latentes et la fidélité de la supervision directe dans l'espace des pixels. En unifiant le générateur et le décodeur en un seul modèle entraîné sur des latents bruités et des cibles dans l'espace des pixels, CrossFlow :

Supprime l'étape explicite du décodeur lors de l'inférence.
Expose le modèle durant l'entraînement aux latents bruités/imparfaits qui surviennent lors de la génération, plutôt qu'aux seuls outputs propres de l'encodeur.
Démontre que les objectifs de flux cross-espace peuvent combiner les avantages computationnels de la diffusion latente avec les améliorations de qualité de l'entraînement direct par adversité et perception au niveau du pixel.

Les auteurs maintiennent un ton modeste, notant que bien que la représentation latente et les pertes auxiliaires soient importantes, la contribution centrale est le changement architectural et d'objectif qui permet la génération cross-espace en une seule étape sans nécesser de modules de décodage séparés.