🤖 AI

MixFlow Training: Alleviating Exposure Bias with Slowed Interpolation Mixture

Cet article introduit MixFlow, une nouvelle approche d'entraînement qui atténue le biais d'exposition dans les modèles de diffusion en exploitant une stratégie de « mélange par interpolation ralentie » pour mieux aligner les conditions d'entraînement et de test, atteignant ainsi des résultats de génération d'images de pointe sur ImageNet.

Auteurs originaux : Hui Li, Fu-Yun Wang, Haoyuan Xia, Jiayue Lyu, Kaihui Cheng, Siyu Zhu, Jingdong Wang

Publié 2026-07-14

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Hui Li, Fu-Yun Wang, Haoyuan Xia, Jiayue Lyu, Kaihui Cheng, Siyu Zhu, Jingdong Wang

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous appreniez à un robot à dessiner un tableau en tournant lentement un bouton qui transforme un nuage de bruit statique en une image claire. C'est ainsi que fonctionnent les modèles de « diffusion » modernes. Ils apprennent en regardant une photo, en y ajoutant du bruit statique, puis en essayant de deviner comment supprimer ce bruit étape par étape pour retrouver l'image originale.

Voici le problème : pendant l'entraînement (la phase d'apprentissage), le robot triche un peu. Chaque fois qu'il essaie de deviner l'étape suivante, on lui montre la version parfaite de l'image bruitée de l'étape précédente. C'est comme un élève qui passe un examen où l'enseignant lui murmure la réponse correcte de la question précédente avant même qu'il n'écrive sa propre réponse.

Mais pendant le test (quand le robot dessine réellement une nouvelle image), l'enseignant arrête de murmurer. Le robot doit utiliser sa propre estimation de l'étape précédente pour déterminer l'étape suivante. S'il commet une minuscule erreur au début, cette erreur est reportée, s'amplifie et finit par rendre l'image étrange ou floue. C'est ce qu'on appelle le « biais d'exposition » (exposure bias) : le robot est exposé à des données parfaites lors de l'apprentissage, mais à des données imparfaites lorsqu'il est livré à lui-même.

La découverte du « Flux Lent » (Slow Flow)

Les auteurs de cet article ont remarqué quelque chose d'étrange en observant le robot dessiner. Ils ont découvert que lorsque le robot générait une image bruitée à un certain moment (appelons ce moment « Temps T »), la version parfaite de ce bruit (celle que le robot est censé regarder) appartenait en réalité à un moment précédent du processus, un moment avec plus de bruit.

Voyez cela comme ceci : imaginez que vous participez à une course. À la marque des 10 secondes, vous regardez en arrière et réalisez que la version « parfaite » de votre position correspondait en fait à la marque des 8 secondes. Vous êtes effectivement plus « lent » que la vérité terrain. Le chemin généré par le robot accuse un retard par rapport au chemin parfait, restant bloqué dans un état « ralenti » avec plus de bruit qu'il ne devrait l'être.

La solution MixFlow

Au lieu d'essayer de corriger le style de course du robot après la course (ce que d'autres méthodes tentent de faire), les auteurs ont décidé de changer la façon dont le robot apprend la course. Ils ont introduit une nouvelle méthode d'entraînement appelée MixFlow.

Dans l'entraînement standard, le robot ne regarde que le bruit parfait du moment exact où il est censé se trouver. Avec MixFlow, le robot est entraîné à regarder un « mélange » de bruits parfaits. Il regarde le bruit parfait du moment actuel, mais aussi les bruits parfaits de ces moments « ralentis » avec plus de bruit.

L'analogie :
Imaginez que vous apprenez à faire du vélo.

Entraînement Standard : Vous ne vous exercez que sur une route parfaitement plate et lisse. Lorsque vous sortez dans le monde réel avec des bosses et du vent, vous tombez parce que vous n'étiez pas préparé au décalage.
Entraînement MixFlow : Vous vous exercez sur la route lisse, mais vous vous exercez aussi sur une version de la route légèrement plus accidentée, plus « lente », qui imite le décalage que vous ressentirez plus tard. Vous apprenez à gérer cette sensation de « ralentissement » alors que vous êtes encore dans la sécurité de l'entraînement.

En s'entraînant sur ce « mélange d'interpolation ralenti », le robot apprend à gérer le fait que ses propres estimations seront légèrement plus « lentes » et plus bruitées que la vérité parfaite. Il cesse d'être confus lorsqu'il doit compter sur ses propres estimations précédentes.

Ce qu'ils ont écarté

Les auteurs ont été très méticuleux pour tester ce qui ne fonctionne pas. Ils ont testé une méthode appelée « Perturbation de l'entrée » (Input Perturbation), qui consiste à ajouter du bruit aléatoire aux données d'entraînement pour simuler des erreurs. Ils ont découvert que si l'on ajoute simplement du bruit aléatoire sans comprendre le motif du « flux lent », on peut accidentellement enseigner au robot des données plus « rapides » (moins bruitées) qui ne correspondent pas à la réalité, ou des données plus « lentes » qui sont trop éloignées de la cible. Leurs expériences ont montré qu'ajouter du bruit aveuglément aggrave souvent les choses, alors que leur mélange spécifique « ralenti » est la clé.

Ils ont également comparé leur méthode à une correction pendant le processus de dessin (inférence) en ajustant les étapes. Ils ont trouvé que, bien que ces ajustements aident un peu, c'est comme essayer de diriger une voiture qui dérive déjà ; il vaut mieux réparer le moteur (l'entraînement) dès le départ.

Les résultats : À quel point sommes-nous sûrs ?

Les auteurs ne se sont pas contentés de supposer ; ils ont mené des expériences massives sur de véritables jeux de données d'images.

La preuve : Ils ont testé leur méthode MixFlow sur plusieurs générateurs d'images de haut niveau (comme SiT, REPA et RAE) en utilisant le jeu de données ImageNet, qui contient 1,2 million d'images de 1 000 catégories d'objets différentes.
Les chiffres : Sur les images de 256 × 256 pixels, leur modèle MixFlow a obtenu un score de 1,43 (sans guidage) et de 1,10 (avec guidage). Sur les images plus grandes de 512 × 512, il a atteint 1,55 (sans guidage) et 1,10 (avec guidage).
- Note : Dans ce domaine, un score FID plus bas est meilleur. Ces chiffres sont incroyablement bas, ce qui signifie que les images générées sont presque indiscernables de véritables photographies.
Text-to-Image : Ils ont également testé la méthode sur un modèle de texte-vers-image (SD 3.5). Lorsqu'on lui demandait de dessiner des scènes complexes, comme « cinq pizzas savoureuses » ou « un oiseau à gauche d'une horloge », la version MixFlow suivait beaucoup mieux les instructions, respectant correctement les comptes et les positions.

L'article suggère que cette approche constitue une avancée significative car elle s'attaque directement à la cause profonde de l'accumulation d'erreurs. Ce n'est pas un tour de magie ; c'est une façon plus intelligente de s'entraîner. En laissant le robot s'entraîner sur des versions « ralenties » de la vérité, celui-ci devient beaucoup plus robuste lorsqu'il doit générer des images de manière autonome.

En résumé, l'article démontre qu'en modifiant le régime d'entraînement pour inclure des données « ralenties », les modèles de diffusion peuvent cesser de trébucher sur leurs propres pieds pour commencer à mener une course beaucoup plus fluide.

Résumé Technique : MixFlow Training

Énoncé du Problème

Cet article traite de l'écart entre l'entraînement et le test, communément appelé biais d'exposition, dans les modèles de diffusion et de flow matching. Pendant l'entraînement, les réseaux de prédiction reçoivent des données bruitées de vérité terrain (une interpolation de bruit et de données) comme entrée à chaque pas de temps. Inversement, lors du test (échantillonnage), le réseau reçoit des données bruitées générées à partir de l'étape précédente. Ce décalage entraîne des erreurs de prédiction, une accumulation d'erreurs et une dérive de l'échantillonnage. Alors que les solutions précédentes se sont concentrées sur la modification du processus d'échantillonnage (par exemple, les échantillonneurs Time-Shift, l'Epsilon Scaling) ou sur l'application de perturbations d'entrée pendant l'entraînement, ce travail propose une nouvelle procédure d'entraînement pour atténuer directement ce problème.

Méthodologie : MixFlow

L'approche MixFlow proposée est motivée par l'observation d'un phénomène de « Slow Flow » (flux lent). Une analyse empirique révèle que les données bruitées de vérité terrain les plus proches des données bruitées générées à un pas de temps d'échantillonnage $t$ correspondent souvent à un pas de temps de bruit plus élevé (un « pas de temps ralenti », $m_t \leq t$ ). En d'autres termes, les données générées accusent un retard sur la trajectoire de vérité terrain.

Pour exploiter cette observation, MixFlow modifie la procédure d'entraînement comme suit :

Mélange d'Interpolation Ralenti (Slowed Interpolation Mixture) : Au lieu d'entraîner le réseau de prédiction $u_\theta$ sur une interpolation unique $x_t$ correspondant au pas de temps d'entraînement $t$ , MixFlow utilise un mélange d'interpolations provenant d'une plage de « pas de temps ralentis ».
- Les données bruitées d'entrée sont échantillonnées à partir d'un ensemble $\mathcal{X}_t = \{x_{m_t} \mid m_t \in [(1-\gamma)t, t]\}$ , où $m_t$ représente un pas de temps de bruit plus élevé (plus lent).
- La taille de la plage est linéaire par rapport à $t$ , contrôlée par un coefficient $\gamma$ .
Fonction de Perte Modifiée : L'objectif d'entraînement optimise le réseau de prédiction en utilisant l'interpolation ralentie $x_{m_t}$ comme entrée, tandis que la cible reste la vélocité de vérité terrain au pas de temps ralenti $m_t$ :
$\mathbb{E}_{t, x_0, x_1, m_t} [\| u_\theta(x_{m_t}, t) - u^*(x_{m_t}, m_t) \|_2^2]$
Crucialement, le pas de temps d'entrée transmis au réseau reste le pas de temps d'entraînement $t$ , et non $m_t$ .
Stratégie d'Échantillonnage :
- Pas de temps ralenti ( $m_t$ ) : Échantillonné uniformément dans la plage $[(1-\gamma)t, t]$ .
- Pas de temps d'entraînement ( $t$ ) : Pour garantir que les paires de $(x_{m_t}, t)$ soient échantillonnées uniformément à travers toutes les combinaisons possibles, le pas de temps d'entraînement $t$ est échantillonné à partir d'une distribution Beta(2, 1) ( $p(t) \propto t$ ), plutôt qu'une distribution uniforme.
Implémentation : La méthode est légère, ne nécessitant que des modifications mineures du code (par exemple, 5 lignes pour RAE) aux pipelines d'entraînement existants. Elle fonctionne comme une stratégie de post-entraînement pour les modèles pré-entraînés.

Contributions Clés

Identification du Slow Flow : L'article démontre empiriquement que les données bruitées générées à l'étape $t$ sont les plus proches des données de vérité terrain à un pas de temps plus lent (bruit plus élevé), fournissant une base théorique à la modification d'entraînement proposée.
Algorithme d'Entraînement MixFlow : Un nouveau schéma d'entraînement qui utilise un mélange d'interpolations ralenties pour aligner la distribution d'entraînement plus étroitement avec la distribution de test, atténuant efficacement le biais d'exposition.
Performance de l'État de l'Art : L'approche atteint des améliorations significatives à travers diverses architectures de modèles (SiT, REPA, RAE) et tâches de génération (conditionnelle à classe et texte-vers-image).

Résultats Expérimentaux

Les auteurs ont évalué MixFlow sur la génération d'images conditionnelle à classe (ImageNet) et la génération de texte-vers-image (Stable Diffusion 3.5).

Génération Conditionnelle à Classe (ImageNet)

Modèles RAE : MixFlow appliqué aux modèles RAE a atteint de nouveaux résultats de l'état de l'art :
- 256 × 256 : 1,43 FID (sans guidance) et 1,10 FID (avec guidance).
- 512 × 512 : 1,55 FID (sans guidance) et 1,10 FID (avec guidance).
SiT et REPA : Des améliorations constantes ont été observées sur SiT (tailles B et XL) et les modèles REPA. Par exemple, SiT-B/2 avec guidance est passé de 4,46 à 3,91 gFID.
Étapes d'Échantillonnage : Les gains de MixFlow sont plus prononcés avec moins d'étapes d'échantillonnage (par exemple, 20 étapes), suggérant qu'il traite efficacement les erreurs d'approximation inhérentes à l'échantillonnage grossier.
Comparaison : MixFlow a surpassé d'autres méthodes d'atténuation du biais d'exposition, y compris l'Input Perturbation, l'Epsilon Scaling et les Time-Shift Samplers.

Génération Texte-vers-Image

Appliqué à Stable Diffusion 3.5, MixFlow a amélioré les performances sur toutes les métriques évaluées (GenEval, DPG-Bench, T2I-CompBench) pour 40 et 10 étapes d'échantillonnage.
Les résultats qualitatifs ont montré des améliorations de la précision du comptage, des relations spatiales et de l'adhérence à la forme des objets.

Signification et Revendications

L'article affirme que MixFlow offre une solution simple mais efficace au problème du biais d'exposition en modifiant la distribution d'entraînement pour tenir compte du phénomène de « Slow Flow ». Les auteurs soulignent que :

Entraînement vs Inférence : Contrairement aux ajustements au moment de l'inférence, MixFlow s'attaque à la cause profonde en modifiant l'objectif d'entraînement, rendant le modèle robuste au décalage de distribution entre l'entraînement et le test.
Compatibilité : La méthode est compatible avec diverses architectures de backbone (SiT, DiT), schémas d'interpolation (linéaire, conservation de la variance), et paradigmes d'entraînement avancés (REPA, RAE).
Efficacité : Elle atteint des résultats de l'état de l'art avec un surcoût computationnel minimal, ne nécessitant que quelques lignes de modification de code et agissant comme une étape de post-entraînement efficace.

Les auteurs concluent que MixFlow améliore considérablement la qualité de la génération, particulièrement dans les scénarios de haute résolution et d'échantillonnage à faible nombre d'étapes, établissant de nouveaux standards pour la génération d'images basée sur la diffusion.