💻 computer science

Drift Flow Matching

Ce papier présente Drift Flow Matching (DFM), un nouveau cadre génératif qui fait le pont entre l'efficacité des modèles de dérive en une étape et les capacités flexibles de mise à l'échelle de la qualité du Flow Matching itératif en permettant à la fois une génération directe et un raffinement multi-étapes.

Auteurs originaux : Chenrui Ma, Xi Xiao, Lin Zhao, Tianyang Wang, Ferdinando Fioretto, Yanning Shen

Publié 2026-05-19

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Chenrui Ma, Xi Xiao, Lin Zhao, Tianyang Wang, Ferdinando Fioretto, Yanning Shen

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

La Vue d'Ensemble : Relier Deux Mondes

Imaginez que vous essayez d'enseigner à un robot à dessiner un chat parfait. Vous avez deux façons principales de faire cela :

L'Artiste « En Une Seule Étape » (Modèles de Dérive) : Cet artiste regarde une toile blanche et peint instantanément tout le chat d'un seul coup de pinceau confiant. C'est incroyablement rapide, mais si le premier coup est légèrement décalé, tout le dessin est gâché. Il n'y a aucun moyen de « réparer » cela plus tard car le travail est déjà terminé.
Le Sculpteur « Lent et Assidu » (Appariement de Flux / Diffusion) : Cet artiste commence avec un bloc d'argile (bruit) et ébrèche lentement la matière, affinant la forme sur des centaines de micro-étapes. S'ils commettent une erreur, ils peuvent lisser le tout à l'étape suivante. Plus ils passent de temps (plus d'étapes), meilleure devient la sculpture. Cependant, cela est lent et coûteux en calcul.

Le Problème : L'artiste « En Une Seule Étape » est rapide mais rigide. Le sculpteur « Lent et Assidu » est flexible mais lent. Jusqu'à présent, vous deviez choisir l'un ou l'autre.

La Solution : Le papier introduit l'Appariement de Flux de Dérive (DFM). Imaginez le DFM comme un artiste hybride qui possède la rapidité du peintre en une étape mais la flexibilité du sculpteur lent.

Comment Cela Fonctionne : L'Analogie du « GPS »

Pour comprendre comment le DFM fonctionne, imaginez que vous conduisez de la Ville A (bruit aléatoire) à la Ville B (une image parfaite).

Les Anciens Modèles de Dérive sont comme un conducteur qui reçoit un seul ensemble de directions : « Roulez tout droit vers la Ville B ». Ils prennent l'autoroute et arrivent d'un seul coup. S'ils manquent un virage, ils ne peuvent pas le corriger.
L'Ancien Appariement de Flux est comme un conducteur qui vérifie son GPS toutes les 10 secondes. Ils effectuent de minuscules ajustements constamment. S'ils dérivent de la trajectoire, le GPS les corrige immédiatement. C'est précis mais nécessite une vérification constante (calcul).

L'Appariement de Flux de Dérive (DFM) change les règles. Au lieu de simplement donner une destination ou de vérifier toutes les 10 secondes, il donne au conducteur une carte dynamique qui fonctionne pour n'importe quelle distance.

Le Tour de Magie : Le modèle apprend une « règle de transport » qui fonctionne pour n'importe quels deux points dans le temps.
- Si vous voulez aller de « Maintenant » à « La Fin » en un seul bond géant, le modèle agit comme l'artiste rapide et conduit directement là-bas.
- Si vous voulez aller de « Maintenant » à « La Fin » mais faire une pause café à mi-chemin, le modèle agit comme le sculpteur lent. Il calcule le meilleur chemin pour cette étape spécifique du voyage, affine l'image, puis passe à l'étape suivante.

Le Secret : « Dérive Groupée »

Comment le modèle apprend-il à faire les deux ? Le papier utilise un astucieux tour d'entraînement impliquant des groupes.

Imaginez que vous formez une classe d'élèves à déplacer un tas de sable d'un endroit à un autre.

Dans les méthodes traditionnelles, vous pourriez dire à chaque élève individuellement : « Déplacez ce grain de sable spécifique vers cet endroit spécifique ».
Dans le DFM, vous dites à toute la classe : « Regardez le tas entier de sable que nous avons maintenant, et déplacez le tas entier pour qu'il ressemble au tas cible ».

Le modèle apprend à pousser la distribution entière (le tas entier de sable) vers la cible, plutôt que de simplement corriger des points individuels. Cette « pensée de groupe » lui permet d'être robuste.

Une Étape : Il pousse le tas entier vers la destination instantanément.
Plusieurs Étapes : Il pousse le tas à mi-chemin, s'arrête, réévalue la forme du tas, puis le pousse pour le reste du trajet.

Pourquoi Cela Compte (Les Résultats)

Le papier a testé cela sur tout, du dessin de formes simples (comme la lettre « F ») à la génération de visages de haute qualité (FFHQ) et même au contrôle de robots.

Compromis Vitesse vs Qualité : Vous pouvez choisir combien de temps vous voulez passer.
- Besoin de rapidité ? Exécutez-le en 1 étape. C'est presque aussi bien que les meilleurs modèles en une étape.
- Besoin de perfection ? Exécutez-le en 10 ou 50 étapes. La qualité s'améliore de plus en plus, tout comme le sculpteur lent.
Pas de Compromis : Vous n'avez pas à entraîner deux modèles différents. Un seul modèle DFM peut faire les deux travaux.
Robotique : Le papier a montré qu'un bras robotique pouvait apprendre à saisir des objets plus rapidement (1 étape) ou plus précisément (plusieurs étapes) en utilisant le même cerveau (modèle).

Résumé

L'Appariement de Flux de Dérive est comme un couteau suisse pour la génération par IA. Il combine la vitesse d'un raccourci direct avec la précision d'un voyage détaillé, étape par étape. Il permet aux utilisateurs de dire : « J'ai besoin d'une bonne image maintenant » (1 étape) ou « J'ai besoin d'une image parfaite et j'ai le temps » (plusieurs étapes), le tout en utilisant le même système sous-jacent.

Résumé Technique : Drift Flow Matching (DFM)

Énoncé du Problème

Les modèles génératifs itératifs, tels que Flow Matching et les modèles de Diffusion, ont démontré de solides capacités de « mise à l'échelle au moment de l'inférence » (test-time scaling), où l'augmentation du nombre d'étapes d'inférence améliore la qualité de génération, la contrôlabilité et la couverture de la distribution. Cependant, ces méthodes nécessitent plusieurs étapes d'inférence, ce qui peut être coûteux en termes de calcul. À l'inverse, les modèles Drift offrent une génération efficace en une seule étape en apprenant une application de poussée directe d'une distribution source vers une distribution cible. Pourtant, leur paradigme de génération directe manque d'un mécanisme naturel pour améliorer les résultats en augmentant le nombre d'étapes d'inférence au moment de l'inférence, limitant ainsi leur flexibilité et leur adaptabilité aux différentes exigences qualité-efficacité.

Méthodologie : Drift Flow Matching (DFM)

Les auteurs proposent Drift Flow Matching (DFM), un cadre qui unifie l'efficacité des modèles Drift en une seule étape avec l'évolutivité des méthodes Flow Matching itératives. DFM y parvient en apprenant un modèle de transport à deux temps capable de déplacer des échantillons de n'importe quel temps courant $t$ vers n'importe quel temps futur $r > t$ le long d'un chemin de probabilité Flow Matching.

Mécanismes Principaux

Construction de Marginales à Deux Temps :
Contrairement au Flow Matching standard, qui régresse une cible de vitesse conditionnelle ponctuelle, DFM opère sur des paires de distributions marginales $(p_t, p_r)$ . Il définit un chemin conditionnel $X^Z_t = \alpha(t)X^Z_0 + \beta(t)X^Z_1$ et $X^Z_r = \alpha(r)X^Z_0 + \beta(r)X^Z_1$ basé sur un couplage indépendant des distributions source ( $X_0$ ) et cible ( $X_1$ ). Cette construction induit des distributions marginales $p_t$ et $p_r$ à des étapes de temps arbitraires.
Paramétrisation de la Vitesse Moyenne :
DFM paramétrise un champ de vitesse moyenne $u_\theta(x_t, t, r)$ pour transporter la distribution actuelle $p_t$ vers la distribution future $p_r$ . L'application de transport est définie comme suit :
$T^\theta_{t,r}(x_t) = x_t + (r - t)u_\theta(x_t, t, r)$
Cette formulation permet au modèle de gérer des tailles d'étape arbitraires $(r-t)$ . À la limite où $r \to t$ , la vitesse moyenne retrouve la vitesse marginale instantanée du Flow Matching standard.
Supervision Basée sur la Dérive :
Au lieu de régresser un vecteur de vitesse, DFM emploie un objectif basé sur la dérive pour transporter la distribution prédite $q^\theta_{t,r}$ (générée par $T^\theta_{t,r}$ ) vers la vraie marge cible $p_r$ .
- Champ de Dérive : Un champ de dérive $V_{q^\theta_{t,r}, p_r}$ est construit en utilisant une attraction pondérée par un noyau vers les échantillons cibles ( $V^+_{p_r}$ ) et un terme d'auto-correction répulsif s'éloignant de la distribution actuelle du modèle ( $V^-_{q^\theta_{t,r}}$ ).
- Fonction de Perte : L'objectif d'entraînement minimise l'amplitude du champ de dérive en utilisant une formulation avec arrêt du gradient :
  $L_{DFM}(\theta) = \frac{1}{2} \mathbb{E}_{(t,r), X_t \sim p_t} \left[ \| \hat{X}^\theta_r - \text{sg}(\hat{X}^\theta_r + V_{q^\theta_{t,r}, p_r}(\hat{X}^\theta_r)) \|^2 \right]$
- Estimation Groupée : Crucialement, le champ de dérive et la perte doivent être calculés par groupe pour chaque paire de temps échantillonnée $(t, r)$ . Mélanger des échantillons de différentes paires de temps corromprait l'estimation de la dérive car les marginales cibles $p_r$ diffèrent pour chaque paire.

Contributions Clés

Cadre Unifié : DFM comble le fossé entre les modèles Drift efficaces en une seule étape et les méthodes Flow Matching itératives, créant un paradigme unique qui supporte à la fois la génération directe et le raffinement itératif.
Mise à l'Échelle au Moment de l'Inférence : Le cadre débloque des capacités de mise à l'échelle au moment de l'inférence pour les méthodes basées sur la dérive. Les utilisateurs peuvent arbitrer entre la vitesse d'échantillonnage et la qualité de génération en ajustant le nombre d'étapes d'inférence (NFE) sans réentraînement.
Principe d'Apprentissage Novel : L'article introduit un principe d'apprentissage qui passe de la régression de vitesse ponctuelle (standard dans Flow Matching) au transport de distribution marginale via une supervision par dérive. Cela évite l'instabilité souvent associée aux méthodes d'auto-distillation utilisées dans d'autres approches de génération en une seule étape.
Garanties Théoriques : Les auteurs fournissent une analyse théorique montrant que DFM décompose la génération aux points extrêmes en problèmes de transport marginal à courte portée contrôlés par la distance de Wasserstein ( $W_2$ ) et que la méthode retrouve le Flow Matching standard à la limite de l'étape infinitésimale.

Résultats Expérimentaux

Des expériences extensives sur des données synthétiques, MNIST, FFHQ, ImageNet-1k et des tâches de contrôle robotique démontrent l'efficacité de DFM :

Données Synthétiques : Les visualisations montrent que DFM peut générer des échantillons de haute qualité en une seule étape tout en améliorant davantage la couverture de la distribution et la qualité des échantillons à mesure que le NFE augmente.
Génération Conditionnelle (MNIST & FFHQ) : DFM atteint des performances compétitives avec une inférence en une seule étape (égalant les bases des modèles Drift) et améliore constamment les métriques (EMD, FID) à mesure que le NFE augmente jusqu'à 2, 5 ou 10.
Synthèse d'Images à Grande Échelle (ImageNet-1k) : Sur le jeu de données ImageNet-256x256, DFM atteint un FID compétitif de 1,52 avec NFE=1. Augmenter le NFE à 10 réduit davantage le FID à 1,31, démontrant une mise à l'échelle au moment de l'inférence efficace comparable aux méthodes Flow Matching itératives.
Contrôle Robotique : Dans des tâches de manipulation robotique (par exemple, Lift, Can, PushT), DFM préserve la capacité d'inférence en une seule étape de la politique Drift tout en montrant des gains de performance clairs avec l'augmentation des étapes d'inférence, surpassant à la fois la politique Drift en une seule étape et les bases de politique de Diffusion multi-étapes dans des tâches spécifiques.

Importance et Revendications

L'article revendique que DFM établit un paradigme génératif plus flexible où la génération directe et le raffinement itératif ne sont plus des choix de conception mutuellement exclusifs mais peuvent être envisagés dans un cadre unique. En reliant la modélisation générative par dérive avec la génération itérative basée sur le flux, DFM permet aux processus de génération de s'adapter au calcul d'échantillonnage selon différentes exigences qualité-efficacité. Les auteurs soulignent que cette approche fournit une nouvelle façon d'atteindre une forte génération en une seule étape tout en conservant les avantages d'évolutivité des méthodes itératives, répondant ainsi à une limitation clé des modèles Drift précédents.