🤖 machine learning

Generative Modeling via Drifting

Cet article introduit les « Drifting Models », un nouveau paradigme de modélisation générative qui fait évoluer la distribution de pushforward pendant l'entraînement via un champ de dérive pour atteindre l'équilibre, permettant une génération d'images en une seule étape de pointe sur ImageNet à une résolution de 256x256.

Auteurs originaux : Mingyang Deng, He Li, Tianhong Li, Yilun Du, Kaiming He

Publié 2026-02-09

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Mingyang Deng, He Li, Tianhong Li, Yilun Du, Kaiming He

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez d'apprendre à un robot à dessiner une image parfaite de chat.

Dans les anciennes méthodes (comme les modèles de Diffusion), le robot partirait d'une toile vierge remplie de bruit statique. Il ferait ensuite un tout petit pas, nettoierait un peu de bruit, ferait un autre pas, nettoierait un peu plus, et répéterait ce processus des centaines de fois jusqu'à ce qu'un chat finisse par apparaître. C'est comme sculpter une statue en taillant un énorme bloc de pierre, un petit éclat à la fois.

Ce papier propose une nouvelle méthode appelée « Modèles de Dérive » (Drifting Models).

Au lieu de tailler la pierre étape par étape, imaginez que le robot possède un « vent » magique qui souffle le bruit directement pour lui donner la forme d'un chat en un seul mouvement fluide.

Voici comment le papier explique cela, décomposé en concepts simples :

1. L'objectif : Pousser un nuage pour lui donner une forme

Considérez le bruit avec lequel le robot commence comme un nuage de poussière flottant dans l'air. Le but est de pousser ce nuage pour qu'il se dépose exactement sous la forme d'un chat.

L'ancienne méthode : Vous poussez le nuage un tout petit peu, vous vous arrêtez, vous vérifiez la forme, vous poussez encore un tout petit peu, vous vous arrêtez, vous vérifiez à nouveau. Vous faites cela encore et encore.
La nouvelle méthode (Dérive) : Vous déterminez la direction et la vitesse de vent parfaites qui pousseront le nuage de la « poussière » vers le « chat » en un seul souffle.

2. La recette secrète : Le « Champ de Dérive » (Drifting Field)

Comment le robot sait-il dans quelle direction pousser ? Le papier introduit un concept appelé Champ de Dérive.

Imaginez que vous êtes dans une pièce avec deux groupes de personnes :

Groupe A (Les vrais chats) : Ce sont de vraies photos de chats.
Groupe B (Les dessins du robot) : Ce sont les dessins brouillons et flous que le robot est en train de créer.

Le « Champ de Dérive » est comme une force invisible qui indique au dessin du robot comment se déplacer :

Attraction : Le dessin ressent une attraction douce vers les vrais chats (Groupe A).
Répulsion : Le dessin ressent une poussée loin de ses propres versions mauvaises et floues (Groupe B).

Le robot calcule cette attraction et cette poussée pour chaque dessin. Si le dessin est loin d'un vrai chat, l'attraction est forte. Si le dessin est déjà bon, l'attraction est faible.

3. L'« Équilibre » (Le point idéal)

La magie opère lorsque les dessins du robot deviennent si bons qu'ils ressemblent exactement aux vrais chats.

À ce stade, la « poussée » des vrais chats et la « répulsion » des mauvais dessins s'annulent parfaitement.
Le « vent » cesse de souffler car le dessin est déjà à la bonne place.
Le papier appelle cela l'Équilibre. Quand le vent s'arrête, le robot a appris la carte parfaite pour transformer le bruit en un chat.

4. Entraînement vs Inférence (Apprendre vs Faire)

C'est la partie ingénieuse du papier :

Entraînement (Apprentissage) : Le robot apprend en simulant ce « vent » encore et encore. Il observe ses dessins dériver vers les vrais chats, ajuste la mathématique correctement, et met à jour son cerveau. C'est un processus itératif (cela prend du temps pour apprendre).
Inférence (Action) : Une fois que le robot a appris la carte du vent parfaite, il n'a plus besoin de faire de petits pas. Il applique simplement cette carte une seule fois. Il prend un souffle de bruit, applique le « Champ de Dérive » une seule fois, et pouf — un chat parfait apparaît.

5. Pourquoi cela importe

Le papier affirme que cette méthode change la donne car :

Vitesse : Elle génère des images en une seule étape (appelée 1-NFE). Vous n'avez pas besoin d'attendre 50 ou 100 étapes pour obtenir un résultat.
Qualité : Malgré cette étape unique, les images sont d'une qualité incroyable. Sur un test standard (ImageNet), ils ont obtenu un score (FID) de 1,54, ce qui est meilleur que presque toutes les autres méthodes à étape unique et rivalise avec les méthodes lentes à plusieurs étapes.
Polyvalence : Cela fonctionne non seulement pour les images, mais aussi pour contrôler des robots (comme un bras robotique ramassant des objets), prouvant qu'il s'agit d'une façon générale de générer des données.

Analogie de résumé

L'ancienne méthode (Diffusion) : C'est comme marcher dans une forêt sombre pour trouver un trésor. Vous faites un pas, vous vérifiez votre carte, vous faites un autre pas, vous vérifiez à nouveau. Cela prend beaucoup de temps.
Modèle de Dérive : C'est comme avoir un GPS qui calcule instantanément tout l'itinéraire. Vous montez dans la voiture, vous appuyez sur « Go », et vous arrivez à destination en un seul trajet fluide.

Le papier dit essentiellement : « Nous avons trouvé un moyen de calculer cet itinéraire GPS parfait (le Champ de Dérive) pendant l'entraînement, de sorte qu'au moment de l'utilisation, nous puissions simplement conduire directement là en une seule fois. »

Résumé Technique : Modélisation Générative par Dérive (Drifting)

Énoncé du Problème

La modélisation générative est fondamentalement la tâche consistant à apprendre une application $f$ telle que la mesure de poussée (pushforward) d'une distribution a priori $p_{prior}$ (par exemple, un bruit gaussien) corresponde à la distribution des données $p_{data}$ , notée $f\#p_{prior} \approx p_{data}$ . Bien que les paradigmes prédominants comme les modèles de diffusion et le Flow Matching parviennent à cela en affinant itérativement les échantillons au moment de l'inférence (en décomposant la complexe application de poussée en une chaîne de transformations réalisables), cette approche nécessite de multiples évaluations du réseau neuronal (NFE) par échantillon, ce qui entraîne des coûts de calcul élevés.

Les tentatives existantes pour créer des générateurs en une seule étape reposent souvent sur la distillation de modèles pré-entraînés multi-étapes ou sur l'approximation des trajectoires d'équations différentielles stochastiques (SDE) ou ordinaires (ODE) pendant l'entraînement. Les auteurs proposent un nouveau paradigme qui déplace fondamentalement le processus itératif de l'inférence vers le temps d'entraînement, permettant une génération de haute qualité avec une seule évaluation de fonction neurale (1-NFE) sans dépendre des formulations SDE/ODE.

Méthodologie : Modèles de Dérive (Drifting Models)

La contribution centrale est le Modèle de Dérive, qui formule la modélisation générative comme l'évolution de la distribution de poussée pendant le processus d'entraînement lui-même.

1. Évolution au Temps d'Entraînement

Au lieu de considérer l'entraînement comme une simple mise à jour des poids pour minimiser une perte statique, les auteurs considèrent la séquence de modèles $\{f_i\}$ produite par l'optimisation itérative (par exemple, SGD) comme une séquence de distributions de poussée $\{q_i\}$ . À chaque itération, un échantillon $x_i = f_i(\epsilon)$ est implicitement « dérivé » vers $x_{i+1} = f_{i+1}(\epsilon)$ en raison des mises à jour des paramètres. L'objectif est de définir un mécanisme où cette dérive guide naturellement la distribution $q$ vers $p_{data}$ .

2. Le Champ de Dérive

Pour gouverner cette évolution, les auteurs introduisent un champ de dérive $V_{p,q}(x)$ , une fonction qui calcule un vecteur de déplacement $\Delta x$ pour un échantillon $x$ basé sur la distribution générée actuelle $q$ et la distribution de données cible $p$ .

Condition d'Équilibre : Le champ est conçu de telle sorte que $V_{p,q}(x) = 0$ si et seulement si $p = q$ . Lorsque les distributions correspondent, les échantillons cessent de dériver, atteignant un équilibre.
Anti-symétrie : Le champ satisfait $V_{p,q}(x) = -V_{q,p}(x)$ . Cette propriété garantit que si les distributions sont inversées, la direction de la dérive s'inverse, garantissant que $V=0$ quand $p=q$ .

3. Instanciation via Attraction et Répulsion

Le champ de dérive spécifique utilisé dans l'article est inspiré de l'algorithme de mean-shift et est construit en utilisant des échantillons positifs de $p$ et des échantillons négatifs de $q$ :
$V_{p,q}(x) = V^+_p(x) - V^-_q(x)$
Où :

$V^+_p(x)$ est une force attractive tirant $x$ vers la distribution de données $p$ .
$V^-_q(x)$ est une force répulsive repoussant $x$ loin de la distribution générée $q$ .
Ces forces sont calculées à l'aide d'une fonction noyau $k(x, y)$ (spécifiquement un noyau exponentiel basé sur la distance $\ell_2$ ) et normalisées via des opérations softmax pour assurer la stabilité.

4. Objectif d'Entraînement

L'objectif d'entraînement est dérivé de la relation de point fixe à l'équilibre : $f(\epsilon) = f(\epsilon) + V_{p,q}(f(\epsilon))$ . La fonction de perte minimise la distance entre la prédiction actuelle et une « cible gelée » (la prédiction plus la dérive) :
$L = \mathbb{E}_{\epsilon} \left[ \| f_\theta(\epsilon) - \text{stopgrad}(f_\theta(\epsilon) + V_{p,q}(f_\theta(\epsilon))) \|^2 \right]$
Cette formulation permet à l'optimiseur de faire évoluer la distribution en déplaçant les échantillons vers leurs versions dérivées. Crucialement, le gradient ne se propage pas à travers la distribution $q$ elle-même, évitant ainsi les complexités de la différenciation à travers les distributions.

5. Espace de Caractéristiques et Guidage

Espace de Caractéristiques : Pour gérer les données de haute dimension, la perte de dérive est calculée dans un espace de caractéristiques utilisant un encodeur auto-supervisé pré-entraîné (par exemple, un encodeur de type ResNet-MAE). Cela garantit que les échantillons sémantiquement similaires restent proches, fournissant des signaux de gradient plus riches.
Guidage sans Classificateur (Classifier-Free Guidance - CFG) : La méthode supporte naturellement le CFG en mélangeant des échantillons de données non conditionnels dans la distribution d'échantillons négatifs lors de l'entraînement, permettant une génération contrôlable à l'inférence sans réentraînement.

Contributions Clés

Nouveau Paradigme : Introduit les « Modèles de Dérive », un cadre où la distribution de poussée évolue pendant le temps d'entraînement, éliminant le besoin d'une inférence itérative.
Champ de Dérive : Propose un nouveau mécanisme de perte basé sur un champ de dérive qui atteint l'équilibre lorsque les distributions générées et de données correspondent, régi par l'attraction vers les données et la répulsion de la génération actuelle.
Génération en une Seule Étape de l'État de l'Art : Démontre qu'un réseau à passage unique peut atteindre des performances compétitives avec, voire supérieures, aux modèles de diffusion multi-étapes et basés sur le flux.
Robustesse au Effondrement de Mode (Mode Collapse) : Des expériences sur des exemples simples suggèrent que la méthode est robuste à l'effondrement de mode ; si la distribution générée s'effondre sur un seul mode, l'attraction des autres modes de la distribution de données continue de piloter la dérive, poussant la distribution à évoluer.

Résultats Expérimentaux

Les auteurs évaluent les Modèles de Dérive sur ImageNet 256×256 tant dans l'espace latent que dans l'espace des pixels.

Espace Latent : En utilisant un tokenizer SD-VAE standard, le modèle atteint un 1-NFE FID de 1,54 (avec un modèle L/2 plus grand). Cela surpasse tous les précédents modèles en une étape (ex: iMeanFlow, AdvFlow) et est compétitif avec les modèles de diffusion multi-étapes (ex: SiT-XL/2 avec 250 étapes atteint un FID de 2,06).
Espace des Pixels : Sans tokenizer latent, le modèle atteint un 1-NFE FID de 1,61, surpassant substantiellement les précédentes méthodes en une étape dans l'espace des pixels (ex: StyleGAN-XL à 2,30 FID) et rivalisant avec les modèles multi-étapes dans l'espace des pixels.
Contrôle Robotique : Dans le cadre de la Diffusion Policy, le Modèle de Dérive en une étape égale ou dépasse la performance des politiques de diffusion multi-étapes (100 NFE) sur diverses tâches de manipulation robotique.

Signification et Revendications

L'article affirme ouvrir de nouvelles opportunités pour une modélisation générative de haute qualité et efficace. En reformulant l'entraînement itératif de réseaux neuronaux comme un mécanisme d'évolution de distribution, ce travail remet en question la nécessité des formulations SDE/ODE pour les tâches génératives.

Les auteurs soulignent que leur méthode :

Admet naturellement une inférence en une seule étape (1-NFE), réduisant considérablement le coût de calcul lors du déploiement.
Ne repose pas sur la distillation de modèles multi-étapes pré-entraînés, mais s'entraîne à partir de zéro.
Offre une alternative conceptuellement distincte à la diffusion et au Flow Matching, en se concentant sur la règle de mise à jour ( $x_{i+1} = x_i + \Delta x_i$ ) pendant l'entraînement plutôt que lors de l'inférence.

Les auteurs restent modestes quant aux garanties théoriques, notant que si $p=q \implies V=0$ est prouvé, la réciproque ( $V \to 0 \implies p \to q$ ) est vérifiée empiriquement et sous des hypothèses de non-dégénérescence spécifiques, mais n'est pas garantie pour des champs de vecteurs arbitraires. Ils considèrent leur travail comme un point de départ pour explorer d'autres réalisations de mécanismes d'évolution de distribution.