🤖 AI

Continuous-Time Distribution Matching for Few-Step Diffusion Distillation

Ce papier présente l'Appariement de Distribution en Temps Continu (CDM), un nouveau cadre de distillation qui améliore les modèles de diffusion en quelques étapes en remplaçant la supervision discrète éparsse par une optimisation dynamique en temps continu et un alignement hors trajectoire, permettant ainsi d'atteindre une haute fidélité visuelle sans recourir à des modules auxiliaires complexes.

Auteurs originaux : Tao Liu, Hao Yan, Mengting Chen, Taihang Hu, Zhengrong Yue, Zihao Pan, Jinsong Lan, Xiaoyong Zhu, Ming-Ming Cheng, Bo Zheng, Yaxing Wang

Publié 2026-05-08

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Tao Liu, Hao Yan, Mengting Chen, Taihang Hu, Zhengrong Yue, Zihao Pan, Jinsong Lan, Xiaoyong Zhu, Ming-Ming Cheng, Bo Zheng, Yaxing Wang

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez d'enseigner à un artiste talentueux mais lent (le Professeur) comment peindre un chef-d'œuvre en quelques coups de pinceau rapides, au lieu de ses centaines de couches lentes et minutieuses habituelles. C'est le défi de la Distillation Diffusion : rendre les générateurs d'images par IA rapides sans perdre en qualité.

L'article présente une nouvelle méthode appelée CDM (Continuous-Time Distribution Matching) qui résout un problème spécifique des méthodes d'enseignement précédentes. Voici l'explication à l'aide d'analogies simples :

Le Problème : Le Professeur « Arrêt et Départ »

Les méthodes précédentes (comme DMD2) tentaient d'enseigner à l'élève rapide en ne vérifiant son travail qu'à quelques points de contrôle fixes et spécifiques.

L'Analogie : Imaginez un moniteur de conduite qui ne vérifie la position de votre voiture qu'à 10h00, 10h15 et 10h30 précises. Il vous dit : « Vous étiez parfait à 10h15 », mais il ne se soucie pas de ce que vous avez fait entre ces moments.
Le Résultat : Comme l'élève n'apprend que de ces « instantanés » épars, il a tendance à conduire de manière erratique entre-temps. Lorsqu'il essaie de conduire vite (générer une image en 4 étapes), il dévie de la route, ce qui entraîne des images floues et « trop lissées » qui manquent de détails fins comme des mèches de cheveux ou la texture d'un tissu. Pour corriger cela, les anciennes méthodes devaient ajouter des « filets de sécurité » compliqués (comme des GAN ou des modèles de récompense), qui sont lourds et coûteux à exécuter.

La Solution : L'« Autoroute Fluide » (CDM)

Les auteurs proposent le CDM, qui change le style d'enseignement de « Arrêt et Départ » à une « Autoroute Fluide ». Ils y parviennent grâce à deux astuces principales :

1. Le Calendrier Dynamique (Plus de Points de Contrôle Fixes)

Au lieu de vérifier l'élève uniquement à des moments fixes, le professeur le vérifie maintenant à des moments aléatoires tout au long du trajet.

L'Analogie : Le moniteur de conduite monte maintenant dans la voiture à des moments aléatoires — parfois à 10h03, parfois à 10h27, parfois à 10h41. Il vérifie la position et la direction de l'élève à n'importe quel point de la route, et non seulement aux arrêts programmés.
L'Avantage : L'élève apprend à conduire de manière fluide partout, et non seulement aux points de contrôle spécifiques. Cela empêche la conduite « saccadée » qui provoque des images floues.

2. Le Test « Hors Piste » (Extrapolation Pilotée par la Vitesse)

C'est l'innovation la plus unique de l'article. Lorsque l'élève fait un grand pas en avant (parce qu'il essaie d'être rapide), il pourrait dépasser le chemin idéal. Le CDM vérifie activement ce qui se passe si l'élève dépassait effectivement.

L'Analogie : Imaginez que l'élève conduit vite. Le professeur dit : « D'accord, vous avez fait un grand pas en avant. Maintenant, imaginons que vous fassiez encore un pas de plus basé sur votre vitesse et votre direction actuelles. » Le professeur vérifie ensuite si cet endroit « imaginaire » est toujours sur la route. Si la vitesse de l'élève était incorrecte, cet endroit imaginaire sera loin hors de la route. Le professeur corrige alors la vitesse de l'élève avant qu'il ne commette réellement l'erreur.
L'Avantage : Cela agit comme un GPS auto-correcteur. Cela force l'élève à apprendre une vitesse (vitesse vectorielle) fluide et cohérente, de sorte que même lorsqu'il fait de grands pas rapides, il ne percute pas ni ne dévie du chemin. Cela préserve les détails nets sans avoir besoin de « filets de sécurité » supplémentaires.

Les Résultats : Rapide et Net

L'article a testé cette nouvelle méthode sur des générateurs d'images puissants (SD3-Medium et Longcat-Image).

Vitesse : Le nouvel élève peut générer des images de haute qualité en seulement 4 étapes (très rapide).
Qualité : Les images sont plus nettes et possèdent plus de détails fins (comme des textures réalistes) par rapport aux méthodes rapides précédentes.
Simplicité : Contrairement à d'autres méthodes rapides, le CDM n'a pas besoin d'outils supplémentaires complexes (comme des GAN ou des modèles de récompense) pour corriger le flou. Il se corrige lui-même grâce à la méthode d'enseignement « autoroute fluide ».

Résumé

En bref, l'article dit : « Pour rendre la génération d'images par IA rapide, arrêtez de vérifier l'élève uniquement à des moments fixes. Vérifiez-le plutôt à des moments aléatoires et testez sa vitesse sur des chemins « hors piste » imaginaires. Cela lui apprend à conduire de manière fluide et rapide, ce qui donne des images nettes et détaillées sans avoir besoin d'équipements supplémentaires compliqués. »

Résumé Technique : Appariement de Distribution en Temps Continu pour la Distillation de Diffusion en Quelques Étapes

Énoncé du Problème

Les modèles de diffusion et d'appariement de flux ont révolutionné la génération d'images à partir de texte, mais souffrent d'un goulot d'étranglement computationnel sévère dû à leurs processus d'échantillonnage itératifs, nécessitant souvent des dizaines à des centaines d'évaluations de réseau. Bien que des paradigmes de distillation de diffusion (par exemple, la distillation de cohérence, la distillation d'appariement de distribution) aient émergé pour accélérer ce processus, les méthodes existantes de distillation d'appariement de distribution (DMD) font face à des limitations structurelles. Plus précisément, la DMD classique repose sur une supervision sparse à quelques instants discrets prédéfinis pour maintenir un alignement strict entre les calendriers d'entraînement et d'inférence. Cette formulation temporelle discrète restreinte, combinée à la nature de recherche de modes de la divergence KL inverse, conduit souvent à des artefacts visuels, des sorties lissées excessivement et une perte de détails fins. Par conséquent, les méthodes DMD actuelles de l'état de l'art nécessitent fréquemment des modules auxiliaires complexes, tels que des réseaux antagonistes génératifs (GAN) ou des modèles de récompense, pour restaurer la fidélité visuelle.

Méthodologie : Appariement de Distribution en Temps Continu (CDM)

Les auteurs proposent l'Appariement de Distribution en Temps Continu (CDM), un cadre qui migre le paradigme DMD de l'ancrage discret vers une optimisation continue. La méthode consiste en deux conceptions principales en temps continu :

1. Calendrier Temporel Continu Dynamique

Contrairement à la DMD traditionnelle, qui restreint la simulation inverse à un ensemble fixe d'ancres discrètes correspondant au calendrier d'inférence, le CDM emploie un calendrier continu dynamique.

Mécanisme : À chaque itération d'entraînement, la longueur de simulation $N$ est échantillonnée aléatoirement selon une distribution uniforme $U\{1, N_{max}\}$ . Les instants $t_1, \dots, t_N$ sont générés comme une séquence continue strictement décroissante dans $(0, 1]$ .
Effet : Cela découple l'optimisation d'entraînement du calendrier d'inférence fixe. Le modèle étudiant est entraîné sur tout l'espace temporel continu plutôt que sur quelques points fixes, recevant des signaux de gradient d'un éventail plus large de trajectoires. L'analyse théorique suggère que cela encourage l'étudiant à apprendre un champ de vitesse plus lisse sur le domaine continu, plutôt que de surajuster à quelques ancres discrètes éparses.

2. Alignement Hors-Trajectoire par Extrapolation Pilotée par la Vitesse

Pour remédier aux erreurs de troncature numérique inhérentes à la génération en quelques étapes (où de grands pas d'intégration provoquent un dérive des trajectoires hors de la variété idéale), le CDM introduit une nouvelle fonction de perte CDM ( $L_{CDM}$ ).

Mécanisme : Au lieu de restreindre la supervision aux latents sur-trajectoire, la méthode effectue un appariement actif hors-trajectoire. Elle effectue une étape d'Euler du premier ordre le long du champ de vitesse prédit par l'étudiant pour extrapoler un latent hors-trajectoire $x'_{t_i} = x_{t_i} + (t'_i - t_i)v_{t_i}$ .
Objectif : La perte impose un appariement de distribution sur ces points extrapolés. En ancrant la cible à l'estimation locale des données propres au point extrapolé, la méthode crée une contrainte d'auto-cohérence pour le champ vectoriel de l'étudiant. Cela pénalise efficacement les prédictions de vitesse invalides en dehors de la trajectoire principale, atténuant l'incohérence entre ancres et permettant à l'étudiant de corriger lui-même les erreurs d'intégration.

Objectif d'Entraînement

L'objectif d'entraînement complet unifie trois composantes :
$L = L_{CA} + L_{DM} + L_{CDM}$

$L_{CA}$ (Augmentation CFG) : Assure l'alignement texte-image.
$L_{DM}$ (Appariement de Distribution) : Aligne la distribution marginale de l'étudiant avec la distribution sans CFG de l'enseignant.
$L_{CDM}$ (Appariement en Temps Continu) : Régularise le champ de vitesse sur le domaine temporel continu via une supervision hors-trajectoire.

Contributions Clés

Insights Empiriques : Les auteurs révèlent que l'ancrage de l'entraînement à des instants discrets fixes est inutile et que la fonction de perte d'Appariement de Distribution (DM) n'est pas simplement un régularisateur mais le moteur principal alignant l'étudiant sur la distribution sans CFG de l'enseignant.
Cadre CDM : La proposition d'un cadre unifié combinant un calendrier continu dynamique avec un objectif d'alignement hors-trajectoire piloté par la vitesse. Cela déplace l'optimisation vers le domaine du temps continu sans recourir à un entraînement antagoniste ou à des modèles de récompense externes.
Performance de l'État de l'Art : Des expériences extensives démontrent que le CDM atteint une fidélité visuelle et une adhérence sémantique supérieures dans la génération en quelques étapes (4 NFE) à travers différentes architectures (SD3-Medium et Longcat-Image), surpassant les bases existantes telles que DMD2, D-DMD et Hyper-SD.

Résultats Expérimentaux

L'article évalue le CDM sur SD3-Medium et Longcat-Image à une résolution de 1024×1024 avec 4 Évaluations de Fonction de Réseau (NFE).

Performance Quantitative : Sur SD3-Medium, le CDM obtient les meilleurs scores en Esthétique (6,075), DPGBench (85,26), PickScore (21,95) et HPSv3 (9,561), surpassant la forte base D-DMD. Notamment, l'étudiant CDM à 4 NFE égale ou dépasse l'enseignant à 100 NFE sur plusieurs métriques (par exemple, DPGBench et HPSv3).
Améliorations Qualitatives : Les comparaisons visuelles montrent que le CDM produit des textures plus nettes, des détails fins plus riches et une meilleure adhérence aux prompts complexes par rapport aux bases, qui souffrent souvent d'un lissage excessif.
Études d'Ablation :
- Le retrait de $L_{CA}$ conduit à un effondrement structurel.
- Le retrait individuel de $L_{DM}$ ou de $L_{CDM}$ dégrade respectivement l'adhérence au prompt ou la fidélité visuelle.
- Le retour à un calendrier temporel fixe ou l'utilisation d'une perturbation par bruit gaussien au lieu de l'extrapolation pilotée par la vitesse entraîne une performance inférieure, validant la nécessité des conceptions continues et basées sur la vitesse.

Importance et Revendications

L'article revendique que le CDM est le premier travail à migrer le cadre de distillation DMD des calendriers discrets vers un espace d'optimisation continu. Son importance réside dans la démonstration qu'une génération en quelques étapes de haute fidélité peut être atteinte sans recourir à des objectifs auxiliaires complexes (tels que des GAN ou des modèles de récompense) qui sont généralement requis pour corriger les artefacts de la distillation en temps discret.

En simulant explicitement et en corrigeant les dérives de troncature vers la variété des données cibles grâce à une supervision continue, le CDM établit de nouveaux résultats de l'état de l'art pour la génération d'images en 4 étapes. Les auteurs positionnent ce travail comme une étape vers une distillation de diffusion plus accessible, permettant une génération de haute qualité sur du matériel courant en réduisant les coûts d'inférence d'un ordre de grandeur tout en maintenant la qualité visuelle.