🤖 machine learning

Parallel Decoding Distillation for Fast Image and Video Generation

Cet article présente la Décodage Parallèle par Distillation (PDD), une méthode basée sur les trajectoires, scalable et simplifiée, qui accélère la génération d'images et de vidéos en prédisant plusieurs étapes de débruitage par évaluation de réseau, atteignant des performances de pointe avec 4 à 8 évaluations de fonction tout en améliorant considérablement la diversité vidéo par rapport aux techniques de distillation existantes.

Auteurs originaux : Neta Shaul, Chao Liu, Arash Vahdat, Julius Berner

Publié 2026-07-29

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Neta Shaul, Chao Liu, Arash Vahdat, Julius Berner

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayiez d'apprendre à un robot à peindre un chef-d'œuvre ou à réaliser un film. Dans le monde de l'intelligence artificielle, cela se fait à l'aide de modèles de « diffusion » ou de « flux ». Considérez ces modèles comme des artistes qui commencent avec une toile recouverte de bruit statique — comme une télévision réglée sur une chaîne morte — et qui nettoient lentement, étape par étape, jusqu'à ce qu'une image ou une vidéo claire apparaisse. Le problème est que ce processus de nettoyage est incroyablement lent. Pour obtenir un résultat de haute qualité, le robot pourrait avoir besoin de faire des centaines de petites étapes, en vérifiant son travail à chacune d'entre elles. C'est comme essayer de traverser une pièce en faisant des pas d'un millimètre à la fois ; vous y arriverez, mais cela prendra une éternité.

Pour accélérer cela, les scientifiques essaient d'apprendre à ces robots à faire de plus grands bonds. Certaines méthodes tentent de deviner la destination finale en un seul saut géant, tandis que d'autres essaient d'apprendre le « chemin » que le robot doit suivre afin qu'il puisse sauter les parties ennuyeuses du milieu. Cependant, les meilleures méthodes actuelles pour la vidéo sont délicates. Elles reposent souvent sur des astuces d'entraînement complexes et instables qui peuvent faire oublier au robot comment bouger, ce qui donne des vidéos qui ont l'air superbes mais qui sont figées dans le temps, ou qui s'effondrent en motifs répétitifs et ennuyeux. La grande question est : peut-on apprendre à ces modèles à se déplacer rapidement et de manière fluide sans perdre la magie de leur créativité ?

Ce document présente une nouvelle technique appelée Parallel Decoding Distillation (PDD), qui agit comme un entraîneur super efficace pour ces artistes de l'IA. Au lieu de forcer le robot à faire un pas à la fois, la PDD lui apprend à prédire toute une séquence d'étapes en un seul coup d'œil. Imaginez que vous marchez dans un couloir. Un robot normal s'arrête devant chaque porte pour vérifier si elle est ouverte avant de passer à la suivante. La PDD, cependant, regarde tout le long du couloir, prédit exactement comment le sol sera sous ses pieds pour les dix prochaines étapes, puis avance d'un pas assuré, couvrant toute cette distance en une seule fois.

Les auteurs ont découvert qu'en entraîant le modèle à prédire la « vitesse moyenne » (ou vélocité) pour un bloc de temps entier d'un seul coup, ils pouvaient générer des images et des vidéos de haute qualité en seulement 4 à 8 étapes (appelées évaluations de fonction, ou NFE), contre les centaines habituellement requises. C'est une accélération massive. Contraquirement aux méthodes précédentes qui tentaient de forcer le robot à suivre un chemin rigide ou qui utilisaient des mathématiques compliquées qui brisaient souvent la capacité du modèle à créer de la variété, la PDD utilise une approche plus simple et plus directe. Elle n'a pas besoin de calculer des dérivées complexes ou d'utiliser des jeux adverses (où deux IA se battent pour s'améliorer), qui sont connus pour causer l'« effondrement de mode » — une façon élégante de dire que l'IA reste bloquée à produire toujours la même chose.

Le document montre que cette méthode fonctionne incroyablement bien sur des modèles à grande échelle, incluant ceux qui génèrent du contenu texte-vidéo et texte-image. Par exemple, sur le modèle vidéo Wan2.1, la PDD a produit des vidéos en 4 NFE qui étaient non seulement plus rapides, mais aussi plus diverses et dynamiques que les autres méthodes de pointe. Dans des tests avec le modèle LTX-2.3, qui crée des vidéos de 10 secondes avec du son, la PDD a réussi à égaler la qualité d'un modèle enseignant qui prenait 4 × 30 NFE (120 étapes au total) en utilisant seulement 8 NFE. Les résultats suggèrent que la PDD est une méthode robuste pour rendre la génération d'IA plus rapide sans sacrifier la variété et le mouvement qui font que les vidéos semblent vivantes. C'est une avancée significative, prouvant que vous n'avez pas besoin de faire un million de petits pas pour obtenir un excellent résultat ; parfois, il suffit d'apprendre à voir tout le chemin devant soi.

Résumé Technique : Distillation de Décodage Parallèle pour la Génération Rapide d'Images et de Vidéos

1. Énoncé du Problème

Les modèles de diffusion et de flow matching à grande échelle ont atteint des résultats de pointe (SOTA) dans la génération de texte-vers-image, de texte-vers-vidéo et de multimodalité. Cependant, leurs processus d'échantillonnage itératifs inhérents nécessitent des centaines d'évaluations de réseau (NFEs), ce qui crée des coûts computationnels et une latence significatifs. Ce goulot d'étranglement entrave les applications telles que la génération de vidéo en temps réel, l'édition de contenu et la modélisation de mondes interactifs.

Les méthodes d'accélération existantes se classent généralement en deux catégories :

Méthodes basées sur la trajectoire : Celles-ci distillent le processus d'échantillonnage séquentiel de l'enseignant en un nombre réduit d'étapes. Bien qu'efficaces pour l'image, elles dégradent souvent la qualité de la vidéo ou nécessitent des algorithmes d'entraînement coûteux (par exemple, des produits Jacobien-vecteur ou des différences finies) lorsqu'elles sont appliquées aux modèles vidéo.
Méthodes basées sur la distribution : Celles-ci alignent les distributions marginales de l'étudiant et de l'enseignant plutôt que de suivre des trajectoires spécifiques. Bien que dominantes dans la distillation vidéo (en utilisant par exemple la Distillation de Score Variationnelle ou des pertes adverses), elles souffrent d'effondrement de mode (mode collapse), entraînant une perte de diversité vidéo et un mouvement statique. Elles nécessitent également souvent des objectifs d'entraînement alternés et sont sensibles aux hyperparamètres.

Le document identifie le besoin d'une méthode de distillation basée sur la trajectoire et évolutive, capable d'éviter les difficultés d'optimisation des méthodes basées sur la distribution (effondrement de mode) et la surcharge computationnelle des méthodes basées sur la trajectoire existantes (JVP, différences finies), spécifiquement pour la génération de vidéos haute résolution.

2. Méthodologie : Distillation de Décodage Parallèle (PDD)

Les auteurs introduisent la Distillation de Décodage Parallèle (PDD), un cadre de distillation basé sur la trajectoire conçu pour accélérer l'inférence des modèles de diffusion et de flow matching.

Concept Central

Contra-rément aux méthodes traditionnelles qui fusionnent plusieurs étapes de débruitage en une seule grande étape, la PDD apprend un décodeur parallèle qui prédit les vitesses moyennes pour plusieurs intervalles de temps consécutifs en une seule évaluation de réseau.

Discrétisation : Le domaine temporel $[0, 1]$ est discrétisé en $N$ intervalles. Ceux-ci sont regroupés en blocs de taille $L$ .
Prédiction Parallèle : Étant donné un état $X_n$ au temps $t_n$ , le décodeur parallèle $\bar{u}_\theta$ prédit les vitesses moyennes pour tous les $L$ intervalles au sein du bloc $\{n, \dots, n+L-1\}$ simultanément :
$\bar{u}_\theta(n|X_n) \approx u_k(X_k), \quad k = n, \dots, n+L-1$
où $u_k$ est la vitesse moyenne du $k$ -ième intervalle.
Échantillonnage : Lors de l'inférence, le modèle avance de $L$ intervalles en une seule étape en utilisant les vitesses prédites, réduisant le nombre total de NFEs à $N/L$ . En faisant varier la taille du bloc $L$ pendant l'entraînement, le modèle supporte des NFEs variables lors de l'inférence sans conditionnement temporel supplémentaire.

Objectif d'Entraînement

La PDD emploie un objectif d'entraînement simplifié, basé sur la régression, qui évite la VSD, les pertes adverses, les JVP et les différences finies.

Approximation de l'Enseignant : Les vitesses moyennes cibles sont approximées à l'aide d'un solveur Runge-Kutta (Euler ou Midpoint) appliqué au modèle enseignant pré-entraîné.
Entraînement On-Policy : La perte est calculée sur les propres sorties de l'étudiant (on-policy). L'étudiant prédit les vitesses, simule la trajectoire au sein du bloc, et la perte est calculée en comparant la vitesse prédite par l'étudiant à un pas échantillonné $k$ par rapport à la vitesse moyenne approximée de l'enseignant à cet état.
Fonction de Perte :
$\mathcal{L}_{PD}(\theta) = \mathbb{E} \left[ \| \bar{u}_\theta(n|X_n) - u_k(\text{sg}(\bar{X}_k)) \|^2 \right]$
où $\text{sg}$ désigne l'opérateur stop-gradient, et $\bar{X}_k$ est l'état atteint en suivant les vitesses prédites par l'étudiant.

Architecture

Backbone : La PDD utilise exactement la même architecture de backbone que le modèle enseignant pré-entraîné.
Couche de Sortie : La couche linéaire finale est étendue en répétant la dimension des canaux $N$ fois (où $N$ est la taille de la grille). Cela permet au modèle de produire $N$ prédictions de vitesse distinctes correspondant à chaque pas de temps.
Fusion de Couches : Lors de la génération, au lieu d'appliquer $L$ couches linéaires séparées, les poids sont fusionnés en une seule couche linéaire qui produit la vitesse moyenne pondérée pour le bloc. Cela garantit qu'il n'y a pas de coût de calcul supplémentaire lors de l'inférence par rapport à l'évaluation en une étape de l'enseignant.

Entraînement Sans Données (Data-Free)

Pour les modèles à grande échelle où les données ne sont pas disponibles, la PDD supporte un schéma d'entraînement sans données. Le modèle échantillonne un bruit initial, alterne entre les étapes du solveur (avançant l'état en utilisant ses propres prédictions) et les étapes d'entraînement, apprenant ainsi de ses propres trajectoires générées.

3. Contributions Clés

Formulation de la PDD : Une méthode de distillation basée sur la trajectoire et évolutive qui prédit les vitesses moyennes pour plusieurs intervalles en une seule évaluation, permettant une inférence rapide pour les modèles de flow matching et de diffusion.
Entraînement Simplifié : Un objectif de régression unique qui élimine le besoin de JVP, de différences finies, d'entraînements multi-étapes, de VSD ou de pertes GAN, tout en produisant des échantillons de haute qualité et diversifiés.
Architecture Flexible : Une conception compatible avec n'importe quel modèle pré-entraîné supportant des NFEs variables lors de l'inférence sans nécessiter de conditionnement temporel supplémentaire ou de second coordonnée temporelle.
Validation Empirique : Démonstration de performances SOTA sur ImageNet-256, Qwen-Image (Texte-vers-Image), Wan2.1 (Texte-vers-Vidéo 1.3B/14B) et LTX-2.3 (Texte-vers-Vidéo/Audio), avec des améliorations significatives de la diversité de génération par rapport aux bases de référence basées sur la distribution.

4. Résultats Expérimentaux

Les auteurs ont évalué la PDD à travers trois tâches :

Génération d'Images Conditionnelle par Classe (ImageNet-256) :
- La PDD a obtenu des scores FID compétitifs dans le cadre d'une étape unique (FID 2.69 avec Midpoint), surpassant ou égalant les méthodes SOTA comme FreeFlow et Pi-Flow, tout en supportant des NFEs variables (1, 2, 4, 8).
- La méthode a montré une convergence stable à travers différents hyperparamètres.
Texte-vers-Image (Qwen-Image 20B) :
- Évaluée sur les benchmarks OneIG, DPG-Bench et GenEval avec 2, 4 et 8 NFEs.
- La PDD (Midpoint) a obtenu les meilleurs scores globaux sur OneIG et DPG-Bench à 4 et 8 NFEs, surpassant les bases de référence comme DMD2, TwinFlow et Pi-Flow.
- Crucialement, la PDD préserve une diversité nettement plus élevée (mesurée par les métriques de diversité OneIG) par rapport à DMD2, qui souffre d'effondrement de mode.
Texte-vers-Vidéo (Wan2.1 1.3B & 14B) :
- Évaluée sur VBench avec 4 et 8 NFEs.
- La PDD a atteint une qualité vidéo SOTA et des scores globaux élevés, se classant première sur le modèle 1.3B et deuxième sur le modèle 14B (derrière AnyFlow en métriques globales mais avec une meilleure diversité).
- Diversité : La PDD a démontré des scores de diversité supérieurs par rapport aux bases de référence basées sur la distribution (DMD2, AnyFlow).
- Mouvement : L'analyse visuelle a indiqué que les vidéos générées par la PDD présentaient des degrés de mouvement et une cohérence dynamique plus élevés par rapport aux bases de référence, qui produisent souvent des vidéos statiques ou répétitives.
Texte-vers-Vidéo/Audio (LTX-2.3) :
- La PDD a distillé le modèle LTX-2.3 de 22B pour la génération de vidéo 720p de 10s avec audio en utilisant seulement 8 NFEs.
- Après seulement 250 itérations d'entraînement, la PDD est devenue performante ou meilleure que le modèle distillé officiel à 8 étapes, malgré l'absence d'accès aux données d'entraînement.
- L'évaluation des préférences humaines (via Gemini 3.1 Pro) a montré la PDD gagnant ou égalant le modèle distillé officiel en termes d'alignement avec le prompt, de qualité visuelle, de qualité de mouvement et de qualité audio.

5. Signification et Revendications

L'article affirme que la PDD représente la première méthode de distillation purement basée sur la trajectoire capable de réaliser une génération vidéo haute résolution en peu d'étapes avec une diversité améliorée.

Surmonter l'Effondrement de Mode : En adhérant à une approche basée sur la trajectoire sans dépendre de pertes basées sur la distribution (VSD/GAN), la PDD évite l'effondrement de mode et le manque de mouvement souvent observés dans les méthodes de distillation vidéo actuelles.
Efficacité Computationnelle : La méthode élimine le besoin de JVP coûteux et de différences finies, ce qui la rend évolutive vers de grands modèles (jusqu'à 22 milliards de paramètres) et compatible avec l'entraînement sans données.
Flexibilité : La capacité de supporter des NFEs variables lors de l'inférence via la sélection de la taille du bloc offre un avantage pratique pour divers scénarios d'application.
Mouvement et Diversité : Les auteurs soulignent que la PDD ne fait pas que accélérer la génération, mais préserve aussi la "richesse" de la sortie du modèle enseignant, particulièrement concernant la dynamique du mouvement et la diversité des échantillons, qui sont critiques pour la génération vidéo.

Les auteurs concluent que bien que la PDD soit actuellement limitée aux modèles de flow et de diffusion, le principe du décodage parallèle pourrait potentiellement être généralisé aux modèles autoregressifs discrets dans des travaux futurs. Ils notent également que l'investigation de la PDD dans des contextes dépendant des données au-delà d'ImageNet-256 reste un domaine ouvert pour de futures recherches.