💻 computer science

VDE: Training-Free Accelerating Rectified Flow Model via Velocity Decomposition and Estimation

Ce papier présente VDE, une méthode d'accélération sans entraînement pour les modèles de flux rectifié qui améliore la vitesse d'inférence en décomposant et en estimant les composantes de vitesse plutôt qu'en réutilisant des caractéristiques statiques mises en cache, permettant ainsi une accélération significative avec une perte minimale de qualité visuelle.

Auteurs originaux : Junwen Tan, Jinglin Liang, Hongyuan Chen, Shuangping Huang

Publié 2026-05-25

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Junwen Tan, Jinglin Liang, Hongyuan Chen, Shuangping Huang

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez de dessiner une image complexe, comme une rue de ville animée, mais que vous devez le faire un tout petit coup de pinceau à la fois. Pour obtenir un résultat parfait, vous pourriez avoir besoin de prendre 50 étapes, en vérifiant votre travail et en ajustant la peinture après chaque coup de pinceau unique. Cela prend beaucoup de temps.

C'est exactement ainsi que fonctionnent les générateurs d'images et de vidéos modernes (appelés modèles de flux rectifié). Ce sont des artistes incroyablement talentueux, mais ils sont lents car ils prennent autant de tout petits pas pour créer une image.

L'article présente une nouvelle astuce appelée VDE (Décomposition et Estimation de la Vitesse) qui permet à ces artistes IA de travailler beaucoup plus vite sans gâcher la qualité de leurs peintures. Voici comment cela fonctionne, en utilisant des analogies simples :

L'Ancienne Méthode : « Le Plan Gelé »

Les méthodes précédentes tentaient d'accélérer les choses en mettant en cache (en sauvegardant) des parties du dessin de l'étape précédente et en les réutilisant simplement.

L'Analogie : Imaginez que vous marchiez sur un chemin. L'ancienne méthode dit : « Je vais juste copier la carte de l'endroit où j'étais il y a 10 secondes et supposer que le chemin n'a pas changé. »
Le Problème : Le monde est dynamique. Si vous tournez un coin ou si le décor change, cette vieille carte est maintenant fausse. L'IA tente de réutiliser d'anciennes caractéristiques qui ne correspondent plus à l'image actuelle, ce qui conduit à des textures floues ou à des distorsions étranges. C'est comme essayer de porter un manteau qui vous allait hier ; il pourrait ne plus vous convenir aujourd'hui.

La Nouvelle Méthode (VDE) : « Le Navigateur Intelligent »

Les auteurs ont réalisé que, au lieu de copier d'anciennes cartes, l'IA peut en fait prédire où elle va ensuite en décomposant son mouvement en deux parties simples.

Pensez au mouvement de l'IA (sa « vitesse ») comme à une voiture roulant sur une route. La VDE divise ce mouvement en deux composantes :

La Poussée « Vers l'Avant » (Composante Parallèle) : C'est la mesure dans laquelle la voiture avance tout droit.
- La Découverte : L'article a montré que cette « poussée vers l'avant » change de manière très fluide et prévisible. C'est comme une voiture qui accélère ; si vous connaissez la vitesse des deux dernières secondes, vous pouvez facilement deviner la vitesse de la seconde suivante en utilisant des mathématiques simples (comme tracer une ligne droite).
- L'Astuce : Au lieu de recalculer tout le moteur, la VDE fait simplement une estimation mathématique rapide basée sur les quelques dernières étapes.
La Dérive « Latérale » (Composante Orthogonale) : Ce sont les ajustements subtils de côté à côté que la voiture fait pour rester dans la voie.
- La Découverte : L'article a montré que, sur de courtes périodes, cette « dérive latérale » ne change presque pas du tout. C'est comme si le volant de la voiture restait exactement dans la même position pendant quelques secondes.
- L'Astuce : La VDE réutilise simplement cette direction « latérale » pendant quelques étapes sans la recalculer.

Comment la VDE Fonctionne en Pratique

La VDE utilise une stratégie de « Vérification et Estimation » :

L'Ancrage (Vérification) : Toutes les quelques étapes, l'IA effectue un calcul complet et lent pour obtenir les données réelles parfaites. C'est comme le conducteur qui s'arrête pour vérifier le GPS et confirmer la route devant lui.
L'Estimation (Le Raccourci) : Pour les étapes intermédiaires, l'IA ne fait pas le gros du travail. Au lieu de cela, elle utilise l'estimation mathématique « Vers l'Avant » et la réutilisation « Latérale » pour déterminer instantanément l'étape suivante.
Le Résultat : L'IA saute le travail lourd, étant 2 à 3 fois plus rapide qu'avant.

Pourquoi C'est Mieux

L'article a testé cela sur trois modèles d'IA différents (Flux, Qwen-Image et Wan2.1) pour créer des images et des vidéos.

Vitesse : Cela a rendu l'IA 2 à 3 fois plus rapide. Par exemple, une image qui prenait 12 secondes à créer a été faite en environ 4 secondes.
Qualité : Parce que la VDE calcule le mouvement basé sur l'entrée actuelle (la route réelle sur laquelle la voiture est en ce moment) plutôt que sur une vieille carte statique, les images ressemblent presque identiques à la version lente et de haute qualité.
La Comparaison : D'autres méthodes qui se contentent de « réutiliser » d'anciennes parties aboutissent souvent à des images floues ou brisées (comme un visage étiré ou une texture fondue). La VDE garde les détails nets.

En Bref

L'article affirme qu'en décomposant le mouvement de l'IA en une « partie prévisible vers l'avant » et une « partie latérale stable », nous pouvons empêcher l'IA de faire des calculs lourds inutiles. Au lieu de copier aveuglément d'anciens travaux, l'IA utilise des mathématiques intelligentes et légères pour deviner l'étape suivante, lui permettant de créer des images et des vidéos de haute qualité en une fraction du temps.

Résumé technique : VDE – Accélération sans entraînement du modèle de flux rectifié via décomposition et estimation de la vélocité

1. Énoncé du problème

Les modèles de flux rectifié (RF) ont atteint des performances de pointe dans la génération d'images, de vidéos et de contenus 3D. Cependant, leur déploiement pratique est entravé par une latence d'inférence élevée, car ils nécessitent généralement des dizaines d'étapes itératives d'échantillonnage.

Les méthodes d'accélération sans entraînement existantes reposent principalement sur un paradigme de « mise en cache et réutilisation ». Ces approches stockent des caractéristiques intermédiaires (par exemple, les sorties d'attention, les résidus) issues des étapes précédentes et les réutilisent pour éviter les calculs redondants. Les auteurs identifient un défaut fondamental dans cette stratégie : le décalage cache-entrée. Étant donné que les caractéristiques mises en cache sont statiques tandis que l'entrée du modèle évolue dynamiquement au cours de la trajectoire d'échantillonnage, la réutilisation de caractéristiques obsolètes entraîne un décalage entre la sortie et l'entrée. Ce décalage propage les erreurs, se traduisant par une fidélité visuelle dégradée, telle que des textures adoucies et des incohérences structurelles.

2. Méthodologie : Décomposition et estimation de la vélocité (VDE)

L'article propose la décomposition et l'estimation de la vélocité (VDE), une méthode sans entraînement qui déplace le paradigme d'accélération de la « mise en cache et réutilisation » vers la « décomposition et estimation ». Au lieu de réutiliser des caractéristiques statiques, la VDE construit une fonction d'estimation légère pour prédire directement la vélocité du modèle à partir de l'entrée actuelle.

Mécanisme central

La méthode repose sur l'observation que le vecteur de vélocité $v_t$ prédit par le modèle présente des régularités temporelles robustes lorsqu'il est décomposé par rapport à l'entrée latente actuelle $x_t$ .

Décomposition de la vélocité :
La vélocité $v_t$ est décomposée de manière unique en deux composantes :
- Une composante parallèle alignée avec l'entrée $x_t$ .
- Une composante orthogonale perpendiculaire à $x_t$ .
Mathématiquement, cela s'exprime comme suit :
$v_t = \alpha_t x_t + \beta_t \|x_t\| u_t$
Où :
- $\alpha_t$ et $\beta_t$ sont des coefficients scalaires.
- $u_t$ est un vecteur unitaire représentant la direction orthogonale ( $u_t \perp x_t$ ).
Régularités temporelles (résultats empiriques) :
Grâce à une analyse approfondie, les auteurs observent deux motifs stables durant la « phase stable » de l'échantillonnage (après un échauffement initial) :
- Coefficients prévisibles : Les coefficients scalaires $\alpha_t$ et $\beta_t$ évoluent de manière fluide avec une forte linéarité locale entre les étapes consécutives. Cela permet de les estimer de manière fiable par extrapolation linéaire à partir des valeurs historiques récentes.
- Direction orthogonale stable : Le vecteur unitaire $u_t$ reste presque constant sur de courts intervalles (similarité cosinus > 0,99). Cela permet de réutiliser la direction orthogonale la plus récente sans erreur significative.
L'algorithme VDE :
La VDE fonctionne en mode ancrage et estimation :
- Étapes d'ancrage : À intervalles périodiques (par exemple, toutes les $n$ étapes), un passage complet du modèle vers l'avant est exécuté. La vélocité est décomposée pour obtenir le tuple de vérité terrain $(\alpha_t, \beta_t, u_t)$ .
- Étapes d'estimation : Pour les étapes situées entre les ancrages, la vélocité est estimée sans calcul du modèle :
  - Coefficients ( $\hat{\alpha}_t, \hat{\beta}_t$ ) : Estimés par extrapolation linéaire basée sur les coefficients des deux étapes d'ancrage les plus récentes.
  - Direction ( $\hat{u}_t$ ) : Réutilisée à partir de l'étape d'ancrage la plus récente.
  - Synthèse : La vélocité estimée $\hat{v}_t$ est reconstruite analytiquement en utilisant l'entrée actuelle $x_t$ et les composantes estimées :
    $\hat{v}_t = \hat{\alpha}_t x_t + \hat{\beta}_t \|x_t\| \hat{u}_t$

Cette approche est intrinsèquement adaptative à l'entrée, car la sortie estimée est fraîchement construite à partir de l'entrée actuelle $x_t$ , éliminant ainsi la dépendance aux caractéristiques obsolètes.

3. Contributions clés

Identification du problème : L'article identifie le « décalage cache-entrée » comme la cause racine de la perte de fidélité dans les méthodes d'accélération existantes basées sur la mise en cache, et reformule l'accélération sans entraînement comme un problème d'estimation de la correspondance entrée-sortie.
Paradigme novateur : Il introduit la VDE, qui remplace la réutilisation de caractéristiques statiques par une décomposition et une estimation dynamiques. Cela élimine fondamentalement le décalage sortie-entrée causé par des caches obsolètes.
Découverte empirique : Les auteurs démontrent que la décomposition de la vélocité en composantes parallèles et orthogonales révèle de fortes régularités temporelles (linéarité locale des coefficients et stabilité de la direction) qui permettent une estimation précise et peu coûteuse.
Performance : Des expériences extensives montrent que la VDE réalise des accélérations substantielles (de 2,04× à 3,22×) avec une perte minimale de qualité visuelle, surpassant les références de pointe comme TeaCache et EasyCache.

4. Résultats expérimentaux

Les auteurs ont évalué la VDE sur des modèles de génération d'images (FLUX.1 [dev], Qwen-Image) et un modèle de génération vidéo (Wan2.1).

Génération d'images (FLUX.1) :
- VDE-fast a réalisé une accélération de 3,01× (16 NFE) tout en améliorant le SSIM de 0,7240 (EasyCache-fast) à 0,8267 et en réduisant le LPIPS de 0,3197 à 0,1997.
- VDE-slow a réalisé une accélération de 2,21× avec une qualité visuelle presque identique à la référence T=50, surpassant la meilleure référence (EasyCache-slow) de 19,5 % en SSIM et de 30,3 % en PSNR.
Génération d'images (Qwen-Image) :
- VDE-slow a réalisé une accélération de 2,04× avec un LPIPS de 0,069, représentant une réduction de 52,2 % de l'erreur par rapport à la meilleure référence.
- Il a égalé le score ImageReward de la référence complète T=50 (1,295), indiquant une haute fidélité perceptuelle.
Génération vidéo (Wan2.1) :
- VDE a réalisé une accélération de 2,50× (40 NFE) tout en maintenant un score VBench de 80,43, comparable au modèle original (81,30) et supérieur aux autres méthodes d'accélération.
Analyse qualitative : Les comparaisons visuelles montrent que, tandis que les méthodes de mise en cache présentent souvent une dégradation des textures et des incohérences structurelles, la VDE préserve la composition globale et les détails fins (formes, ombrages) de manière comparable à la référence T=50.

5. Importance et affirmations

L'article affirme que la VDE offre une nouvelle perspective sur l'accélération des modèles génératifs. En passant de la réutilisation de caractéristiques à l'estimation dynamique, elle atténue efficacement le décalage cache-entrée qui affecte les méthodes sans entraînement actuelles.

Les auteurs soulignent que la VDE est :

Sans entraînement : Elle ne nécessite aucune donnée supplémentaire ni cycles d'optimisation.
Adaptative à l'entrée : Elle construit des sorties basées sur l'état d'entrée actuel, garantissant une haute fidélité.
Évolutif : Elle se généralise bien à travers différentes résolutions, ratios d'aspect et architectures de modèles (modèles d'images et de vidéos basés sur DiT).
Efficace : La décomposition et l'estimation n'impliquent que des opérations arithmétiques simples, ajoutant une surcharge de calcul négligeable par rapport aux économies réalisées grâce aux passages vers l'avant sautés.

L'étude conclut que la VDE offre un compromis supérieur entre vitesse et fidélité, permettant le déploiement pratique de modèles de flux rectifié de haute qualité dans des scénarios en temps réel ou contraints par la puissance de calcul.