🤖 AI

Making Time Editable in Video Diffusion Transformers

Cet article propose un module temporel léger qui augmente les transformateurs de diffusion vidéo pré-entraînés afin de permettre un contrôle explicite sur la vitesse du mouvement et la structure temporelle sans nécessiter une refonte de l'architecture d'origine.

Auteurs originaux : Konstantin Kuklev, Viacheslav Vasilev, Alexander Kunitsyn, Andrei Ivaniuta, Denis Dimitrov

Publié 2026-06-10

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Konstantin Kuklev, Viacheslav Vasilev, Alexander Kunitsyn, Andrei Ivaniuta, Denis Dimitrov

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous avez un chef étoilé, incroyable pour cuisiner de délicieux repas (générer des images vidéo). Ce chef a appris à préparer le film parfait en regardant des milliers d'heures de cinéma. Cependant, il y a un hic : le chef ne comprend pas vraiment le « temps » comme un ingrédient distinct. Pour le chef, le « temps » n'est qu'un effet secondaire de la façon dont le processus de cuisson se déroule. Si vous demandez au chef de cuisiner une scène où une fille court, il peut le faire. Mais si vous lui demandez de faire courir cette scène à une vitesse différente — par exemple, au ralenti ou très rapidement — le résultat est souvent buggé, comme un personnage de dessin animé avec des jambes vacillantes, ou la scène ne semble tout simplement pas logique physiquement.

Ce document présente un nouvel « outil de cuisine » appelé le Time Adapter qui résout ce problème. Voici comment il fonctionne, décomposé en concepts simples :

Le Problème : Le Temps est « Surchargé »

Dans les modèles d'IA vidéo actuels, le « temps » est comme un couteau suisse qui essaie de faire trop de tâches à la fois. Il est censé dire au modèle :

À quel point le processus de cuisson est avancé (débruitage/denoising).
Comment l'histoire progresse (évolution du mouvement).

Parce que ces tâches sont emmêlées, le modèle s'embrouille. Si vous changez la vitesse de la vidéo (les FPS, ou images par seconde), le modèle peine à maintenir un mouvement fluide. C'est comme essayer de conduire une voiture où la pédale d'accélérateur est aussi le volant ; si vous essayez d'aller plus vite, vous faites accidentellement sortir la voiture de la route.

La Solution : Un « Bouton de Temps » Spécialisé

Les auteurs proposent d'ajouter un petit module léger à l'IA qui agit comme un Bouton de Temps dédié. Ce bouton sépare le concept de temps en deux commandes distinctes :

Le Bouton de Vitesse Globale (FPS) : Il dit au modèle : « Hé, nous cuisinons à 60 images par seconde, donc l'action doit être rapide », ou « Nous sommes à 15 images par seconde, donc allez-y doucement ». Cela contrôle le rythme global de la scène.
Le Bouton de la Ligne Temporelle Locale (Temps Latent) : Il dit au modèle : « Cette image spécifique est la 5ème seconde de l'histoire ». Cela garantit que la séquence des événements reste logique et ordonnée, même si la vitesse change.

Comment cela fonctionne en pratique

Considérez le modèle d'IA original comme un acteur talentueux qui sait jouer une scène, mais qui perd ses moyens si le metteur en scène change le tempo en plein milieu. Le nouveau « Time Adapter » est comme un régisseur de plateau qui murmure deux choses à l'acteur :

« Le metteur en scène veut que cette scène soit un sprint (Vitesse Globale). »
« Tu es actuellement au moment où tu te retournes (Ligne Temporelle Locale). »

Parce que l'acteur (l'IA) dispose désormais de ces instructions claires et séparées, il peut exécuter le sprint de manière fluide sans trébucher sur ses propres pieds.

Ce que l'article a découvert

Les chercheurs ont testé cela sur deux types de scènes :

Actions Humaines : Comme une fille qui court ou danse.
- Résultat : La nouvelle méthode a rendu les mouvements beaucoup plus fluides et cohérents. Les bras et les jambes de la fille ne paraissaient plus vacillants lorsque la vitesse changeait.
Processus Naturels : Comme du brouillard qui se dissipe ou de la lumière du soleil traversant les arbres.
- Résultat : La nouvelle méthode a rendu ces changements lents et graduels plus réalistes. Le brouillard ne s'est pas simplement « envolé » d'un coup ; il s'est dissipé naturellement au fil du temps.

Ils ont également découvert que ce « Bouton de Temps » fonctionne sur différents modèles d'IA, pas seulement celui sur lequel ils l'ont entraîné. C'est comme une télécommande universelle qui fonctionne sur différentes marques de téléviseurs.

Limitations Importantes

L'article est honnête sur ce que cet outil ne peut pas faire :

Il ne crée pas plus de temps : Si vous demandez une vidéo de 10 secondes mais que vous dites à l'IA de la jouer en double vitesse, la vidéo ne durera toujours que 10 secondes. L'action se déroule simplement plus vite. Il ne peut pas magiquement étirer la vidéo pour l'adapter à une histoire plus longue.
Il a besoin de bonnes données : Si l'IA n'a jamais vu un type spécifique de ralenti dans ses données d'entraînement, le nouvel outil ne peut pas l'inventer parfaitement à partir de rien. Il doit avoir vu des « recettes » similaires auparavant.
Mesurer le succès est délicat : Les tests informatiques standards s'embrouillent parfois. Une vidéo peut paraître parfaite pour un humain mais obtenir un score plus faible sur un test informatique parce que l'ordinateur recherche des motifs mathématiques spécifiques plutôt que de « ressentir » la fluidité.

L'essentiel

Cet article n'invente pas une nouvelle façon de générer de la vidéo à partir de zéro. Au lieu de cela, il prend un générateur de vidéo déjà puissant et lui donne un bouton de « Contrôle du Temps » dédié. Cela permet aux utilisateurs d'éditer la façon dont le temps s'écoule dans une vidéo — en accélérant ou en ralentissant le mouvement — sans briser la physique ou rendre les personnages glitchés. Cela transforme le temps, d'une variable confuse et cachée, en quelque chose que l'on peut réellement éditer.

Résumé Technique : Rendre le Temps Éditable dans les Transformers de Diffusion Vidéo

Énoncé du Problème

Les Transformers de Diffusion (DiT) modernes ont atteint un succès significatif dans la génération de trames vidéo haute fidélité et de mouvements réalistes. Cependant, ils souffrent d'une contrôlabilité temporelle limitée. Dans la génération de vidéos basée sur les DiT standards, le « temps de diffusion » agit comme une variable surchargée, servant à la fois de proxy pour la progression du débruitage et pour l'évolution du mouvement. Par conséquent, la dynamique temporelle n'est pas modélisée comme une variable explicite et indépendante, mais est plutôt entrelacée avec les représentations de contenu et de mouvement.

Cet entrelacement crée une ambiguïté : le modèle peine à distinguer jusqu'où le débruitage a progressé de la manière dont le mouvement doit se dérouler au fil du temps. En conséquence, lorsque la grille temporelle cible (par exemple, les images par seconde ou FPS) change par rapport à l'entraînement, le modèle ne parvient pas à maintenir des dynamiques temporelles cohérentes. Il peut produire des trames individuelles plausibles, mais éprouve des difficultés avec la qualité du mouvement intermédiaire, ce qui entraîne des artefacts dans les structures articulées (ex: membres) ou l'échec de processus physiques graduels (ex: dissipation du brouillard) à évoluer correctement. Les méthodes existantes contrôlent ce qui bouge ou où cela bouge, mais elles ne rendent pas la progression temporelle elle-même une variable explicitement éditable.

Méthodologie

Les auteurs proposent une méthodologie pour étendre les architectures DiT préentraînées avec un module de contrôle temporel explicite, nommé Time Adapter (TA). Cette approche sépare le rythme global du mouvement de l'alignement temporel local sans redéfinir l'architecture de base.

Architecture Centrale : Time Adapter

La méthode introduit deux signaux temporels complémentaires intégrés via des adaptateurs additifs légers :

Conditionnement Global par FPS : Un embedding $E_{fps}(fps)$ dérivé du FPS d'entrée (ex: 15, 24, 30, 60). Il module le rythme global du mouvement via le chemin de conditionnement du débruitage, déterminant le rythme attendu de l'évolution de la scène.
Embeddings de Temps-Latent Locaux : Un embedding $E_{\tau}(\tau)$ représentant les positions temporelles par trame ( $\tau$ ). Il fournit un ordre temporel et une correspondance locale au niveau des tokens, alignant la progression de trames spécifiques.

Le vecteur de conditionnement $e$ est formulé comme suit :
$e = E_t(t) + E_{fps}(fps)$
où $E_t(t)$ est l'embedding de temps de diffusion standard. L'embedding de temps latent est ajouté aux patch embeddings :
$h_0 = \text{PatchEmbed}(x_t) + E_{\tau}(\tau)$

Cette factorisation permet au modèle de représenter la progression temporelle explicitement plutôt que de compter uniquement sur le temps de diffusion comme un proxy implicite. Les adaptateurs sont initialisés pour préserver le comportement du backbone préentraîné.

Régimes d'Entraînement

Les auteurs évaluent deux stratégies d'entraînement :

Time Adapter (TA) : Seuls les branches temporelles (adaptateurs) sont entraînées tandis que le backbone DiT reste gelé. Cela préserve le prior génératif original.
Fine-Tuned Time Adapter (FTTA) : Le même conditionnement temporel est utilisé, mais l'intégralité du backbone DiT est également soumise à un ajustement fin (fine-tuning). Cela introduit une régularisation temporelle globale plus forte.

Les modèles sont entraînés sur un jeu de données curaté d'environ 40 000 vidéos couvrant des actions humaines et des processus naturels à travers plusieurs régimes de FPS (24–60 FPS).

Contributions Clés

Factorisation Temporelle Explicite : Le papier introduit un cadre qui découple le temps du processus de débruitage en le séparant en rythme de mouvement global (FPS) et alignement temporel local (temps latent).
Préservation du Backbone : L'approche TA permet un édition temporelle explicite sans redésigner le backbone, conservant les priors visuels et structurels du modèle préentraîné tout en étendant sa plage dynamique contrôlable.
Transférabilité entre Architectures : Les auteurs démontrent que la factorisation temporelle explicite se transfère à travers différents backbones DiT (Wan2.2 et Kandinsky 5.0 Lite) avec des échelles de paramètres et des résolutions de sortie variables.
Amélioration de la Cohérence Temporelle : La méthode améliore la cohérence du mouvement intermédiaire et réduit les artefacts perceptuels dans les dynamiques articulées, même à des vitesses de lecture standard, en exposant le modèle à des transitions temporelles plus denses pendant l'entraînement.

Résultats Expérimentaux

L'évaluation utilise le benchmark VMBench sur deux domaines : Actions Humaines et Processus Naturels, testés à 15, 24, 30 et 60 FPS.

Résultats Quantitatifs

Actions Humaines : TA et FTTA réduisent tous deux l'accélération du flux (Flow Acceleration) et l'LPIPS-Var par rapport à la ligne de base, indiquant des transitions à court terme plus stables. TA obtient la plus forte cohérence directionnelle du flux (FDC) à 24–60 FPS, suggérant qu'un conditionnement explicite améliore la cohérence du mouvement intermédiaire lorsque le FPS cible s'aligne avec le régime d'entraînement.
Processus Naturels : FTTA atteint systématiquement la régularisation temporelle la plus forte, produisant les meilleurs scores de fluidité de mouvement (MSS) et l'accélération de flux la plus faible. Cela est attribué à la capacité de FTTA à restructurer les processus physiques distribués (ex: brouillard, vagues) pour qu'ils soient plus réactifs au conditionnement temporel.
Limites des Métriques : Les auteurs notent que les métriques standards ne reflètent pas toujours les améliorations de la qualité temporelle. Par exemple, les artefacts d'articulation peuvent augmenter le score d'amplitude perceptible (PAS) malgré une réduction de la qualité de mouvement perçue, créant une divergence entre les scores quantitatifs et l'évaluation humaine.

Évaluation Qualitative et Humaine

Évaluation Côte à Côte (SBS) : Les évaluateurs humains ont préféré TA pour le mouvement humain articulé et le naturel, tandis que FTTA a été préféré pour les processus physiques distribués et la cohérence de la vitesse.
Évolution Physique : Contra[ment] au rééchantillonnage FPS post-hoc (qui se contente d'interpoler les trames), la méthode proposée modifie l'évolution temporelle générée elle-même. Augmenter le FPS cible entraîne une progression de la scène plus rapide plutôt qu'une simple lecture plus fluide.
Généralisation : Les tendances qualitatives observées sur Wan2.2 ont été reproduites sur Kandinsky 5.0 Lite, soutenant l'affirmation que la factorisation temporelle explicite n'est pas spécifique à l'architecture.

Signification et Limites

Signification

Le papier soutient que traiter le temps comme une variable unique et surchargée est une limitation fondamentale des modèles de diffusion vidéo actuels. En rendant le temps éditable via une factorisation explicite, les auteurs permettent une génération de vidéo plus physiquement cohérente et fiable. Le travail suggère que la contrôlabilité temporelle n'est pas simplement un effet secondaire du débruitage, mais peut être une variable primaire et contrôlable.

Limites

Les auteurs reconnaissent explicitement trois limites :

Sensibilité du Régime d'Entraînement : Bien que la factorisation temporelle améliore la contrôlabilité au sein de la distribution d'entraînement, le modèle reste sensible aux échelles temporelles sous-représentées (ex: bas FPS). Les représentations temporelles explicites ne peuvent pas compenser totalement les priors temporels manquants dans les données d'entraînement.
Horizon de Génération Fixe : La méthode rend la dynamique temporelle plus contrôlable mais n'augmente pas le nombre de trames générées. Une accélération temporelle forte comprime le temps disponible pour la réalisation de l'action, ce qui peut conduire à des comportements tronqués.
Métriques d'Évaluation : Les métriques actuelles peinent à capturer les artefacts perceptuels dans le mouvement intermédiaire, particulièrement pour les structures articulées, créant un écart entre les scores quantitatifs et la qualité temporelle perçue.

Les auteurs concluent que rendre le temps éditable est une étape nécessaire vers une génération vidéo fiable, mais que cela ne suffit pas pour la génération à long horizon, qui nécessitera probablement de combiner des représentations temporelles explicites avec des longueurs de génération adaptatives.