Résumé Technique : TeDiO – Optimisation Diagonale Temporelle pour la Diffusion Vidéo Cohérente sans Entraînement

1. Énoncé du Problème

Malgré les avancées rapides des transformateurs de diffusion texte-vidéo (par exemple, Wan2.1, CogVideoX), les modèles les plus performants actuels peinent avec la cohérence temporelle. Bien que les images individuelles soient souvent visuellement convaincantes, les vidéos générées souffrent fréquemment de :

• Scintillement et dérive : Les textures et les objets se déplacent de manière imprévisible entre les images.
• Mouvement incohérent : Le mouvement global manque de continuité, conduisant à des dynamiques physiquement implausibles.
• Artéfacts : Des problèmes tels que la duplication du sujet, la fusion d'objets et un mouvement « saccadé » brisent l'illusion du réalisme.

Les solutions existantes à ces problèmes impliquent généralement :

1. Réentraînement : Modifier les architectures ou entraîner des modèles avec une supervision explicite de la cohérence du mouvement, ce qui nécessite des jeux de données à grande échelle et est coûteux en calcul.
2. Supervision Externe : Utiliser des composants auxiliaires tels que des réseaux de flux optique ou des pipelines multi-GPU lors de l'inférence, ce qui réduit la praticité et la généralité.

L'article pose une question fondamentale : La cohérence temporelle peut-elle être améliorée efficacement en utilisant uniquement les signaux internes du modèle de diffusion, sans réentraînement, sans supervision externe et sans modifications architecturales ?

2. Observation Clé

Les auteurs identifient un lien direct et mesurable entre l'auto-attention temporelle interne d'un modèle et la qualité du mouvement généré :

• Mouvement Incohérent : Produit des motifs irréguliers, fragmentés et anguleux dans les diagonales temporelles des cartes d'attention.
• Mouvement Cohérent : Correspond à des motifs de bande-diagonale lisses et nets dans ces cartes, indiquant un alignement stable d'image à image.

Cette observation révèle que la stabilité du mouvement laisse une « empreinte » à l'intérieur du mécanisme d'attention du transformateur, offrant un signal d'auto-diagnostic qui peut être exploité lors de l'inférence.

3. Méthodologie : TeDiO (Optimisation Diagonale Temporelle)

TeDiO est une méthode sans entraînement, appliquée au moment de l'inférence, qui améliore la cohérence du mouvement en régularisant les diagonales temporelles dans les cartes d'auto-attention. Elle fonctionne comme une amélioration plug-and-play pour les transformateurs de diffusion vidéo existants.

Mécanisme Central

1. Reparamétrisation : Pendant le processus d'échantillonnage, les requêtes ($Q$) et les clés ($K$) provenant de blocs spécifiques du Transformateur de Diffusion (DiT) figé sont remodelées pour isoler les interactions temporelles. Au lieu d'un axe spatio-temporel aplati, la méthode regroupe les positions spatiales et les têtes d'attention tout en maintenant la dimension temporelle ($F$) explicite.
2. Analyse Diagonale : Pour chaque patch d'entête spatial, une carte d'attention temporelle est calculée. La méthode se concentre sur la diagonale principale ($b=0$) et les voisins immédiats ($b=\pm1$), qui représentent l'auto-cohérence et la continuité du mouvement entre les images consécutives.
3. Score de Variabilité : Un score de variabilité diagonale ($S(p)$) est calculé pour chaque patch. Ce score mesure les fluctuations locales (gradients) le long des bandes diagonales. Des scores élevés indiquent un comportement temporel « saccadé » (changements d'attention abrupts), tandis que des scores faibles indiquent un mouvement stable.
4. Optimisation Sélective :
   • TeDiO identifie les $k$ meilleurs patches ayant les scores de variabilité les plus élevés (les régions les plus instables).
   • Il définit une fonction de perte ($L_{TeDiO}$) basée sur la somme de ces scores.
   • Pendant les premiers pas de diffusion (où les trajectoires de mouvement global sont façonnées), la représentation latente ($z_t$) est mise à jour via quelques étapes de gradient : $z_t \leftarrow z_t - \eta \nabla_{z_t} L_{TeDiO}$.
   • Cette mise à jour encourage les cartes d'attention à adopter des motifs de bande-diagonale plus lisses.

Caractéristiques Opérationnelles

• Sans Entraînement : Aucune modification des poids du modèle ($\theta$) n'est requise.
• Sans Supervision Externe : Ne repose pas sur des estimateurs de flux optique, des discriminateurs ou d'autres modèles externes.
• Efficacité : Fonctionne sur un seul GPU avec une surcharge de calcul négligeable (environ 1,1x le temps d'exécution par rapport à la base).
• Calendrier : Appliqué uniquement pendant les premiers pas de diffusion ($\tau_1, \dots, \tau_\ell$) pour amorcer une cohérence qui se propage tout au long du processus de génération.

4. Résultats Expérimentaux

La méthode a été évaluée sur deux modèles open-source les plus performants : Wan2.1-1.3B (Appariement de Flux) et CogVideoX-5B (Désbruitage).

Références

• VBench : Évalue la qualité perceptuelle et temporelle sur des invites standard.
• VideoJAM-Bench : Utilise 128 invites difficiles conçues pour révéler l'instabilité temporelle et les interactions complexes.

Résultats Quantitatifs

TeDiO a constamment amélioré les métriques clés sur les deux modèles et les deux références :

• Lissage du Mouvement : Augmentations significatives (par exemple, Wan2.1 est passé de 98,32 à 98,78 sur VBench).
• Scintillement Temporel : Réduction du scintillement dans les invites statiques.
• Cohérence du Sujet et de l'Arrière-plan : Similarité plus élevée entre les images consécutives.
• Qualité Perceptuelle : Amélioration des scores de qualité esthétique et d'imagerie.
• Degré Dynamique : Une légère diminution a été observée, ce que les auteurs attribuent à la suppression du bruit temporel haute fréquence (saccades) plutôt qu'à une perte de mouvement intentionnel. Les profils de mouvement résultants s'alignent étroitement avec des jeux de données vidéo réels (WebVid, UCF-101).

Comparaison avec l'État de l'Art

Par rapport à FlowMo [42], une méthode d'optimisation au moment de l'inférence apparentée :

• Performance : TeDiO a obtenu des gains plus importants en matière de lissage du mouvement (+0,62 contre +0,06) et de cohérence du sujet (+1,68 contre -0,69).
• Efficacité : TeDiO s'exécute sur 1 GPU avec une surcharge de temps d'exécution de 1,1x, tandis que FlowMo nécessite 2 GPU et entraîne une surcharge de temps d'exécution de 2,39x en raison de la rétropropagation complète.

Étude Utilisateur

Dans une étude perceptuelle avec 10 participants utilisant des invites VideoJAM-Bench, les vidéos générées par TeDiO ont été fortement préférées aux modèles de base pour leur cohérence temporelle supérieure.

5. Contributions Clés

1. Découverte d'un Lien Structurel : L'article révèle une relation quantifiable entre les diagonales d'attention temporelle et la stabilité du mouvement, offrant une nouvelle perspective pour l'analyse des transformateurs de diffusion vidéo.
2. Cadre TeDiO : Introduit une approche sans entraînement, appliquée au moment de l'inférence, qui régularise la variabilité diagonale dans l'attention temporelle pour optimiser les latents d'entrée. Elle ne nécessite aucune mise à jour des poids ni supervision externe.
3. Validation Empirique : Démontre des améliorations constantes de la douceur temporelle, de la stabilité perceptuelle et du réalisme vidéo sur plusieurs architectures de diffusion (Wan2.1, CogVideoX) et références.

6. Signification et Revendications

L'article soutient que des gains significatifs dans le réalisme dynamique ne nécessitent pas nécessairement une augmentation de la taille des modèles ou des données d'entraînement. Au contraire, exploiter la structure temporelle déjà encodée dans les transformateurs de diffusion offre une voie efficace.

TeDiO représente un tournant vers l'optimisation au moment de l'inférence qui est :

• Indépendante du Modèle : Applicable à diverses architectures (Appariement de Flux ou Désbruitage) et échelles.
• Pratique : Élimine le besoin de réentraînement coûteux ou de configurations multi-GPU complexes.
• Interprétable : Utilise les signaux d'attention internes comme outil de diagnostic et d'optimisation direct.

Limitations

Les auteurs notent modestement que TeDiO :

• Ne corrige pas les erreurs sémantiques ou les problèmes d'alignement avec l'invite inhérents au modèle de base.
• Peut avoir des rendements décroissants pour les vidéos extrêmement longues ou les transitions de scènes complexes.
• Est moins efficace pour les mouvements intrinsèquement difficiles (par exemple, l'acrobatie) qui nécessitent une coordination précise à longue portée mal représentée dans le modèle sous-jacent.
• Nécessite l'accès aux cartes d'attention intermédiaires, qui peuvent ne pas être exposées dans les implémentations en source fermée.