JavisDiT: Joint Audio-Video Diffusion Transformer with Hierarchical Spatio-Temporal Prior Synchronization

Ce papier présente JavisDiT, un nouveau modèle de transformateur de diffusion conjoint audio-vidéo qui garantit une synchronisation précise grâce à un estimateur de prior hiérarchique (HiST-Sypo) et introduit le benchmark JavisBench pour évaluer les performances dans des scénarios réels complexes.

L'essentiel

Imaginez que vous êtes un réalisateur de cinéma, mais au lieu de tourner des scènes avec des acteurs et des caméras, vous demandez simplement à un ordinateur : « Fais-moi une vidéo d'un robot qui joue avec un chien dans un jardin, avec les bruits mécaniques et les aboiements qui vont avec. »

C'est exactement ce que fait JavisDiT, une nouvelle intelligence artificielle présentée dans ce papier de recherche. Voici comment cela fonctionne, expliqué simplement avec des images du quotidien.

1. Le Problème : La "Désynchronisation"

Avant, les ordinateurs étaient comme des chefs d'orchestre un peu brouillons. S'ils devaient créer une vidéo et un son, ils faisaient souvent les choses séparément ou mal ensemble.

• L'ancien système : C'était comme si le chef de chœur donnait le tempo aux violons, puis attendait quelques secondes avant de donner le signal aux chanteurs. Résultat ? Les musiciens jouent, mais les chanteurs arrivent en retard. Dans une vidéo, cela donne un son qui ne correspond pas aux mouvements (un chien qui aboie avant de bouger la gueule, ou une voiture qui roule sans bruit).

2. La Solution : JavisDiT, le Chef d'Orchestre Parfait

JavisDiT est une nouvelle méthode qui apprend à créer la vidéo et le son en même temps, comme un seul et même acte de création.

• L'Analogie du "Double Fil" : Imaginez que vous tissez un tissu. Les anciens systèmes tissaient d'abord la chaîne (la vidéo), puis essayaient de coudre la trame (le son) par-dessus, ce qui créait des plis. JavisDiT, lui, tient les deux fils en même temps dans ses mains et les tisse ensemble, brin par brin, pour que le motif soit parfait dès le début.

3. Le Secret : Le "GPS du Temps et de l'Espace" (HiST-Sypo)

C'est la partie la plus ingénieuse du système. Pour que le son et l'image soient parfaitement synchronisés, JavisDiT utilise un module spécial qu'ils appellent HiST-Sypo.

• L'Analogie du GPS : Imaginez que vous organisez une grande fête.
  • La vision globale (Coarse-grained) : C'est comme savoir que la fête a lieu dans un jardin.
  • La vision fine (Fine-grained) : C'est savoir exactement qui est assis où et quand il va parler.
  • JavisDiT utilise ce "GPS" pour dire à l'ordinateur : « Attention, à la 3ème seconde, le robot est à gauche et va faire un bruit de moteur. À la 5ème seconde, le chien est à droite et va aboyer. »
  • Grâce à cela, le son ne se contente pas d'être "dans la vidéo", il est collé au bon endroit et au bon moment, comme une étiquette précise sur un colis.

4. Le Terrain de Jeu : JavisBench

Pour s'assurer que leur système est vraiment bon, les chercheurs ont réalisé qu'il fallait un test plus difficile que ceux existants. Les anciens tests étaient comme des exercices de gymnastique sur un tapis moelleux : faciles et répétitifs.

• L'Analogie du Parcours du Combattant : Ils ont créé JavisBench, un nouveau terrain d'entraînement avec 10 000 scénarios complexes. C'est comme passer d'un simple saut en longueur à un parcours du combattant avec des obstacles, de la boue, et des changements de rythme soudains.
  • Ils y ont mis des scènes avec plusieurs sons en même temps (un chien qui aboie pendant qu'une voiture klaxonne).
  • Ils y ont mis des styles variés (dessins animés, films réels, animations 3D).
  • Cela force l'IA à être vraiment intelligente, pas juste à mémoriser des réponses toutes faites.

5. Le Résultat : Une Magie Synchronisée

Grâce à cette nouvelle architecture (qui ressemble à un Transformer, une sorte de cerveau artificiel très puissant) et à ce GPS précis, JavisDiT réussit là où les autres échouent :

• Il crée des vidéos de haute qualité.
• Il crée des sons réalistes.
• Surtout : Le son et l'image sont parfaitement liés. Si un ballon rebondit, le "boing" se fait exactement au moment où le ballon touche le sol.

En Résumé

Imaginez que vous demandez à un ami de dessiner un chat qui miaule.

• L'ancien système dessine d'abord le chat, puis colle un dessin de bouche ouverte n'importe où, et ajoute un son "Miaou" qui commence un peu trop tard.
• JavisDiT, lui, imagine le chat, la bouche qui s'ouvre, le son qui sort, et le mouvement de la tête tout en même temps, comme si le chat existait réellement dans la pièce.

C'est un grand pas en avant pour rendre les vidéos générées par l'IA plus vivantes, plus réalistes et prêtes à être utilisées dans des films, des jeux vidéo ou des publicités.

Résumé technique

1. Problématique et Contexte

La génération de contenu multimodal (AIGC) a fait des progrès significatifs, mais la génération conjointe audio-vidéo synchronisée (JAVG) reste un défi majeur. Les approches actuelles souffrent de deux limitations principales :

• Qualité et Synchronisation : La plupart des méthodes existantes utilisent des pipelines asynchrones (génération de l'audio puis de la vidéo, ou inversement), ce qui entraîne une accumulation d'erreurs et une synchronisation imparfaite. Les méthodes end-to-end (jointes) peinent souvent à modéliser les alignements spatio-temporels fins nécessaires pour des scènes réalistes complexes (ex: plusieurs sources sonores, événements séquentiels).
• Évaluation Insuffisante : Les benchmarks actuels (comme AIST++ ou Landscape) manquent de diversité scénaristique et de complexité (peu de scènes multi-événements). De plus, les métriques d'évaluation existantes (comme AV-Align) échouent souvent à évaluer correctement la synchronisation dans des environnements réels complexes.

L'objectif de ce travail est de concevoir un système capable de générer simultanément une vidéo et un audio de haute qualité, parfaitement synchronisés dans l'espace et le temps, à partir d'une invite textuelle ouverte, tout en fournissant un benchmark robuste pour évaluer ces performances.

2. Méthodologie : JavisDiT

Le système proposé, JavisDiT, est un Transformer de Diffusion (DiT) conjoint audio-vidéo conçu avec une architecture unifiée.

A. Architecture du Modèle

JavisDiT repose sur des blocs AV-DiT partagés entre les branches audio et vidéo pour assurer une génération de haute qualité. L'architecture intègre trois mécanismes clés d'attention :

1. Auto-Attention Spatio-Temporelle (ST-SelfAttn) : Pour l'agrégation intra-modale, traitant les dimensions spatiales et temporelles de manière séquentielle pour réduire le coût computationnel.
2. Attention Croisée Grossière (Coarse-Grained Cross-Attention) : Pour injecter les sémantiques globales du texte (via un encodeur T5).
3. Attention Croisée Spatio-Temporelle Fine (Fine-Grained ST-CrossAttn) : C'est le cœur de la synchronisation. Elle guide la génération en utilisant des priors hiérarchiques.
4. Attention Bidirectionnelle Multi-Modale (MM-BiCrossAttn) : Permet une interaction directe et réciproque entre les tokens vidéo et audio pour renforcer la fusion des modalités.

B. Estimateur de Prior Hiérarchique Spatio-Temporel (HiST-Sypo)

Pour résoudre le problème de synchronisation fine, les auteurs introduisent un module HiST-Sypo Estimator. Au lieu de se fier uniquement aux embeddings textuels globaux, ce module extrait deux niveaux de priors à partir de l'invite textuelle :

• Prior Global (Grossier) : Le cadre sémantique de l'événement sonore global (le "quoi").
• Prior Spatio-Temporel Fin (ST-Prior) : Il spécifie où (spatial) et quand (temporel) les événements se produisent.
  • Mécanisme : Le modèle utilise un encodeur (ImageBind) et un transformateur pour estimer des tokens latents représentant la position spatiale et le timing temporel des événements sonores.
  • Apprentissage : Un apprentissage par contraste est utilisé pour entraîner cet estimateur à distinguer les paires audio-vidéo synchrones (positives) des paires asynchrones (négatives, créées par augmentation de données). Ces priors sont injectés dans les blocs DiT pour guider la génération précise.

C. Stratégie d'Entraînement en Trois Étapes

1. Pré-entraînement Audio : Initialisation de la branche audio avec les poids de la branche vidéo (OpenSora) et entraînement sur des paires texte-audio pour garantir une qualité unimodale.
2. Entraînement du ST-Prior : Entraînement de l'estimateur HiST-Sypo sur des triplets texte-vidéo-audio synchrones et des échantillons négatifs asynchrones.
3. Entraînement JAVG : Gel des blocs d'auto-attention et de l'estimateur, et entraînement uniquement des modules d'attention croisée (ST-CrossAttn et Bi-CrossAttn) pour apprendre la synchronisation.

3. Contributions Clés

1. JavisDiT : Un nouveau modèle de génération audio-vidéo conjointe basé sur DiT, intégrant un mécanisme d'estimation de prior hiérarchique pour une synchronisation spatio-temporelle précise.
2. JavisBench : Un nouveau benchmark à grande échelle contenant 10 140 vidéos sonores annotées avec des textes.
   • Il couvre 5 dimensions (Scénario, Style Vidéo, Type de Son, Composition Spatiale, Composition Temporelle) et 19 catégories.
   • Il se distingue par la présence de scènes complexes (plus de 50% des vidéos comportent des événements multiples, séquentiels ou simultanés), comblant le fossé avec les applications réelles.
3. JavisScore : Une nouvelle métrique d'évaluation robuste. Contrairement aux méthodes basées sur le flux optique, JavisScore utilise des encodeurs sémantiques (ImageBind) et une stratégie de "fenêtre glissante" avec sélection des 40% de frames les moins synchronisées pour calculer un score global, offrant une meilleure corrélation avec l'évaluation humaine.

4. Résultats Expérimentaux

Les expériences ont été menées sur JavisBench ainsi que sur les benchmarks existants (Landscape, AIST++).

• Performance Globale : JavisDiT surpasse significativement les méthodes de l'état de l'art (SOTA), y compris les approches en cascade (T2A+A2V) et les modèles joints précédents (MM-Diff, UniVerse-1).
  • Sur JavisBench, il obtient un score JavisScore de 0,154, surpassant le meilleur modèle concurrent (FoleyCrafter à 0,151).
  • Il améliore également les métriques de qualité (FVD, FAD) et de cohérence sémantique (CLIP, CLAP).
• Gestion des Scènes Complexes : L'analyse montre que JavisDiT maintient une meilleure synchronisation dans les scénarios à multiples sources sonores et événements simultanés, là où les modèles précédents échouent souvent.
• Évaluation Humaine : Une étude utilisateur (100 prompts) révèle que JavisDiT est préféré pour la qualité audio et l'alignement audio-vidéo par rapport à UniVerse-1, bien que la qualité vidéo pure soit légèrement inférieure en raison de la différence de backbones (OpenSora vs Wan2.1).
• Génération Variable : Le modèle démontre une capacité à générer des vidéos de longueurs variées (4s à 10s) tout en conservant la synchronisation.

5. Signification et Impact

Ce travail représente une avancée majeure dans le domaine de la génération multimodale :

• Paradigme Technique : Il démontre l'efficacité des architectures DiT pour la génération conjointe et prouve que l'introduction de priors spatio-temporels explicites est cruciale pour la synchronisation fine, dépassant les simples mécanismes de partage de paramètres.
• Standardisation : Avec JavisBench et JavisScore, les auteurs fournissent la communauté avec des outils d'évaluation plus réalistes et rigoureux, essentiels pour le développement futur de modèles capables de gérer la complexité du monde réel.
• Applications : Les résultats ouvrent la voie à des applications pratiques dans la production cinématographique, la création de vidéos courtes, et l'animation, où la synchronisation parfaite entre le son et l'image est indispensable.

En résumé, JavisDiT établit une nouvelle référence pour la génération audio-vidéo synchronisée, combinant une architecture innovante, un entraînement stratégique et une évaluation rigoureuse pour relever les défis des scénarios complexes.