JavisDiT++: Unified Modeling and Optimization for Joint Audio-Video Generation

Ce papier présente JavisDiT++, un cadre unifié et optimisé pour la génération conjointe audio-vidéo qui, grâce à des innovations telles qu'un mélange d'experts spécifique aux modalités, une stratégie de synchronisation temporelle et une optimisation directe des préférences, atteint des performances de pointe avec un entraînement limité sur des données publiques.

L'essentiel

🎬 JavisDiT++ : Le Chef d'Orchestre Magique du Cinéma

Imaginez que vous voulez créer un court-métrage en décrivant simplement une scène à un ordinateur. Par exemple : "Un ours brun marche vers la caméra en grognant dans une forêt."

Jusqu'à présent, les ordinateurs étaient comme des apprentis magiciens un peu maladroits :

1. Ils pouvaient générer l'image de l'ours, mais le son était souvent décalé (le grognement arrivait après le mouvement).
2. Ou alors, le son était bon, mais l'image ressemblait à un dessin animé flou.
3. Les meilleurs modèles existants (comme Veo3 de Google) étaient excellents, mais très secrets et fermés au public.

JavisDiT++, c'est le nouveau modèle open-source qui change la donne. C'est comme si on avait donné à l'ordinateur un chef d'orchestre capable de synchroniser parfaitement la musique (l'audio) et les musiciens (la vidéo) dès la première note.

Voici comment il fonctionne, grâce à trois astuces de génie :

1. Le "Restaurant à Deux Cuisines" (MS-MoE)

Imaginez un restaurant où un seul chef essaie de cuisiner à la fois un steak parfait et un gâteau au chocolat. Le résultat est souvent moyen pour les deux.

• L'ancien problème : Les modèles précédents utilisaient une seule "cuisine" (un seul réseau neuronal) pour tout traiter, ce qui brouillait les pistes.
• La solution JavisDiT++ : Ils ont construit un restaurant avec deux cuisines spécialisées.
  • Une cuisine pour la vidéo (le chef "Steak").
  • Une cuisine pour l'audio (le chef "Gâteau").
  • Mais le secret ? Les deux chefs se parlent constamment par un interphone (l'attention partagée) pour s'assurer que le steak est prêt exactement quand le gâteau est sorti du four.
  • Résultat : L'image est plus nette, le son est plus clair, et ils sont parfaitement coordonnés, sans que l'ordinateur ne soit plus lent.

2. Le "Tapis Roulant Temporel" (TA-RoPE)

Pour que le son et l'image soient synchronisés, il faut qu'ils soient sur le même calendrier.

• L'ancien problème : C'était comme si l'audio et la vidéo marchaient sur deux tapis roulants différents, légèrement décalés. Parfois, le bruit de l'eau arrivait avant que l'on ne voie la goutte tomber.
• La solution JavisDiT++ : Ils ont créé un tapis roulant unique et précis.
  • Imaginez que chaque seconde de vidéo a une étiquette "Heure 1, Heure 2, Heure 3".
  • JavisDiT++ colle exactement la même étiquette sur le son correspondant.
  • C'est comme si on collait des étiquettes de temps sur chaque grain de sable d'une plage et sur chaque goutte de pluie qui tombe dessus. Même si le grain de sable est loin de la goutte, l'étiquette dit : "Vous êtes ensemble à l'instant T".
  • Résultat : Quand l'oiseau bat des ailes, le bruit des ailes est exactement au moment où l'aile bouge. Plus de décalage !

3. Le "Juge de Goût Humain" (AV-DPO)

Parfois, un ordinateur peut tout faire techniquement bien, mais le résultat est "bizarre" ou ne plaît pas aux humains.

• L'ancien problème : L'ordinateur apprenait juste à reproduire des données, sans savoir si c'était "joli" ou "naturel".
• La solution JavisDiT++ : Ils ont ajouté une étape de formation où l'ordinateur joue à un jeu de "Qui est le meilleur ?".
  • L'ordinateur génère deux versions d'une vidéo (une gagnante, une perdante).
  • Des "juges" (des modèles d'évaluation intelligents) regardent les deux et disent : "Ah non, celle-ci a un son trop fort, et celle-là a un mouvement bizarre."
  • L'ordinateur apprend de ses erreurs, un peu comme un élève qui regarde ses copies corrigées pour ne plus faire les mêmes fautes.
  • Résultat : Les vidéos générées ressemblent davantage à ce que nous, humains, trouvons beau et réaliste.

🏆 Pourquoi c'est une révolution ?

Ce qui rend JavisDiT++ spécial, c'est son efficacité.

• La recette : Ils ont utilisé une base de départ solide (Wan2.1) et n'ont eu besoin que d'environ 1 million d'exemples pour l'entraîner.
• La comparaison : Les géants comme Google ou OpenAI utilisent des milliards de données et des super-ordinateurs. JavisDiT++ prouve qu'avec une architecture intelligente (les deux cuisines et le tapis roulant), on peut obtenir des résultats quasi-professionnels avec beaucoup moins de ressources.

En résumé

JavisDiT++ est comme un nouvel outil de création magique qui permet à n'importe qui de transformer une simple phrase en une vidéo sonore réaliste, où le son et l'image dansent parfaitement ensemble. C'est une étape majeure pour rendre la création de contenu audiovisuel accessible à tous, sans attendre les géants de la tech.

Résumé technique

1. Problématique et Contexte

La génération de contenu par intelligence artificielle (AIGC) a évolué de la simple image vers des synthèses multimodales complexes. La génération conjointe audio-vidéo (JAVG) à partir de descriptions textuelles est une tâche fondamentale visant à produire des sons et des images synchronisés et sémantiquement alignés.

Cependant, les méthodes open-source actuelles souffrent de limitations majeures par rapport aux modèles propriétaires avancés (comme Veo3 de DeepMind) :

• Qualité de génération : Une fidélité visuelle et sonore insuffisante.
• Synchronisation temporelle : Un décalage fréquent entre les événements visuels et les sons correspondants.
• Alignement préférentiel : Une difficulté à capturer les préférences humaines en matière d'esthétique et d'harmonie.
• Complexité architecturale : Les approches existantes utilisent souvent des architectures duales complexes ou des mécanismes de fusion intermédiaires inefficaces.

2. Méthodologie : L'Architecture JavisDiT++

Le modèle JavisDiT++ est construit sur la base de Wan2.1-1.3B-T2V (un modèle de diffusion Transformer pour la vidéo) et introduit trois innovations techniques clés pour unifier la modélisation et l'optimisation :

A. Architecture Unifiée avec MoE Spécifique aux Modalités (MS-MoE)

Contrairement aux approches précédentes qui utilisent deux flux séparés (dual-stream) ou une fusion unique avec un seul bloc Feed-Forward (FFN), JavisDiT++ adopte une architecture unifiée mais modulaire :

• Attention Partagée : Les tokens audio et vidéo sont concaténés et traités par des couches d'attention multi-têtes partagées, permettant une interaction croisée dense et riche.
• FFN Spécifiques : Après l'attention, les tokens sont séparés et acheminés vers des FFN distincts pour chaque modalité (Audio et Vidéo).
• Avantage : Cette conception (inspirée du Mixture-of-Experts) permet d'améliorer la qualité de génération intra-modalité tout en maintenant une interaction efficace, sans augmenter la charge de calcul d'inférence (seuls 1,3B de paramètres sont activés par token sur un modèle total de 2,1B).

B. Encodage de Position Rotationnelle Aligné Temporellement (TA-RoPE)

Pour résoudre le problème de synchronisation, les auteurs proposent une stratégie de positionnement explicite :

• Axe Temporel Unifié : Les identifiants de position des tokens audio et vidéo sont alignés sur un axe temporel commun (dimension 0).
• Décalage Adaptatif : Pour éviter les chevauchements de position (qui causent de la confusion dans les modèles génératifs), les dimensions restantes (fréquence pour l'audio, hauteur/largeur pour la vidéo) sont décalées de manière additive.
• Résultat : Cela permet une synchronisation temporelle fine au niveau de la trame (frame-level) sans nécessiter de réordonnancement physique des tokens ni de mécanismes d'attention croisée coûteux.

C. Optimisation Directe des Préférences Audio-Vidéo (AV-DPO)

C'est la première application de l'optimisation directe des préférences (DPO) à la génération conjointe audio-vidéo.

• Collecte de Données : Utilisation de modèles de récompense multiples (AudioBox, VideoAlign, ImageBind, Syncformer) pour évaluer la qualité, la cohérence et la synchronisation.
• Sélection de Paires : Création de paires "gagnant-perdant" en sélectionnant les échantillons qui dominent sur toutes les dimensions (audio, vidéo, et alignement) simultanément, évitant ainsi les compromis négatifs.
• Entraînement : Le modèle est affiné pour maximiser la probabilité des échantillons préférés tout en minimisant celle des échantillons rejetés, alignant ainsi la sortie sur les préférences humaines.

3. Résultats Expérimentaux

Le modèle a été entraîné sur environ 1 million d'entrées publiques (780k paires audio-texte et 360k vidéos sonores) et évalué sur le benchmark JavisBench.

• Performance Globale : JavisDiT++ surpasse les méthodes open-source de l'état de l'art (JavisDiT, UniVerse-1) et se rapproche significativement de Veo3.
• Métriques Clés :
  • Qualité : Réduction significative du FVD (Fréchet Video Distance) et du FAD (Fréchet Audio Distance).
  • Synchronisation : Amélioration notable du score JavisScore et réduction du DeSync (désynchronisation).
  • Efficacité : Le modèle génère des vidéos de 4 secondes en 10 secondes (contre 30s pour JavisDiT et 13s pour UniVerse-1), avec un coût d'inférence très faible (seulement 1,6% de surcoût par rapport au backbone Wan2.1).
• Évaluation Humaine : Dans des tests aveugles, JavisDiT++ est préféré aux modèles de base (JavisDiT, UniVerse-1) dans 74% des cas. L'ajout de l'étape AV-DPO améliore encore la préférence humaine de plus de 25%.

4. Contributions Clés

1. Architecture Concise et Efficace : Introduction d'un design MS-MoE qui permet une génération audio-vidéo de haute qualité avec une architecture unifiée, évitant la complexité des modèles à double flux.
2. Synchronisation Explicite : Proposition du TA-RoPE pour une alignement temporel précis et efficace, surpassant les méthodes de priorités spatio-temporelles ou d'attention croisée lourdes.
3. Alignement Préférentiel Multimodal : Première introduction du DPO dans le domaine de la JAVG, utilisant des récompenses modales-aware pour améliorer la cohérence, la qualité et la synchronisation.
4. Efficacité des Données : Démonstration qu'un modèle SOTA peut être entraîné avec seulement 1M de données publiques, offrant un nouveau point de référence pour la communauté open-source.

5. Signification et Impact

Ce travail établit un nouveau jalon pour la génération native audio-vidéo. Il démontre qu'il n'est pas nécessaire d'avoir des architectures massives et complexes ou des quantités de données propriétaires énormes pour obtenir des résultats de qualité industrielle. En combinant une architecture unifiée efficace, un encodage de position intelligent et une optimisation basée sur les préférences humaines, JavisDiT++ ouvre la voie à des modèles génératifs multimodaux plus accessibles, rapides et alignés avec les attentes des utilisateurs pour des applications allant du cinéma à la réalité virtuelle.

Le code, les modèles et les jeux de données sont rendus publics pour favoriser la reproductibilité et les recherches futures.