Résumé Technique : Dompter la génération de vidéos avec son via une condition de modalité et une interaction avancées

Énoncé du Problème

Le papier traite de la génération de Texte-vers-Vidéo-avec-Son (T2SV), la tâche consistant à synthétiser une vidéo synchronisée avec un audio à partir d'une seule invite textuelle. Si la génération de Texte-vers-Vidéo (T2V) et de Texte-vers-Audio (T2A) a atteint une certaine maturité, la génération conjointe reste un défi en raison de deux goulots d'étranglement principaux :

1. Le problème de la conditionnalité : Les méthodes existantes à double tour reposent souvent sur une légende partagée ($T_V = T_A$) pour les deux modalités. Cela provoque une interférence sémantique, car les attributs visuels (ex. : la couleur) perturbent les modèles audio et les descripteurs auditifs (ex. : le timbre) distraient les modèles vidéo. De plus, un écart important entre l'entraînement et l'inférence existe : les modèles sont entraînés sur des légendes denses et détaillées, mais les utilisateurs fournissent des invites concises lors de l'inférence, ce qui entraîne des décalages de distribution et une dégradation des performances.
2. Le problème de l'interaction : Dans les architectures à double tour, le mécanisme optimal pour échanger des informations entre les flux vidéo et audio afin d'atteindre une synchronisation sémantique et temporelle reste incertain. Les stratégies précédentes, telles que l'attention totale ou la conditionnalité unidirectionnelle, échouent souvent à équilibrer la préservation des caractéristiques et la fusion intermodale efficace.

Méthodologie

Les auteurs proposent BridgeDiT, un cadre comprenant un nouveau pipeline de légendage et une architecture de diffusion à double tour.

1. Cadre de Légendage par Réécriture Trans-Référentielle (CRR)

Pour résoudre le problème de la conditionnalité, les auteurs introduisent un pipeline à deux agents qui génère des légendes désengagées et de pureté modale ($T_V$ et $T_A$) à partir d'une seule entrée.

• Vérificateur Sémantique ($\mathcal{F}_{sc}$) : Cet agent effectue une référence croisée des légendes brutes générées par des LLM (Grands Modèles de Langage) Vidéo et Audio séparés. Il extrait des Ancres Sémantiques — un ensemble structuré d'attributs ancrés (entités, environnement, actions et sons correspondants). Crucialement, il filtre les hallucinations et les conflits sémantiques (ex. : un LLM audio hallucinant un son sans source visuelle) en utilisant la description visuelle comme référence d'ancrage.
• Réécrivain Trans-Modal ($\mathcal{F}_{cr}$) : Cet agent génère des légendes denses et désengagées strictement à partir des Ancres Sémantiques vérifiées.
  • Entraînement : Il convertit les ancres ancrées en descriptions détaillées et spécifiques à chaque modalité.
  • Inférence : Il étend les invites concises des utilisateurs en descriptions denses qui correspondent à la distribution d'entraînement, comblant ainsi efficacement l'écart entre l'entraînement et l'inférence sans ingénierie complexe de l'invite côté utilisateur.

2. Architecture BridgeDiT avec Double Attention Croisée (DCA)

Le modèle de génération central est un transformeur de diffusion à double tour composé d'une tour vidéo ($G^V_\theta$) et d'une tour audio ($G^A_\theta$), connectées par un module d'interaction léger.

• Double Attention Croisée (DCA) : Les auteurs proposent la DCA comme mécanisme d'interaction. Contrairement à l'Attention Totale (qui concatène les latents et force un espace de caractéristiques partagé) ou à la conditionnalité unidirectionnelle, la DCA emploie des flux d'attention croisée symétriques et bidirectionnels.
  • Dans le flux Audio-vers-Vidéo (A2V), le latent vidéo agit comme la Requête (Query), tandis que le latent audio fournit les Clés (Keys) et les Valeurs (Values).
  • Dans le flux Vidéo-vers-Audio (V2A), les rôles sont inversés.
• Justification : Cette conception préserve les variétés de caractéristiques distinctes des noyaux pré-entraînés (qui sont largement gelés) tout en apprenant un « pont » léger pour un échange d'informations ciblé. Cela évite la difficulté d'optimisation liée à la fusion de variétés disjointes en un seul espace.

Principales Contributions

1. Cadre de Légendage CRR : Un pipeline à deux agents qui élimine l'interférence modale grâce aux Ancres Sémantiques ancrées et comble l'écart entraînement-inférence via l'expansion de l'invite.
2. Architecture BridgeDiT : Un modèle de diffusion à double tour utilisant la Double Attention Croisée (DCA), identifiée par comparaison systématique comme la stratégie de fusion optimale pour les systèmes T2SV basés sur des noyaux pré-entraînés.
3. Évaluation Complète : Des expériences approfondies sur trois benchmarks (AVSync15, VGGSound-SS, Landscape) démontrant des performances de pointe, soutenues par des évaluations humaines et des études d'ablation validant chaque composant.

Résultats Expérimentaux

Le modèle a été évalué sur trois jeux de données en utilisant des métriques pour la qualité de la génération (FVD, KVD, FAD, KL), l'alignement texte (CLIPSIM, CLAP) et la synchronisation (VA-IB, AV-Align).

• Performance : BridgeDiT a obtenu des résultats de pointe sur la plupart des métriques à travers les trois benchmarks. Il a nettement surpassé les bases de référence ré-entraînées (utilisant les mêmes légendes CRR) et les bases de référence pré-entraînées.
• Études d'Ablation :
  • Conditionnalité : Les légendes désengagées générées par CRR ont nettement mieux performé que les légendes partagées. La suppression du goulot d'étranglement de l'Ancre Sémantique ou de l'expansion de l'invite entraînait une dégradation sévère de la qualité audio et de la synchronisation.
  • Fusion : La DCA a surpassé l'Attention Totale, la Fusion Additive et l'Attention Croisée unidirectionnelle. Les auteurs attribuent cela à la capacité de la DCA à maintenir des espaces de caractéristiques séparés tout en permettant une interaction symétrique, ce qui est critique lors de l'utilisation de noyaux pré-entraînés gelés.
• Évaluation Humaine : Dans une étude utilisateur avec 20 évaluateurs, BridgeDiT a reçu les scores les plus élevés pour la Qualité Vidéo, la Qualité Audio, l'Alignement Texte, la Synchronisation et la Qualité Globale, surpassant toutes les bases de référence, y compris les approches par pipeline.

Signification et Revendications

Le papier affirme que la génération T2SV nécessite un changement fondamental dans la manière dont les conditions textuelles sont traitées et dont les modalités interagissent.

• Sur la Conditionnalité : Les auteurs soutiennent que la « pureté modale » est essentielle ; nourrir des noyaux spécialisés avec des légendes partagées introduit du bruit qui dégrade la génération. Le cadre CRR fournit une solution robuste en ancrant la génération de texte dans des ancres sémantiques vérifiées.
• Sur l'Interaction : L'étude remet en question l'hypothion selon laquelle l'Attention Totale est universellement optimale pour la fusion multimodale. Elle démontre que pour les systèmes exploitant des noyaux pré-entraînés et gelés, la Double Attention Croisée est supérieure car elle respecte la nature disjointe des variétés de caractéristiques pré-entraînées, permettant un entraînement stable et une synchronisation précise sans compromettre la qualité des modalités individuelles.
• Limites : Les auteurs notent que l'évaluation actuelle repose sur des benchmarks à petite échelle et que le système ne supporte pas encore la génération de parole ou de musique en raison de la rareté des modèles pré-entraînés open-source pour ces modalités spécifiques. Ils suggèrent comme travail futur l'augmentation des jeux de données et l'exploration du raffinement post-entraînement via l'apprentissage par renforcement à partir de la rétroaction humaine (RLHF).