Training-Free Multimodal Guidance for Video to Audio Generation

Résumé Technique : Guidance Multimodale Sans Entraînement pour la Génération Vidéo-Vers-Audio

Énoncé du Problème
La génération vidéo-vers-audio (V2A) vise à synthétiser à partir de vidéos muettes un audio réaliste et sémantiquement aligné, une tâche cruciale pour des applications telles que le montage vidéo, la conception sonore Foley et les multimédias d'assistance. Bien que les approches récentes basées sur la diffusion aient obtenu des résultats impressionnants, elles font face à des limitations significatives. Les méthodes existantes nécessitent généralement un entraînement conjoint coûteux de modèles vidéo et audio sur des jeux de données appariés à grande échelle, qui sont coûteux à collecter et contiennent souvent des paires dénuées de sens exigeant un prétraitement minutieux. Alternativement, les approches sans entraînement comme Seeing&Hearing reposent sur des similarités cosinus par paires (par exemple via ImageBind) pour aligner les modalités. Cependant, l'alignement par paires peut échouer à capturer la cohérence multimodale globale, conduisant à des signaux de guidance dépourvus de cohérence géométrique et résultant en une génération audio sémantiquement désalignée ou bruyante.

Méthodologie : Guidance de Diffusion Multimodale (MDG)
Les auteurs proposent un mécanisme novateur et sans entraînement appelé Guidance de Diffusion Multimodale (MDG) pour orienter des modèles de diffusion audio préentraînés sans réentraîner l'architecture de base ni les encodeurs. L'innovation centrale réside dans l'exploitation du volume géométrique engendré par les embeddings de modalités plutôt que dans la dépendance aux similarités par paires.

1. Alignement Géométrique via le Volume :
   Au lieu d'aligner les embeddings vidéo, audio et texte ($e_v, e_a, e_p$) via une similarité cosinus par paires, la méthode les projette dans un espace latent partagé en utilisant des encodeurs (GRAM). Elle construit une matrice $Z = [e_v, e_a, e_p]$ et calcule la matrice de Gram $K = Z^\top Z$. Le volume $V$ du parallélépipède de haute dimension engendré par ces embeddings est défini comme $V = \sqrt{\det K}$.

   • Intuition : Lorsque les trois modalités se réfèrent au même contenu sémantique, leurs embeddings forment une configuration de faible volume. À l'inverse, des triplets non correspondants résultent en un volume plus grand.

2. Signal de Guidance Sans Entraînement :
   Le MDG agit comme un signal de contrôle plug-and-play durant le processus d'échantillonnage (débruitage) d'un modèle de diffusion latent (par exemple, AudioLDM).

   • À chaque étape de débruitage $t$, le modèle prédit un latent audio propre $\tilde{z}_0$.
   • L'embedding audio $e_a$ est extrait de ce latent.
   • Le volume $V$ est calculé en utilisant l'embedding vidéo fixe $e_v$, l'embedding texte $e_p$ et l'embedding audio courant $e_a$.
   • Le latent est mis à jour pour minimiser ce volume : $z_t \leftarrow z_t - \eta \nabla_{z_t} V$.
   • Ce processus itératif oriente la génération audio vers une représentation conjointement compatible avec les entrées visuelle et textuelle, imposant une cohérence tri-modale.

3. Efficacité :
   L'approche ne nécessite aucune donnée d'entraînement appariée, aucun entraînement conjoint, et aucune modification de l'architecture de diffusion de base. La surcharge computationnelle est minimale, ajoutant uniquement $O(D)$ pour les embeddings et $O(1)$ pour le calcul du volume $3 \times 3$ par étape.

Contributions Clés

• Stratégie d'Échantillonnage Novatrice : Introduction d'une stratégie d'échantillonnage sans entraînement utilisant une guidance multimodale latente qui ne nécessite ni données d'entraînement appariées à grande échelle, ni entraînement conjoint, ni modification de l'architecture de base.
• Objectif Tri-Modale Basé sur le Volume : Proposition d'un mécanisme de guidance conjoint pour la génération V2A qui oriente les modèles de diffusion préentraînés en utilisant un objectif d'alignement basé sur le volume à travers la vidéo, l'audio et le texte, dépassant ainsi l'alignement par paires.
• Amélioration des Performances : Démonstration que l'inférence guidée par le volume surpasse les aligneurs basés sur le cosinus précédents (comme ImageBind) en favorisant une cohérence multimodale plus forte et en réduisant la dérive sémantique.

Résultats Expérimentaux
La méthode a été évaluée sur les jeux de données VGGSound (dans le domaine) et AudioCaps (hors domaine), en comparaison avec des références incluant SpecVQGAN, Diff-Foley et le cadre sans entraînement Seeing&Hearing.

• Qualité Perceptuelle et Alignement : Sur VGGSound, le MDG a atteint une Distance Audio Fréchet (FAD) de 6,04, surpassant nettement Seeing&Hearing (7,80) et SpecVQGAN (7,74). Il a également démontré une cohérence audio-visuelle supérieure avec une Distance Audio-Visuelle Fréchet (FAVD) de 2,60 et un score d'Évaluateur Perceptuel de Synchronisation Audio-Visuelle (PEAVS) de 3,40.
• Généralisation : Sur le jeu de données AudioCaps, plus difficile (où les sources sonores peuvent ne pas être visibles), le MDG a continué de surpasser Seeing&Hearing sur presque toutes les métriques, démontrant une robustesse face aux décalages de domaine.
• Cohérence Sémantique : L'analyse de la métrique de volume et des similarités cosinus inter-modales a confirmé que le MDG génère un audio sémantiquement plus aligné avec la vidéo source et les légendes que les méthodes basées sur les paires. L'analyse qualitative (spectrogrammes) a montré que le MDG produit un audio structuré et adapté au contexte, tandis que les références dégénèrent souvent en bruit large bande.

Signification
L'article affirme que le MDG fournit une solution légère et efficace pour la génération V2A, qui surmonte les contraintes computationnelles et de données de l'entraînement conjoint tout en traitant les incohérences géométriques de l'alignement par paires. En imposant une structure géométrique unifiée à travers les modalités durant l'inférence, la méthode prouve qu'un audio de haute qualité et sémantiquement cohérent peut être généré sans modifier l'architecture générative sous-jacente ni exiger de jeux de données appariés coûteux. Cela valide l'utilité des contraintes géométriques basées sur le volume comme signal de contrôle puissant pour les modèles de diffusion multimodaux.