Step-by-Step Video-to-Audio Synthesis via Negative Audio Guidance

Résumé Technique : Synthèse Vidéo-vers-Audio Étape par Étape via le Guidage Audio Négatif

Énoncé du Problème
Les modèles actuels de génération vidéo-vers-audio (V2A) produisent généralement une piste audio unique et complète en une seule passe. Bien que ces modèles atteignent un alignement sémantique et temporel élevé avec les vidéos d'entrée, ils manquent de mécanismes de raffinement incrémental. Dans les flux de travail de bruitage (Foley) traditionnels, les artistes superposent des sons complémentaires (par exemple, des bruits de pas, des froissements de tissu) pour construire une piste audio composite. Les modèles V2A existants ne peuvent pas reproduire ce processus interactif ; si une piste générée manque d'événements spécifiques, l'intégralité de la piste doit être régénérée. De plus, parvenir à une génération étape par étape via un apprentissage conditionnel standard nécessiterait des jeux de données vidéo-audio multi-références coûteux (où une seule vidéo est associée à plusieurs pistes audio distinctes et non superposées), qui sont difficiles à obtenir à grande échelle.

Méthodologie
Les auteurs proposent un cadre de synthèse Vidéo-vers-Audio (V2A) Étape par Étape piloté par le Guidage Audio Négatif (NAG). Cette approche permet la génération itérative de pistes audio complémentaires qui comblent les événements sonores manquants sans dupliquer les sons déjà présents dans les pistes précédemment générées.

1. Formulation de la Négation de Concept :
   Le défi central consiste à générer une piste audio cible $x^{(2)}$ conditionnée par une vidéo $V$, un prompt textuel $C_2$, et une piste audio précédemment générée $x^{(1)}$, de telle sorte que $x^{(2)}$ soit alignée avec $V$ et $C_2$ mais exclue les concepts présents dans $x^{(1)}$. Les auteurs formulent cela comme un problème de négation de concept, approximant la distribution cible $p(x^{(2)} | V, C_2, x^{(1)})$ en traitant $x^{(1)}$ comme une condition négative ($\neg x^{(1)}$).

2. Dérivation du Flux Guidé :
   S'appuyant sur les modèles de flow-matching et le classifier-free guidance, les auteurs dérivent une nouvelle formulation de guidage. Ils décomposent la distribution de probabilité cible pour inclure un terme qui repousse la génération de la teneur acoustique de la piste audio de conditionnement $x^{(1)}$. Le flux guidé résultant $\tilde{u}_{\theta, \psi}(x_t)$ se compose de :

   • Un terme de flux non conditionné.
   • Un terme de guidage standard renforçant la fidélité à la vidéo $V$ et au texte $C_2$.
   • Un terme de Guidage Audio Négatif (NAG) : $\beta (u_\theta(x_t, t, V, C_2) - u_{\theta, \psi}(x_t, t, V, \emptyset, x^{(1)}))$. Ce terme pousse la trajectoire d'échantillonnage à s'éloigner du contenu acoustique de $x^{(1)}$.

3. Stratégie d'Entraînement (Sans Données Spécialisées) :
   Pour éviter le besoin de jeux de données multi-références, les auteurs entraînent la branche conditionnée par l'audio (paramétrée par $\psi$) en utilisant des segments audio non superposés provenant de la même vidéo.

   • Architecture : Ils utilisent une architecture de type ControlNet adaptée à MMAudio (un modèle V2A de flow-matching pré-entraîné). Le conditionnement audio est injecté via des blocs de transformateurs mono-modaux qui extraient les caractéristiques de l'audio de référence $x^{(1)}$ et les ajoutent à la branche principale.
   • Construction des Données : À partir d'un jeu de données standard à référence unique (par exemple, VGGSound), ils échantillonnent deux segments de 4 secondes non superposés : l'un comme cible ($x_{tgt}$) et l'autre comme condition ($x_{cond}$). Cela force le modèle à apprendre un contexte acoustique partagé (environnement, timbre, conditions d'enregistrement) plutôt qu'à copier la forme d'onde, lui permettant ainsi d'agir comme un « a priori répulsif » lors de l'inférence.

4. Processus d'Inférence :
   La génération procède de manière itérative. Pour la $k$-ième étape, l'audio composite de toutes les pistes précédemment générées ($\sum_{l=1}^{k-1} x^{(l)}$) est utilisé comme le signal de conditionnement négatif $x^{(1)}$ pour générer la piste complémentaire suivante $x^{(k)}$.

Contributions Clés

• Formulation de Synthèse Étape par Étape : L'article formule la génération V2A comme un processus itératif de création de multiples pistes complémentaires pour une seule vidéo, permettant une création interactive de type bruitage.
• Guidage Audio Négatif (NAG) : Un nouveau mécanisme de guidage qui utilise une branche conditionnée par l'audio de manière négative lors de l'échantillonnage pour empêcher la duplication des sons entre les séquences de pistes. Crucialement, cela est entraînable en utilisant des jeux de données audiovisuels à référence unique standard via l'échantillonnage de segments non superposés.
• Amélioration de la Séparabilité et de la Qualité : La méthode démontre qu'il est possible de générer des pistes audio distinctes et de haute qualité qui ne se chevauchent pas en contenu, surpassant les bases qui reposent sur une génération indépendante ou sur le prompting textuel négatif.

Résultats
Les auteurs ont évalué leur méthode sur un nouveau jeu de données, Multi-Caps VGGSound, qui contient des vidéos associées à plusieurs légendes distinctes décrivant différents événements sonores.

• Métriques Objectives :
  • Audio Composite : La méthode proposée a obtenu les meilleurs scores en distance de Fréchet (FD), divergence KL et alignement temporel (DeSync) par rapport aux bases comme Seeing-and-Hearing, FoleyCrafter et le MMAudio standard. Elle a surpassé la "Génération Indépendante" (génération de pistes sans contexte) et le "Step-by-Step avec Prompting Négatif" (utilisation du texte pour exclure les sons précédents).
  • Pistes Individuelles : La méthode a considérablement amélioré la séparabilité audio (mesurée par la similitude audio-audio CLAP) par rapport au vanilla MMAudio. Bien que le prompting négatif améliore la séparabilité, il dégrade la qualité audio et l'alignement textuel. Le NAG maintient une qualité audio et un alignement vidéo-texte élevés tout en atteignant une séparabilité supérieure.
• Évaluation Subjective :
  • Les études utilisateur ont montré que la méthode proposée était préférée pour la qualité audio, l'alignement sémantique et l'alignement temporel dans l'audio composite final.
  • Pour les pistes individuelles, la méthode a reçu des notes significativement plus élevées pour la séparabilité et des notes légèrement plus élevées pour la qualité audio et la fidélité textuelle.
• Scalabilité : L'analyse variant le nombre d'étapes de génération (2 à 5 légendes) a montré que les bénéfices du NAG (spécifiquement en matière de séparabilité) deviennent plus prononcés à mesure que le nombre d'événements audio requis augmente, sans dégrader la fidélité globale.

Signification et Revendications
L'article affirme que ce travail résout un goulot d'étranglement critique dans le bruitage automatisé : l'incapacité de raffiner de manière interactive les pistes audio sans régénérer toute la séquence. En introduisant le NAG, les auteurs permettent un flux de travail où les utilisateurs peuvent créer plusieurs événements sonores étape par étape, de la même manière que les bruiteurs traditionnels, mais sans l'exigence laborieuse de données d'entraînement multi-références. La méthode comble le fossé entre les modèles génératifs de haute qualité et le design sonore pratique et contrôlable, garantissant que les sons générés sont non seulement alignés sémantiquement avec la vidéo, mais aussi distincts les uns des autres dans un mix composite. Les auteurs soulignent que leur approche est pratique car elle exploite des modèles pré-entraînés et des jeux de données standards, évitant ainsi le besoin de paires audio-vidéo multi-pistes spécialisées et difficiles à acquérir.