MMAudioSep: Taming Video-to-Audio Generative Model Towards Video/Text-Queried Sound Separation

1. Problématique

La séparation de sources sonores (Sound Separation - SS) vise à isoler des sons individuels à partir d'un signal mixte. Bien que des approches discriminatives soient courantes, les méthodes basées sur la génération (generative) commencent à émerger. Cependant, deux domaines de recherche majeurs ont évolué de manière isolée :

1. La séparation de sons (souvent basée sur des modèles discriminatifs ou des modèles génératifs spécialisés comme FlowSep).
2. La génération audio à partir de vidéo/texte (Video-to-Audio ou V2A), où des modèles comme MMAudio apprennent à synthétiser un son cohérent avec une vidéo et une description textuelle.

Le défi principal est de savoir si les connaissances multimodales riches acquises par un modèle de génération (V2A) peuvent être transférées et adaptées pour effectuer une tâche de séparation de sons, sans avoir à entraîner un modèle complet à partir de zéro.

2. Méthodologie : MMAudioSep

Les auteurs proposent MMAudioSep, un modèle génératif pour la séparation de sons basée sur des requêtes vidéo et/ou texte, construit en affinant (fine-tuning) un modèle pré-entraîné de génération vidéo-vers-audio (MMAudio).

Architecture et Principes Clés

• Fondation : Le modèle repose sur l'architecture MMAudio, qui utilise un mécanisme de Flow Matching (correspondance de flux) dans un espace latent. Les entrées vidéo (features CLIP et Synchformer) et textuelles (CLIP) sont projetées dans un espace latent commun.
• Adaptation pour la Séparation :
  • Contrairement à la génération pure où le bruit gaussien est la seule entrée latente, MMAudioSep intègre le signal audio mixte (le son à séparer) comme condition d'entrée supplémentaire.
  • Mécanisme de Concaténation de Canaux : Le vecteur latent du mélange audio ($x_m$) et le vecteur de bruit gaussien ($x_0$) sont concaténés le long de la dimension des canaux avant d'être injectés dans le module transformateur multimodal (MM-DiT). Cela permet au modèle de traiter le mélange et la cible potentielle en parallèle.
  • Conditionnement : Le modèle utilise le mélange audio comme condition supplémentaire pour guider la génération du son cible (séparé) en réponse aux requêtes vidéo/texte.
• Entraînement :
  • Le modèle est initialisé avec les poids pré-entraînés de MMAudio (version 44k-large, 1.03B de paramètres).
  • Seules certaines couches sont mises à jour (couche de projection audio, blocs transformateurs multimodaux), tandis que d'autres paramètres peuvent être figés pour préserver les connaissances de génération.
  • L'objectif d'entraînement reste celui du Conditional Flow Matching (CFM), visant à apprendre la trajectoire du flux du bruit vers les données cibles.

3. Contributions Clés

1. Transfert de Connaissances : Première démonstration qu'un modèle de génération vidéo-vers-audio peut être efficacement adapté (via fine-tuning) pour la séparation de sons basée sur des requêtes multimodales.
2. Performance Supérieure : MMAudioSep surpasse les modèles de séparation existants (basés sur des approches déterministes et génératives) en utilisant des métriques adaptées aux modèles génératifs.
3. Polyvalence du Modèle : Le modèle conserve sa capacité originale de génération vidéo-vers-audio même après avoir été affiné pour la séparation. Cela prouve la robustesse des modèles fondateurs (foundation models) pour des tâches en aval.
4. Évaluation Innovante : Introduction de métriques génératives (FAD, CLAP, IS, etc.) pour évaluer la qualité de la séparation, au-delà des métriques traditionnelles comme le SDR (Source-to-Distortion Ratio).

4. Résultats Expérimentaux

Données et Configuration

• Entraînement : Utilise le jeu de données de MMAudio (~2500h) combiné à des données de séparation (VGGSound-Clean, MUSIC).
• Comparaison : Comparé à AudioSep (modèle discriminatif entraîné sur 14k heures) et FlowSep (modèle génératif entraîné sur 1680 heures).

Performance en Séparation (Sound Separation)

Sur les ensembles de données VGGSound-Clean et MUSIC :

• MMAudioSep dépasse systématiquement AudioSep et FlowSep sur la plupart des métriques (FAD, CLAPScore, IB-Score).
• L'utilisation combinée de requêtes vidéo et texte améliore encore les performances par rapport à l'utilisation du texte seul.
• Le modèle pré-entraîné (avec ou sans gel de paramètres) surpasse une version entraînée à partir de zéro (scratch), confirmant l'efficacité du transfert de connaissances.
• Visualisation : Les spectrogrammes montrent que MMAudioSep préserve mieux les détails spectraux et réduit les artefacts par rapport aux modèles de base.

Performance en Génération (Video-to-Audio)

• Même après l'affinage pour la séparation, le modèle conserve sa capacité à générer du son à partir de la vidéo (en injectant du bruit blanc comme mélange).
• Bien que légèrement inférieur au modèle MMAudio original (en raison de l'ajustement pour la séparation), il reste compétitif par rapport aux autres modèles de génération V2A (comme FoleyCrafter, SpecMaskFoley).

5. Signification et Impact

• Unification des Tâches : Ce travail brise la barrière entre la génération et la séparation, suggérant qu'un seul modèle fondamental peut maîtriser plusieurs tâches audio complexes.
• Efficacité : L'approche par fine-tuning est plus efficace que l'entraînement à partir de zéro, permettant d'exploiter des connaissances multimodales préexistantes massives.
• Avenir : Cela ouvre la voie à l'utilisation de modèles génératifs multimodaux pour d'autres tâches en aval, telles que la détection d'événements sonores ou l'appariement visuel-acoustique, en exploitant leur représentation riche du monde.

En résumé, MMAudioSep démontre que les modèles génératifs de fondation ne sont pas seulement des outils de création, mais peuvent être "domptés" pour devenir des outils puissants de traitement et de séparation du signal audio, offrant une nouvelle voie pour le développement de systèmes audio intelligents.