MMAudioSep: Taming Video-to-Audio Generative Model Towards Video/Text-Queried Sound Separation

1. Problema

A separação de som (Sound Separation - SS) é uma tarefa crucial para isolar fontes sonoras individuais de sinais misturados, com aplicações em produção musical, ambientes multi-falantes e assistência auditiva. Tradicionalmente, os modelos de separação são abordados como tarefas discriminativas. Embora existam métodos baseados em geração (como o FlowSep) e modelos que utilizam consultas de texto ou imagem, a intersecção entre geração de áudio a partir de vídeo/texto e separação de som baseada em consultas multimodais permanecia inexplorada.

O desafio central é desenvolver um modelo que possa realizar a separação de som usando consultas visuais (vídeo) e textuais, aproveitando o conhecimento rico de modelos generativos pré-treinados, sem a necessidade de treinar do zero, o que seria computacionalmente custoso e exigiria grandes volumes de dados específicos de separação.

2. Metodologia

O artigo propõe o MMAudioSep, um modelo generativo para separação de som consultado por vídeo e texto, construído sobre a base do modelo pré-treinado MMAudio (um modelo de geração de áudio a partir de vídeo).

Arquitetura e Mecanismo

• Base: O modelo utiliza a arquitetura do MMAudio, que emprega um transformador multimodal (MM-DiT) e um algoritmo de Flow Matching (correspondência de fluxo) condicional. O áudio é representado no espaço latente codificado por um VAE (Variational Autoencoder).
• Adaptação para Separação (MMAudioSep):
  • Entrada Mista: Diferente do MMAudio original (que gera áudio a partir do zero usando ruído gaussiano), o MMAudioSep recebe como entrada adicional o espectrograma de mel da mistura de áudio ($x_m$).
  • Mecanismo de Concatenação de Canais: O ruído gaussiano ($x_0$) e o vetor latente da mistura ($x_m$) são concatenados ao longo da dimensão do canal antes de entrarem no módulo do transformador. Isso permite que o modelo processe a mistura e o alvo em paralelo.
  • Condicionamento: O modelo utiliza o vídeo e o texto como condições globais (via adaptive layer normalization - adaLN) e condições alinhadas a quadros para sincronização áudio-visual.
• Treinamento:
  • O modelo é ajustado (fine-tuned) a partir do MMAudio pré-treinado.
  • Apenas as camadas de projeção de áudio e os blocos do transformador multimodal são atualizados; outros parâmetros podem ser congelados para preservar o conhecimento de geração original.
  • O objetivo de treinamento mantém a função de Conditional Flow Matching (CFM), aprendendo a trajetória do ruído (ou da mistura) até o áudio alvo separado.

3. Principais Contribuições

1. Abordagem de Fine-Tuning: Propõe um método inovador para adaptar modelos de geração de vídeo-para-áudio (V2A) para a tarefa de separação de som, transferindo conhecimento multimodal sem treinar do zero.
2. Desempenho Superior: Demonstra que o MMAudioSep supera modelos existentes de separação (baseados tanto em abordagens determinísticas quanto generativas), mesmo utilizando apenas condições de texto, e melhora ainda mais com condições de vídeo e texto combinadas.
3. Preservação da Capacidade Generativa: Mostra que, após o ajuste fino para separação, o modelo mantém a capacidade original de gerar áudio a partir de vídeo. Isso valida o potencial de modelos fundamentais de geração de som para serem utilizados em tarefas downstream relacionadas ao som.
4. Avaliação Multimodal: Introduz a aplicação de métricas de avaliação de geração (como FAD, IS, alinhamento semântico e temporal) para avaliar tarefas de separação, oferecendo uma visão mais completa da qualidade do áudio gerado.

4. Resultados

Os experimentos foram conduzidos nos conjuntos de dados VGGSound-Clean e MUSIC, comparando o MMAudioSep com modelos como AudioSep, FlowSep e CLIPSep.

• Separação de Som:
  • O MMAudioSep superou consistentemente o AudioSep (treinado em 14.000 horas) e o FlowSep (treinado em 1.680 horas) em todas as métricas avaliadas (FAD, IS, CLAPScore, IB-Score, DeSync).
  • A combinação de consultas de vídeo e texto resultou no melhor desempenho, destacando a eficácia do treinamento multimodal.
  • Visualizações de espectrogramas mostraram que o modelo preserva detalhes espectrais finos e reduz artefatos melhor que os baselines.
• Geração Vídeo-para-Áudio (V2A):
  • Ao injetar ruído branco como entrada de mistura, o modelo foi capaz de gerar áudio sincronizado com o vídeo de entrada, demonstrando que a funcionalidade original de geração não foi perdida.
  • Embora o desempenho na geração pura tenha sido ligeiramente inferior ao do MMAudio original (devido ao ajuste fino para separação), o modelo superou várias outras abordagens V2A tradicionais.
• Eficiência: O uso de um modelo pré-treinado permitiu um treinamento mais eficiente e resultados superiores, mesmo com menos dados de separação específicos em comparação com modelos treinados do zero.

5. Significado e Impacto

O trabalho MMAudioSep representa um avanço significativo na unificação de duas áreas distintas: a geração de áudio multimodal e a separação de fontes sonoras.

• Paradigma de Modelos Fundamentais: O estudo valida a hipótese de que modelos fundamentais de geração de som (Foundation Models) contêm conhecimento rico sobre a relação entre visão, texto e áudio que pode ser transferido para tarefas de separação.
• Flexibilidade: O modelo oferece uma solução única que pode alternar entre gerar áudio a partir de vídeo e separar sons em uma mistura, dependendo da entrada e do objetivo.
• Futuro: Abre caminho para o uso de modelos generativos em tarefas downstream mais complexas, como detecção de eventos sonoros e correspondência visual-acústica, sugerindo que a fronteira entre "geração" e "processamento/separação" de áudio está se tornando cada vez mais fluida.

Em resumo, o MMAudioSep demonstra que "domar" (taming) um modelo generativo pré-treinado é uma estratégia eficaz e superior para criar sistemas de separação de som de alta qualidade, controláveis por vídeo e texto.