MMAudioSep: Taming Video-to-Audio Generative Model Towards Video/Text-Queried Sound Separation

1. El Problema

La separación de sonido (Sound Separation - SS) es una tarea crítica para aislar fuentes sonoras individuales a partir de señales mixtas, con aplicaciones en entornos multi-parlante, producción musical y asistencia auditiva. Tradicionalmente, la mayoría de los modelos de separación se han abordado como tareas discriminativas.

Aunque recientemente han surgido enfoques generativos para la separación de sonido basados en consultas de texto o video, estos han evolucionado de forma independiente a los modelos de generación de audio a partir de video (Video-to-Audio o V2A). Existe una brecha de conocimiento no explorada: los modelos generativos de V2A poseen un rico conocimiento multimodal sobre la relación entre video, texto y audio que podría ser transferido para mejorar las tareas de separación, pero esto aún no se ha aprovechado sistemáticamente.

2. Metodología: MMAudioSep

Los autores proponen MMAudioSep, un modelo generativo para la separación de sonido consultada por video y texto, basado en el ajuste fino (fine-tuning) de un modelo preentrenado de generación de audio a partir de video (MMAudio).

Arquitectura y Mecanismos Clave:

• Base del Modelo: Se utiliza la arquitectura de MMAudio, un modelo generativo que emplea Flow Matching (emparejamiento de flujos) en un espacio latente codificado por un VAE (Autoencoder Variacional). MMAudio toma video y texto como condiciones para generar audio sincronizado.
• Adaptación para Separación:
  • Se introduce un mecanismo de condicionamiento por concatenación de canales (channel-concatenation conditioning).
  • A diferencia de la generación pura donde el ruido gaussiano es el punto de partida, en MMAudioSep se concatenan dos entradas en la dimensión del canal antes de alimentarlas al módulo de transformación multimodal:
    1. Ruido gaussiano ($x_0$).
    2. El vector latente de la mezcla de audio original ($x_m$).
  • Esto permite que el modelo procese en paralelo la información de la mezcla y el objetivo, guiando la generación hacia la fuente deseada.
• Entrenamiento:
  • Se utiliza el objetivo de Conditional Flow Matching (CFM) original de MMAudio.
  • Se realiza un fine-tuning sobre los bloques de transformadores multimodales y la capa de proyección de audio.
  • Se evalúan dos estrategias: ajustar todos los parámetros o congelar ciertos parámetros (especialmente los relacionados con características visuales y de texto) para preservar el conocimiento multimodal original.

3. Contribuciones Clave

1. Nueva Metodología de Ajuste Fino: Se propone un enfoque para adaptar modelos preentrenados de generación de video-audio a tareas de separación de sonido consultada por video/texto, evitando el entrenamiento desde cero.
2. Rendimiento Superior: Se demuestra que MMAudioSep supera a los modelos de separación existentes (tanto discriminativos como generativos) en benchmarks estándar.
3. Preservación de Capacidades Originales: Se confirma que, incluso después de ser ajustado para separación, el modelo mantiene su capacidad original de generación de audio a partir de video. Esto valida el potencial de los modelos fundacionales de generación de sonido para tareas de downstream relacionadas con el audio.
4. Marco Unificado: Es, hasta donde se conoce, la primera investigación que habilita tanto la generación video-audio como la separación basada en consultas en un único modelo.

4. Resultados Experimentales

Los experimentos se realizaron en conjuntos de datos como VGGSound-Clean y MUSIC, comparando MMAudioSep contra modelos como AudioSep (entrenado en 14,000 horas) y FlowSep (entrenado en 1,680 horas).

• Métricas de Separación:

  • Se utilizaron métricas generativas (FAD, CLAPScore, IB-Score, DeSync) en lugar de métricas tradicionales de distorsión (SDR), ya que son más adecuadas para modelos generativos.
  • MMAudioSep superó consistentemente a AudioSep y FlowSep en casi todas las métricas, incluso cuando solo se utilizaba la condición de texto.
  • La combinación de consultas de video y texto mejoró el rendimiento en casi todas las métricas, destacando la fortaleza del marco multimodal.
  • En la visualización de espectrogramas, el modelo mostró una mayor calidad de separación, manteniendo detalles espectrales finos y reduciendo artefactos en comparación con AudioSep.

• Evaluación de Generación (V2A):

  • Al probar el modelo en tareas de generación de audio a partir de video (inyectando ruido blanco como mezcla), MMAudioSep demostró que conserva la funcionalidad de generación original.
  • Aunque el rendimiento fue ligeramente inferior al del modelo base MMAudio (sin ajustar para separación), superó a varios modelos generativos de video-audio tradicionales (como Frieren o VATT), demostrando que un modelo entrenado para separación puede funcionar eficazmente como sistema generativo multimodal.

5. Significado e Impacto

El trabajo de MMAudioSep es significativo por varias razones:

• Transferencia de Conocimiento: Demuestra que el conocimiento multimodal aprendido por grandes modelos generativos puede ser transferido eficazmente a tareas inversas como la separación de fuentes, mejorando la eficiencia del entrenamiento al no requerir datos masivos desde cero.
• Flexibilidad del Modelo Fundacional: Sugiere que los modelos fundacionales de generación de sonido son versátiles y pueden adaptarse a múltiples tareas (generación y separación) sin perder su núcleo funcional.
• Avance en Métodos Generativos: Establece un nuevo estándar para la separación de sonido basada en consultas, superando a los enfoques puramente discriminativos y mostrando que los métodos generativos pueden lograr resultados de vanguardia con una mejor alineación semántica y temporal.

En conclusión, MMAudioSep abre la puerta a un nuevo paradigma donde los modelos generativos multimodales actúan como cimientos para diversas aplicaciones de procesamiento de audio, desde la separación hasta la detección de eventos sonoros.