Step-by-Step Video-to-Audio Synthesis via Negative Audio Guidance

Resumen Técnico: Síntesis de Vídeo a Audio Paso a Paso mediante Guía de Audio Negativo

Planteamiento del Problema
Los modelos actuales de generación de vídeo a audio (V2A) suelen producir una única pista de audio completa en una sola pasada. Si bien estos modelos logran una alta alineación semántica y temporal con los vídeos de entrada, carecen de mecanismos para el refinamiento incremental. En los flujos de trabajo tradicionales de Foley, los artistas superponen sonidos complementarios (por ejemplo, pasos, el roce de la tela) para construir una pista de audio compuesta. Los modelos V2A existentes no pueden replicar este proceso interactivo; si una pista generada omite eventos específicos, la pista completa debe regenerarse. Además, lograr la generación paso a paso mediante el aprendizaje condicional estándar requeriría conjuntos de datos de múltiples referencias vídeo-audio (donde un solo vídeo se empareja con múltiples pistas de audio distintas y no superpuestas), los cuales son difíciles de obtener a escala.

Metodología
Los autores proponen un marco de síntesis de Vídeo a Audio (V2A) Paso a Paso impulsado por la Guía de Audio Negativo (NAG, por sus siglas en inglés). Este enfoque permite la generación iterativa de pistas de audio complementarias que llenan los eventos de sonido faltantes sin duplicar los sonidos ya presentes en las pistas generadas previamente.

1. Formulación de Negación de Conceptos:
   El desafío central es generar un audio objetivo $x^{(2)}$ condicionado por un vídeo $V$, un prompt de texto $C_2$ y una pista de audio previamente generada $x^{(1)}$, de tal manera que $x^{(2)}$ se alinee con $V$ y $C_2$, pero excluya los conceptos presentes en $x^{(1)}$. Los autores formulan esto como un problema de negación de conceptos, aproximando la distribución objetivo $p(x^{(2)} | V, C_2, x^{(1)})$ tratando a $x^{(1)}$ como una condición negativa ($\neg x^{(1)}$).

2. Derivación de Flujo Guiado:
   Basándose en modelos de concordancia de flujo (flow-matching) y guía libre de clasificador (classifier-free guidance), los autores derivan una nueva formulación de guía. Descomponen la distribución de probabilidad objetivo para incluir un término que repele la generación del contenido de audio de condicionamiento $x^{(1)}$. El flujo guiado resultante $\tilde{u}_{\theta, \psi}(x_t)$ consta de:

   • Un término de flujo no condicionado.
   • Un término de guía estándar que refuerza la fidelidad al vídeo $V$ y al texto $C_2$.
   • Un término de Guía de Audio Negativo (NAG): $\beta (u_\theta(x_t, t, V, C_2) - u_{\theta, \psi}(x_t, t, V, \emptyset, x^{(1)}))$. Este término empuja la trayectoria de muestreo lejos del contenido acústico de $x^{(1)}$.

3. Estrategia de Entrenamiento (Sin Datos Especializados):
   Para evitar la necesidad de conjuntos de datos de múltiples referencias, los autores entrenan la rama condicionada por audio (parametrizada por $\psi$) utilizando segmentos de audio no superpuestos del mismo vídeo.

   • Arquitectura: Utilizan una arquitectura de estilo ControlNet adaptada para MMAudio (un modelo V2A de concordancia de flujo preentrenado). La condicionación de audio se inyecta mediante bloques de transformador unimodales que extraen características del audio de referencia $x^{(1)}$ y las añaden a la rama principal.
   • Construcción de Datos: A partir de un conjunto de datos de referencia única estándar (por ejemplo, VGGSound), muestrean dos segmentos de 4 segundos no superpuestos: uno como objetivo ($x_{tgt}$) y otro como condición ($x_{cond}$). Esto obliga al modelo a aprender el contexto acústico compartido (entorno, timbre, condiciones de grabación) en lugar de copiar la forma de onda, permitiéndole actuar como un "prior repulsivo" durante la inferencia.

4. Proceso de Inferencia:
   La generación procede de forma iterativa. Para el $k$-ésimo paso, el audio compuesto de todas las pistas generadas anteriormente ($\sum_{l=1}^{k-1} x^{(l)}$) se utiliza como la señal de condicionamiento negativo $x^{(1)}$ para generar la siguiente pista complementaria $x^{(k)}$.

Contribuciones Clave

• Formulación de Síntesis Paso a Paso: El artículo formula la generación V2A como un proceso iterativo de creación de múltiples pistas complementarias para un solo vídeo, permitiendo la autoría interactiva de estilo Foley.
• Guía de Audio Negativo (NAG): Un novedoso mecanismo de guía que utiliza una rama condicionada por audio de forma negativa durante el muestreo para evitar la duplicación de sonidos entre pistas secuenciales. Crucialmente, esto es entrenable utilizando conjuntos de datos audiovisuales de referencia única estándar mediante el muestreo de segmentos no superpuestos.
• Mejora de la Separabilidad y la Calidad: El método demuestra que es posible generar pistas de audio distintas y de alta calidad que no se superpongan en contenido, superando a las líneas base que dependen de la generación independiente o del prompting negativo basado en texto.

Resultados
Los autores evaluaron su método en un nuevo conjunto de datos, Multi-Caps VGGSound, que contiene vídeos emparejados con múltiples subtítulos distintos que describen diferentes eventos de sonido.

• Métricas Objetivas:
  • Audio Compuesto: El método propuesto logró los mejores puntajes en Distancia de Fréchet (FD), divergencia KL y alineación temporal (DeSync) en comparación con las líneas base como Seeing-and-Hearing, FoleyCrafter y el MMAudio estándar. Superó a la "Generación Independiente" (generar pistas sin contexto) y al "Paso a Paso con Prompting Negativo" (usar texto para excluir sonidos previos).
  • Pistas Individuales: El método mejoró significativamente la separabilidad de audio (medida por la similitud audio-audio de CLAP) en comparación con el vanilla MMAudio. Aunque el prompting negativo mejoró la separabilidad, degradó la calidad del audio y la alineación con el texto. El NAG mantuvo una alta calidad de audio y alineación vídeo-texto mientras lograba una separabilidad superior.
• Evaluación Subjetiva:
  • Los estudios de usuario mostraron que el método propuesto fue preferido por su calidad de audio, alineación semántica y alineación temporal en el audio compuesto final.
  • Para las pistas individuales, el método recibió calificaciones significativamente más altas para la separabilidad y calificaciones ligeramente más altas para la calidad de audio y la fidelidad del texto.
• Escalabilidad: El análisis variando el número de pasos de generación (de 2 a 5 subtítulos) mostró que los beneficios del NAG (específicamente en la separabilidad) se vuelven más pronunciados a medida que aumenta el número de eventos de audio requeridos, sin degradar la fidelidad general.

Significado y Reivindicaciones
El artículo afirma que este trabajo resuelve un cuello de botella crítico en el Foley automatizado: la incapacidad de refinar interactivamente las pistas de audio sin regenerar toda la secuencia. Al introducir el NAG, los autores permiten un flujo de trabajo donde los usuarios pueden crear múltiples eventos de sonido paso a paso, de manera similar a los artistas de Foley tradicionales, pero sin el requisito laborioso de datos de entrenamiento de múltiples referencias. El método cierra la brecha entre los modelos generativos de alta calidad y el diseño de sonido práctico y controlable, asegurando que los sonidos generados no solo estén alineados semánticamente con el vídeo, sino que también sean distintos entre sí en una mezcla compuesta. Los autores enfatizan que su enfoque es práctico porque aprovecha modelos preentrenados y conjuntos de datos estándar, evitando la necesidad de pares audio-vídeo de múltiples pistas especializados y difíciles de obtener.