Training-Free Multimodal Guidance for Video to Audio Generation

Resumen Técnico: Guía Multimodal sin Entrenamiento para la Generación de Audio a partir de Video

Enunciado del Problema
La generación de audio a partir de video (V2A) tiene como objetivo sintetizar audio realista y semánticamente alineado a partir de videos silenciosos, una tarea crítica para aplicaciones como la edición de video, el diseño de sonido Foley y la multimedia asistiva. Aunque los enfoques recientes basados en difusión han logrado resultados impresionantes, enfrentan limitaciones significativas. Los métodos existentes suelen requerir un costoso entrenamiento conjunto de modelos de video y audio en conjuntos de datos emparejados a gran escala, los cuales son costosos de recopilar y a menudo contienen pares sin significado que requieren un preprocesamiento cuidadoso. Alternativamente, los enfoques sin entrenamiento como Seeing&Hearing (Ver y Oír) dependen de similitudes coseno por pares (por ejemplo, mediante ImageBind) para alinear las modalidades. Sin embargo, la alineación por pares puede fallar al capturar la coherencia multimodal global, lo que conduce a señales de guía que carecen de consistencia geométrica y resultan en una generación de audio semánticamente desalineada o ruidosa.

Metodología: Guía de Difusión Multimodal (MDG)
Los autores proponen un mecanismo novedoso y sin entrenamiento llamado Guía de Difusión Multimodal (MDG) para dirigir modelos de difusión de audio preentrenados sin reentrenar la arquitectura base ni los codificadores. La innovación central radica en aprovechar el volumen geométrico abarcado por las incrustaciones de las modalidades en lugar de depender de similitudes por pares.

1. Alineación Geométrica mediante Volumen:
   En lugar de alinear las incrustaciones de video, audio y texto ($e_v, e_a, e_p$) mediante similitud coseno por pares, el método las mapea a un espacio latente compartido utilizando codificadores (GRAM). Construye una matriz $Z = [e_v, e_a, e_p]$ y calcula la matriz de Gram $K = Z^\top Z$. El volumen $V$ del paralelotopo de alta dimensión abarcado por estas incrustaciones se define como $V = \sqrt{\det K}$.

   • Intuición: Cuando las tres modalidades se refieren al mismo contenido semántico, sus incrustaciones forman una configuración de bajo volumen. Por el contrario, los tripletes desajustados resultan en un volumen mayor.

2. Señal de Guía sin Entrenamiento:
   La MDG opera como una señal de control de tipo "plug-and-play" durante el proceso de muestreo (desruido) de un modelo de difusión latente (por ejemplo, AudioLDM).

   • En cada paso de desruido $t$, el modelo predice un latente de audio limpio $\tilde{z}_0$.
   • Se extrae la incrustación de audio $e_a$ de este latente.
   • Se calcula el volumen $V$ utilizando la incrustación de video fija $e_v$, la incrustación de texto $e_p$ y la incrustación de audio actual $e_a$.
   • El latente se actualiza para minimizar este volumen: $z_t \leftarrow z_t - \eta \nabla_{z_t} V$.
   • Este proceso iterativo dirige la generación de audio hacia una representación que sea conjuntamente compatible con las entradas visuales y textuales, imponiendo consistencia tri-modal.

3. Eficiencia:
   El enfoque no requiere datos de entrenamiento emparejados, ni entrenamiento conjunto, ni modificación de la arquitectura base de difusión. La sobrecarga computacional es mínima, añadiendo solo $O(D)$ para las incrustaciones y $O(1)$ para el cálculo de volumen $3 \times 3$ por paso.

Contribuciones Clave

• Estrategia de Muestreo Novel: Introducción de una estrategia de muestreo sin entrenamiento que utiliza guía multimodal latente, la cual no requiere datos de entrenamiento emparejados a gran escala, ni entrenamiento conjunto, ni modificación de la arquitectura base.
• Objetivo Tri-Modal Basado en Volumen: Propuesta de un mecanismo de guía conjunta para la generación V2A que dirige modelos de difusión preentrenados utilizando un objetivo de alineación basado en volumen a través de video, audio y texto, superando la alineación por pares.
• Mejora del Rendimiento: Demostración de que la inferencia guiada por volumen supera a los alineadores basados en coseno anteriores (como ImageBind) al promover una mayor consistencia multimodal y reducir la deriva semántica.

Resultados Experimentales
El método se evaluó en los conjuntos de datos VGGSound (dentro del dominio) y AudioCaps (fuera del dominio), comparándolo con líneas base que incluyen SpecVQGAN, Diff-Foley y el marco sin entrenamiento Seeing&Hearing.

• Calidad Perceptiva y Alineación: En VGGSound, la MDG logró una Distancia de Audio Fréchet (FAD) de 6.04, superando significativamente a Seeing&Hearing (7.80) y a SpecVQGAN (7.74). También mostró una superior coherencia audio-visual con una Distancia de Audio-Visual Fréchet (FAVD) de 2.60 y una puntuación del Evaluador Perceptivo de Sincronización Audio-Visual (PEAVS) de 3.40.
• Generalización: En el desafiante conjunto de datos AudioCaps (donde las fuentes de sonido pueden no ser visibles), la MDG continuó superando a Seeing&Hearing en casi todas las métricas, demostrando robustez ante cambios de dominio.
• Consistencia Semántica: El análisis de la métrica de volumen y las similitudes coseno cruzadas confirmó que la MDG genera audio semánticamente más alineado con el video de origen y las leyendas que los métodos basados en pares. El análisis cualitativo (espectrogramas) mostró que la MDG produce audio estructurado y apropiado para el contexto, mientras que las líneas base a menudo degeneran en ruido de banda ancha.

Significado
El artículo afirma que la MDG proporciona una solución ligera y efectiva para la generación V2A que supera las restricciones computacionales y de datos del entrenamiento conjunto, al tiempo que aborda las inconsistencias geométricas de la alineación por pares. Al imponer una estructura geométrica unificada a través de las modalidades durante la inferencia, el método demuestra que se puede generar audio de alta calidad y semánticamente consistente sin modificar la arquitectura generativa subyacente ni requerir costosos conjuntos de datos emparejados. Esto valida la utilidad de las restricciones geométricas basadas en volumen como una potente señal de control para modelos de difusión multimodal.