FoleyDirector: Fine-Grained Temporal Steering for Video-to-Audio Generation via Structured Scripts

El artículo presenta FoleyDirector, un marco innovador que utiliza guiones temporales estructurados y síntesis de sonido de doble cuadro para lograr un control temporal preciso y de alta fidelidad en la generación de audio a partir de video, superando las limitaciones de los métodos actuales en escenarios complejos y eventos fuera de pantalla.

Lo esencial

¡Imagina que tienes una película muda, como las de las películas antiguas, y quieres darle vida con sonidos perfectos! Hasta ahora, las inteligencias artificiales que hacían esto eran como niños pequeños muy creativos pero un poco despistados: podían poner música de fondo o ruidos generales, pero si le pedías "pon el claxon del coche justo entre los 5 y 6 segundos, y que haya silencio antes y después", se confundían y ponían el ruido en cualquier momento.

El paper que presentas, FoleyDirector, es como contratar a un director de sonido experto (un "Foley Artist") que tiene un guion muy detallado y sabe exactamente cuándo y qué sonido poner.

Aquí te explico cómo funciona con analogías sencillas:

1. El Problema: La IA "Ciega" al Tiempo

Antes, las IAs miraban el video y decían: "¡Ah! Hay un perro, así que pondré un ladrido". Pero si el perro estaba detrás de una pared (no se veía) o si querías que el ladrido fuera solo un segundo específico, la IA fallaba. No tenía un "reloj" interno para saber cuándo exactamente debía sonar algo.

2. La Solución: El "Guion Estructurado" (Structured Temporal Scripts)

FoleyDirector introduce algo genial: un guion paso a paso.

• La analogía: Imagina que antes le dabas a la IA una sola instrucción: "Haz una película de un parque". Ahora, en lugar de eso, le das un guion de director de cine dividido en trocitos de 1 segundo:
  • Segundo 1-2: "Sonido de pájaros".
  • Segundo 3: "Silencio total".
  • Segundo 4-5: "Un niño riendo".
  • Segundo 6: "Un perro ladrando".
• Al dividir el tiempo en pequeños bloques con instrucciones claras, la IA ya no tiene que adivinar. Sigue el guion como un actor sigue sus líneas.

3. El "Cerebro" Nuevo: El Módulo de Fusión (SG-TFM)

Para que la IA entienda este nuevo guion sin olvidar cómo hacer sonidos realistas, los autores crearon un "adaptador" especial.

• La analogía: Piensa en la IA original como un chef experto que sabe cocinar platos deliciosos (hacer sonidos buenos). El nuevo módulo es como un asistente de cocina que le susurra al chef: "Oye, justo ahora en el minuto 3, el guion dice que hay que poner sal, no azúcar".
• Este asistente se une al chef, le da las instrucciones precisas del tiempo, pero no le quita sus habilidades. Si el chef quiere cocinar sin el asistente (sin el guion detallado), sigue cocinando igual de bien. ¡Es flexible!

4. El Truco Maestro: "Doble Vía" (Bi-Frame Sound Synthesis)

A veces, en una película, hay sonidos que no se ven en la pantalla (como alguien hablando detrás de la cámara o un trueno lejano). Las IAs anteriores se bloqueaban porque no veían la fuente del sonido.

• La analogía: FoleyDirector tiene dos canales de audio funcionando al mismo tiempo:
  1. Canal "En Pantalla": Escucha lo que ve en el video (si hay un perro, ladra).
  2. Canal "Fuera de Pantalla": Ignora lo que ve y solo escucha el guion (si el guion dice "gritos de la multitud" aunque no se vea gente, lo pone).
• Luego, mezcla ambos canales como si fuera un DJ, asegurándose de que todo suene natural y en el momento exacto.

5. Los Resultados: ¿Qué conseguimos?

Gracias a esto, los usuarios pueden actuar como directores de sonido reales:

• Puedes decir: "Quiero que el coche suene solo cuando pase por la esquina, no antes".
• Puedes decir: "Quiero que el gato maúlle, pero que luego suene una risa humana aunque no haya nadie en la pantalla".
• La IA obedece al pie de la letra, manteniendo la calidad de sonido original.

En resumen

FoleyDirector es como darle a una IA un reloj y un guion detallado para que deje de adivinar y empiece a actuar como un profesional. Ya no es solo "hacer ruido al ver algo", sino "hacer el ruido correcto, en el momento exacto, incluso si no se ve nada". ¡Es el paso de tener un robot que hace ruido, a tener un director de cine que crea atmósferas!

Resumen técnico

Aquí tienes un resumen técnico detallado del artículo "FoleyDirector: Fine-Grained Temporal Steering for Video-to-Audio Generation via Structured Scripts" en español.

1. Problema Identificado

A pesar de los avances recientes en la generación de video-audio (V2A), los modelos existentes (como HunyuanVideo-Foley o MMAudio) presentan limitaciones críticas en escenarios complejos:

• Control Temporal Fino: Los modelos actuales tratan las descripciones de texto como señales semánticas globales y gruesas. Les resulta difícil controlar con precisión cuándo ocurren eventos de sonido específicos dentro de un intervalo de tiempo determinado (ej. "silencio excepto entre los 5 y 6 segundos").
• Cues Visuales Insuficientes: Cuando el sonido proviene de objetos fuera de cámara, está oculto, es parcialmente visible o proviene de regiones pequeñas, los modelos basados puramente en cues visuales fallan en generar el audio correcto o no pueden controlar su aparición.
• Escenarios Multi-Evento: La generación simultánea de sonidos dentro de la escena (in-frame) y fuera de ella (out-of-frame), o combinaciones contrafactuales (ej. un tigre que maúlla), es difícil de manejar sin que el modelo se confunda o ignore las instrucciones del texto.

2. Metodología Propuesta: FoleyDirector

El autores proponen FoleyDirector, un marco que extiende la capacidad de control temporal de los generadores V2A basados en DiT (Diffusion Transformer), específicamente sobre la arquitectura preentrenada MMAudio. La solución se basa en tres componentes principales:

A. Guiones Temporales Estructurados (Structured Temporal Scripts - STS)

En lugar de usar una descripción global, el método descompone el video en segmentos temporales finos (ej. 1 segundo) y genera un "guion" para cada uno.

• Extracción: Utilizan un modelo multimodal (Qwen-Omni) para analizar el audio y video, identificando eventos de sonido, su ubicación temporal, volumen y timbre.
• Estructura: Cada segmento tiene una etiqueta textual específica (ej. "Sonido de corte, volumen medio" para el segundo 0-1, "Habla humana, volumen alto" para el segundo 1-2). Esto proporciona información temporal rica y semánticamente densa.

B. Módulo de Fusión Temporal Guiado por Guiones (Script-Guided Temporal Fusion Module - SG-TFM)

Para integrar estos guiones sin degradar la calidad del modelo base:

• Atención de Guion Temporal (TSA): Se añade una capa de atención independiente que fusiona las características de los STS con el flujo de audio latente.
• RoPE Interleaved (Interleaved Rotary Positional Embeddings): Para asegurar la alineación temporal precisa entre los tokens de texto (guiones) y las características de audio, se utiliza un mecanismo de codificación de posición entrelazada. Esto permite que el modelo entienda la relación temporal entre los segmentos de texto y los segmentos de audio generados.
• Flexibilidad: El módulo SG-TFM es opcional. Si se desactiva, el modelo vuelve a funcionar como un generador V2A estándar, permitiendo a los usuarios alternar entre generación automática y controlada.

C. Marco de Síntesis de Sonido Bi-Frame (Bi-Frame Sound Synthesis)

Para manejar escenarios complejos donde coexisten sonidos visibles e invisibles:

• Desacoplamiento: El proceso de generación se divide en dos ramas paralelas:
  1. In-Frame: Condicionada por video, texto y guiones (para sonidos visibles).
  2. Out-of-Frame: Condicionada solo por texto y guiones (usando un embedding visual nulo), permitiendo generar sonidos fuera de cámara o contrafactuales sin interferencia visual.
• Fusión: Las salidas de ambas ramas se fusionan según los segmentos temporales definidos en los guiones, permitiendo una renderización flexible y precisa de escenas complejas.

3. Contribuciones Clave

1. Primer Control Temporal Preciso en V2A: Introducen el concepto de usar guiones temporales estructurados para controlar la generación de audio en intervalos específicos, algo no logrado previamente con tanta precisión.
2. Arquitectura Híbrida Flexible: Proponen el módulo SG-TFM y el marco Bi-Frame, que mejoran la controlabilidad sin sacrificar la fidelidad del audio base y permiten el cambio suave entre modos de generación.
3. Nuevos Conjuntos de Datos y Benchmarks:
   • DirectorSound: Un nuevo conjunto de datos anotado con guiones temporales estructurados.
   • DirectorBench: Un benchmark para evaluar el control temporal y contrafactual.
   • VGGSound-Director: Una subsección anotada temporalmente de VGGSound para evaluar la calidad de generación.

4. Resultados Experimentales

Los experimentos demuestran que FoleyDirector supera significativamente a los modelos de última generación (SOTA) como MMAudio, HunyuanVideo-Foley y ThinkSound:

• Controlabilidad (DirectorBench):
  • El puntaje F1 en control temporal aumentó de 0.2572 (Hunyuan-Foley) a 0.4354.
  • El puntaje F1 en control contrafactual aumentó de 0.2331 a 0.5284.
  • Esto indica una capacidad mucho mayor para seguir instrucciones de "cuándo" y "qué" sonido generar.
• Calidad de Audio (VGGSound-Director):
  • El método mantiene la alta fidelidad del modelo base.
  • Mejora la alineación semántica (IB-score) y reduce la divergencia KL y la distancia Fréchet (FD) en comparación con los baselines, indicando que el audio generado es más realista y coherente con el contenido real.
• Estudios de Usuario: Los evaluadores humanos calificaron a FoleyDirector significativamente mejor en calidad, controlabilidad y alineación temporal en comparación con los modelos base.

5. Significado e Impacto

FoleyDirector representa un paso crucial hacia la democratización de la postproducción de sonido en IA generativa.

• Empoderamiento del Usuario: Permite que los usuarios actúen como "directores de Foley", teniendo control creativo sobre el momento exacto y la naturaleza de los sonidos, incluso cuando la información visual es ambigua o insuficiente.
• Avance Técnico: Demuestra que es posible inyectar control temporal de alta granularidad en modelos de difusión sin reentrenar desde cero ni perder la calidad generativa inherente.
• Aplicabilidad: Facilita la creación de narrativas audiovisuales más ricas, permitiendo la inclusión de sonidos fuera de cámara, efectos de sonido específicos en momentos concretos y la corrección de errores de sincronización en videos generados.

En resumen, el trabajo transforma la tarea de Video-audio de una generación pasiva basada en cues visuales a un proceso activo y dirigido por guiones, cerrando la brecha entre la generación automática y la dirección de sonido profesional.