Resumen Técnico: EchoFoley y EchoVidia

1. Planteamiento del Problema

Los modelos actuales de generación de Vídeo-a-Audio (VT2A), a pesar de los avances recientes, sufren tres limitaciones críticas que dificultan el control creativo detallado:

1. Dominancia Visual: Existe un desequilibrio entre el condicionamiento visual y el textual, donde los modelos dependen excesivamente de las pistas visuales e ignoran con frecuencia las instrucciones textuales específicas.
2. Falta de Definición Granular: Los enfoques existentes carecen de una definición concreta para controlar eventos sonoros específicos. Las instrucciones suelen ser toscas (por ejemplo, etiquetas categóricas como "gato maullando") en lugar de especificar qué evento modificar, cuándo ocurre o cómo cambian sus atributos (tono, volumen, timbre).
3. Débil Seguimiento de Instrucciones: Los conjuntos de datos actuales dependen de etiquetas breves, lo que conduce a un cumplimiento deficiente de instrucciones complejas y de múltiples pasos (por ejemplo, "cambia el segundo maullido por un rugido de león" o "haz que todos los sonidos precedentes sean más fuertes").

Los autores argumentan que la narrativa creativa requiere la capacidad de manipular el sonido al nivel del evento (desentrelzando sonidos específicos) en lugar de solo al nivel del vídeo, permitiendo operaciones como la inserción, edición y modificación de atributos de eventos sonoros específicos.

2. Metodología

A. Formulación de la Tarea: EchoFoley

El artículo introduce EchoFoley (Control Jerárquico Centrado en Eventos), una nueva tarea para la generación de sonido fundamentada en vídeo.

• Representación Simbólica: La innovación central es una representación de tupla estructurada para los eventos sonoros: $e = (t, d, p)$.
  • $t = (t_{inicio}, t_{fin})$: Ubicación temporal.
  • $d$: Descripción semántica (sujeto, acción, objeto).
  • $p$: Propiedades de audio controlables (timbre, tono, intensidad, espacialización).
• Control Jerárquico: La tarea se organiza en tres niveles:
  • Nivel de Instancia: Control de eventos individuales (por ejemplo, "cambia el segundo maullido").
  • Nivel de Grupo: Coordinación de eventos relacionados (por ejemplo, "transforma todos los maullidos").
  • Nivel de Vídeo: Moldeado del perfil acústico general.
• Tipos de Control: Temporal (cuándo/duración), Timbre (qué/identidad) y Volumen (qué tan fuerte/distante).

B. Benchmark: EchoFoley-6k

Para respaldar esta tarea, los autores construyeron EchoFoley-6k, un benchmark a gran escala curado por expertos.

• Escala: 6,018 tríos de vídeo–instrucción–anotación y 42,000 anotaciones de eventos sonoros de grano fino.
• Pipeline de Curación: Los vídeos se muestrean de VGGSound y PE Video Dataset. El proceso implica filtrado de movimiento, subtitulado de fotogramas, propuesta de historia basada en LLM y una rigurosa modificación humana para refinar los límites temporales y los atributos auditivos.
• Suite de Evaluación: Incluye métricas automáticas (IoU Temporal, similitud CLAP para el timbre, sonoridad relativa para el volumen) y evaluación humana (Adherencia a la Instrucción, Coherencia Audio-Visual, Calidad Perceptual).

C. Marco Propuesto: EchoVidia

Para abordar las limitaciones de los modelos existentes, los autores proponen EchoVidia, un marco agéntico libre de entrenamiento que presenta una Estrategia de Pensamiento Lento-Rápido (Slow-Fast Thinking).

• Pensamiento Lento-Rápido: Inspirado en la cognición de doble proceso:
  • Pensamiento Rápido: Analiza el vídeo a 1 fps para capturar la estructura de alto nivel.
  • Pensamiento Lento: Analiza el vídeo a 16 fps (temporalmente estirado) para realizar un razonamiento detallado para la localización precisa de eventos e inferencia de atributos.
• Arquitectura Agéntica: El marco consta de tres etapas:
  1. Razonamiento: Un agente basado en VideoLLM identifica los eventos sonoros y estima la temporización.
  2. Diseño: El agente construye y refina iterativamente un plan de eventos simbólico utilizando un "pool de acciones" de 12 operaciones atómicas (razonamiento visual, diseño de sonido, generación).
  3. Síntesis: La representación simbólica finalizada se pasa a un módulo de generación de sonido para renderizar el audio condicionado tanto por el contexto visual como por el textual.

3. Contribuciones Clave

1. Tarea EchoFoley: Un nuevo paradigma para el control jerárquico centrado en eventos en la generación de sonido fundamentada en vídeo, definido por una representación simbólica que especifica cuándo, qué y cómo se producen los sonidos.
2. Benchmark EchoFoley-6k: Un conjunto de datos densamente anotado de más de 6,000 tríos y más de 42,000 eventos, acompañado de una suite de evaluación sistemática para la controlabilidad y la calidad.
3. Marco EchoVidia: Un marco agéntico de pensamiento lento-rápido, libre de entrenamiento, que mejora significativamente la controlabilidad, la alineación semántica y la calidad perceptual sobre las bases de comparación (baselines) recientes de VT2A.

4. Resultados Experimentales

Evaluado en EchoFoley-6k frente a 8 modelos recientes de VT2A (incluyendo MMAudio, ThinkSound y HunyuanVideo-Foley):

• Controlabilidad: EchoVidia supera al baseline más fuerte en controlabilidad en un 40.7%.
  • Control Temporal: 0.72 (frente a ~0.43 del baseline).
  • Control de Timbre: 0.78 (frente a ~0.48 del baseline).
  • Control de Volumen: 0.75 (frente a ~0.69 del baseline).
• Calidad Perceptual: EchoVidia logra una mejora del 12.5% en las puntuaciones de calidad perceptual.
• Adherencia a la Instrucción: La evaluación humana muestra que EchoVidia alcanza 3.80/5.0 en Adherencia a la Instrucción, significativamente superior a los baselines (que a menudo puntúan <2.60), eliminando eficazmente el "Sesgo de Dominancia Visual" donde los modelos ignoran las instrucciones de texto.
• Conciencia de Eventos: La estrategia de Pensamiento Lento-Rápido (SF) aumenta significativamente la detección y localización de eventos sonoros. Por ejemplo, en el modelo Gemini-2.5 Pro, SF aumentó el Recall de 0.66 a 0.83 y el IoU para la localización de 0.51 a 0.84.

5. Significado y Reivindicaciones

El artículo afirma que EchoFoley y EchoVidia representan un cambio de la instrucción tosca a nivel de vídeo hacia un control de nivel de evento de grano fino. Al introducir una representación simbólica y una estrategia de razonamiento lento-rápido, el trabajo permite:

• Control Desentrelazado: La capacidad de aislar y modificar sonidos específicos dentro de una escena compleja sin afectar a otros.
• Seguimiento Fiel de Instrucciones: Una reducción de la dominancia visual, permitiendo que los modelos ejecuten ediciones complejas de múltiples atributos (por ejemplo, cambiar el tono, el volumen y el tiempo simultáneamente) según lo solicitado por el usuario.
• Narrativa Creativa: El marco soporta la síntesis de "imaginación con forma de historia", donde el sonido no es solo una capa de fondo, sino un elemento narrativo activo que puede editarse para alterar la historia percibida (por ejemplo, convertir el maullido de un gato en el rugido de un león para crear una narrativa mágica).

Los autores posicionan este trabajo como un paso hacia una "inteligencia generativa omnimodal" capaz de comprender y recrear la riqueza multimodal del mundo real con alta fidelidad y controlabilidad.