💻 computer science

Dialogue-Aware Video-to-Music Generation Using Public Domain Film Collections

Para abordar los desafíos de reproducibilidad y derechos de autor en la generación de video a música, este artículo presenta el conjunto de datos reproducible Open Screen Soundtrack Library versión 2 (OSSL-v2) de películas de dominio público y propone un modelo consciente del diálogo que mejora la generación de música mediante la modulación de la atención cruzada de video con el habla en pantalla.

Autores originales: Haven Kim, Zachary Novack, Julian McAuley, Hao-Wen Dong

Publicado 2026-08-13

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Haven Kim, Zachary Novack, Julian McAuley, Hao-Wen Dong

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás viendo una película. Ves a un héroe corriendo a través de una tormenta y, de repente, un trueno retumba mientras una orquesta dramática crece en intensidad. Esa música no es solo ruido de fondo; es el pegamento emocional que mantiene unida la escena, diciéndote cómo sentirte. Durante mucho tiempo, los científicos han intentado enseñar a las computadoras a ser el "compositor" de los videos, creando automáticamente música que coincida con el estado de ánimo de lo que sucede en pantalla. Este campo se llama generación de video a música. Pero hay un gran problema: para enseñarle a una computadora esta habilidad, necesitas miles de ejemplos de películas y sus bandas sonoras perfectas. La mayoría de los investigadores han estado usando listas de enlaces a videos en internet para encontrar estos ejemplos. El problema es que los enlaces de internet son como castillos de arena; la marea entra y los videos son eliminados o bloqueados. Esto significa que los "libros de texto" de los que aprenden las computadoras desaparecen continuamente, haciendo imposible verificar si una computadora es realmente más inteligente que otra. Para solucionar esto, necesitamos una biblioteca de películas que no pueda desaparecer, y una forma de enseñar a la computadora no solo cómo lucen los personajes, sino también qué es lo que están diciendo.

Entran en escena los investigadores de la UC San Diego y la Universidad de Michigan, quienes han construido una biblioteca nueva e inamovible llamada OSSL-v2. Piensa en esto como un cine masivo y autónomo que nadie puede cerrar. En lugar de apuntar a enlaces en internet que podrían pudrirse, descargaron 1,886 películas que pertenecen al dominio público (lo que significa que cualquiera puede usarlas) y las trocearon en 34,343 pequeños clips. Esto suma aproximadamente 246.4 horas de video y música, todos almacenados de forma segura en un solo lugar. Debido a que es autoalojada, no desaparecerá y le otorga a cada investigador un conjunto de datos justo e idéntico para entrenar sus modelos de IA.

Pero el equipo no solo construyó una biblioteca; se dieron cuenta de que a las computadoras les faltaba una pista crucial. En las películas, la música a menudo cambia en el momento en que un personaje comienza a hablar. Si alguien está gritando, la música podría bajar su volumen o detenerse para dejar que la voz se escuche. Los investigadores notaron que en su nueva biblioteca, existe una conexión ligera pero real entre qué tan fuerte es el diálogo y qué tan fuerte es la música. Para usar esto, inventaron un sistema "consciente del diálogo". Imagina que la computadora es un director de orquesta. Antes, el director solo miraba los rostros y movimientos de los actores para decidir cuándo acelerar o ralentizar la orquesta. Ahora, el director tiene un nuevo par de gafas que le permite escuchar las voces de los actores en tiempo real. El sistema toma el sonido del diálogo y lo utiliza para empujar suavemente la generación de música cuadro por cuadro, asegurando que la música respire y haga pausas exactamente cuando los personajes lo hacen.

Cuando probaron este nuevo enfoque en su enorme biblioteca, los resultados fueron prometedores. Compararon su modelo "consciente del diálogo" contra los mejores sistemas existentes. El nuevo método no necesariamente hizo que la música sonara "mejor" en un sentido general (como hacerla más compleja o diversa), pero sí hizo que la música se ajustara mucho más estrechamente al video. Específicamente, las bandas sonoras generadas se volvieron más fieles a las escenas originales de la película, especialmente cuando la computadora tenía que manejar momentos complicados donde el diálogo y la música se superponen. Los investigadores encontraron que esta mejora se mantuvo incluso cuando probaron los modelos en películas comerciales que nunca habían visto, lo que sugiere que escuchar el diálogo ayuda a la IA a entender mejor el ritmo de una escena que simplemente observarla.

El artículo también descartó cuidadosamente algunas posibles trampas. Temían que tal vez la computadora solo estuviera "dependiendo" de la música residual que se filtra en la pista de diálogo (ya que separar el audio no es perfecto). Para comprobarlo, ejecutaron un filtro especial para encontrar clips donde el diálogo estuviera casi completamente libre de cualquier ruido de música. Incluso con estos clips "limpios", el sistema consciente del diálogo seguía funcionando mejor. Esto sugiere que la mejora proviene realmente de la comprensión del habla, y no de escuchar accidentalmente la música. Aunque el sistema aún no es un reemplazo perfecto para los compositores humanos, el estudio sugiere que añadir la voz de los personajes es una forma poderosa de ayudar a las computadoras a escribir música que se sienta verdaderamente conectada con la historia.

Resumen Técnico: Generación de Música a partir de Vídeo con Conciencia de Diálogo utilizando Colecciones de Cine de Dominio Público

Planteamiento del Problema
El campo de la generación de música a partir de vídeo carece de un conjunto de datos común y duradero que sirva como un referente reproducible. El progreso actual se ve obstaculizado por una "brecha de reproducibilidad": la mayoría de los modelos se entrenan en corpus rastreados en la web referenciados mediante URLs (por ejemplo, YouTube, TikTok). Estos conjuntos de datos sufren de "link rot" (degradación de enlaces), donde los vídeos son eliminados o puestos en privado con el tiempo, y están sujetos a limitaciones de tasa de transferencia que hacen que la re-adquisición sea lenta. Además, los conjuntos de datos auto-alojados existentes suelen ser demasiado pequeños (por ejemplo, ~36 horas) para entrenar modelos competitivos. Adicionalmente, los enfoques existentes suelen pasar por alto el diálogo como señal de condicionamiento, a pesar del estrecho acoplamiento temporal entre el habla en pantalla y la música cinematográfica en las producciones profesionales.

Metodología
Los autores proponen un enfoque de dos vertientes: la creación de un nuevo conjunto de datos y una novedosa modificación arquitectónica para la generación con conciencia de diálogo.

Construcción del Conjunto de Datos (OSSL-v2):
Los autores presentan la Open Screen Soundtrack Library versión 2 (OSSL-v2), un corpus auto-alojado derivado de 1.886 películas de dominio público. El conjunto de datos comprende 34.343 clips de vídeo que totalizan 246,4 horas.
- Separación de Fuentes: Se aplica un modelo de separación de fuentes cinematográficas de código abierto para extraer las pistas musicales del audio original.
- Detección de Eventos: Para garantizar una alta calidad, un modelo de detección automática de eventos estima la probabilidad de eventos musicales frente a no musicales. Se seleccionan segmentos donde la probabilidad de música supera la probabilidad de no-música durante al menos 10 segundos consecutivos, con un filtro adicional para excluir segmentos donde la probabilidad de no-música es demasiado alta (umbral > 0,05).
- Resultado: Un conjunto de datos reproducible, consciente de los derechos de autor y libre de degradación de enlaces, adecuado para el entrenamiento y la comparación justa.
Arquitectura de Generación con Conciencia de Diálogo:
Los autores proponen un módulo de condicionamiento por diálogo ligero para ser insertado en los backbones de código abierto de generación de vídeo a música (específicamente VidMuse, GVMGen y Diff-V2M).
- Procesamiento de Señales: La pista de diálogo se aisla mediante separación de fuentes y se codifica a través de una capa convolucional 1-D para producir representaciones acústicas por fotograma (por ejemplo, sonoridad, energía).
- Modulación: Un MLP de dos capas mapea estas representaciones a parámetros de Modulación Lineal por Características (FiLM) ( $\gamma_i, \beta_i$ ). Estos parámetros modulan los vectores de condicionamiento de vídeo fotograma a fotograma: $\tilde{v}_i = (1 + \gamma_i) \odot v_i + \beta_i$ .
- Alineación Temporal: Para asegurar que el modelo respete la sincronía del diálogo respecto a los eventos visuales, los autores modifican los mecanismos de atención cruzada de los backbones. Para modelos como GVMGen que comprimen fotogramas en vectores globales, se restaura un eje temporal añadiendo incrustaciones posicionales aprendidas por fotograma a las salidas del Q-Former y habilitando incrustaciones posicionales sinusoidales fijas en las claves (keys) y valores (values) de la atención cruzada. Esto permite que el diálogo module la señal de condicionamiento de forma fotograma a fotograma.

Contribuciones Clave

Conjunto de Datos OSSL-v2: Un corpus de vídeo-música a gran escala (246,4 horas), auto-alojado y extraído de películas de dominio público. Aborda los problemas de impermanencia y escalabilidad de los conjuntos de datos previos rastreados en la web, permitiendo una investigación reproducible.
Condicionamiento por Diálogo: Una demostración de que el diálogo sirve como una señal de condicionamiento efectiva para la generación de música cinematográfica. El adaptador propuesto integra las características acústicas del diálogo en la vía de condicionamiento de vídeo sin requerir una reestructuración completa del modelo.
Adaptación Arquitectónica: Modificaciones específicas en los mecanismos de atención cruzada en modelos autorregresivos y de difusión para preservar la identidad temporal, permitiendo una modulación alineada temporalmente por el diálogo.

Resultados Experimentales
Los modelos fueron entrenados y evaluados en OSSL-v2 (división 9:1) y en un conjunto de cine comercial fuera de la distribución (OES-Com). Las métricas de evaluación incluyeron fidelidad de distribución (FAD, Precisión, Recall) y fidelidad de par (similitud CLAP, divergencia KL).

Rendimiento de la Línea Base: Entre los modelos de referencia, GVMGen logró el rendimiento general más sólido en el conjunto de prueba de dominio público. Diff-V2M mostró una alta fidelidad de par en datos fuera de la distribución, pero falló en generar muestras que se ajustaran a la distribución real (Precisión = 0,00).
Impacto del Adaptador de Diálogo:
- Fidelidad de Par: El adaptador de diálogo mejoró consistentemente la fidelidad de par (fidelidad semántica a la verdad de referencia), particularmente en la reducción de la divergencia KL y el aumento de la similitud CLAP.
- Generalización: Las mejoras fueron a menudo más pronunciadas en el conjunto fuera de la distribución OES-Com que en el conjunto dentro de la distribución OSSL-v2, lo que sugiere que la señal de diálogo actúa como un regularizador que ayuda a la generalización.
- Fidelidad de Distribución: El adaptador no remodeló sistemáticamente la distribución generada (FAD y Precisión variaron de forma inconsistente).
- Robustez: Estas ganancias persistieron en los subconjuntos de Música de Bajo Residuo (LRM), donde las pistas de diálogo separadas contenían una fuga de música insignificante. Esto confirma que las mejoras son impulsadas por la señal de diálogo en sí misma y no por artefactos de una separación de fuentes imperfecta.

Significancia y Reivindicaciones
El artículo afirma que OSSL-v2 reduce la barrera para la investigación reproducible y la comparación justa en la generación de vídeo a música al proporcionar un referente duradero y auto-alojado. Respecto a la metodología, los autores afirman modestamente que su formulación consciente del diálogo mejora sobre los baselines del estado del arte, particularmente en la fidelidad temporal (similitud con la verdad de referencia) y la generalización a filmes comerciales. Postulan que la incorporación del diálogo como una señal de condicionamiento alineada temporalmente aborda un vacío en la generación actual del dominio cinematográfico, donde la información global a nivel de vídeo por sí sola es insuficiente para capturar las interacciones temporales locales entre el habla y la música. El trabajo no pretende resolver todos los desafíos del campo, sino que identifica el condicionamiento por diálogo como una dirección prometedora para el desarrollo futuro.

Más como este