JenBridge: Adaptive Long-Form Video Soundtracking across Scene Transitions

JenBridge es un marco modular y novedoso que aprovecha un modelo generativo basado en Transformers y un agente director impulsado por un LLM para producir bandas sonoras de video de larga duración y alta fidelidad con transiciones naturales y narrativamente coherentes a través de los cambios de escena, validadas por el recién propuesto LVS Benchmark.

Lo esencial

Imagina que eres un director de cine, pero en lugar de contratar a un compositor para que escriba la banda sonora de tu película, tienes a un asistente robot muy inteligente y automatizado. Tu película es larga, llena de diferentes escenas que saltan de un bosque tranquilo a una persecución de coches a alta velocidad, y luego a una despedida triste.

El problema con las herramientas de música por IA actuales es que son como un músico que solo sabe tocar una canción a la vez. Si le pides que musicalice toda una película, podría reproducir una melodía alegre para el bosque, luego cambiar abruptamente a una canción de heavy metal para la persecución de coches, dejando un desastre discordante y fragmentado. No saben cómo conectar el vacío entre las escenas.

JenBridge es un nuevo sistema diseñado para solucionar esto. Piensa en él como un "constructor de puentes musicales" que puede manejar una película entera, asegurando que la música fluya naturalmente incluso cuando las escenas visuales cambian drásticamente.

Así es como funciona, dividido en tres sencillos pasos:

1. El Editor: Cortar la película en escenas

Primero, JenBridge actúa como un editor de cine. Observa tu video largo y lo corta automáticamente en trozos lógicos (escenas). No corta de forma aleatoria; busca dónde cambia la historia, como cuando un personaje sale de una habitación o el clima cambia.

2. El Compositor: Escribir música para cada escena

Después, para cada pequeño fragmento de video, JenBridge tiene un "Compositor" de IA. Este compositor es muy talentoso. Observa el clip de video y se pregunta: "¿Qué tipo de música encaja con esto?".

• Utiliza un traductor especial (llamado VMPT) para convertir una descripción del video (por ejemplo, "un robot triste bajo la lluvia") en una receta musical (por ejemplo, "piano lento y triste, clave menor").
• Luego genera una pieza musical de alta calidad específicamente para esa escena.

3. El Director: El "pegamento" entre escenas

Este es el punto más importante. En el pasado, si tenías dos canciones diferentes, simplemente las pegabas una tras otra, lo cual suena terrible. JenBridge tiene un Director (un agente de IA que actúa como un director de cine humano) que decide cómo conectar las canciones.

El Director tiene un "maletín de herramientas" con cuatro formas de conectar las escenas:

• El Corte Seco (Hard Cut): Si la escena cambia de una playa tranquila a una explosión repentina, el Director detiene la música de golpe y comienza la nueva canción inmediatamente. Es como un "latigazo" en la historia.
• El Silencio: Si un personaje está en estado de shock, el Director podría cortar la música hacia un silencio absoluto por un momento para dejar que la tensión crezca.
• El Desvanecimiento (Fade): Si dos escenas son similares (como un café matutino que se convierte en un paseo matutino), el Director desvanece suavemente una canción mientras desvanece la entrada de la otra.
• El Puente (El Truco de Magia): Si la historia pasa de "triste" a "esperanzadora", el Director no solo cambia de canción. Utiliza una IA especial para componer un nuevo puente musical que transforme suavemente la canción triste en la esperanzadora. Es como un traductor musical que habla ambos lenguajes y crea una frase que las conecta perfectamente.

El Director es lo suficientemente inteligente como para observar la historia y decir: "Bien, esta escena necesita un corte seco, pero la siguiente necesita un puente suave". Toma estas decisiones de forma inteligente, tal como lo haría un director humano.

Cómo lo probaron

Los creadores se dieron cuenta de que nadie había probado adecuadamente si una IA podía hacer esto para películas largas. Así que construyeron un nuevo "examen" llamado LVS Benchmark.

• Tomaron 120 tráilers de películas (que están llenos de cambios rápidos de escena).
• Le pidieron a JenBridge y a varios otros sistemas de IA que los musicalizaran.
• Pidieron a oyentes humanos que calificaran los resultados.

El Resultado: JenBridge ganó por goleada. Los oyentes humanos dijeron que la música sonaba mucho más natural, las transiciones eran más fluidas y toda la película se sentía como una historia única y cohesiva, en lugar de un montón de canciones aleatorias pegadas.

En Resumen

JenBridge es un sistema que no solo hace música para clips de video; entiende la historia. Descompone el video, escribe música personalizada para cada parte y luego utiliza un "Director" inteligente para decidir exactamente cómo conectar esas partes para que la música fluya tan naturalmente como la propia película. Este es un paso hacia una IA que puede actuar como un verdadero compañero creativo para la creación de películas.

Resumen técnico

Resumen Técnico: JenBridge

Declaración del Problema

Los sistemas actuales de generación de música por IA, particularmente aquellos que avanzan en la síntesis de texto a música (T2M), sobresalen en la creación de audio de alta fidelidad para clips cortos y aislados. Sin embargo, enfrentan limitaciones críticas cuando se aplican a contenido de video de larga duración caracterizado por transiciones de escena dinámicas. Los enfoques de video a música (V2M) existentes suelen tratar los videos como segmentos monolíticos, generando una única pieza de música que carece de mecanismos para gestionar los cambios semánticos entre escenas. Esto resulta en una falta de continuidad narrativa y una incapacidad para proporcionar control creativo sobre los pasos intermedios o la naturalidad de las transiciones, lo que los hace poco prácticos para la banda sonora de videos profesionales de larga duración.

Metodología

Los autores proponen JenBridge, un marco modular e interpretable diseñado para la banda sonora adaptativa de videos de larga duración. El sistema opera a través de un flujo de trabajo de tres etapas:

1. Segmentación Semántica de Video

El video de entrada se particiona en una secuencia temporalmente ordenada de clips semánticamente coherentes ($V_1, V_2, \dots, V_K$) utilizando PySceneDetect. Este preprocesamiento permite al marco manejar videos de duración arbitraria al operar sobre segmentos manejables.

2. Generación de Música con Conciencia de Video Progresiva

El modelo generativo central sigue un paradigma de entrenamiento de dos etapas para lograr una síntesis de alta fidelidad y un alineamiento transmodal preciso:

• Etapa 1 (Base de Texto a Música): Un modelo fundacional se preentrena en corpus de texto-audio a gran escala. Utiliza un códec de audio neuronal preentrenado (Encodec) para codificar formas de onda crudas en un espacio latente. La arquitectura generativa principal es un Transformador de Difusión Multimodal (MMDiT) entrenado con un objetivo de flujo de coincidencia (flow-matching). El mecanismo de condicionamiento emplea una arquitectura de texto de múltiples codificadores (T5-large y T5-base) para generar incrustaciones de secuencia ($y$) e incrustaciones de agrupación global ($c$) a partir de prompts descriptivos y de atributos (género, instrumento, estado de ánimo).
• Etapa 2 (Adaptación con Conciencia de Video): El modelo se adapta al dominio del video mediante un condicionamiento dual.
  • Condicionamiento Visual: Un codificador visual dedicado (SigLIP) extrae características a nivel de fotograma, las cuales se promedian mediante average-pooling para formar un vector de características visuales globales. Este se concatena con la incrustación de texto para formar una condición global fusionada ($c_{fused}$).
  • Traductor de Prompts de Música de Video a Música (VMPT): Para abordar la falta de prompts musicales estructurados en los conjuntos de datos de video, un LLM ajustado (Qwen3-8B) traduce descripciones de video crudas en prompts musicales estructurados que contienen metadatos (género, instrumento, estado de ánimo, BPM).
  • El modelo se entrena para predecir un campo vectorial de verdad de terreno basado en estas condiciones fusionadas.

3. Mecanismo de Transición Adaptativa

Para conectar los clips de audio generados ($A_1, \dots, A_K$) de manera fluida, JenBridge emplea un sistema de transición adaptativa que consta de:

• Kit de Herramientas de Transición: Un conjunto versátil de cuatro estilos: Corte Abrupto (Abrupt Cut), Brecha de Silencio (Silent Gap), Fade In/Out y una Transición Generativa. La transición generativa utiliza un modelo de inpainting basado en ControlNet entrenado para sintetizar un puente musical entre dos segmentos de audio distintos. Este modelo es guiado por condiciones creadas mediante interpolación esférica lineal (slerp) de las incrustaciones de texto e incrustaciones latentes por bloques.
• Agente LLM como Director: Un agente LLM (Qwen3-8B) actúa como director creativo. Dado el contexto visual y musical de los clips adyacentes, el agente utiliza el aprendizaje en contexto de pocos disparos (few-shot in-context learning) para seleccionar inteligentemente el estilo de transición más apropiado del kit de herramientas para cada cambio narrativo.

Contribuciones Clave

1. Marco JenBridge: Un marco de extremo a extremo y modular para la banda sonora de videos de larga duración que produce música coherente y de alta fidelidad a través de diversas transiciones de escena. Su arquitectura está diseñada para ser interpretable y controlable.
2. Mecanismo de Transición Adaptativa: Un sistema novedoso que combina un kit versátil de estilos de transición (incluyendo un método de inpainting generativo) con un agente LLM que realiza elecciones creativas conscientes del contexto para dirigir las transiciones.
3. Benchmark LVS: La introducción del Benchmark de Banda Sonora de Video de Larga Duración (LVS), el primer benchmark diseñado específicamente para esta tarea. Incluye un conjunto de datos curado de 120 videos de tráileres de larga duración con ricas anotaciones multimodales y propone un protocolo de evaluación holístico que va más allá de las simples métricas basadas en segmentos para evaluar la calidad de la transición y la coherencia narrativa.

Resultados Experimentales

Los autores evaluaron JenBridge en el Benchmark LVS contra seis enfoques de referencia (incluyendo CMT, LORIS, AudioX y VidMuse en diversas configuraciones).

• Métricas Objetivas: JenBridge alcanzó un rendimiento de vanguardia (state-of-the-art), superando significativamente a las bases de referencia en alineación de video-música (Puntuación ImageBind: 0.224 frente a 0.162 de la siguiente mejor) y estética de audio. Notablemente, obtuvo la puntuación más alta en Complejidad de Producción (PC), lo que indica una estructura musical más rica en comparación con la simple concatenación o la generación monolítica de las bases de referencia.
• Métricas Subjetivas: En un estudio de usuario con 10 participantes, JenBridge recibió las calificaciones más altas en todas las dimensiones. La mejora más significativa fue en la Naturalidad de la Transición (4.2 frente a 2.5 de la mejor base de referencia), validando la efectividad del mecanismo de transición adaptativa.
• Estudios de Ablación: Eliminar el mecanismo de transición adaptativa causó una caída catastrófica en las puntuaciones de transición (de 4.2 a 2.8), confirmando su papel crítico. Deshabilitar el condicionamiento visual o el VMPT también provocó una degradación significativa del rendimiento en todas las métricas.

Significado y Reivindicaciones

El artículo afirma que JenBridge representa un paso significativo hacia la banda sonora de video de calidad profesional y totalmente automatizada. Al abordar la brecha crítica de mantener la continuidad narrativa a través de las transiciones de escena, el marco cierra la división entre la generación automatizada y los flujos de trabajo creativos requeridos para el contenido de larga duración. Los autores posicionan a JenBridge no como un reemplazo para los creadores humanos, sino como una herramienta colaborativa para empoderarlos.

El trabajo también destaca la importancia del Benchmark LVS para establecer estándares de evaluación rigurosos para la generación de larga duración, yendo más allá de las limitaciones de los conjuntos de datos de clips cortos existentes. Aunque reconocen las limitaciones respecto a la fidelidad de los conjuntos de datos públicos de video-música y la falta de planificación narrativa global en el agente LLM actual, los autores afirman que el marco proporciona una base robusta para futuros avances en herramientas de IA colaborativas para la producción de video.