UnityShots: Memory-Driven Multi-Shot Audio-Video Generation with Boundary-Aware Gating

Resumen Técnico: UnityShots

Planteamiento del Problema

La generación de secuencias de audio y video de múltiples tomas coherentes requiere mantener la apariencia del sujeto, el contexto de la escena y la identidad del hablante a través de los límites de cada toma. Los enfoques existentes sufren limitaciones estructurales:

• Los métodos de extremo a extremo (end-to-end) entrenan en secuencias de longitud fija, lo que limita la escalabilidad para la narrativa de larga duración debido a las restricciones de memoria de la GPU.
• Los métodos toma por toma (shot-by-shot) suelen depender de ventanas deslizantes o bancos de fotogramas clave que crecen linealmente con la longitud de la secuencia, lo que provoca una deriva de identidad a medida que la ventana de condicionamiento se aleja de la toma inicial.
• Los métodos orquestados por agentes utilizan planificadores de LLM para encadenar generadores preentrenados, pero los modelos subyacentes carecen de un entrenamiento nativo de coherencia entre tomas, lo que dificulta la propagación de la señal.

Además, los diseños actuales tratan la memoria como una ventana de contexto monolítica, sin distinguir entre los anclajes narrativos a largo plazo (la toma de apertura) y la continuidad local a corto plazo (la cola inmediata precedente). Adicionalmente, ningún modelo existente utiliza conjuntamente señales de frontera visuales y de audio para controlar dinámicamente las actualizaciones de memoria en los cortes de toma.

Metodología

UnityShots es un sistema de generación de audio y video de múltiples tomas impulsado por memoria, construido sobre el transformador de difusión de doble flujo LTX-2.3 de 22B. Introduce un banco de memoria estructurado y mecanismos de compuerta condicionados por fronteras para resolver la coherencia entre tomas.

1. Banco de Memoria de Doble Flujo

El sistema mantiene ranuras de memoria de tamaño fijo tanto para el flujo de video como para el de audio:

• Memoria de Video: Consiste en dos ranuras de tamaño fijo que se actualizan en cada corte:
  • Memoria a Largo Plazo (LTM): Anclada a la toma de apertura ($P_\ell=2$ fotogramas latentes). Preserva la identidad narrativa global. Su contribución está gobernada por un coeficiente basado en reglas que asegura que el ancla nunca se borre por completo, independientemente de la fuerza del corte.
  • Memoria a Corto Plazo (STM): Contiene la cola inmediatamente precedente ($P_v=4$ fotogramas latentes). Captura la dinámica de movimiento local y el estado de la escena. Su peso es refinado por un MLP adaptativo al contenido, condicionado por el contenido de la toma saliente y la entrante.
• Memoria de Audio: En lugar de una ventana deslizante, el sistema inyecta un token de referencia de hablante fijo derivado del audio de referencia ($A_{ref}$) en cada toma. Esto preserva el timbre vocal sin necesidad de mantener un banco de audio deslizante.

2. Compuerta de Memoria Condicionada por Fronteras

Las actualizaciones de memoria son impulsadas por una puntuación de frontera compuesta ($b_N$) que fusiona señales visuales y de audio:
$$b_N = \tau_N \cdot (\alpha s_{vis} + \beta s_{aud} + \gamma s_{beat})$$
Donde $\tau_N$ es un prior de tipo de corte discreto (FIRST, CONTINUE, HARD), $s_{vis}$ es la probabilidad de corte visual, $s_{aud}$ es el cambio de energía RMS, y $s_{beat}$ codifica la posición del pulso (beat).

• Coeficientes de Compuerta: Se derivan dos coeficientes monótonamente crecientes ($g_{ltm}$ y $g_{stm}$) a partir de la puntuación de frontera recortada. El coeficiente de la LTM está estrictamente limitado por encima de cero para evitar la pérdida del ancla, mientras que el coeficiente de la STM se adapta para conectar las fronteras.
• Mecanismo de Actualización: Las ranuras de memoria se actualizan antes de cada paso de eliminación de ruido utilizando una regla de actualización acotada que evita la sobrescritura abrupta del ancla de la toma de apertura.

3. Codificación de Posición Strata-RoPE

Para distinguir entre la toma actual, la STM y la LTM sin tokens de profundidad adicionales, el sistema emplea Strata-RoPE. El eje temporal de RoPE se particiona en tres estratos no superpuestos:

• Toma Actual: $[0, T_v - 1]$
• Banda STM: $[f_{lim} - P_v, f_{lim} - 1]$
• Banda LTM: $[f_{lim} - 2P_v, f_{lim} - P_v - 1]$
  Este diseño permite que el kernel rotatorio atenúe automáticamente las interacciones entre estratos basadas en la distancia.

4. Entrenamiento e Inferencia

• Entrenamiento: El modelo se entrena en 146k clips cinematográficos y videos musicales anotados en dos etapas. La Etapa 1 ajusta el backbone en tomas individuales. La Etapa 2 introduce las ranuras de memoria y la compuerta, entrenando en fragmentos de múltiples tomas ($k \in [3, 9]$) bajo condicionamiento mixto (I2V, T2V, R2V).
• Inferencia: Para cada toma, la STM recibe la cola de la toma anterior, y la LTM se actualiza mediante el mecanismo de compuerta. El backbone realiza la eliminación de ruido de la toma actual condicionado por la identidad de referencia, las ranuras de memoria y el audio de referencia.

Contribuciones Clave

1. Generación de Doble Flujo Impulsada por Memoria: Un backbone entrenado de extremo a extremo con un banco de memoria de video de dos ranuras (LTM/STM) y un ancla de referencia de hablante, permitiendo el control de la fuerza de transición mediante un prior de tipo de corte aprendido a través de AdaLN.
2. Compuerta de Memoria Condicionada por Fronteras: Un mecanismo que actualiza los bancos de memoria en cada corte utilizando una señal de frontera conjunta de audio y video, distinguiendo entre anclajes globales y continuidad local.
3. Benchmark Multicultural de Múltiples Tomas: El lanzamiento de 200 secuencias de múltiples tomas que abarcan seis grupos culturales y diez idiomas, con identidades de referencia, audio y etiquetas de transición por frontera.

Resultados

Evaluado en el benchmark multicultural en los modos I2V, T2V y R2V, UnityShots demuestra un rendimiento superior:

• Coherencia: Lidera a los baselines de código abierto en cada métrica de coherencia entre tomas (Coherencia Narrativa, Historia, Consistencia de Personaje). Por ejemplo, en modo I2V, logra +0.40 en NC y +0.69 en Historia sobre el baseline de código abierto más fuerte.
• Comparación con Sistemas de Código Cerrado: Mientras que sistemas de código cerrado como Kling muestran una alta fidelidad por fotograma, UnityShots iguala o supera su rendimiento en los ejes de múltiples tomas (NC, Historia, Ritmo) y supera significativamente su desempeño en continuidad de audio (AES-A, CLAP) gracias a su ancla de hablante.
• Robustez en Secuencias Largas: Los estudios de ablación confirman que ambos slots de memoria son necesarios. El sistema completo mantiene la consistencia de identidad incluso en secuencias de más de 6 tomas, mientras que las variantes de un solo slot o los baselines sufren de deriva.
• Evaluación Humana: Un estudio de usuario con 32 participantes mostró que UnityShots recibió la preferencia mayoritaria en consistencia de identidad y calidad general frente a todos los baselines de código abierto.

Significado

El artículo postula que tratar la memoria como una ventana monolítica es insuficiente para la generación de larga duración. Al separar explícitamente los anclajes de identidad a largo plazo de la continuidad a corto plazo y controlar sus actualizaciones mediante señales de frontera conjuntas de audio y video, UnityShots proporciona una solución escalable para la generación coherente de múltiples tomas. El trabajo cierra la brecha entre la calidad de la generación de una sola toma y los requisitos estructurales de la narrativa cinematográfica, ofreciendo un sistema compatible tanto con flujos de producción manuales como dirigidos por agentes. El lanzamiento de un benchmark diverso y multicultural tiene como objetivo facilitar la investigación adicional sobre la diversidad demográfica y la coherencia entre tomas.