UnityShots: Memory-Driven Multi-Shot Audio-Video Generation with Boundary-Aware Gating

Resumo Técnico: UnityShots

Declaração do Problema

Gerar sequências de áudio e vídeo de múltiplos cortes coerentes exige a manutenção da aparência do sujeito, do contexto da cena e da identidade do locutor através das fronteiras dos cortes. As abordagens existentes sofrem de limitações estruturais:

• Métodos end-to-end são treinados em sequências de comprimento fixo, o que limita a escalabilidade para narrativas de longa duração devido às restrições de memória da GPU.
• Métodos baseados em cortes (shot-by-shot) frequentemente dependem de janelas deslizantes ou bancos de keyframes que crescem linearmente com o comprimento da sequência, levando ao desvio de identidade à medida que a janela de condicionamento se afasta do plano de abertura.
• Métodos orquestrados por agentes utilizam planejadores LLM para encadear geradores pré-treinados, mas os modelos subjacentes carecem de treinamento nativo de coerência entre cortes, tornando a propagação de sinais difícil.

Além disso, os designs atuais tratam a memória como uma janela de contexto monolítica, falhando em distinguir entre âncoras narrativas de longo prazo (o plano de abertura) e a continuidade local de curto prazo (a cauda imediatamente precedente). Adicionalmente, nenhum modelo existente utiliza conjuntamente sinais de fronteira visuais e de áudio para controlar dinamicamente as atualizações de memória nos cortes de cena.

Metodologia

O UnityShots é um sistema de geração de áudio e vídeo de múltiplos cortes baseado em memória, construído sobre o LTX-2.3 22B dual-stream diffusion transformer. Ele introduz um banco de memória estruturado e mecanismos de portão (gating) condicionados pela fronteira para resolver a coerência entre cortes.

1. Banco de Memória de Fluxo Duplo (Dual-Stream)

O sistema mantém slots de memória de tamanho fixo para ambos os fluxos de vídeo e áudio:

• Memória de Vídeo: Consiste em dois slots de tamanho fixo atualizados a cada corte:
  • Memória de Longo Prazo (LTM): Ancorada ao plano de abertura ($P_\ell=2$ frames latentes). Ela preserva a identidade narrativa global. Sua contribuição é governada por um coeficiente baseado em regras que garante que a âncora nunca seja totalmente apagada, independentemente da força do corte.
  • Memória de Curto Prazo (STM): Mantém a cauda imediatamente precedente ($P_v=4$ frames latentes). Ela captura a dinâmica de movimento local e o estado da cena. Seu peso é refinado por um MLP adaptativo ao conteúdo, condicionado ao conteúdo do plano de saída e do plano de entrada.
• Memória de Áudio: Em vez de uma janela deslizante, o sistema injeta um token de referência de locutor fixo derivado do áudio de referência ($A_{ref}$) em cada corte. Isso preserva o timbre vocal sem a necessidade de manter um banco de áudio deslizante.

2. Portão de Memória Condicionado pela Fronteira

As atualizações de memória são impulsionadas por uma pontuação de fronteira composta ($b_N$) que funde sinais visuais e de áudio:
$$b_N = \tau_N \cdot (\alpha s_{vis} + \beta s_{aud} + \gamma s_{beat})$$
Onde $\tau_N$ é um prior de tipo de corte discreto (FIRST, CONTINUE, HARD), $s_{vis}$ é a probabilidade de corte visual, $s_{aud}$ é a mudança de energia RMS e $s_{beat}$ codifica a posição da batida.

• Coeficientes de Portão (Gating): Dois coeficientes monotonicamente crescentes ($g_{ltm}$ e $g_{stm}$) são derivados da pontuação de fronteira recortada. O coeficiente da LTM é estritamente limitado acima de zero para evitar a perda da âncora, enquanto o coeficiente da STM se adapta para fazer a ponte entre as fronteiras.
• Mecanismo de Atualização: Os slots de memória são atualizados antes de cada passagem de denoising usando uma regra de atualização limitada que evita a sobreposição abrupta da âncora do plano de abertura.

3. Codificação de Posição Strata-RoPE

Para distinguir entre o plano atual, a STM e a LTM sem tokens de profundidade extras, o sistema emprega Strata-RoPE. O eixo temporal do RoPE é particionado em três estratos não sobrepostos:

• Plano Atual: $[0, T_v - 1]$
• Banda STM: $[f_{lim} - P_v, f_{lim} - 1]$
• Banda LTM: $[f_{lim} - 2P_v, f_{lim} - P_v - 1]$
  Este design permite que o kernel rotativo atenue automaticamente as interações entre estratos com base na distância.

4. Treinamento e Inferência

• Treinamento: O modelo é treinado em 146k clipes cinematográficos e de videoclipes anotados em duas etapas. A Etapa 1 faz o fine-tuning do backbone em planos únicos. A Etapa 2 introduz os slots de memória e o portão, treinando em blocos de múltiplos cortes ($k \in [3, 9]$) sob condicionamento misto (I2V, T2V, R2V).
• Inferência: Para cada plano, a STM recebe a cauda do plano anterior, e a LTM é atualizada via mecanismo de portão. O backbone realiza o denoising do plano atual condicionado à identidade de referência, aos slots de memória e ao áudio de referência.

Principais Contribuições

1. Geração de Fluxo Duplo Baseada em Memória: Um backbone end-to-end treinado com um banco de memória de vídeo de dois slots (LTM/STM) e uma âncora de referência de locutor, permitindo o controle da força da transição via um prior de tipo de corte aprendido através de AdaLN.
2. Portão de Memória Condicionado pela Fronteira: Um mecanismo que atualiza os bancos de memória em cada corte usando um sinal de fronteira audiovisual conjunto, distinguindo entre âncoras globais e continuidade local.
3. Benchmark de Múltiplos Cortes e Multicultural: O lançamento de 200 sequências de múltiplos cortes abrangendo seis grupos culturais e dez idiomas, apresentando identidades de referência, áudio e rótulos de transição por fronteira.

Resultados

Avaliado no benchmark multicultural nos modos I2V, T2V e R2V, o UnityShots demonstra desempenho superior:

• Coerência: Lidera as bases de comparação open-source em todas as métricas de coerência entre cortes (Coerência Narrativa, História, Consistência de Personagem). Por exemplo, no modo I2V, alcança +0.40 NC e +0.69 Story sobre a base open-source mais forte.
• Comparação com Sistemas de Código Fechado: Enquanto sistemas de código fechado como o Kling mostram alta fidelidade por frame, o UnityShots iguala ou supera estes em eixos de múltiplos cortes (NC, História, Ritmo) e supera-os significativamente em continuidade de áudio (AES-A, CLAP) devido à sua âncora de locutor.
• Robustez de Sequências Longas: Estudos de ablação confirmam que ambos os slots de memória são necessários. O sistema completo mantém a consistência de identidade mesmo em sequências de mais de 6 cortes, enquanto variantes de slot único ou baselines sofrem com desvio (drift).
• Avaliação Humana: Um estudo de usuário com 32 participantes mostrou que o UnityShots recebeu preferência majoritária por consistência de identidade e qualidade geral contra todas as bases de comparação open-source.

Significância

O artigo postula que tratar a memória como uma janela monolítica é insuficiente para a geração de longa duração. Ao separar explicitamente as âncoras de identidade de longo prazo da continuidade de curto prazo e controlar suas atualizações via sinais de fronteira audiovisual conjuntos, o UnityShots fornece uma solução escalável para a geração coerente de múltiplos cortes. O trabalho preenche a lacuna entre a qualidade de geração de plano único e os requisitos estruturais da narrativa cinematográfica, oferecendo um sistema compatível tanto com pipelines de produção manuais quanto orientados por agentes. O lançamento de um benchmark diverso e multicultural visa facilitar pesquisas futuras sobre diversidade demográfica e coerência entre cortes.