Resumo Técnico: Baton – Roteiros Semânticos Explícitos para Geração Conjunta de Vídeo e Áudio

1. Declaração do Problema

Os modelos atuais de geração conjunta de vídeo e áudio de código aberto, embora capazes de produzir conteúdo sincronizado para prompts simples, lutam significativamente com cenários que exigem raciocínio semântico complexo. Esses cenários incluem ações multiestágio, interações intrincadas entre humanos e objetos e diálogos com múltiplos falantes.

A causa raiz dessa falha reside na metodologia predominante: os modelos existentes dependem de embeddings textuais globais grosseiros derivados de codificadores prontos para uso (por exemplo, T5, Qwen) para guiar as trajetórias de remoção de ruído de ambos os ramos de difusão de vídeo e áudio. Essa abordagem sofre de duas limitações críticas:

1. Perda de Semântica de Alta Granularidade: Os embeddings globais falham em decompor instruções complexas em detalhes específicos de modalidade e fundamentados temporalmente.
2. Falta de Planejamento Compartilhado de Longo Alcance: Sem um plano coordenado, as trajetórias de remoção de ruído de vídeo e áudio divergem, levando a dinâmicas adversariais. Isso resulta em grave desalinhamento cross-modal, distorção corporal e incapacidade de manter a consistência do sujeito ou sincronizar ações específicas (por exemplo, um soco atingindo com um efeito sonoro) ao longo de longas durações.

Embora algumas obras recentes tentem enriquecer prompts usando Modelos de Linguagem de Grande Escala (LLMs), elas ainda injetam as representações resultantes como embeddings globais, falhando em abordar o desalinhamento estrutural entre a intenção semântica e o processo de geração espaço-temporal.

2. Metodologia: Baton

O Baton propõe um framework que explicitamente desconecta o raciocínio semântico da síntese. Em vez de depender exclusivamente de embeddings globais, o Baton introduz uma fase de "planejamento" que gera roteiros explícitos e conscientes da modalidade antes do início do processo de difusão. A arquitetura consiste em três componentes principais:

2.1 VA-Planner (Planejador de Vídeo-Áudio)

A inovação central é o VA-Planner, um Modelo de Linguagem Multimodal (MLLM) treinável equipado com torres de alinhamento semântico duplo.

• Entrada: O planejador recebe um prompt estruturado contendo instruções do sistema, descrições de vídeo e descrições de áudio.
• Raciocínio: Ele realiza raciocínio autoregressivo para prever um par de tokens planejados: um conjunto para vídeo ($H_v$) e outro para áudio ($H_a$). Esses tokens servem como roteiros no nível de quadros-chave.
• Torres de Alinhamento Duplo: Para garantir consistência cross-modal, o planejador usa duas torres com consultas aprendíveis.
  • A torre de vídeo extrai semânticas específicas de vídeo dos estados ocultos do MLLM e, em seguida, realiza atenção cross-modal para absorver pistas auditivas complementares.
  • A torre de áudio realiza a operação simétrica.
  • Essa atenção bidirecional garante que o plano de vídeo esteja ciente do contexto de áudio e vice-versa, produzindo roteiros temporais mutuamente consistentes.
• Projeção de Recursos: Os tokens planejados são projetados nos domínios de recursos contínuos de codificadores perceptivos pré-treinados (SigLip2 para vídeo, WavTokenizer para áudio) para servir como guias semânticos de alta fidelidade.

2.2 RoPE Semântico Relativo (RS-RoPE)

Um desafio significativo surge porque os tokens planejados (gerados em uma resolução esparsa de quadros-chave) e os latentes de difusão (gerados em uma grade espaço-temporal densa) não compartilham uma correspondência um para um. Codificações posicionais padrão falham aqui, fazendo com que o modelo de difusão trate o plano estruturado como um sinal global vago.

O Baton introduz o RoPE Semântico Relativo, um mecanismo de codificação posicional relativa que:

• Mapeia os tokens planejados e os latentes de difusão para um quadro de coordenadas espaço-temporal compartilhado.
• Redimensiona os índices de posição com base no tempo físico e na localização espacial que representam.
• Permite que cada latent de difusão atenda com precisão à sua pista semântica correspondente posicionalmente, preservando a estrutura de nível de quadro-chave do roteiro em vez de achatá-la.

2.3 Estratégia de Treinamento

O Baton emprega um currículo de treinamento em três etapas para garantir robustez:

1. Pré-treinamento do VA-Planner: O MLLM e as torres de alinhamento são treinados para prever recursos perceptivos contínuos (a partir de SigLip2 e WavTokenizer congelados) com base em prompts de texto. Isso ensina o planejador a gerar roteiros semânticos precisos.
2. Adaptação do DiT: O Transformer de Difusão (DiT) é treinado usando recursos perceptivos verdadeiros (ground-truth) (contornando o planejador) para aprender a distribuição de recursos semânticos sem ser confundido pelo ruído de previsão do planejador.
3. Ajuste Fino Conjunto: O VA-Planner é congelado e o DiT é ajustado finamente usando os tokens previstos pelo planejador. Esta etapa preenche a lacuna entre recursos verdadeiros ideais e previsões realistas do planejador, mitigando o viés de exposição.

3. Contribuições Principais

1. VA-Planner: O primeiro framework a introduzir planejamento semântico explícito para geração conjunta de vídeo e áudio. Ele gera tokens planejados de vídeo e áudio semanticamente alinhados que atuam como roteiros no nível de quadros-chave, ancorando ambas as trajetórias de remoção de ruído a um roteiro compartilhado.
2. RoPE Semântico Relativo: Uma codificação posicional inovadora que resolve o descompasso espaço-temporal entre planos semânticos esparsos e latentes de difusão densos, permitindo atenção cross-modal precisa.
3. Desconexão entre Raciocínio e Síntese: Ao separar a fase de planejamento semântico da fase de geração, o Baton previne o desvio adversarial observado em modelos que dependem exclusivamente de embeddings globais.

4. Resultados Experimentais

Os autores avaliaram o Baton no Verse-Bench (benchmarks padrão de código aberto) e no Sem100 (um conjunto de dados personalizado de 100 vídeos não vistos com prompts complexos e multiestágio que exigem raciocínio semântico profundo).

• Desempenho Quantitativo:

  • No Verse-Bench, o Baton alcança resultados comparáveis ao modelo de última geração (SOTA) LTX-2.
  • No Sem100, o Baton supera significativamente todos os concorrentes de código aberto. Ele mostra uma melhoria de 32% na Precisão de Seguimento de Prompt (P-Acc), uma redução de 76% na Taxa de Erro de Palavras para Múltiplos Falantes (M-WER) e uma redução de 30% na Dessincronização (DeSync) em comparação com o LTX-2.
  • As melhorias em M-WER e P-Acc destacam a capacidade superior do modelo de lidar com diálogos de múltiplos falantes e ações sequenciais complexas.

• Desempenho Qualitativo:

  • Comparações visuais demonstram que o Baton produz conteúdo de vídeo-áudio estável com consistência correta do sujeito e ações sincronizadas, enquanto concorrentes (Ovi, UniAVGen, LTX-2, MOVA) sofrem de distorção corporal, desaparecimento de objetos e dessincronização de áudio-vídeo em cenários complexos.
  • Em estudos com usuários, o Baton foi preferido aos concorrentes quanto ao alinhamento de vídeo/áudio, consistência de identidade e sincronização.

• Comparação com Modelos Comerciais:

  • Embora modelos comerciais (por exemplo, Veo 3, Seedance 2.0) possam exibir maior fidelidade visual ou estética de áudio, o Baton alcança capacidades de seguimento de prompt comparáveis, particularmente em cenários que exigem raciocínio semântico complexo, onde modelos comerciais às vezes falham em seguir instruções multiestágio com precisão.

5. Significado e Alegações

O artigo afirma que o Baton é o primeiro framework a explicitamente desconectar o planejamento semântico da síntese para geração conjunta de vídeo e áudio. Seu significado reside em abordar a limitação fundamental dos modelos de difusão atuais: a incapacidade de manter coerência cross-modal ao longo de longos horizontes sem um roteiro semântico compartilhado e pré-alinhado.

Ao introduzir roteiros semânticos explícitos e um mecanismo para alinhá-los com latentes de difusão (RS-RoPE), o Baton transforma a geração de "remoção de ruído cega sob sinais globais vagos" para "seguir um plano fundamentado semanticamente e coordenado cross-modalmente". Isso permite que o modelo sintetize conteúdo de vídeo-áudio estável e sincronizado, mesmo para prompts envolvendo relações causais complexas, ações multiestágio e interações de múltiplos falantes, estabelecendo um novo padrão para geração conjunta de vídeo e áudio de código aberto.