Resumo Técnico: Domando a Geração de Vídeo com Som via Condicionamento e Interação Avançados de Modalidade

Declaração do Problema

O artigo aborda a geração de Vídeo com Som a partir de Texto (Text-to-Sounding-Video - T2SV), a tarefa de sintetizar um vídeo com áudio sincronizado a partir de um único prompt de texto. Embora a geração de Texto-para-Vídeo (T2V) e Texto-para-Áudio (T2A) já estejam maduras, a geração conjunta permanece desafiadora devido a dois gargalos principais:

1. O Problema do Condicionamento: Os métodos de torre dupla existentes frequentemente dependem de uma legenda compartilhada ($T_V = T_A$) para ambas as modalidades. Isso causa interferência semântica, pois atributos visuais (ex: cor) confundem modelos de áudio e descritores auditivos (ex: timbre) distraem modelos de vídeo. Além disso, existe um gap significativo entre treinamento e inferência: os modelos são treinados com legendas densas e detalhadas, mas os usuários fornecem prompts concisos na inferência, levando a mudanças de distribuição e degradação de desempenho.
2. O Problema da Interação: Em arquiteturas de torre dupla, o mecanismo ideal para trocar informações entre os fluxos de vídeo e áudio para alcançar tanto a sincronização semântica quanto a temporal permanece incerto. Estratégias anteriores, como atenção total ou condicionamento unidirecional, frequentemente falham em equilibrar a preservação de características com a fusão cross-modal eficaz.

Metodologia

Os autores propõem o BridgeDiT, um framework que compreende um novo pipeline de legendagem e uma arquitetura de difusão de torre dupla.

1. Framework de Legenda de Referência Cruzada (CRR - Cross-Referential Rewriter)

Para resolver o problema do condicionamento, os autores introduzem um pipeline de agente duplo que gera legendas desvinculadas e puras por modalidade ($T_V$ e $T_A$) a partir de um único input.

• Verificador Semântico ($\mathcal{F}_{sc}$): Este agente faz a referência cruzada de legendas brutas geradas por modelos de linguagem (LLMs) de Vídeo e Áudio separados. Ele extrai Âncoras Semânticas — um conjunto estruturado de atributos fundamentados (entidades, ambiente, ações e sons correspondentes). Crucialmente, ele filtra alucinações e conflitos semânticos (ex: um LLM de áudio alucinando um som sem fonte visual) ao utilizar a descrição visual como uma referência de fundamentação.
• Reescritor Cross-Modal ($\mathcal{F}_{cr}$): Este agente gera legendas densas e desvinculadas estritamente a partir das Âncoras Semânticas verificadas.
  • Treinamento: Converte âncoras fundamentadas em descrições detalhadas e específicas de cada modalidade.
  • Inferência: Expande prompts concisos de usuários em descrições densas que correspondem à distribuição de treinamento, efetivamente preenchendo o gap entre treinamento e inferência sem necessidade de engenharia de prompt complexa por parte do usuário.

2. Arquitetura BridgeDiT com Atenção Cruzada Dupla (DCA - Dual Cross-Attention)

O modelo de geração central é um transformer de difusão de torre dupla consistindo em uma torre de vídeo ($G^V_\theta$) e uma torre de áudio ($G^A_\theta$), conectadas por um módulo de interação leve.

• Atenção Cruzada Dupla (DCA): Os autores propõem a DCA como o mecanismo de interação. Diferente da Atenção Total (que concatena latentes e força um espaço de características compartilhado) ou do condicionamento unidirecional, a DCA emprega fluxos de atenção cruzada simétricos e bidirecionais.
  • No fluxo de Áudio-para-Vídeo (A2V), o latente de vídeo atua como a Query, enquanto o latente de áudio fornece Keys e Values.
  • No fluxo de Vídeo-para-Áudio (V2A), os papéis são invertidos.
• Racional: Este design preserva os distintos manifolds de características dos backbones pré-treinados (que estão majoritariamente congelados) enquanto aprende uma "ponte" leve para troca direcionada de informações. Isso evita a dificuldade de otimização de fundir manifolds disjuntos em um único espaço.

Principais Contribuições

1. Framework de Legenda CRR: Um pipeline de agente duplo que elimina a interferência modal através de Âncoras Semânticas fundamentadas e preenche o gap entre treinamento e inferência via expansão de prompt.
2. Arquitetura BridgeDiT: Um modelo de difusão de torre dupla utilizando Atenção Cruzada Dupla (DCA), identificada através de comparação sistemática como a estratégia de fusão ideal para sistemas de T2SV baseados em backbones pré-treinados.
3. Avaliação Abrangente: Experimentos extensos em três benchmarks (AVSync15, VGGSound-SS, Landscape) demonstrando desempenho estado da arte, suportado por avaliações humanas e estudos de ablação que validam cada componente.

Resultados Experimentais

O modelo foi avaliado em três datasets utilizando métricas para qualidade de geração (FVD, KVD, FAD, KL), alinhamento de texto (CLIPSIM, CLAP) e sincronização (VA-IB, AV-Align).

• Desempenho: O BridgeDiT alcançou resultados estado da arte na maioria das métricas em todos os três benchmarks. Superou significativamente tanto os baselines retreinados (usando as mesmas legendas CRR) quanto os baselines pré-treinados.
• Estudos de Ablação:
  • Condicionamento: Legendas desvinculadas geradas pelo CRR superaram significativamente as legendas compartilhadas. Remover o gargalo da Âncora Semântica ou a expansão de prompt levou a uma degradação severa na qualidade do áudio e na sincronização.
  • Fusão: A DCA superou a Atenção Total, a Fusão Aditiva e a Atenção Cruzada unidirecional. Os autores atribuem isso à capacidade da DCA de manter espaços de características separados enquanto permite interação simétrica, o que é crítico ao utilizar backbones pré-treinados congelados.
• Avaliação Humana: Em um estudo com 20 avaliadores, o BridgeDiT recebeu as pontuações mais altas em Qualidade de Vídeo, Qualidade de Áudio, Alinhamento de Texto, Sincronização e Qualidade Geral, superando todos os baselines, incluindo abordagens de pipeline.

Significância e Alegações

O artigo afirma que a geração de T2SV requer uma mudança fundamental na forma como o texto condiciona as modalidades e como elas interagem.

• Sobre o Condicionamento: Os autores argumentam que a "pureza da modalidade" é essencial; alimentar backbones especializados com legendas compartilhadas introduz ruído que degrada a geração. O framework CRR fornece uma solução robusta ao fundamentar a geração de texto em âncoras semânticas verificadas.
• Sobre a Interação: O estudo desafia a suposição de que a Atenção Total é universalmente ideal para fusão multimodal. Demonstra que, para sistemas que utilizam backbones pré-treinados e congelados, a Atenção Cruzada Dupla é superior porque respeita a natureza disjunta dos manifolds de características pré-treinados, permitindo um treinamento estável e sincronização precisa sem comprometer a qualidade das modalidades individuais.
• Limitações: Os autores observam que a avaliação atual depende de benchmarks de escala relativamente pequena e que o sistema ainda não suporta geração de fala ou música devido à escassez de modelos pré-treinados de código aberto para essas modalidades específicas. Eles sugerem como trabalho futuro o escalonamento de datasets e a exploração de refinamento pós-treinamento via Aprendizado por Reforço com Feedback Humano (RLHF).