Resumo Técnico: NAVA - Alinhamento Nativo Áudio-Visual para Geração

Declaração do Problema

A geração conjunta de áudio e vídeo visa sintetizar conteúdo visual-acústico semanticamente coerente e temporalmente sincronizado. Embora sistemas comerciais (por exemplo, Seedance, Kling, Veo) tenham demonstrado potencial, suas arquiteturas permanecem proprietárias. A pesquisa de código aberto seguiu majoritariamente dois paradigmas, ambos exibindo limitações significativas:

1. Designs de Dupla Torre: Esses métodos geram áudio e vídeo em fluxos separados, introduzindo interação cross-modal apenas através de módulos de alinhamento em estágio tardio. Esse "alinhamento posterior" enfraquece a co-evolução de alta granularidade entre áudio e vídeo, tornando a sincronização dependente de módulos auxiliares em vez de uma representação generativa unificada.
2. Designs Tri-Modais Totalmente Unificados: Essas abordagens misturam contexto textual, áudio e tokens de vídeo em um único espaço de atenção compartilhado. Embora permitam interação direta, esse design acopla o condicionamento semântico de alto nível com a sincronização áudio-visual de baixo nível. Consequentemente, o guia semântico e o alinhamento temporal são otimizados no mesmo espaço, potencialmente impedindo a formação de uma estrutura de sincronização dedicada.

O desafio central é alcançar correspondência precisa ao nível de eventos e consistência temporal sem sacrificar a controlabilidade semântica ou exigir contagens massivas de parâmetros.

Metodologia: Framework NAVA

Os autores propõem o NAVA (Alinhamento Nativo Áudio-Visual), um framework que desacopla a sincronização áudio-visual do condicionamento de contexto externo. A filosofia central é estabelecer primeiro a correspondência áudio-vídeo em um espaço de interação dedicado e subsequentemente usar o contexto externo para condicionar o processo conjunto de remoção de ruído.

1. Formulação: Alinhamento Nativo Condicionado por Contexto

Diferentemente dos métodos de dupla torre (que alinham após a geração separada) ou dos métodos totalmente unificados (que misturam todos os tokens), o NAVA separa os papéis de sincronização e condicionamento:

• Sincronização Nativa: Tokens de áudio ($h_a$) e vídeo ($h_v$) interagem via auto-atenção em um espaço dedicado sem tokens de contexto: $[h'_a, h'_v] = \text{SelfAttn}([h_a, h_v])$. Isso permite que padrões acústicos e dinâmicas visuais co-evoluam.
• Condicionamento Externo: Tokens de contexto ($c$), incluindo texto e pistas de timbre, são injetados via cross-atenção após o alinhamento inicial: $[\tilde{h}_a, \tilde{h}_v] = \text{CrossAttn}([h'_a, h'_v], c)$.

2. Arquitetura: MMDiT Unir-Fusion (Alinhar-Então-Fundir)

O NAVA é instanciado usando um Transformer de Difusão Multimodal Modificado (MMDiT) com um design progressivo:

• Camadas de Alinhamento Hierárquico (Iniciais): Os primeiros 10 blocos usam Projeções de Alinhamento Desacopladas por Modalidade. Como áudio e vídeo diferem em estrutura espaço-temporal e taxas de tokens, essas camadas mapeiam tokens heterogêneos em um espaço de interação compartilhado usando projeções específicas da modalidade antes de aplicar auto-atenção conjunta. Isso estabiliza a aprendizagem de correspondência em estágio inicial.
  • Tratamento de Taxa de Tokens: Os embeddings posicionais rotacionais de áudio são reescalados ($\theta_{rope} = TR_v / TR_a$) para alinhar coordenadas temporais com tokens de vídeo.
• Camadas de Fusão Unificada (Tardias): Os 20 blocos restantes usam Projeções Unificadas Compartilhadas por Modalidade. Uma vez estabelecida a correspondência, tokens de áudio e vídeo compartilham parâmetros de geração para encorajar uma remoção de ruído colaborativa compacta. O contexto permanece externo via cross-atenção para modular a trajetória sem interromper a sincronização aprendida.

3. Condicionamento de Timbre no Contexto

Para alcançar timbre de fala controlável (por exemplo, diálogo multi-falante), o NAVA introduz um mecanismo que vincula pistas de timbre de referência a segmentos de fala específicos dentro da estrutura do prompt.

• Embeddings de timbre de referência são extraídos e tratados como tokens de contexto.
• Esses tokens são inseridos diretamente na sequência de prompt textual correspondente a segmentos de fala específicos (por exemplo, $\langle S \rangle, s_i, \text{Text}(S_i), \langle E \rangle$).
• Isso permite vinculação flexível de conteúdo-timbre sem ramificações de controle de falante auxiliares ou modificações na espinha dorsal.

4. Treinamento e Inferência

• Treinamento Multi-Tarefa Progressivo: O modelo é treinado em três estágios: (1) Dados apenas de áudio e dados pareados para inicializar caminhos de áudio; (2) Áudio de alta qualidade e dados completos de áudio-visual para melhorar fidelidade e sincronização; (3) Ajuste fino em dados curados para seguimento de instruções e controle complexo.
• Dropout Estruturado: Mascaramento aleatório de atenção cross-modal e descarte de tokens de timbre são usados para criar caminhos condicionais/sem condicionamento pareados para orientação.
• Orientação Livre de Classificador Fatorada por Condição (CFG): Durante a inferência, três direções de orientação distintas são computadas e combinadas:
  • $\Delta_{text}$: Adesão ao texto.
  • $\Delta_{align}$: Sincronização áudio-visual (mascarando cross-atenção áudio-vídeo).
  • $\Delta_{timbre}$: Preservação de timbre (descartando tokens de timbre).
    Isso permite controle independente sobre sincronização e timbre sem retreinamento.

Contribuições Principais

1. Framework NAVA: Uma abordagem de Alinhamento Nativo Áudio-Visual que formula a geração conjunta como alinhamento condicionado por contexto, permitindo modelagem precisa de correspondência ao nível de eventos com backbones de vídeo pré-treinados.
2. MMDiT Unir-Fusion (Alinhar-Então-Fundir): Uma arquitetura que transita de alinhamento consciente da modalidade para remoção de ruído compartilhada por modalidade, equilibrando estabilidade de sincronização com eficiência de geração colaborativa.
3. Condicionamento de Timbre no Contexto: Um mecanismo inovador para controle de timbre ao nível de segmento que integra pistas de referência diretamente no caminho de contexto, suportando geração multi-falante sem ramificações auxiliares.
4. Desempenho: Experimentos extensivos demonstram que o NAVA alcança sincronização superior e qualidade de vídeo com significativamente menos parâmetros (6,3B) em comparação com baselines maiores.

Resultados Experimentais

Avaliação Quantitativa (Verse-Bench)

O NAVA (6,3 bilhões de parâmetros) supera ou compete com modelos significativamente maiores (10B–32B):

• Sincronização: Alcançou o maior Sync-C (7,791) e o menor Sync-D (7,566), indicando superior alinhamento lábio-áudio.
• Qualidade de Vídeo: Pontuou 0,659 (IB), o melhor entre os modelos comparados.
• Qualidade de Áudio: Alcançou a menor Taxa de Erro de Palavra (WER) de 0,099 e Qualidade de Produção (PQ) e Distância de Fréchet (FD) competitivas.
• Eficiência: O NAVA usa o menor número de parâmetros (6,3B) entre todos os modelos de áudio-vídeo comparados, entregando desempenho de ponta.

Controlabilidade de Timbre (Seed-TTS)

No benchmark Seed-TTS, o NAVA alcançou uma similaridade de falante de 66,7% e uma WER de 4,20.

• Superou substancialmente a baseline de áudio-vídeo DreamID-Omni (35,7% de similaridade, 31,76 WER).
• Permaneceu competitivo com modelos puramente de áudio (por exemplo, CosyVoice2: 65,2% de similaridade), demonstrando que a geração conjunta não degrada inerentemente o controle de timbre.

Qualitativo e Estudo com Usuários

• Visualizações: O NAVA gerou com sucesso conteúdo sincronizado em cenários complexos, incluindo movimento dinâmico, performance musical, diálogo multi-falante e transições de tomada.
• Estudo com Usuários (Protocolo GSB): Em comparações pareadas contra Ovi-1.1, LTX-2.3 e daVinci:
  • T2AV: O NAVA venceu em 67,5% (vs Ovi), 60,0% (vs LTX) e 80,0% (vs daVinci) em qualidade geral. Venceu ainda mais decisivamente no alinhamento áudio-visual (62,5%–72,5%).
  • TI2AV: O NAVA mostrou vantagens claras no alinhamento contra a maioria das baselines e permaneceu competitivo em qualidade geral.

Significado e Alegações

O artigo afirma que o NAVA representa um passo significativo à frente ao desacoplar o mecanismo de sincronização do condicionamento semântico. Ao estabelecer um espaço de alinhamento dedicado antes de aplicar o contexto, o modelo evita os trade-offs inerentes aos paradigmas de dupla torre (co-evolução fraca) e totalmente unificados (controle emaranhado).

Os autores afirmam que essa abordagem de "Alinhamento Nativo Áudio-Visual" permite:

• Correspondência Precisa ao Nível de Eventos: Modelagem de movimento lábio-fala e acústica dependente da cena diretamente dentro da trajetória de geração.
• Escalabilidade e Eficiência: Alcançar resultados state-of-the-art com um modelo compacto de 6,3 bilhões de parâmetros.
• Controle Flexível: Permitir geração composicional multi-falante através de vinculação de timbre baseada em contexto.

Os autores reconhecem limitações na geração de eventos de cauda longa (sons de animais raros, misturas musicais complexas) e sugerem que trabalhos futuros poderiam explorar um acoplamento áudio-visual mais profundo via tokenizadores conjuntos ou modelos de representação unificada. No entanto, concluem que o alinhamento nativo com condicionamento de contexto desacoplado é uma direção promissora para geração de áudio-vídeo escalável e controlável.