Resumo Técnico: Omni-Customizer

Declaração do Problema

O cenário da geração conjunta de áudio e vídeo foi transformado por modelos de base como Ovi e LTX-2. No entanto, alcançar personalização multimodal coesa — especificamente a preservação simultânea de identidades visuais e timbres vocais em múltiplos sujeitos interagindo — permanece um desafio significativo e pouco explorado. Abordagens existentes enfrentam três limitações primárias:

1. Incompatibilidade Arquitetural: Pipelines de personalização de vídeo unimodal e acionamento cruzado de modalidades exigem mudanças arquiteturais não triviais (por exemplo, torres de áudio separadas) para funcionar na geração conjunta, frequentemente ficando fora de seu escopo de design original.
2. Vinculação Fraca de Identidade: Modelos unificados como DreamID-Omni utilizam mecanismos (por exemplo, Syn-RoPE) que falham em alcançar uma vinculação robusta de identidade entre modalidades, deixando pistas de identidade vulneráveis ao decaimento posicional e causando confusão em cenários de múltiplos sujeitos.
3. Gargalos Inerentes e Anomalias: Estruturas atuais construídas sobre backbones de código aberto sofrem com capacidade limitada de reconstrução de fala em VAEs de áudio e granularidade fonética multilíngue desequilibrada. Crucialmente, são propensas a uma anomalia de "Vocalização de Legendas", onde a torre de áudio sintetiza erroneamente legendas descritivas não faladas em áudio falado.

Metodologia

Omni-Customizer é um framework de ponta a ponta construído sobre uma arquitetura simétrica de Transformador de Difusão de Duplo Fluxo (DiT), inicializada a partir do backbone pré-treinado Ovi. Ele aborda os desafios mencionados através de quatro inovações centrais:

1. Legendagem Omni-Estruturada

O framework utiliza Modelos de Linguagem de Grande Escala Multimodais (MLLMs) para re-legendar dados em um formato padronizado. Esta estrutura de prompt vincula explicitamente a identidade visual (FaceID) e a identidade vocal (SpeakerID) usando tokens âncora (por exemplo, <sub1>). O prompt inclui:

• Descritores de Sujeito: Descrições visuais e acústicas para cada sujeito.
• Contexto Global: Descrições de ambiente e ação.
• Conteúdo de Fala: Diálogo estritamente delimitado pelas tags <S> e <E>, garantindo uma demarcação clara entre texto narrativo e enunciados falados.

2. Módulos Arquiteturais Principais

• Fusão de Contexto Omni (OCF): Em vez de depender do backbone de difusão para resolver alinhamentos complexos, o OCF eleva o codificador de texto a um motor ativo de alinhamento cruzado de modalidades. Ele concatena embeddings de texto, tokens de referência visual, tokens de referência de áudio e embeddings de fonemas TTS em uma sequência unificada. Através de processamento iterativo de transformador com conexões residuais, ele enriquece as representações de texto com pistas multimodais densas, facilitando uma vinculação precisa de identidade.
• RoPE Multimodal Ancorado Semanticamente (SA-MRoPE): Para resolver a incompatibilidade estrutural entre tokens de texto 1D, imagem 2D e áudio temporal, o SA-MRoPE ancora tokens de referência às suas descrições de sujeito semântico correspondentes dentro de um espaço posicional 3D unificado. Isso garante que referências visuais e de áudio estejam rigidamente vinculadas às suas âncoras textuais específicas (por exemplo, <sub1>), prevenindo o emaranhamento de identidade em cenas de múltiplos sujeitos.
• Atenção Cruzada TTS Mascarada (MTP-CA): Para eliminar a anomalia de "Vocalização de Legendas", o MTP-CA emprega um mecanismo de bloqueio rígido. Ele injeta priores de fonema estritamente em tokens de texto localizados dentro do intervalo <S>...<E>, garantindo que regiões narrativas não faladas recebam zero excitação em nível de fonema. Isso confina o aprimoramento de pronúncia exclusivamente aos intervalos de diálogo pretendidos.

3. Estratégia de Treinamento

Os autores elaboram uma estratégia de treinamento abrangente para lidar com distribuições de linguagem distorcidas (por exemplo, dados predominantemente em chinês) e prevenir a degradação de priores fundamentais:

• Treinamento Intercalado de Modalidade Desacoplada: O treinamento alterna entre etapas de Geração Conjunta de Áudio-Vídeo (JAVG) e etapas apenas TTS. As etapas apenas TTS expandem o tamanho do lote de áudio e congelam caminhos cruzados de modalidades, atuando como um regularizador que permite que o ramo de áudio adquira rapidamente capacidades multilíngues sem comprometer os priores de sincronia labial ou alinhamento cruzado de modalidades.
• Currículo Progressivo de Par a Par Cruzado: O treinamento começa com o alinhamento de sujeito único (dados de par interno) para estabelecer capacidades básicas de personalização. Em seguida, escala para o desentrelaçamento de múltiplos sujeitos (dados de par cruzado), onde as referências são desacopladas da geração alvo para forçar a aprendizagem de características de identidade de alto nível e robustas.

Contribuições Principais

1. Framework Omni-Customizer: Um sistema de ponta a ponta para personalização conjunta de áudio-vídeo centrada no ser humano que alcança vinculação precisa de identidade multimodal.
2. Módulos Novos: A introdução de OCF para enriquecimento de pistas densas, SA-MRoPE para ancoragem semântica estruturada e MTP-CA para prevenir vazamento de fala.
3. Estratégia de Treinamento Avançada: Uma abordagem de treinamento intercalada e currículo progressivo que permitem adaptação multilíngue rápida e desentrelaçamento robusto de identidade sem sacrificar o alinhamento.
4. OC-Bench: Um benchmark abrangente composto por 300 casos de teste em cenários de sujeito único, diálogo entre duas pessoas e cenários complexos de múltiplos sujeitos, acompanhado por um conjunto de dados multimodal diversificado de múltiplos sujeitos.

Resultados

Experimentos extensivos no OC-Bench demonstram que o Omni-Customizer alcança desempenho State-of-the-Art (SOTA) em múltiplas métricas:

• Preservação de Identidade: Supera as linhas de base em Similaridade de Rosto (0,812) e Similaridade de Timbre (0,514), reduzindo significativamente a confusão de identidade em interações de múltiplos sujeitos.
• Sincronização: Alcança sincronização áudio-vídeo superior (Sync-C/D) e a menor Taxa de Erro de Palavra (WER), indicando alta fidelidade de fala.
• Qualidade: Mantém alta qualidade estética e de imagem no vídeo e alta qualidade perceptiva no áudio.
• Estudos de Ablação: Confirmam que a remoção de qualquer módulo proposto (OCF, SA-MRoPE, MTP-CA) ou estratégia (Currículo, Treinamento intercalado) leva a quedas significativas de desempenho, como deriva de identidade, erros de fala simultânea ou o reaparecimento da vocalização de legendas.

Significado

O artigo afirma que o Omni-Customizer preenche uma lacuna crítica na IA generativa ao permitir personalização conjunta de áudio-vídeo robusta e de alta fidelidade em cenários complexos centrados no ser humano. Ao resolver os problemas de emaranhamento de identidade e vazamento de fala, o framework permite a geração conversacional realista de múltiplos sujeitos, anteriormente inatingível com modelos de código aberto. O trabalho estabelece um novo paradigma para personalização multimodal, demonstrando que a ancoragem semântica estruturada e estratégias de treinamento desacopladas são essenciais para escalar a geração conjunta para aplicações interativas com múltiplos personagens.

Nota: Os autores reconhecem limitações atuais, observando que as gerações estão atualmente limitadas à resolução 720P e durações de 10 segundos, com trabalhos futuros focados na escalabilidade para resoluções mais altas e sequências mais longas.