Resumo Técnico: Vorch-Omni: Orquestração Multitarefa de Visão e Som

Declaração do Problema

Avanços recentes em modelos generativos de vídeo expandiram as capacidades de geração condicionada por texto para síntese baseada em referências, extensão temporal e edição guiada por instruções. No entanto, essas capacidades permanecem fragmentadas entre modelos e pipelines específicos para cada tarefa. Um modelo unificado enfrenta uma ambiguidade fundamental: quando vídeos alvo, clipes de origem e múltiplas referências coexistem na entrada, o modelo deve inferir qual conteúdo gerar, preservar ou usar como guia. Esse desafio é agravado ao estender para a geração audiovisual conjunta, onde áudio e vídeo podem atuar como alvos, contextos temporalmente contíguos ou referências independentes.

Modelos unificados existentes frequentemente dependem apenas de fusão arquitetural, o que falha em especificar explicitamente os papéis de diversas entradas (por exemplo, distinguir um clipe de origem a ser editado de uma referência a ser imitada). Além disso, pipelines sequenciais que sintetizam modalidades separadamente acumulam erros e exigem sincronização post-hoc. A questão central de pesquisa é se uma interface de tarefa reproduzível e extensível pode suportar diversas tarefas visuais e combinações arbitrárias de condições e saídas de áudio e vídeo dentro de um único framework.

Metodologia

Formulação Central: Arbitrary-Condition-to-Arbitrary-Output (Condição Arbitrária para Saída Arbitrária)

O Vorch-Omni é construído sobre um único transformer de difusão de correspondência de fluxo (flow-matching). Sua abstração central é uma formulação onde qualquer tarefa é definida por quatro coleções: alvos de geração de vídeo ($X_v$), condições de vídeo ($C_v$), alvos de geração de áudio ($X_a$) e condições de áudio ($C_a$).

• Máscaras de Condicionamento ao Nível de Token: Distinguem explicitamente entre tokens de condicionamento limpos (sinais observados) e alvos de geração ruidosos.
• Identificadores de Tarefa: Embeddings por token ($r_i$) distinguem explicitamente papéis como alvos, fontes, referências de assunto, referências de quadro, referências de áudio e condições de edição. Isso permite que o mesmo conteúdo latente sirva a diferentes propósitos (por exemplo, um clipe como um prefixo para extensão vs. uma fonte para edição) sem mudanças arquiteturais.
• Tipos de Posição: Uma noção complementar de composição temporal ($p$) separa o contexto temporalmente contíguo (mesclado com a linha do tempo do alvo para extensão) das referências independentes (grades posicionais separadas). Isso evita que as referências sejam interpretadas erroneamente como segmentos temporais adjacentes.

Condicionamento Multimodal Complementar

Para lidar tanto com a intenção semântica de alto nível quanto com a estrutura visual de detalhamento fino, o framework emprega dois caminhos de condicionamento visual paralelos:

1. Caminho Semântico: Um Modelo de Linguagem-Visão (VLM) interpreta conjuntamente quadros de condição amostrados e instruções de texto, fornecendo semântica de tarefa de alto nível.
2. Caminho Latente: Um Autoencoder Variacional (VAE) de vídeo codifica condições visuais completas em tokens latentes limpos, preservando aparência, layout, identidade e detalhes de movimento detalhados.
   As condições de áudio utilizam o caminho latente de áudio e interagem nativamente com os tokens visuais dentro do backbone.

Arquitetura

O modelo utiliza um backbone de fluxo duplo assimétrico baseado em LTX-2.3, consistindo em 48 blocos transformer.

• Fluxo de Vídeo: 32 cabeças de atenção com dimensão de cabeça de 128.
• Fluxo de Áudio: 32 cabeças de atenção com dimensão de cabeça de 64.
• Interação Cross-Modal: Operações de atenção cruzada (cross-attention) com portão (gated) ocorrem após a atenção de texto específica de cada modalidade e antes das redes feed-forward em cada bloco. Isso permite a troca de informações bidirecional (áudio-para-vídeo e vídeo-para-áudio) enquanto mantém fluxos de processamento separados. Se uma modalidade estiver ausente, o modelo reduz-se naturalmente ao fluxo disponível.

Infraestrutura de Dados

Um pipeline de dados distribuído e versionado organiza clipes audiovisualmente alinhados e diversos. As etapas principais incluem:

• Segmentação Consciente de Shot (Cena): Divisão de vídeos de longa duração em clipes coerentes usando TransNetV2 e PySceneDetect.
• Filtragem de Qualidade e Deduplicação: Remoção de sobreposições, marcas d'água e duplicatas próximas usando embeddings SigLIP.
• Anotação Estruturada: Geração de legendas de vídeo densas (esquema dinâmico/estático) e metadados de áudio.
• Empacotamento de Tarefas: Instanciação de clipes curados em diversas configurações de tarefa (geração, extensão, edição, etc.) com máscaras de condicionamento, IDs de tarefa e tipos de posição apropriados.
• Amostragem Ponderada: Balanceamento de distribuições de tarefas heterogêneas para evitar que dados de geração base sobrecarreguem tarefas especializadas.

Principais Contribuições

1. Framework Unificado: Introdução do Vorch-Omni, um único transformer de difusão de correspondência de fluxo que suporta mais de 10 tarefas (incluindo texto-para-vídeo, síntese condicionada por referência, extensão temporal e edição) sem modificações arquiteturais específicas para a tarefa.
2. Representação Explícita de Papéis: Uma formulação usando máscaras de condicionamento ao nível de token, identificadores de tarefa e tipos de posição para definir explicitamente o que gerar, preservar, referenciar e como as condições se relacionam temporalmente.
3. Condicionamento Complementar: Integração de raciocínio semântico via VLM com orientação estrutural via VAE para suportar tanto a compreensão de instruções quanto a fidelidade de detalhamento fino.
4. Pipeline de Dados Reproduzível: Um pipeline escalável que organiza dados audiovisual alinhados, produz anotações estruturadas e equilibra misturas de tarefas para o treinamento de um modelo unificado.

Resultados

O modelo foi avaliado contra o Wan 2.7 em um benchmark de avaliação humana composto por 537 grupos de amostras pareadas abrangendo geração de áudio-vídeo condicionada por texto e manipulação condicionada por referência.

• Desempenho Geral: 81,4% dos julgamentos foram empates ("Igual"), com uma taxa de vitória líquida de -1,9% no total. Isso indica que, para qualidade visual geral, o modelo unificado apresenta desempenho comparável aos baselines especializados.
• Forças Específicas: O modelo alcançou taxas de vitória líquida positivas em dimensões específicas de geração multimodal:
  • Sincronização Áudio-Visual: +5,9% no total; +24,3% em tarefas orientadas por áudio (especificamente +45,6% em sincronia de lábios-áudio).
  • Alinhamento de Referência: +6,6% no total.
  • Seguimento de Prompt de Áudio: +7,1%.
  • Qualidade de Áudio: +3,3%.
• Análise de Nível de Tarefa: O modelo mostrou vantagens em tarefas multimodais e orientadas por referência (ex: geração orientada por áudio, animar-e-substituir, transformação de vídeo), mantendo paridade em métricas centrais de qualidade visual.

Significância e Alegações

O artigo afirma que o Vorch-Omni demonstra que papéis de condição explícitos fornecem um caminho prático para escalar um único modelo através de tarefas audiovisual heterogêneas. Ao desacoplar a especificação da tarefa do computação do backbone, o framework permite que novas combinações de entrada-saída sejam expressas primariamente através de mudanças de configuração, em vez de modificações arquiteturais.

Os autores enfatizam que o principal benefício desta unificação não é uma melhoria uniforme na preferência visual incondicional, mas sim uma coordenação aprimorada entre as modalidades e uma melhor preservação de informação das referências. O framework reduz com sucesso a ambiguidade de múltiplas entradas de condição e suporta dependências generativas bidirecionais (ex: a fala determinando o movimento dos lábios, eventos visuais determinando efeitos sonoros) dentro de um único objetivo de treinamento.

O artigo reconhece desafios remanescentes, incluindo consistência de longo horizonte, localidade de edição de detalhamento fino e geração de fala robusta entre idiomas, identificando-os como direções para trabalhos futuros.