💻 computer science

MultiRef-Compass: Towards Comprehensive Evaluation of Multi-Reference-to-Audio-Video Generation

Este artigo apresenta o MultiRef-Compass, um benchmark unificado composto por 350 amostras curadas e um protocolo de avaliação quadridimensional com 14 submétricas, projetado para avaliar de forma abrangente a capacidade emergente dos sistemas de geração de áudio e vídeo a partir de múltiplas referências em preservar, vincular e compor múltiplas referências em conteúdo sincronizado coerente.

Autores originais: Xiaohan Zhang, Yuqing Wen, Junlin Chen, Yuqi Tang, Yiting He, Lizhuo Shao, Weiming Zhu, Tengfei Liu, Yang Shi, Jialu Chen, Yuanxing Zhang, Huaxiong Li

Publicado 2026-07-17

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Xiaohan Zhang, Yuqing Wen, Junlin Chen, Yuqi Tang, Yiting He, Lizhuo Shao, Weiming Zhu, Tengfei Liu, Yang Shi, Jialu Chen, Yuanxing Zhang, Huaxiong Li

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você é um diretor tentando filmar uma cena de um filme. Nos velhos tempos da IA de vídeo, você só podia dar ao computador um roteiro simples: "Faça um vídeo de um gato". A IA adivinharia como o gato era, onde ele estava e qual som ele fazia. Mas agora, os criadores querem mais controle. Eles querem dizer: "Use esta foto específica do meu cachorro para o rosto, esta outra foto para o seu perfil lateral e esta terceira foto para o seu brinquedo favorito, tudo isso enquanto ele late em um som específico". Este é o mundo da geração de Vídeo-Áudio-Referência-Múltipla (MR2AV). É como pedir a uma IA para ser um mestre chef que não deve apenas cozinhar uma refeição, mas também usar ingredientes específicos de três potes diferentes, arranjá-los no prato exatamente como mostrado em uma foto e garantir que o som do chiado combine perfeitamente com a ação de cozinhar. O problema é que não tínhamos uma boa maneira de avaliar o quão bem a IA estava realizando essa dança complexa. Tínhamos testes para receitas simples, mas nada para este desafio multissensorial e de múltiplos ingredientes.

Surge o MultiRef-Compass, um novo "boletim escolar" projetado por pesquisadores para testar exatamente essa habilidade. Pense nisso como um teste de sabor rigoroso para criadores de vídeo por IA. A equipe construiu um conjunto de dados especial de 350 cenários cuidadosamente elaborados — como um desafio de programa de culinária onde cada competidor recebe exatamente as mesmas três fotos de uma pessoa, um sapato e um cliente, além de um roteiro dizendo: "A pessoa experimenta o sapato e pergunta se serve". Eles então pediram a oito modelos de IA diferentes (incluindo grandes nomes como Kling, Seedance e Gemini) que gerassem o vídeo.

Os pesquisadores não apenas observaram se o vídeo parecia "bonito". Eles dividiram a avaliação em quatro categorias específicas, como uma rubrica detalhada:

Qualidade Básica: O vídeo parece nítido e o som é bom, ou está borrado e com ruídos?
Consistência de Referência: A IA realmente usou as fotos que você forneceu? Ela manteve o rosto da pessoa igual ou acidentalmente o trocou por o de um estranho? Ela colou o sapato no pé corretamente ou apenas colou um adesivo de sapato na tela?
Consistência Áudio-Visual: Quando a pessoa no vídeo fala, os lábios dela se movem? Quando ela pisa no chão, você ouve um passo?
Seguimento de Instruções: A IA fez exatamente o que o roteiro pediu ou ignorou a parte do sapato e apenas mostrou a pessoa caminhando?

Para avaliar isso, eles usaram uma mistura de ferramentas de computador e um "juiz de IA superinteligente" (um Modelo de Linguagem Multimodal Grande) que atua como um crítico de cinema. Eles até adicionaram uma etapa especial de "re-julgamento" para garantir que o crítico de IA não fosse severo demais ou condescendente demais, garantindo que as pontuações fossem justas.

Os resultados foram um choque de realidade. Embora alguns modelos estejam ficando muito bons em fazer as coisas parecerem bonitas, eles ainda estão enfrentando as partes difíceis. O artigo sugere que os modelos atuais frequentemente falham na vinculação (binding) — eles podem reconhecer o rosto na foto, mas esquecer de anexá-lo ao corpo, ou podem confundir quem deveria estar falando. Um modelo, o Seedance 2.0, ficou no topo geral porque foi o mais equilibrado, indo bem em todas as quatro categorias. No entanto, mesmo os melhores modelos mostraram "espaço substancial para melhoria". Eles descobriram que, quando você pede a uma IA para fazer malabarismos com múltiplas referências e instruções complexas ao mesmo tempo, ela frequentemente deixa a bola cair, criando vídeos onde os personagens parecem recortes, as vozes não combinam com os falantes ou a história fica bagunçada.

Em resumo, o MultiRef-Compass mostra que, embora o vídeo por IA esteja se tornando impressionante, ele ainda não está pronto para ser um diretor confiável para histórias complexas de múltiplas referências. É uma ferramenta que precisa de mais treinamento para entender como tecer múltiplas pistas em uma única cena coerente e de aparência natural. O benchmark em si está aberto para que todos o utilizem, servindo como uma base para ajudar futuros modelos de IA a aprenderem a ser melhores neste tipo específico e difícil de trabalho criativo.

Resumo Técnico: MultiRef-Compass

Declaração do Problema

O campo da geração de áudio e vídeo evoluiu dos paradigmas baseados em texto (T2AV) e de referência única (R2AV) para a geração de Múltiplas Referências para Áudio e Vídeo (MR2AV). No MR2AV, os modelos devem sintetizar conteúdo de áudio e vídeo coerente condicionado a múltiplas referências (imagens, vídeos, áudio) e instruções textuais. Embora benchmarks existentes como T2AV-Compass, UniVBench e OpenS2V-Nexus avaliem o seguimento de instruções, consistência de sujeito ou alinhamento audiovisual, eles falham amplamente em abordar as complexidades específicas do cenário MR2AV.

Os protocolos de avaliação atuais são insuficientes porque não testam rigorosamente:

Compreensão de referências cruzadas: A capacidade de distinguir se múltiplas imagens de referência retratam vistas diferentes do mesmo sujeito ou entidades distintas.
Vinculação composicional (Compositional binding): A capacidade de atribuir corretamente papéis, ações e interações a entidades referenciadas específicas através das modalidades visuais e de áudio.
Integração visual natural: A capacidade de misturar aparências referenciadas em uma cena gerada sem produzir artefatos de "copiar e colar" ou divisão rígida de identidade.

Consequentemente, há uma carência de um benchmark unificado capaz de diagnosticar se os modelos podem interpretar, vincular e compor conjuntamente múltiplas referências em eventos audiovisuais sincronizados.

Metodologia

1. Construção do Dataset: MultiRef-Compass

Os autores introduzem o MultiRef-Compass, um benchmark composto por 350 amostras cuidadosamente curadas, construídas por meio de um pipeline de composição de ativos orientado por taxonomia escalável. O dataset é construído em três estágios:

Curadoria de Pacotes de Ativos (Asset-Pack Curation): Coleta de pacotes de cenas, vídeos e vozes livres de direitos autorais, juntamente com pacotes de sujeitos construídos a partir de vídeos do mundo real ou identidades de múltiplas vistas geradas por AIGC. Todos os ativos são verificados manualmente quanto à consistência de identidade e qualidade.
Composição de Ativos por Placa (Board-Specific Asset Composition): As amostras são organizadas em quatro "placas" (boards) para controlar a complexidade:
- Placa 1 (B1): Condicionamento de múltiplas vistas da mesma identidade (testando a consistência de vista).
- Placa 2 (B2): Composições heterogêneas (sujeito, objeto, cena).
- Placa 3 (B3): Vinculação de múltiplas entidades (testando atribuição de papel e interação).
- Placa 4 (B4): Desafio estendido com referências de vídeo e áudio.
Geração de Prompts Estruturados: Os prompts são gerados usando um esquema estruturado (via GPT-5.5) em vez de texto livre, garantindo a especificação precisa de requisitos visuais, de áudio, de fala e temporais.

2. Estrutura de Avaliação

O MultiRef-Compass emprega uma estrutura de avaliação híbrida que integra métricas automáticas com um protocolo de MLLM-como-Juiz (MLLM-as-a-Judge) aprimorado por re-julgamento. A avaliação cobre quatro dimensões com 1lan de sub-métricas:

Qualidade Básica (BQ): Avalia a fidelidade técnica.
- Qualidade Técnica Visual (VTQ): Pontuações DOVER++.
- Qualidade Técnica de Áudio (ATQ): Pontuações Audiobox.
- Qualidade Anatômica (AQ): Checklist de MLLM para plausibilidade biológica e coerência 3D.
Consistência de Referência (RC): Avalia preservação e vinculação.
- Fidelidade de Entidade (EF): Combina similaridade de embedding (SigLIP/YOLO-World) com um coeficiente de naturalidade de colagem ( $P_{paste}$ ) estimado por um MLLM para penalizar artefatos de "colagem de adesivo".
- Preservação de Detalhes (DP): Avaliação de MLLM de detalhes finos.
- Corretude de Vinculação (BC): Detecção de MLLM de trocas de identidade ou vazamento de atributos.
Consistência Áudio-Visual (AVC): Avalia a sincronização.
- Sincronia Fala-Lábios (SLS): LatentSync em faces frontais estáveis filtradas por MLLM.
- Correspondência Evento-Som (ESM) e Corretude de Fonte (SC): Avaliação de MLLM de alinhamento som-evento e atribuição de locutor.
- Similaridade de Timbre (TS): Similaridade de embedding de locutor para referências de voz.
Seguimento de Instrução (IF): Avalia a adesão aos prompts.
- Inclui Seguimento de Tarefa Visual (VT), Seguimento de Tarefa de Áudio (AT), Precisão de Conteúdo de Fala (SCA) e Seguimento de Ordem Temporal (TO), todos avaliados via checklists de MLLM.

Mecanismo de Re-julgamento: Para mitigar a inconsistência do MLLM, um estágio de re-julgamento leve compara as pontuações iniciais e os raciocínios entre modelos para a mesma amostra, corrigindo julgamentos excessivamente rigorosos ou permissivos, preservando as definições originais das métricas.

Principais Contribuições

Benchmark MultiRef-Compass: O primeiro benchmark unificado para geração MR2AV, apresentando 350 amostras orientadas por taxonomia que cobrem preservação de múltiplas vistas, vinculação de múltiplas entidades e composição humano-objeto-cena.
Protocolo de Avaliação Híbrido: Uma estrutura que integra métricas automáticas com um sistema de MLLM-como-Juiz aprimorado por re-julgamento, especificamente projetado para lidar com as nuances de vinculação de múltiplas referências e consistência cross-modal.
Análise Empírica Abrangente: Avaliação extensa de oito sistemas MR2AV representativos (6 de código fechado, 2 de código aberto), revelando modos de falha específicos e lacunas de capacidade.

Resultados Experimentais

Os autores avaliaram oito modelos (incluindo Seedance 2.0, Kling 3.0, HappyHouse 1.1, Gemini-Omni, Wan 2.7, Vidu Q3-Mix, SkyReels-V3 e Wan2.1-VACE) através das quatro dimensões.

Variância de Desempenho: Nenhum modelo alcançou desempenho consistentemente forte em todas as dimensões. O Seedance 2.0 ficou em primeiro lugar no geral devido às capacidades equilibradas, enquanto o Kling 3.0 se destacou em Consistência de Referência e o Gemini-Omni em Qualidade Básica e Consistência Áudio-Visual.
Desafios de Consistência de Referência: Os modelos tiveram dificuldades significativas com composições complexas. Divisão de identidade (tratar múltiplas vistas de um mesmo sujeito como entidades distintas) e artefatos de copiar e colar foram comuns. A métrica $P_{paste}$ proposta rebaixou com sucesso modelos que alcançaram alta similaridade de embedding através de cópia rígida em vez de síntese natural.
Código Aberto vs. Código Fechado: Modelos de código aberto (SkyReels-V3, Wan2.1-VACE) ficaram significativamente atrás dos sistemas de código fechado, particularmente em Consistência de Referência e Seguimento de Instrução, indicando dificuldades em entender as relações entre múltiplas referências.
Seguimento de Instrução: Os modelos exibiram forças específicas de modalidade; por exemplo, o Seedance 2.0 foi forte em tarefas visuais, enquanto o Kling 3.0 teve melhor desempenho em instruções de áudio e fala.
Alinhamento Humano: As pontuações do benchmark mostraram fortes correlações de Pearson com as preferências humanas (0.89–0.96) em todas as dimensões, validando o protocolo de avaliação.

Significância e Alegações

O artigo posiciona o MultiRef-Compass como uma ferramenta de diagnóstico fundamental para o campo emergente da geração MR2AV. Os autores afirmam que:

Os benchmarks atuais são insuficientes para o cenário MR2AV, pois falham em distinguir entre a simples fidelidade de referência e o raciocínio complexo necessário para vincular múltiplas referências.
O benchmark proposto expõe modos de falha específicos (ex: divisão de identidade, integração não natural) que são obscurecidos por pontuações de qualidade agregadas em avaliações existentes.
O progresso futuro no MR2AV depende não apenas da melhoria de componentes individuais (qualidade visual ou de áudio), mas da otimização conjunta da qualidade perceptual, plausibilidade estrutural, coerência de múltiplas referências e adesão à instrução.
O benchmark fornece um ambiente de teste escalável, auditável e interpretável para avaliar futuros sistemas de geração de áudio e vídeo com múltiplas referências omnidirecionais.