OmniVideoBench: Towards Audio-Visual Understanding Evaluation for Omni MLLMs

O artigo apresenta o OmniVideoBench, um novo benchmark de grande escala com 1000 pares de perguntas e respostas anotados com raciocínio passo a passo, projetado para avaliar rigorosamente a compreensão sinérgica de áudio e vídeo em Modelos de Linguagem Multimodal (MLLMs), revelando uma lacuna significativa entre o desempenho dos modelos atuais e o raciocínio humano.

O essencial

Imagine que você está tentando ensinar um robô superinteligente a assistir TV com você. Até agora, esses robôs (chamados de Modelos de Linguagem Multimodais) eram ótimos em olhar para uma foto e descrevê-la, ou em ler um livro. Mas quando você coloca um vídeo na frente deles, que tem movimento, cenas mudando e, o mais importante, som, eles começam a se confundir.

É aqui que entra o OmniVideoBench, o novo "exame de vestibular" criado por uma equipe de pesquisadores para testar se esses robôs realmente entendem o que estão vendo e ouvindo ao mesmo tempo.

Aqui está a explicação do papel, traduzida para o português do dia a dia:

1. O Problema: O Robô que Só Vê ou Só Ouve

Até hoje, os testes para esses robôs eram como pedir para alguém descrever uma foto estática. Mas a vida real é dinâmica!

• O erro dos testes antigos: Eles focavam muito na imagem e tratavam o som como um "extra" opcional, ou usavam vídeos muito curtos (como um GIF).
• A realidade: Para entender um vídeo de 10 minutos, você precisa conectar o que você vê (alguém correndo) com o que você ouve (o som de passos pesados e ofegantes) e o que é dito (a pessoa dizendo "estou cansado"). Se o robô ignora o som, ele perde metade da história.

2. A Solução: O "OmniVideoBench" (O Grande Exame)

Os pesquisadores criaram um banco de dados gigante e muito rigoroso para testar essa habilidade de "ouvir e ver juntos".

• A Coleção de Vídeos: Eles pegaram 628 vídeos reais da internet (YouTube e Bilibili), variando de alguns segundos a 30 minutos. São vídeos de notícias, esportes, vlogs, documentários e até gravações em primeira pessoa (como se fosse um óculos de realidade virtual).
• As Perguntas: Eles criaram 1.000 perguntas sobre esses vídeos. Mas não são perguntas bobas como "qual a cor da camisa?". São perguntas que exigem raciocínio, como:
  • Causa e efeito: "Se o Steven não impedisse o jovem, o que ele faria?"
  • Localização: "Onde está o pôster 'Ninguém luta sozinho' em relação à pessoa?"
  • Sentimento: "O que a música e a expressão facial dizem sobre o clima da cena?"

O Diferencial: Cada pergunta vem com um "rastro de pensamento" anotado à mão. É como se um professor humano tivesse escrito: "Primeiro, olhe para a boca da pessoa (visual). Depois, ouça o que ela diz (áudio). Junte as duas coisas para concluir que ela está mentindo." Isso ajuda a treinar os robôs a pensarem, não apenas a chutarem.

3. O Resultado: Os Robôs Ainda Estão na Pré-Escola

Quando eles colocaram os modelos mais famosos do mundo (como o Gemini da Google e o Qwen da Alibaba) para fazer esse teste, o resultado foi um choque:

• Nenhum robô passou na média: A pontuação máxima de qualquer modelo foi de 58,9% (para passar, precisariam de 60%). Isso significa que, na maioria das vezes, eles estão errando.
• Robôs de Código Aberto vs. Fechados: Os modelos "fechados" (como o Gemini, que a Google não deixa ninguém ver o código) foram melhores, mas ainda assim falharam. Os modelos "abertos" (que qualquer um pode baixar) tiveram desempenho quase igual a um chute aleatório.
• O Calcanhar de Aquiles (Música): Os robôs são péssimos entendendo música. Se o vídeo tem uma trilha sonora emocional, eles não conseguem conectar a música com o que está acontecendo na tela. É como se eles não sentissem a emoção da cena.
• Vídeos Longos: Quanto mais longo o vídeo, pior eles se saem. Parece que eles esquecem o que aconteceu no início quando o vídeo chega no meio.

4. A Analogia Final: O Aluno que Decora, mas não Entende

Imagine que você está testando um aluno para ver se ele sabe dirigir.

• Os testes antigos mostravam uma foto de um carro parado e perguntavam: "Onde está o volante?". O aluno acertava porque decorou a foto.
• O OmniVideoBench coloca o aluno no carro, com o motor ligado, chovendo lá fora e a rádio tocando uma música triste. O teste pergunta: "O que você deve fazer agora?".
• O resultado: A maioria dos robôs (alunos) ainda está tentando decorar onde fica o volante, em vez de olhar pela janela, ouvir a chuva e sentir a emoção da música para tomar uma decisão inteligente.

Conclusão

O OmniVideoBench é um aviso para a comunidade de Inteligência Artificial: "Ei, vocês estão bons em ver e bons em ouvir, mas ainda são péssimos em juntar as duas coisas para entender a história completa."

A equipe quer que esse teste ajude a criar robôs que, no futuro, consigam assistir a um filme, entender a trama, a emoção e os detalhes, exatamente como um humano faria. Até lá, eles ainda têm muito o que aprender!

Resumo técnico

1. O Problema

Os Grandes Modelos de Linguagem Multimodal (MLLMs) avançaram significativamente na compreensão de vídeo, mas as avaliações atuais apresentam lacunas críticas:

• Falta de Sinergia: A maioria dos benchmarks existentes foca em uma única modalidade (geralmente visual) ou trata o áudio apenas como auxiliar, falhando em avaliar a capacidade de raciocínio sinérgico entre áudio e visão.
• Dependência Temporal Limitada: Muitos benchmarks utilizam clipes curtos que não capturam dependências temporais de longo prazo essenciais para a compreensão de vídeos reais.
• Inconsistência Lógica: As tarefas atuais muitas vezes não exigem que o modelo integre áudio e visão de maneira logicamente consistente para chegar a uma conclusão, permitindo que modelos "trapaceiem" usando apenas uma modalidade.
• Falta de Rastreabilidade: Poucos conjuntos de dados fornecem rastros de raciocínio passo a passo, dificultando a análise de como o modelo chega à resposta.

2. Metodologia

A equipe do NJU-LINK desenvolveu o OmniVideoBench, um benchmark rigoroso projetado para avaliar a compreensão colaborativa áudio-visual.

• Coleta de Dados:

  • Foram selecionados 628 vídeos reais (do YouTube e Bilibili) com durações variando de alguns segundos a 30 minutos.
  • Os vídeos cobrem 8 categorias principais (Vlog, Notícias, Desenho Animado, Esportes, Documentário, TV, Ego, Outros) e 68 subcategorias.
  • Critérios rigorosos de seleção: resolução mínima de 480p, ausência de legendas embutidas (para evitar "cola" visual), e garantia de que o áudio e a visão sejam complementares (não redundantes).

• Anotação e Criação de QA:

  • Foram criadas 1.000 pares de Pergunta-Resposta (QA) de alta qualidade.
  • 13 Tipos de Tarefas: Incluem percepção granular, raciocínio espacial, contagem, inferência causal, compreensão de fundo/música, análise de sentimento, raciocínio temporal, entre outros.
  • Rastros de Raciocínio (Reasoning Traces): Cada par QA é anotado com uma cadeia de raciocínio passo a passo. Cada passo é atômico e especifica:
    1. Modalidade: Se depende de áudio (A) ou visão (V).
    2. Evidência: Informação específica extraída do vídeo.
    3. Inferência: O raciocínio derivado dessa informação.

• Garantia de Qualidade (Pipeline de Filtragem):

  1. Filtragem Unimodal: Uso de um MLLM avançado (Gemini 2.0 Flash) para remover perguntas que poderiam ser respondidas apenas com áudio ou apenas com vídeo.
  2. Filtragem Textual: Uso de um LLM (DeepSeek-V3.1) para eliminar perguntas que dependem de conhecimento geral ou que têm pistas textuais nas opções.
  3. Refinamento Manual: Revisão humana para garantir que as respostas sejam únicas, corretas e que as opções de distração sejam semanticamente equilibradas e relevantes.

3. Contribuições Principais

• OmniVideoBench: O primeiro benchmark em larga escala focado especificamente no raciocínio sinérgico áudio-visual em vídeos longos, com ênfase na complementaridade das modalidades.
• Anotação de Raciocínio Explícito: A inclusão de cadeias de raciocínio passo a passo que desmontam a lógica do modelo, permitindo diagnósticos mais profundos do que apenas a acurácia final.
• Diversidade de Tarefas e Modalidades: Cobertura de 13 tipos de tarefas complexas e distribuição balanceada de tipos de áudio (Fala, Sons Ambientais, Música), algo raro em benchmarks anteriores.
• Análise de Desempenho Humano vs. Máquina: Estabelecimento de uma linha de base humana (82,69% de acurácia) para comparação direta com modelos de IA.

4. Resultados Principais

A avaliação de diversos modelos (Open-source e Closed-source) no OmniVideoBench revelou desafios significativos:

• Desempenho Geral Insuficiente: Nenhum modelo atingiu uma pontuação de aprovação (>60%). O melhor modelo, Gemini-2.0-Pro, alcançou apenas 58,90% de acurácia. Modelos open-source (como Qwen3-Omni e VITA) performaram próximos ao acaso aleatório.
• Lacuna com Humanos: Existe uma grande distância entre o desempenho dos melhores modelos (59%) e o desempenho humano (83%).
• Dificuldade com Áudio Específico:
  • Modelos têm desempenho significativamente pior em vídeos com música (ex: Gemini-2.5-Pro: 38,46%) comparado a vídeos com fala ou sons ambientes. Isso indica dificuldade em traduzir pistas acústicas abstratas (emoção, atmosfera) em raciocínio lógico.
  • A compreensão de fundo e música é a tarefa mais difícil para todos os modelos (acurácia <50% mesmo para os melhores).
• Desafio de Vídeos Longos: Embora modelos líderes como Gemini-2.5-Pro mostrem robustez em vídeos longos, muitos outros (ex: Gemini-2.0-Flash, Qwen3-Omni) falham drasticamente em vídeos com mais de 10 minutos.
• Limitação de ASR (Reconhecimento Automático de Fala): Quando modelos visuais recebem apenas transcrições de texto (ASR) em vez de áudio bruto, o desempenho em tarefas que exigem compreensão de música ou sons não verbais cai drasticamente, provando que o áudio bruto é irreplaceável.
• Formato de Pergunta: Modelos performam pior em perguntas de resposta aberta (Open-ended) do que em múltipla escolha, sugerindo que o formato de múltipla escolha pode inflar artificialmente a percepção de capacidade dos modelos.

5. Significância

O OmniVideoBench representa um marco importante para o campo de IA Multimodal por:

• Expor Limitações Reais: Demonstra que, apesar dos avanços, os MLLMs ainda não dominam o raciocínio lógico integrado entre áudio e visão, especialmente em contextos complexos e de longo prazo.
• Direcionar Pesquisa Futura: O benchmark identifica lacunas específicas (como compreensão de música e raciocínio temporal longo) que devem ser o foco de futuras arquiteturas de modelos.
• Padrão de Avaliação Rigoroso: Ao exigir raciocínio passo a passo e garantir que as perguntas não possam ser resolvidas por uma única modalidade, o OmniVideoBench oferece uma métrica mais justa e desafiadora para o desenvolvimento de sistemas de "Omni-Understanding" verdadeiramente robustos.
• Recursos Abertos: A liberação do dataset e dos rastros de raciocínio permite que a comunidade científica reproduza os resultados e desenvolva métodos mais avançados de alinhamento multimodal.

Em resumo, o trabalho conclui que a verdadeira compreensão áudio-visual exige mais do que a simples fusão de modalidades; requer uma capacidade de raciocínio causal e temporal que os modelos atuais ainda estão longe de atingir.