LVOmniBench: Pioneering Long Audio-Video Understanding Evaluation for Omnimodal LLMs

O artigo apresenta o LVOmniBench, um novo benchmark com 275 vídeos longos (de 10 a 90 minutos) e 1.014 pares de perguntas e respostas, projetado para avaliar a compreensão multimodal de modelos OmniLLM em contextos de áudio e vídeo de longa duração, revelando que as capacidades atuais desses modelos ainda enfrentam desafios significativos nessa tarefa.

O essencial

Imagine que você está tentando ensinar um robô superinteligente a assistir a um filme inteiro, ouvir a trilha sonora e entender a história, tudo ao mesmo tempo. Até hoje, os testes para ver se esse robô é bom nisso eram como pedir para ele assistir apenas a um clipe de 30 segundos de um vídeo. O robô passava no teste, mas na vida real, quando o filme dura 2 horas, ele se perdia, esquecia o que aconteceu no início e não entendia a conexão entre o que via e o que ouvia.

É aqui que entra o LVOmniBench, o "novo exame de direção" criado pelos pesquisadores deste artigo.

Aqui está uma explicação simples, usando analogias do dia a dia:

1. O Problema: O "Exame de 30 Segundos" vs. A "Maratona Real"

Antes, os cientistas testavam os modelos de Inteligência Artificial (chamados de OmniLLMs) com vídeos curtos. Era como treinar um nadador apenas na piscina de 25 metros e depois esperar que ele cruzasse o oceano Atlântico sem se afogar.

• A realidade: Vídeos do mundo real (como documentários, aulas, vlogs) duram de 10 a 90 minutos.
• O problema: Os modelos atuais funcionam bem em curtos, mas falham miseravelmente em longos. Eles esquecem o que aconteceu 20 minutos atrás e não conseguem conectar o que viram com o que ouviram.

2. A Solução: O LVOmniBench (O "Treinamento de Ultra-Distância")

Os autores criaram um novo banco de dados (um conjunto de testes) chamado LVOmniBench.

• O que é: Uma coleção de 275 vídeos longos (de 10 a 90 minutos) com áudio e vídeo sincronizados.
• A dificuldade: Eles não apenas jogaram os vídeos lá. Eles criaram 1.014 perguntas que exigem que o robô use tudo o que tem:
  • Memória: "Quem era aquele personagem que apareceu no minuto 5?"
  • Atenção: "Quantas vezes o cachorro latiu na cozinha?"
  • Raciocínio: "Por que a pessoa parece triste, considerando o que ela disse e a cor da roupa que usava?"
• O diferencial: Diferente de outros testes, aqui você não pode responder apenas olhando a imagem ou apenas ouvindo o som. Você precisa dos dois juntos, como se fosse um detetive que precisa de pistas visuais e sonoras para resolver o crime.

3. O Resultado: Quem Passou na Prova?

Os pesquisadores testaram vários robôs (modelos de IA) nesse novo "exame de maratona". O resultado foi um choque:

• Os "Robôs de Código Aberto" (Gratuitos): A maioria deles foi reprovada. A maioria acertou menos de 35% das perguntas. É como se eles estivessem chutando as respostas. Eles se perdem facilmente em vídeos longos e não conseguem misturar bem o áudio com o vídeo.
• O "Campeão" (Gemini 3 Pro): O modelo mais avançado e pago (da Google) foi o único que se saiu bem, acertando cerca de 65%. Mesmo assim, ele ainda cometeu muitos erros em perguntas difíceis.
• A Lição: Isso mostra que, embora a tecnologia tenha avançado muito, ela ainda é "frágil" quando precisa processar horas de informação contínua.

4. Onde eles erram? (A "Anatomia do Erro")

Os pesquisadores analisaram os erros e descobriram que os robôs têm "pontos cegos" específicos:

• O "Surdo-Mudo" Seletivo: Às vezes, o robô ignora o áudio e só olha a imagem, ou vice-versa. Ele não consegue fundir as duas informações.
• A Perda de Tempo: Eles têm dificuldade em saber quando algo aconteceu. Se você perguntar "o que aconteceu 15 minutos atrás?", eles muitas vezes não conseguem voltar no tempo mentalmente.
• Contagem e Detalhes: Contar objetos ou perceber sons sutis (como o tom de voz de alguém) é muito difícil para eles em vídeos longos.

5. Por que isso importa?

Este trabalho é como abrir um novo capítulo na história da Inteligência Artificial.

• Para o futuro: O LVOmniBench serve como um "mapa do tesouro" para os cientistas. Agora eles sabem exatamente onde os robôs falham (memória, áudio, tempo) e podem criar modelos melhores.
• Para nós: Em breve, teremos assistentes de IA que realmente conseguem assistir a um filme inteiro com você, lembrar de detalhes da trama, ouvir as músicas de fundo e responder perguntas complexas sobre a história, sem se perder no meio do caminho.

Em resumo: O LVOmniBench é o primeiro teste sério para ver se a IA consegue realmente "assistir" e "ouvir" filmes longos como um humano, e os resultados mostram que, embora tenhamos robôs inteligentes, eles ainda precisam aprender a prestar atenção em maratonas, não apenas em sprints.

Resumo técnico

1. Problema e Motivação

Os recentes avanços nos Modelos de Linguagem Multimodal Omnimodais (OmniLLMs) melhoraram significativamente a compreensão de entradas de áudio e vídeo. No entanto, a avaliação atual dessas capacidades enfrenta uma lacuna crítica:

• Limitação de Duração: A maioria dos benchmarks existentes foca em clipes curtos (de 10 segundos a 5 minutos), o que não reflete cenários do mundo real onde vídeos frequentemente duram dezenas de minutos.
• Complexidade Temporal: Vídeos longos exigem memória de longo prazo, localização temporal precisa e alinhamento cruzado complexo entre áudio e vídeo, desafios que os modelos atuais não conseguem superar adequadamente.
• Falta de Avaliação Rigorosa: Não há benchmarks abrangentes que testem especificamente a compreensão conjunta de áudio e vídeo em formatos longos, com perguntas que exigem raciocínio profundo e não apenas correspondência superficial de características.

2. Metodologia: Construção do LVOmniBench

Os autores introduzem o LVOmniBench, um novo benchmark projetado para preencher essa lacuna. O processo de construção seguiu um pipeline rigoroso:

• Coleta de Dados:
  • Foram selecionados 275 vídeos de alta qualidade, com durações variando de 10 a 90 minutos (duração média de ~34 minutos).
  • Os vídeos cobrem 5 domínios principais (entretenimento, estilo de vida, DIY/cozinha, registros, filmes/TV) e 21 subcategorias.
  • Todos os vídeos possuem licença Creative Commons para garantir acesso aberto e legalidade.
• Anotação e Criação de Questões:
  • Foram criadas 1.014 perguntas de múltipla escolha (QA) manualmente por especialistas humanos.
  • Requisito de Raciocínio Cruzado: As perguntas foram desenhadas para exigir necessariamente a combinação de pistas de áudio e vídeo. Perguntas que podiam ser respondidas apenas por um único modal (apenas texto, apenas áudio ou apenas vídeo) foram descartadas.
  • Taxonomia de Questões: As perguntas são classificadas em quatro dimensões cognitivas:
    1. Percepção: Extração de atributos, contagem, percepção musical.
    2. Compreensão: Identificação de entidades, ações e contextos.
    3. Inferência: Raciocínio sobre eventos sonoros, espaciais e temporais.
    4. Lógica: Raciocínio causal complexo e cadeias de inferência.
  • Níveis de Dificuldade: Cada questão foi estratificada em três níveis: Baixo, Médio e Alto, permitindo uma avaliação hierárquica.
• Filtragem Rigorosa: Um pipeline de verificação (incluindo testes com modelos LLM e revisão humana) garantiu que as questões não tivessem viés unimodal, não dependessem apenas de conhecimento prévio comum e não oferecessem atalhos temporais óbvios.

3. Contribuições Principais

1. Primeiro Benchmark de Vídeo-Áudio Longo: O LVOmniBench é, até onde se sabe, o primeiro benchmark abrangente focado exclusivamente na compreensão de conteúdo áudio-visual integrado de longa duração.
2. Escala Temporal Sem Precedentes: A duração média dos vídeos no conjunto de dados é 6 vezes maior do que a de benchmarks anteriores de áudio-visual (média de 2.069 segundos vs. ~300-400 segundos em outros).
3. Avaliação Hierárquica: A introdução de níveis de dificuldade e tipos de tarefas (percepção, lógica, inferência) permite uma análise granular das capacidades dos modelos.
4. Conjunto de Dados Aberto: Disponibilização de 275 vídeos e 1.014 pares de perguntas-respostas para a comunidade de pesquisa.

4. Resultados Experimentais

Os autores avaliaram diversos modelos, incluindo OmniLLMs de código aberto, modelos proprietários (Gemini) e modelos especializados em vídeo ou áudio isolados.

• Desempenho Geral:
  • Modelos Proprietários: O Gemini 3 Pro obteve o melhor desempenho, atingindo uma precisão máxima de ~65,8%. O Gemini 3 Flash alcançou 59,0%.
  • Modelos de Código Aberto: Todos os modelos de código aberto (como Qwen3-Omni, MiniCPM-o, Ming-Omni) tiveram desempenho significativamente inferior, com precisões geralmente abaixo de 35% (muitas vezes próximas ao acaso aleatório em tarefas de alta dificuldade).
• Análise por Modalidade:
  • Modelos que processam apenas vídeo ou apenas áudio falharam drasticamente, confirmando a necessidade de integração multimodal.
  • O uso de transcrições de áudio (ASR) como entrada de texto melhorou ligeiramente alguns modelos de código aberto, mas não superou o desempenho do áudio bruto, indicando que sinais não verbais (emoção, tom, música) são cruciais e perdidos na transcrição.
• Pontos Fracos Específicos:
  • Percepção Musical e Contagem: Tarefas que exigem contagem precisa de objetos ou percepção de elementos musicais foram as mais desafiadoras para todos os modelos.
  • Localização Temporal: Os modelos falharam frequentemente em identificar o momento exato de eventos dentro de vídeos longos.
  • Gap Semântico Cruzado: Os modelos tendem a tratar áudio e vídeo de forma isolada, falhando em alinhar informações complementares (ex: usar o áudio para desambiguar uma cena visual).

5. Significado e Conclusão

O LVOmniBench revela que, embora os OmniLLMs tenham feito progressos notáveis, eles ainda estão em estágios iniciais na compreensão de contextos longos e integrados do mundo real.

• Desafio Aberto: O processamento de sequências de áudio e vídeo estendidas permanece um gargalo crítico, exigindo novas arquiteturas para compressão eficiente de tokens e melhor alinhamento cruzado.
• Impacto Futuro: Este benchmark serve como um padrão rigoroso para avaliar e impulsionar o desenvolvimento da próxima geração de modelos capazes de raciocinar sobre horas de conteúdo multimodal, essencial para aplicações como análise de filmes, monitoramento de segurança, educação e assistentes pessoais avançados.

Em resumo, o trabalho demonstra que a capacidade de "ver e ouvir" simultaneamente em vídeos longos é uma fronteira não resolvida na IA, e o LVOmniBench fornece a ferramenta necessária para medir e superar essas limitações.