💻 computer science

VideoGAIA: A Benchmark for General AI Assistants on Agentic Video Understanding

Para abordar a saturação dos benchmarks convencionais de compreensão de vídeo de turno único, este artigo introduz o VideoGAIA, um benchmark rigoroso, de múltiplos turnos e aumentado por ferramentas, que apresenta 271 tarefas verificadas por especialistas que revelam lacunas significativas de desempenho nos atuais modelos de linguagem grande multimodais de fronteira e visa impulsionar o campo em direção à compreensão de vídeo agêntica.

Autores originais: Fan Zhang, Guangming Yao, Jinyang Wu, Hao Wu, Zheng Lian, Xinyu Geng, Jingdong Chen, Yi Yuan, Pheng-Ann Heng

Publicado 2026-08-18

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Fan Zhang, Guangming Yao, Jinyang Wu, Hao Wu, Zheng Lian, Xinyu Geng, Jingdong Chen, Yi Yuan, Pheng-Ann Heng

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Durante anos, a forma como testamos a inteligência artificial baseou-se num jogo simples: mostrar ao computador um vídeo, fazer uma única pergunta e esperar por uma resposta. Esta abordagem, conhecida como compreensão de vídeo, tornou-se uma medida padrão de quão bem as máquinas conseguem ver e raciocinar sobre o mundo em movimento. Recentemente, os sistemas de IA mais avançados tornaram-se tão proficientes nisso que conseguem responder a quase todas as perguntas corretamente, atingindo um ponto onde o teste já não revela os seus verdadeiros limites. É como se um estudante tivesse memorizado todo o livro didático e conseguisse recitar qualquer facto, mas ainda não sabemos se ele consegue realmente resolver um novo problema no mundo real. Para ultrapassar este patamar, os investigadores precisavam de uma nova forma de medir a inteligência, uma que não peça apenas um facto, mas que exija que a máquina aja como um investigador humano curioso.

Uma equipa de investigadores de universidades e empresas de tecnologia da China introduziu tal teste novo, chamado VideoGAIA. Em vez de pedir a um modelo para assistir a um vídeo e responder a uma única pergunta, este novo benchmark trata o vídeo apenas como o ponto de partida de uma investigação muito mais longa. Nesta configuração, a inteligência artificial atua como um agente, um assistente digital que deve descobrir o que não sabe, ir buscar essa informação em falta e depois reunir tudo para resolver uma tarefa complexa. O vídeo pode mostrar uma pessoa a segurar um telefone específico ou um carro a conduzir por uma cidade, mas a resposta à pergunta reside frequentemente fora do vídeo por completo. O sistema deve reconhecer uma pista nas imagens, decidir pesquisar na internet por mais detalhes, ler os resultados dessa pesquisa e, depois, regressar ao vídeo para verificar se a nova informação se ajusta. Este processo de olhar, pesquisar, ler e verificar acontece ao longo de várias etapas, imitando a forma como um humano investigaria um tópico.

Os investigadores construíram este teste começando com uma coleção massiva de cem mil vídeos da internet. Utilizaram modelos de IA poderosos para os ajudar a selecionar clipes interessantes e gerar perguntas que não pudessem ser respondidas apenas olhando para o vídeo. Por exemplo, um vídeo pode mostrar um apresentador num estúdio a exibir vários telefones, segurando um aparelho prateado de parte traseira transparente ao lado de um suporte de produto verde, e a pergunta poderia pedir a variante específica do chipset que alimenta esse modelo. O próprio vídeo não mostra o nome do chipset ou os seus detalhes de marketing. Para responder corretamente, a IA deve primeiro identificar o telefone no vídeo, usar uma ferramenta de pesquisa para encontrar as especificações do produto online, ler os detalhes numa página web e, finalmente, confirmar se o chipset corresponde à evidência visual. A equipa filtrou estas perguntas potenciais através de um processo rigoroso, fazendo com que especialistas humanos revisassem cada tarefa para garantir que era justa, difícil e que exigia raciocínio genuíno. Após mais de cem horas de revisão humana, estabeleceram um conjunto final de 271 tarefas que abrangem seis áreas do mundo real, incluindo tecnologia, história, geografia, vida quotidiana, cultura e economia.

Quando os investigadores testaram vinte dos modelos de IA mais avançados disponíveis hoje neste novo benchmark, os resultados foram gritantes. Mesmo os sistemas mais poderosos, que anteriormente pontuavam perto de noventa por cento em testes antigos, tiveram dificuldade em atingir sessenta por cento de precisão no VideoGAIA. O modelo com melhor desempenho, um sistema chamado Seed2.0-Pro, alcançou uma precisão de 58,30 por cento, enquanto outros caíram significativamente abaixo. Esta lacuna mostra que, embora estas máquinas sejam excelentes a reconhecer o que está mesmo à frente delas, ainda estão a aprender a utilizar ferramentas de forma eficaz para preencher as lacunas. O estudo descobriu que a maior fonte de falha não foi a falta de conhecimento ou a incapacidade de ler a web, mas sim uma falha em identificar corretamente as pistas visuais no vídeo em primeiro lugar. Se a IA identificasse incorretamente um objeto ou um detalhe nas imagens, pesquisaria pela informação errada, levando a uma resposta errada.

Os investigadores também observaram que simplesmente fazer a IA pesquisar mais ou ler durante mais tempo não garantia o sucesso. Alguns modelos fizeram centenas de chamadas de ferramentas, pesquisando na web repetidamente, mas ainda assim falharam em resolver a tarefa. Outros fizeram menos chamadas, mas foram mais precisos, parando assim que reuniram evidências suficientes. Os agentes mais bem-sucedidos foram aqueles que conseguiram manter um sentido de incerteza, percebendo quando não tinham informação suficiente e sabendo exatamente o que procurar a seguir. Eles revisitavam partes específicas do vídeo para verificar um detalhe, cruzavam essa informação com uma página web e só então se comprometiam com uma resposta. Este comportamento é mais próximo de como um especialista humano trabalha, verificando cuidadosamente os factos antes de tirar uma conclusão.

As conclusões sugerem que a próxima geração de inteligência artificial não será definida pelo quão bem consegue responder a uma pergunta a partir de uma única imagem ou vídeo, mas sim por quão bem consegue navegar no mundo para encontrar a resposta. O benchmark VideoGAIA serve como um teste rigoroso para esta nova capacidade, revelando que o caminho para assistentes verdadeiramente inteligentes requer mais do que apenas melhor visão ou bases de dados maiores. Requer a capacidade de pensar, pesquisar e verificar num ciclo contínuo. Embora os modelos atuais tenham feito grandes progressos, o facto de nenhum deles conseguir dominar este novo teste indica que ainda há um longo caminho a percorrer antes que as máquinas possam realmente assistir-nos nas tarefas complexas e abertas da vida quotidiana. O trabalho fornece um roteiro claro para o desenvolvimento futuro, mostrando que a chave para o progresso reside em ensinar estes sistemas a serem não apenas observadores, mas investigadores ativos.

Resumo Técnico: VideoGAIA

Declaração do Problema

A compreensão de vídeo tem servido há muito tempo como uma tarefa fundamental para avaliar Modelos de Linguagem de Grande Escala Multimodais (MLLMs). No entanto, o rápido avanço dos modelos de fundação levou à saturação dos benchmarks convencionais. Em datasets líderes de perguntas e respostas de vídeo de turno único, como Video-MME, VideoMMMU e MLVU, os modelos de última geração agora alcançam acurácias próximas a 90%. Essa tendência sugere que a compreensão de vídeo passiva de turno único tornou-se um problema quase resolvido, falhando em avaliar adequadamente as capacidades exigidas para a próxima geração de assistentes de IA.

Embora os agentes multimodais estejam remodelando a forma como os sistemas de IA interagem com o mundo, o desenvolvimento e a avaliação de agentes de vídeo — sistemas capazes de perceber vídeos iterativamente, invocar ferramentas externas e sintetizar informações para resolver tarefas complexas — permanecem amplamente subexplorados. Os benchmarks atuais frequentemente dependem de protocolos de mundo fechado e de turno único, onde os modelos respondem a perguntas predefinidas sem determinar ativamente quais evidências devem inspecionar ou consultar recursos externos. Há uma necessidade crítica de um novo paradigma de avaliação que mude da resposta passiva a perguntas para a compreensão de vídeo agêntica, onde o vídeo serve como evidência para realizar tarefas concretas do mundo real.

Metodologia

Os autores introduzem o VideoGAIA, um benchmark projetado para avaliar assistentes de IA gerais em um cenário de compreensão de vídeo agêntica. A construção do VideoGAIA segue um rigoroso pipeline de co-design humano-modelo de múltiplos estágios:

Coleta de Dados: O processo começa com um conjunto de 100.000 vídeos publicamente disponíveis coletados da internet.
Pipeline de Construção de Tarefas:
- Legendagem ao Nível de Frame: Os vídeos são amostrados a 1 FPS, divididos em segmentos e processados por modelos de fronteira (ex: Gemini-3.1-Pro) para gerar descrições visuais detalhadas e extrair texto via OCR.
- Geração de Tarefas Baseadas em Evidências: Modelos (ex: Claude-Opus-4.7, GPT-5.5) extraem "âncoras de vídeo" reutilizáveis (objetos, texto, logos, ações) e geram tarefas que exigem a identificação de atributos alvo. Crucialmente, as tarefas são projetadas para serem insolúveis apenas com o vídeo; elas exigem a recuperação de evidências externas via busca na web para conectar as âncoras visuais a fatos específicos.
- Controle de Qualidade: Um rigoroso processo de filtragem de múltiplos estágios garante a validade das tarefas:
  - QC Baseado em Rubrica: As tarefas devem exigir pelo menos duas âncoras de vídeo, envolver raciocínio de múltiplos saltos (vídeo $\to$ web) e ocultar respostas através de expressões de referência visual.
  - Filtragem Cross-Modal: As tarefas são testadas para garantir que não possam ser resolvidas usando apenas o vídeo ou apenas o conteúdo da web, garantindo a necessidade de raciocínio multimodal.
  - Avaliação de Necessidade de Ferramenta: Tarefas que podem ser resolvidas por modelos usando apenas vídeo e conhecimento de mundo (sem ferramentas) são descartadas.
  - Triagem de Segurança: Remoção de PII (informações de identificação pessoal), dados sensíveis e conteúdo inapropriado.
- Verificação Humana: As tarefas candidatas restantes passam por verificação independente de três especialistas humanos. Apenas tarefas com aprovação unânime ou majoritária (seguida de adjudicação) são retidas.
Estatísticas do Dataset: O conjunto de teste final compreende 271 tarefas de alta qualidade abrangendo seis categorias do mundo real: Cultura, Geografia, Vida Diária, História, Tecnologia e Economia. O dataset é dividido em dois níveis de dificuldade: L1 (62 tarefas) e L2 (209 tarefas), com o L2 enfatizando a aquisição de evidências complexas e de múltiplos passos.
Protocolo de Avaliação: Os autores avaliam 20 MLLMs de fronteira usando um loop de agente unificado no estilo ReAct. Os modelos recebem frames de vídeo grosseiros e podem intercalar o raciocínio com três ferramentas específicas:
- Busca na Web (Web Search): Para recuperar informações externas.
  * Visita de Página (Page Visit): Para converter páginas da web em conteúdo textual.
- Pensar com Vídeos (Thinking with Videos): Para revisitar e inspecionar segmentos temporais específicos do vídeo.
  Modelos têm até 40 passos de agente por tarefa. O desempenho é medido pela acurácia pass@1 contra respostas de referência verificadas por humanos.

Principais Contribuições

O artigo delineia três contribuições primárias:

Mudança de Paradigma: O trabalho defende uma transição da compreensão de vídeo de turno único para a compreensão de vídeo agêntica. Este novo paradigma trata o conteúdo do vídeo como evidência para realizar tarefas concretas em vez de meramente o objeto de uma pergunta, exigindo que os agentes percebam, pesquisem e sintetizem informações de forma iterativa.
Benchmark de Alta Qualidade: O VideoGAIA é um benchmark cuidadosamente curado contendo 271 tarefas verificadas por humanos. Sua construção via um pipeline de co-design humano-modelo de múltiplos estágios garante forte corretude, dificuldade apropriada e requisitos genuínos para raciocínio multimodal e uso de ferramentas.
Avaliação Abrangente: O artigo fornece uma avaliação sistemática de 20 MLLMs de ponta sob um cenário agêntico unificado, revelando lacunas significativas de desempenho em comparação com benchmarks convencionais.

Resultados

A avaliação de 20 modelos de fronteira no VideoGAIA produz as seguintes descobertas principais:

Baixa Acurácia Geral: Todos os modelos avaliados alcançam acurácias abaixo de 60%. O modelo de melhor desempenho, Seed2.0-Pro, atinge 58,30%, seguido por Qwen3.7-Plus (56,09%) e Kimi-K3 (54,61%). Isso é substancialmente inferior à acurácia de ~90% observada em benchmarks convencionais como o Video-MME.
Sensibilidade à Dificuldade: Há uma queda consistente e significativa de desempenho de tarefas L1 para L2. Por exemplo, o Seed2.0-Pro cai de 75,81% em L1 para 53,11% em L2, indicando que as tarefas L2 capturam com sucesso trajetórias mais difíceis envolvendo referências indiretas e reconciliação de evidências de múltiplos passos.
Padrões de Uso de Ferramentas: A análise do uso de ferramentas revela que a busca na web domina em todos os modelos (60,5%–90,6% das chamadas). Curiosamente, um maior volume de chamadas de ferramentas não se correlaciona com uma maior acurácia; por exemplo, o Gemini-3.1-Pro faz significativamente mais chamadas do que o GPT-5.5, mas alcança uma acurácia menor.
Análise de Erros: A principal fonte de erro para todos os modelos é a percepção de vídeo (36,8%–48,0%), onde a ancoragem visual incorreta contamina o raciocínio subsequente. Outros gargalos incluem recuperação na web (20,3%–31,0%) e raciocínio de evidências (14,2%–28,6%). Erros de formulação de resposta são mínimos (<3,3%).
Escalonamento Não Monotônico: Melhorias geracionais não são universais. Embora modelos mais novos nas famílias Kimi, GLM e Gemini mostrem melhorias, modelos Claude-Opus mais novos (4.7 e 4.8) pontuaram abaixo de seu predecessor (4.6). Especificamente, o Claude-Opus-4.7 e 4.8 alcançaram 34,69% e 36,90% respectivamente, ambos abaixo do escore de 47,97% do Claude-Opus-4.6. Isso sugere que o escalonamento de capacidade geral não se transfere automaticamente para o uso confiável de ferramentas multimodais.

Significância e Alegações

Os autores alegam que o VideoGAIA serve como um benchmark oportuno e de alta qualidade para avaliar a próxima geração de MLLMs. O artigo argumenta que a saturação atual de benchmarks de turno único mascara as limitações dos modelos existentes na compreensão de vídeo agêntica.

A significância do VideoGAIA reside em sua capacidade de expor a lacuna entre modelos que conseguem responder perguntas sobre vídeos e modelos que conseguem usar vídeos como evidência para resolver tarefas do mundo real. Os resultados indicam que a compreensão de vídeo agêntica está longe de ser resolvida, apresentando oportunidades substanciais para pesquisas futuras em arquiteturas de modelos, estratégias de treinamento e harnesses de agentes. Os autores esperam que este benchmark facilite a transição da compreensão de vídeo convencional para um paradigma mais robusto, aumentado por ferramentas e integrador de evidências para assistentes de IA gerais.