PerceptionComp: A Video Benchmark for Complex Perception-Centric Reasoning

O artigo apresenta o PerceptionComp, um novo benchmark manual composto por 1.114 perguntas complexas sobre 279 vídeos, projetado para avaliar e destacar as atuais limitações de modelos de IA e humanos no raciocínio visual de longo prazo que exige a integração de múltiplas evidências temporais e lógicas composicionais.

O essencial

🎬 O "Exame de Detetive" que os Robôs Não Conseguem Passar

Imagine que você está assistindo a um filme de detetive muito longo e caótico. O filme tem centenas de pessoas, carros passando, lojas mudando de lugar e eventos acontecendo em momentos diferentes.

O detetive (neste caso, uma Inteligência Artificial) recebe uma pergunta difícil:

"Qual era a cor do colete do ciclista que passou pelo carro amarelo, exatamente no momento em que o caminhão de comida amarelo passou pela loja de vidro cúbico?"

Para responder a isso, você não pode apenas dar uma olhada rápida no filme. Você precisa:

1. Encontrar a loja de vidro.
2. Encontrar o caminhão de comida perto dela.
3. Lembrar que o caminhão é amarelo.
4. Esperar o momento exato em que o caminhão passa.
5. Procurar o carro amarelo que aparece nesse segundo.
6. Encontrar o ciclista ao lado do carro.
7. Olhar a cor do colete dele.

O problema é: Se você tentar responder isso sem poder voltar no tempo e rever o filme, você provavelmente vai errar. E é exatamente isso que o PerceptionComp testa.

🧩 O que é o PerceptionComp?

O PerceptionComp é um novo "teste de inteligência" criado por pesquisadores para medir quão bem as IAs conseguem entender vídeos longos e complexos.

Até agora, os testes de IA eram como perguntas de "verdadeiro ou falso" em um filme de 5 minutos: "O personagem usava uma camisa azul?". A IA podia ver a resposta em uma única cena e acertar.

O PerceptionComp é diferente. Ele foi desenhado para ser um quebra-cabeça de múltiplas peças:

• Vídeos Difíceis: Eles escolheram vídeos reais e bagunçados (passeios pela cidade, jogos, esportes extremos), cheios de movimento e objetos.
• Perguntas Compostas: As perguntas exigem que a IA conecte informações de momentos diferentes do vídeo. Se ela esquecer uma peça do quebra-cabeça, a resposta inteira sai errada.
• Sem "Pulo do Gato": Não adianta a IA tentar adivinhar baseada no texto da pergunta. Ela é obrigada a "assistir" ao vídeo várias vezes, procurando pistas espalhadas pelo tempo.

🤖 O Resultado: Humanos vs. Robôs

Os pesquisadores fizeram um experimento curioso:

1. Humanos: Quando as pessoas podiam rever o vídeo quantas vezes quisessem, elas acertavam 100% das perguntas. Mas, se elas só pudessem assistir uma vez e não tivessem tempo de pensar, a taxa de acerto caía para quase 19% (como chutar no escuro). Isso prova que a pergunta é realmente difícil e exige "memória de trabalho" e revisão.
2. IAs (Robôs): Mesmo os modelos mais modernos e inteligentes do mundo (como o Gemini e o GPT-4o) tiveram um desempenho terrível. O melhor deles acertou apenas 46% das perguntas. A maioria ficou abaixo de 40%.

A analogia: É como se você tivesse um aluno que decorou o alfabeto e sabe ler, mas quando você pede para ele resolver um problema de matemática que exige usar três fórmulas diferentes ao mesmo tempo, ele trava. A IA sabe "ver" o vídeo, mas não consegue "raciocinar" sobre o que viu ao longo do tempo.

🔍 Por que elas falham?

O artigo descobriu que as IAs têm dois problemas principais:

1. Perdem o Rastro: Elas conseguem achar o caminhão de comida, mas esquecem que ele era amarelo quando chegam na parte do carro. É como tentar montar um quebra-cabeça, mas você perde a peça do meio e tenta adivinhar o resto.
2. Ilusões de Ótica Lógicas: Às vezes, a IA inventa uma história. Ela vê uma cor azul e, como a pergunta era difícil, ela decide que "deve ser azul" e segue em frente, ignorando que a pista real era amarela. Elas "alucinam" respostas para tentar parecer inteligentes.

💡 O que isso significa para o futuro?

Os pesquisadores mostram que, para as IAs se tornarem verdadeiramente inteligentes (como um robô que pode ajudar em uma casa ou dirigir um carro), elas precisam aprender a revisar o que viram.

• Mais tempo de pensamento ajuda: Quando damos mais tempo para a IA "pensar" antes de responder, ela acerta um pouco mais.
• Mais "olhadas" ajudam: Quando damos mais quadros do vídeo para a IA analisar, ela acerta mais.

Mas, mesmo com tudo isso, elas ainda estão muito longe do nível humano. O PerceptionComp serve como um "termômetro" para mostrar que, embora as IAs estejam ficando boas em ver imagens, elas ainda são muito ruins em entender histórias complexas que acontecem ao longo do tempo.

Resumo em uma frase:

O PerceptionComp é um teste difícil que prova que, hoje em dia, as IAs são ótimas em olhar para uma foto, mas ainda são péssimas em ser detetives que precisam conectar pistas espalhadas em um filme inteiro.

Resumo técnico

1. O Problema

O entendimento profundo de vídeos exige raciocínio de longo alcance centrado na percepção, onde o modelo deve revisitar o vídeo repetidamente para reunir evidências distribuídas temporalmente. No entanto, os benchmarks existentes apresentam duas limitações principais:

• Fáceis demais: Muitos benchmarks focados em percepção (como VideoMME) são resolvidos com uma única visualização, não exigindo raciocínio complexo ou reavaliação.
• Foco excessivo na lógica: Outros benchmarks exigem raciocínio lógico pesado, mas utilizam visuais simplificados ou sintéticos, falhando em testar a capacidade de percepção multimodal em cenários do mundo real.

Não existe, até o momento, um benchmark que seja simultaneamente de longo alcance, centrado na percepção e que force a coleta repetida de informações visuais para resolver uma única questão.

2. Metodologia e Construção do Benchmark

Os autores introduzem o PerceptionComp, um benchmark totalmente anotado manualmente projetado para superar essas lacunas.

• Seleção de Vídeos: Foram selecionados 279 vídeos de alta complexidade de cena (caminhadas urbanas, tours em villas, jogos, esportes extremos, etc.). A complexidade foi quantificada automaticamente usando contagem de instâncias (via SAM2) e magnitude do fluxo óptico para garantir alta densidade de objetos, movimento intenso e transições frequentes.
• Design das Questões: O benchmark contém 1.114 questões de múltipla escolha (5 opções). Cada questão é construída através da composição de múltiplas subcondições que exigem habilidades perceptivas distintas:
  • Composição Conjunção: Todas as subcondições referem-se ao mesmo alvo (estilo "E"), exigindo que todas sejam satisfeitas simultaneamente.
  • Composição Sequencial: As subcondições devem ser resolvidas em ordem, onde etapas posteriores dependem de entidades ou estados estabelecidos anteriormente (raciocínio multi-hop).
• Habilidades Testadas: O benchmark avalia reconhecimento semântico, correspondência visual (tracking), raciocínio temporal, raciocínio espacial, conhecimento visual e modelagem do mundo.
• Anotação Rigorosa: Cada questão levou de 10 a 20 minutos para ser anotada. Um processo de verificação em duas etapas garante que a resposta seja única e que nenhuma subcondição seja dispensável (evitando atalhos).

3. Principais Contribuições

1. Novo Benchmark de Raciocínio Perceptivo: O PerceptionComp é o primeiro a exigir explicitamente que o modelo "reveja" o vídeo para conectar evidências temporais dispersas, tornando impossível a resolução baseada apenas em memória de curto prazo ou priors linguísticos.
2. Validação Humana: Estudos com humanos demonstram que o benchmark é extremamente desafiador.
   • Com reexibição ilimitada, humanos alcançam 100% de precisão.
   • Em uma configuração de visualização única (sem reexibição), a precisão humana cai para 18,97% (próximo ao acaso), provando que a tarefa depende fundamentalmente da percepção iterativa e não apenas do raciocínio lógico abstrato.
   • O tempo de resposta humano é significativamente maior (5x a 10x) do que em benchmarks anteriores, indicando uma carga cognitiva perceptiva muito superior.
3. Análise de Limitações de Modelos: O benchmark serve como um "teste de estresse" para Modelos de Linguagem Multimodal (MLLMs), expondo gargalos específicos na integração de percepção e raciocínio.

4. Resultados Experimentais

Os autores avaliaram uma ampla gama de modelos proprietários e de código aberto (incluindo Gemini 2.5/3, GPT-4o/o3, Qwen-VL, InternVL, etc.):

• Desempenho Geral: Os modelos atuais têm desempenho notavelmente inferior. O melhor modelo avaliado, Gemini-3-Flash, alcançou apenas 45,96% de precisão. Modelos de código aberto ficaram abaixo de 40%.
• Raciocínio vs. Instrução: Modelos com capacidades de "pensamento" (Chain-of-Thought) geralmente superam suas contrapartes apenas instruídas (ex: GPT-o3 superou GPT-4o em 11,04%), mas ainda estão muito longe do nível humano.
• Impacto de Recursos:
  • Orçamento de Percepção: Aumentar o número de quadros de entrada (amostragem mais densa) melhora a precisão, confirmando a dependência de evidências temporais distribuídas.
  • Orçamento de Raciocínio: Aumentar o número de tokens de "pensamento" também melhora o desempenho, sugerindo que mais tempo de inferência ajuda a manter hipóteses intermediárias.
• Gargalo Identificado: Mesmo os modelos de ponta (Gemini-3 e GPT-o3) agrupam-se na faixa de 40-45% de precisão, sugerindo um gargalo fundamental no raciocínio de vídeo de longo alcance centrado na percepção.
• Análise de Erros: A maioria dos erros ocorre no meio da cadeia de raciocínio (passos 2 e 3), frequentemente devido a mal-entendidos espaciais (60% dos erros de meio de cadeia) e falhas em manter a correspondência de entidades ao longo do tempo.

5. Significado e Conclusão

O PerceptionComp estabelece um novo padrão para avaliar a "inteligência visual" em vídeos. Ele demonstra que, embora os MLLMs tenham avançado no raciocínio lógico e na compreensão de contexto, eles ainda lutam para integrar percepção visual fina e dinâmica com raciocínio sequencial de longo prazo em cenários complexos e caóticos.

O benchmark fornece um terreno de teste focado para diagnosticar essas limitações e impulsionar o desenvolvimento de modelos capazes de realizar "pensamento visual" profundo, onde a percepção não é apenas um passo inicial, mas um processo iterativo e contínuo essencial para a solução de problemas complexos.