Perception Test 2025: Challenge Summary and a Unified VQA Extension

1. Declaração do Problema

O artigo aborda a rápida evolução dos Modelos Multimodais Grandes (LMMs) e a necessidade de avaliar suas capacidades além de modelos especializados de tarefa única. Enquanto as iterações anteriores do Perception Test avaliavam modelos em tarefas distintas (por exemplo, trilhas separadas para rastreamento de objetos, rastreamento de pontos e localização de ações), o campo mudou em direção à Percepção Unificada.

O problema central é determinar se os modelos atuais de Estado da Arte (SOTA) conseguem lidar com tarefas diversas e complexas de percepção espaço-temporal através de uma interface unificada única (especificamente, uma interface baseada em linguagem), em vez de depender de pipelines projetados com modelos específicos para cada tarefa. O desafio de 2025 teve como objetivo testar se os modelos podiam generalizar entre tarefas como rastreamento, localização e raciocínio sem ajuste fino específico para a tarefa ou alterações arquitetônicas.

2. Metodologia e Configuração do Desafio

O desafio foi organizado como um workshop ao lado do ICCV 2025, utilizando a plataforma eval.ai. Apresentou cinco trilhas consolidadas, afastando-se de tarefas desconexas para abordagens unificadas:

A. Trilhas de Tarefa Unificada (Sem Interface de Linguagem)

Estas trilhas exigiam que um único modelo resolvesse duas tarefas distintas simultaneamente:

1. Rastreamento Unificado de Objetos e Pontos: Os modelos devem rastrear tanto caixas delimitadoras (objetos) quanto pontos 2D específicos (pontos) através de quadros de vídeo, lidando com oclusões.
   • Métrica: Jaccard Médio (AJ), calculando a média do AJ de Pontos (TAP-Vid) e do AJ de Objetos (IoU).
2. Localização Temporal Unificada de Ação e Som: Os modelos devem identificar e localizar tanto ações visuais quanto eventos auditivos dentro de um vídeo.
   • Métrica: Precisão Média (mAP) entre classes de ação e som.

B. Trilhas Unificadas de VQA (Interface de Linguagem)

Estas trilhas utilizaram consultas em linguagem natural para testar a percepção, incluindo uma extensão inovadora:
3. VQA Unificada de Vídeo de Múltipla Escolha (mc-VQA): A inovação central deste ano.
* Novidade: Tarefas tradicionais não linguísticas (rastreamento de pontos, localização temporal de ação) foram reformuladas como perguntas de múltipla escolha.
* Técnica: Os autores utilizaram pintura visual (por exemplo, barras coloridas, indicadores piscantes) e marcadores temporais para fundamentar consultas espaciais/temporais diretamente no fluxo de vídeo. Isso permite que os VLMs "vejam" os requisitos da tarefa sem decodificadores complexos.
* Novos Tipos de Perguntas:
* Rastreamento de Pontos: Identificar um ponto de superfície específico entre distratores após um "Piscar Verde".
* Ordenação de Ações: Identificar a sequência correta de ações.
* Interação Objeto-Ação: Identificar objetos envolvidos em um segmento temporal específico.
* Ação Fingida: Identificar segmentos onde uma ação é "falsa" ou incorreta.
* Conjunto de Dados: Expandido de 11.528 perguntas originais de 3 opções para incluir 1.842 novas perguntas de 5 opções para mitigar a aprendizagem de atalhos.
4. VQA de Vídeo Fundamentada: Os modelos respondem a uma pergunta rastreando o(s) objeto(s) específico(s) que representam a resposta ao longo do vídeo.
* Métrica: HOTA (Precisão de Rastreamento de Ordem Superior).
5. VQA de Vídeo de Uma Hora: Os modelos respondem a perguntas sobre vídeos muito longos (1+ horas) para testar memória de longo prazo e raciocínio.
* Métrica: Precisão Top-1.

Protocolo de Avaliação:

• Fases: Validação (submissões ilimitadas) e Teste (limitado a 30 submissões).
• Restrições: Para trilhas conjuntas, os modelos tiveram que resolver ambas as tarefas simultaneamente. O ajuste fino sequencial (por exemplo, treinar em rastreamento de objetos e depois em rastreamento de pontos) foi proibido.
• Modos: Os participantes especificaram se utilizaram ajuste fino, poucos exemplos (few-shot) ou avaliação zero-shot.

3. Principais Contribuições

• Avaliação Unificada: Mergulhou com sucesso tarefas anteriormente separadas (rastreamento, localização) em trilhas unificadas, forçando a comunidade a desenvolver modelos generalistas em vez de pipelines de ensemble.
• Extensão Unificada de mc-VQA: Introduziu um novo quadro que reclassifica tarefas espaço-temporais complexas (rastreamento, localização) como perguntas de VQA de múltipla escolha usando pintura visual. Isso preenche a lacuna entre a percepção visual e o raciocínio linguístico.
• Avaliação Abrangente: Avaliou 450 submissões de mais de 100 equipes, fornecendo uma comparação robusta de modelos SOTA (incluindo Gemini, GPT-4V, Qwen, Llama 3-V) contra baselines humanas.
• Análise de Longo Contexto: Incluiu uma trilha dedicada para vídeos de uma hora, empurrando os limites das janelas de contexto atuais e do raciocínio temporal.

4. Resultados

Os resultados destacam uma divergência no desempenho baseada na presença de uma interface de linguagem:

• Trilhas com Interface de Linguagem (Progresso Significativo):

  • VQA de Vídeo Fundamentada: O desempenho quase duplicou em comparação com 2024. O modelo principal (SGVR@KAIST) alcançou 0,499 HOTA, comparado a uma baseline de 0,057. Isso indica que os modelos agora estão fundamentando efetivamente a linguagem em fluxos visuais.
  • VQA de Vídeo de Uma Hora: Os principais modelos alcançaram 0,780 de precisão (vs. 0,203 de baseline aleatória), mostrando fortes capacidades no processamento de conteúdo de longa duração.
  • mc-VQA Unificada: O principal modelo zero-shot alcançou 81,2% de precisão no conjunto original e 65,4% no novo conjunto de 5 opções mais difícil.
  • Observação: Os modelos estão se aproximando rapidamente das baselines humanas em tarefas fundamentadas em linguagem.

• Trilhas sem Interface de Linguagem (Estagnação/Ganhos Modestos):

  • Rastreamento Unificado de Objetos e Pontos: O principal modelo unificado alcançou 0,62 AJ, o que não superou a média dos melhores modelos especializados de 2024 (0,47 para pontos, 0,81 para objetos).
  • Localização Unificada de Ação e Som: O principal modelo alcançou 0,52 mAP, semelhante aos vencedores especializados anteriores.
  • Observação: Embora modelos multitarefa sejam capazes, eles lutam para superar pipelines especializados de tarefa única quando uma interface de linguagem está ausente.

• Desempenho do Modelo:

  • Zero-Shot vs. Ajuste Fino: Os melhores resultados foram alcançados tanto por ensembles ajustados (por exemplo, Qwen-2.5VL + GLM-4.5V) quanto por abordagens zero-shot sofisticadas (por exemplo, Seed 1.6 Vision + Qwen-VL-Max).
  • Baseline Humana: Humanos pontuaram 91,4% na tarefa mc-VQA, enquanto os melhores modelos alcançaram ~82%, indicando uma lacuna restante no raciocínio.

5. Significado

O Perception Test 2025 serve como um marco crítico no desenvolvimento de modelos de percepção geral:

1. Validação de Interfaces Unificadas: O desafio prova que interfaces de linguagem aumentam significativamente o desempenho em tarefas complexas de percepção, sugerindo que os VLMs estão se tornando a arquitetura preferida para percepção geral.
2. Identificação de Gargalos: A estagnação nas trilhas unificadas sem linguagem (rastreamento/localização) revela que os modelos atuais ainda lutam para integrar tarefas visuais diversas sem a estrutura de suporte da linguagem natural.
3. Direção Futura: Os resultados sugerem que a próxima fronteira para modelos multimodais não é apenas a escalabilidade, mas a melhoria do raciocínio espaço-temporal e da compreensão de longo contexto para igualar o desempenho humano em tarefas que não dependem de prompts linguísticos explícitos.
4. Evolução do Benchmark: Ao introduzir o subconjunto "Unified mc-VQA", os autores fornecem um método escalável para avaliar capacidades de rastreamento e localização usando métricas padrão de VQA, simplificando o pipeline de avaliação para pesquisas futuras.

Em conclusão, embora os LMMs tenham feito avanços impressionantes na percepção fundamentada em linguagem (duplicação do desempenho em QA fundamentada), o desafio destaca que a verdadeira "percepção geral" capaz de lidar com tarefas visuais diversas de maneira unificada e não linguística permanece um problema aberto e difícil.