Resumo Técnico: EgoCoT-Bench

Declaração do Problema

Embora os Modelos de Linguagem Grandes Multimodais (MLLMs) tenham avançado na compreensão de vídeo, os benchmarks existentes para compreensão de vídeo egocêntrico (em primeira pessoa) sofrem de limitações significativas. Os conjuntos de dados atuais frequentemente carecem de avaliação de fundamentação de raciocínio, falhando em apoiar o raciocínio centrado em operações de alta granularidade. Especificamente, eles raramente examinam se o raciocínio gerado por um modelo está realmente fundamentado em evidências espaciais e temporais explícitas. Em cenários egocêntricos, os objetos são frequentemente parcialmente visíveis, ocultos por mãos ou deixam o campo de visão intermitentemente, exigindo que os modelos raciocinem sobre evidências que evoluem temporalmente, em vez de depender de quadros instantâneos. Os benchmarks existentes focam ou em QA de vídeo genérico em terceira pessoa ou oferecem suporte limitado à supervisão explícita de fundamentação e à fundamentação espacial de alta granularidade em tarefas de manipulação em primeira pessoa.

Metodologia: Construção do EgoCoT-Bench

Para abordar essas lacunas, os autores introduzem o EgoCoT-Bench, um benchmark de alta granularidade projetado para raciocínio centrado em operações, fundamentado e verificável. A construção segue um rigoroso framework de geração guiado por Grafos de Cena Espaço-Temporais (STSG) combinado com refinamento humano:

1. Coleta de Dados: O benchmark agrega 351 clipes de vídeo egocêntricos de diversas fontes, incluindo conjuntos de dados públicos (Ego4D, EPIC-KITCHENS, MECCANO, Charades-Ego, HD-EPIC) e vídeos gravados pelos próprios autores, cobrindo atividades diárias, tarefas de cozinha e montagem estruturada.
2. Geração Guiada por STSG:
   • Os clipes de vídeo são convertidos em Grafos de Cena Espaço-Temporais adaptados para egocêntrico (STSG), servindo como uma representação intermediária e estruturada.
   • Os STSGs são refinados manualmente para corrigir identidades de objetos não confiáveis, links de interação inconsistentes e transições de estado ambíguas.
   • Pares de QA candidatos são derivados percorrendo caminhos de evidência específicos da tarefa dentro do STSG, conectando respostas a pistas de interação em primeira pessoa concretas (carimbos de tempo, caixas delimitadoras, histórico de ações).
   • Um LLM transforma esses fatos estruturados verificados em perguntas, opções e fundamentações em linguagem natural, garantindo que a evidência subjacente não seja inventada.
3. Refinamento Humano: Um processo de triagem manual de múltiplas rodadas garante correção semântica, relevância egocêntrica e consistência de evidências. Anotadores verificam se perguntas, respostas, fundamentações e evidências de suporte são mutuamente consistentes.
4. Taxonomia de Tarefas: O benchmark compreende 3.172 pares de QA organizados em quatro grupos de tarefas e 12 subtarefas de alta granularidade:
   • Fundamentação e Percepção Egocêntrica: Fundamentação de Objeto Ativa (AOG), Associação Mão-Objeto (HOA), Percepção de Estado de Manipulação (MSP).
   • Retrospecção Espaço-Temporal: Retrospecção de Estado (SR), Retrospecção de Localização/Visibilidade (LVR), Retrospecção Temporal Mão-Objeto (HOTR).
   • Inferência Preditiva e Causal: Antecipação do Próximo Estado (NSA), Antecipação da Próxima Ação (NAA), Inferência Local de Causa-Resultado (LCOI).
   • Raciocínio de Alto Nível Fundamentado: Raciocínio de Progresso (PR), Cadeia de Pensamento Fundamentada Mão-Objeto (HGC), Rastreamento de Objeto Orientado a Objetivo (GOT).
5. Protocolo de Avaliação: O benchmark emprega um protocolo de três métricas para avaliar modelos além da simples precisão da resposta:
   • Precisão da Resposta (Acc): Correspondência exata estrita em perguntas de múltipla escolha.
   • Pontuação de Raciocínio (R): Uma pontuação na escala de 0 a 5 (avaliada por um LLM forte) que avalia coerência lógica, consistência factual e alinhamento com evidências visuais.
   • Taxa de Corretude Espúria (SCR): A proporção de casos em que o modelo responde corretamente, mas fornece raciocínio fraco ou não fundamentado (R ≤ 2).

Resultados Principais

Os autores avaliaram um amplo conjunto de 4 MLLMs proprietários e 15 de código aberto (incluindo GPT-5, Qwen, LLaVA e a série InternVL) no EgoCoT-Bench:

• Desempenho Geral: O benchmark permanece altamente desafiador. O modelo de melhor desempenho, Qwen3.5-27B, alcançou uma precisão geral de 71,28%, ficando significativamente atrás do desempenho humano (95,93%).
• Dificuldade da Tarefa:
  • Inferência Preditiva e Causal foi o grupo mais tratável (melhor precisão: 78,21%).
  • Retrospecção Espaço-Temporal e Raciocínio de Alto Nível Fundamentado provaram ser os mais difíceis, com melhores precisões de 69,10% e 68,08%, respectivamente.
  • Rastreamento de Objeto Orientado a Objetivo (GOT) foi a sub-tarefa mais difícil (melhor precisão: 45,28%), enquanto Percepção de Estado de Manipulação (MSP) foi a mais fácil (87,79%).
• Raciocínio vs. Precisão: Uma descoberta crítica é o desalinhamento entre a correção da resposta e a qualidade do raciocínio. Por exemplo, embora o Qwen3.5-27B tivesse a maior precisão, o Qwen3-VL-Plus alcançou a maior Pontuação Média de Raciocínio (3,08/5). Por outro lado, o GPT-5.2 demonstrou a menor Taxa de Corretude Espúria (4,27%), indicando o raciocínio mais fiel entre as respostas corretas.
• Corretude Espúria: Muitos modelos exibiram altas Taxas de Corretude Espúria, particularmente em tarefas de Raciocínio de Alto Nível Fundamentado, sugerindo que eles frequentemente adivinham a opção correta sem fornecer raciocínio fundamentado nas evidências espaço-temporais do vídeo.

Significado e Alegações

O artigo afirma que o EgoCoT-Bench serve como um campo de testes necessário para avançar o raciocínio fundamentado, verificável e temporalmente coerente na compreensão de vídeo egocêntrico. Suas principais contribuições são:

1. Um Benchmark de Alta Granularidade: Fornece o primeiro conjunto de dados em grande escala especificamente voltado para raciocínio centrado em operações, com anotações explícitas de fundamentação passo a passo e fundamentação espaço-temporal.
2. Um Pipeline de Construção Estruturado: Demonstra um pipeline de geração guiado por STSG e refinamento humano que garante que cada amostra seja rastreável a evidências visuais explícitas, indo além de descrições de vídeo de forma livre.
3. Um Protocolo de Avaliação Fiel: Ao introduzir a Pontuação de Raciocínio e a Taxa de Corretude Espúria, os autores defendem protocolos de avaliação que avaliam explicitamente se o raciocínio do modelo é consistente com a evidência subjacente, em vez de depender apenas da precisão da resposta final.

Os autores concluem que os MLLMs atuais lutam com a fundamentação de evidências e a consistência de fundamentação em cenários em primeira pessoa. Eles postulam que o progresso futuro em IA incorporada e sistemas assistivos requer modelos que possam justificar decisões usando evidências espaço-temporais verificáveis, uma capacidade que o EgoCoT-Bench foi projetado para medir e melhorar.