EgoGapBench: Benchmarking Egocentric Action Selection in Multi-Agent Scenes

Resumo Técnico: EgoGapBench

Problema
Os benchmarks existentes para visão egocêntrica baseiam-se principalmente em dados de visão em primeira pessoa (FPV) (ex: Ego4D, EPIC-KITCHENS). Os autores argumentam que esses benchmarks confundem duas habilidades distintas: compreender a entrada FPV (interpretar pistas visuais como mãos, pés ou distorção da câmera) e compreender uma perspectiva egocêntrica (adotar o ponto de vista de um observador para determinar as ações apropriadas). Nos conjuntos de dados atuais, os modelos frequentemente obtêm sucesso ao detectar pistas corporais visíveis de quem usa a câmera, em vez de raciocinar sobre o próprio ponto de vista. Consequentemente, é difícil isolar se um modelo compreende genuinamente a perspectiva egocêntrica ou apenas reconhece artefatos de primeira pessoa. Além disso, em cenas com múltiplos agentes, os modelos têm dificuldade em distinguir entre as ações disponíveis para o observador e as ações realizadas por outros agentes visíveis, selecionando incorretamente estas últimas com frequência.

Metodologia: EgoGapBench
Para abordar isso, os autores introduzem o EgoGapBench, um benchmark diagnóstico projetado para medir a Seleção de Ação Egocêntrica (EAS - Egocentric Action Selection). A EAS é definida como a capacidade de selecionar uma ação apropriada a partir da perspectiva de um agente na presença de outros agentes, sem depender de pistas corporais visíveis de primeira pessoa.

A construção do benchmark adere a dois princípios fundamentais de design:

1. Sem Pistas Específicas de Primeira Pessoa: As imagens são extraídas de conjuntos de dados gerais (COCO, Wikimedia) e filtradas para excluir partes do corpo visíveis do usuário da câmera (mãos, pés) ou distorções específicas de FPV.
2. Restrição de Singleton: As opções de distração são construídas usando "ações de singleton" — ações que não podem ser duplicadas por múltiplos agentes na mesma situação (ex: um batedor balançando um taco). Se um agente visível já está realizando uma ação de singleton, o agente do ponto de vista não pode realizá-la. Isso faz com que copiar a ação de outro agente seja um erro estruturalmente incorreto, em vez de uma alternativa plausível.

O conjunto de dados consiste em 1.000 itens derivados de 440 imagens, apresentando cenas de múltiplos agentes. Cada item apresenta uma pergunta pedindo a próxima ação apropriada, com opções incluindo:

• Correta: Uma ação disponível a partir do ponto de vista atribuído.
• Intrusão Motora: Uma ação observada sendo realizada por outro agente na cena (estruturalmente incorreta devido à restrição de singleton).
• Fora do Ponto de Vista (Off-Vantage): Uma ação que se ajusta à atividade, mas requer uma posição que o agente do ponto de vista não ocupa.

Os itens são formatados como questões de múltipla escolha de 3 opções (n3) ou 4 opções (n4).

Principais Contribuições

1. Formalização da EAS: O artigo separa formalmente a compreensão da perspectiva egocêntrica da compreensão da visão em primeira pessoa, definindo a EAS como uma capacidade específica necessária para a seleção de ações em cenários de múltiplos agentes.
2. Benchmark Diagnóstico: A introdução do EgoGapBench, que utiliza distratores de ação de singleton para criar um sinal diagnóstico claro para a confusão entre si e o outro.
3. Análise Empírica: Uma avaliação abrangente de Modelos de Linguagem de Grande Escala Multimodais (MLLMs) abertos e proprietários, revelando uma lacuna significativa entre o desempenho humano e o dos modelos, caracterizada por uma tendência sistemática de copiar ações observadas.

Resultos

• Lacuna Humano-Modelo: Humanos alcançam 94,5% de precisão no EgoGapBench. Em contraste, o modelo proprietário mais forte (GPT-5.4) atinge apenas 66,1%, enquanto a maioria dos modelos de código aberto apresenta desempenho próximo ou abaixo do acaso (escolha aleatória).
• Padrões de Erro Sistemáticos: Os modelos não falham aleatoriamente; eles selecionam sistematicamente erros de "intrusão motora" (ações realizadas por outros agentes visíveis na cena). Essa tendência é particularmente forte para ações "diretas" (intervenções ativas) em comparação com ações "indiretas" (respostas passivas como observar).
• Ineficácia do Ajuste Fino de FPV Existente: O ajuste fino de modelos em conjuntos de dados de instrução egocêntrica existentes (EgoIT-99K) falha em melhorar o desempenho da EAS. Na verdade, ele degrada o desempenho no EgoGapBench em uma média de 33,9%, enquanto deixa o desempenho em benchmarks padrão de compreensão de cena FPV (EgoThink) praticamente inalterado. Isso sugere que os dados de FPV existentes ensinam os modelos a depender de pistas corporais, que estão ausentes no EgoGapBench, levando a uma transferência negativa.
• Ajuste Fino Específico para EAS: O ajuste fino nos dados de treinamento do EgoGapBench melhora a precisão (ex: o Qwen3.5 sobe de 29,0% para 75,2%), mas não fecha a lacuna em relação ao desempenho humano. Além disso, embora os erros de "intrusão motora" diminuam, os erros de "fora do ponto de vista" aumentam, indicando que os modelos aprendem a evitar copiar os outros, mas ainda lutam com a localização precisa do ponto de vista.
• Robustez: A lacuna de desempenho persiste através de diferentes formulações de prompts (incluindo instruções explícitas para ignorar as ações de outros agentes) e conjuntos de dados fora do domínio (Wikimedia), sugerindo que o problema é fundamental à arquitetura atual dos modelos ou aos seus paradigmas de treinamento.

Significância
O artigo afirma que a EAS é uma capacidade distinta que não pode ser adquirida apenas a partir de dados de visão em primeira pessoa. Os resultados indicam que os MLLMs atuais, mesmo aqueles ajustados com dados egocêntricos, carecem da habilidade de fundamentar a seleção de ações em um ponto de vista específico quando as pistas corporais estão ausentes e outros agentes estão presentes. Os autores postulam que melhorar a EAS requer avanços estruturais além da compreensão de cena padrão, movendo os modelos para uma verdadeira adoção de um ponto de vista de observador, em vez de meramente interpretar artefatos visuais. O EgoGapBench é proposto como uma ferramenta diagnóstica necessária para medir o progresso em direção a esse objetivo.