Resumo Técnico: EgoBench

Declaração do Problema

À medida que os agentes de IA transitam de fluxos de trabalho estruturados e baseados em texto para ambientes abertos do mundo real, eles exigem uma integração sinérgica de percepção multimodal, invocação de ferramentas com raciocínio multi-hop e interação dinâmica com o usuário. As benchmarks existentes falham em avaliar conjuntamente essas capacidades devido a três desafios principais:

1. Acoplamento de Capacidades: É difícil projetar tarefas que exijam genuinamente o uso simultâneo de compreensão visual, raciocínio lógico e invocação de ferramentas, pois os modelos frequentemente exploram atalhos ou dependem de capacidades únicas.
2. Simulação Realista de Interação: Gerar feedback do usuário que seja ao mesmo tempo natural e estritamente alinhado com os objetivos da tarefa é desafiador, dada a imprevisibilidade do comportamento do agente.
3. Avaliação Objetiva: Extrair métricas quantificáveis de interações dinâmicas e subjetivas (por exemplo, diálogos) é difícil, mas essencial para uma avaliação reprodutível.

As benchmarks atuais frequentemente carecem de fundamentação multimodal, interação dinâmica com o usuário ou validação baseada em resultados objetivos, deixando uma lacuna na avaliação de agentes para cenários situados e em primeira pessoa (egocêntricos).

Metodologia

Os autores apresentam o EgoBench, a primeira benchmark interativa multimodal para agentes que utilizam ferramentas, fundamentada em vídeo egocêntrico. A benchmark é construída através de um pipeline sinérgico de três etapas e avaliada por meio de um framework de validação conjunta determinístico.

1. Construção da Benchmark

• Coleta de Vídeos Egocêntricos (Etapa 1): O conjunto de dados compreende 1.045 tarefas em quatro cenários diários: Jantar, Operações de Cozinha, Pedidos de Comida e Varejo. Os vídeos (82,4% coletados via óculos inteligentes/celulares, 17,6% do Ego4D) apresentam pistas espaço-temporais explícitas e são limitados a 10–30 segundos para refletir o uso de dispositivos vestíveis.
• Biblioteca de Ferramentas e Banco de Dados (Etapa 2): Uma biblioteca de ferramentas específica do cenário é projetada com princípios de funcionalidade e imprecisão de parâmetros (permitindo correspondências parciais). Crucialmente, uma lacuna de informação de dados visuais é introduzida: atributos visíveis são extraídos dos vídeos, enquanto dados invisíveis, mas contextualmente relevantes (por exemplo, informações nutricionais, vida útil), são armazenados em um banco de dados estruturado. Isso força os agentes a usar ferramentas para recuperar informações não visíveis no vídeo.
• Projeto de Tarefas (Etapa 3): As tarefas são projetadas para impor uma cadeia de dependência de quatro etapas:
  1. Percepção multimodal do vídeo.
  2. Recuperação de informações invisíveis via ferramentas.
  3. Raciocínio lógico (ramificação condicional, filtragem multi-atributo).
  4. Modificação do estado do banco de dados via ferramentas.
     A verdade fundamental é definida como uma sequência de chamadas de ferramentas essenciais e o estado final do banco de dados, anotada por humanos com verificações rigorosas de qualidade.

2. Usuário Simulado Multi-Agente

Para avaliar a interação dinâmica, o EgoBench emprega um usuário simulado multi-agente com uma estrutura Ator-Avaliador-Summarizador:

• Ator: Gera respostas do usuário com base no histórico de diálogo e nos objetivos da tarefa.
• Avaliador: Avalia a saída do Ator contra quatro critérios binários: Consistência de Papel, Seguimento de Instruções, Resiliência à interferência do agente e Robustez Contextual. Violações acionam regeneração.
• Summarizador: Mantém um resumo compacto do histórico para rastrear o progresso da tarefa.
  A benchmark suporta três modos de interação: Estático (todas as informações de uma vez), Dinâmico Fácil (multi-turno padrão) e Dinâmico Difícil (introduzindo impaciência, ruído e distrações fora do tópico).

3. Framework de Validação Conjunta

A avaliação é determinística e objetiva, evitando juízes subjetivos baseados em LLM. O sucesso é medido por:

• Validação Baseada em Processo: Verificando se a sequência de chamadas de ferramentas do agente cobre todas as chamadas de verdade fundamental necessárias ($\tau^* \subseteq \tau$).
• Validação Baseada em Resultado: Verificando se o estado final do banco de dados corresponde ao estado de verdade fundamental via hashing.
• Taxa de Sucesso Conjunta: A métrica principal, exigindo tanto cobertura do processo quanto equivalência de resultados.

Principais Contribuições

1. Benchmark EgoBench: Um conjunto de dados abrangente de 1.045 tarefas fundamentadas em vídeo egocêntrico abrangendo quatro cenários do mundo real, avaliando conjuntamente percepção multimodal, raciocínio multi-hop e interação dinâmica.
2. Geração de Tarefas Sinérgica: Um pipeline que garante que cada tarefa exija a aplicação integrada de percepção visual e raciocínio aumentado por ferramentas, prevenindo a exploração de atalhos.
3. Simulação de Usuário de Alta Fidelidade: Um framework multi-agente que gera respostas de usuário robustas e alinhadas aos objetivos, suportando complexidades de interação variadas (Estático, Dinâmico Fácil, Dinâmico Difícil).
4. Avaliação Determinística: Um framework de validação conjunta que garante avaliação objetiva através da equivalência de processo e resultado, acoplado a uma análise de erro multidimensional que categoriza falhas em cinco modos (má interpretação perceptual multimodal, alucinação, não conformidade estrutural, falácias lógicas, operações arriscadas).

Resultados Experimentais

Os autores avaliaram oito video-MLLMs de última geração (incluindo Gemini-3.1-Pro, Qwen3.5 e Doubao-Seed-2.0-Pro) no EgoBench.

• Teto de Desempenho: Os modelos atuais exibem limitações severas. O modelo de melhor desempenho, Gemini-3.1-Pro, alcançou uma Taxa de Sucesso Conjunta de apenas 30,62% no cenário de Varejo (o cenário mais fácil) e uma média de 19,43% em todos os quatro cenários.
• Modos de Interação: Os modelos tiveram o pior desempenho no Modo Dinâmico Difícil, revelando deficiências no gerenciamento robusto de diálogos e no rastreamento de estados resistente a interferências. Surpreendentemente, o Modo Estático não melhorou significativamente a precisão para muitos modelos, sugerindo que o mecanismo de interação multi-turno no Modo Dinâmico Fácil às vezes compensa déficits de planejamento ao decompor tarefas.
• Análise de Erros: As falhas foram predominantemente causadas por Má Interpretação Perceptual Multimodal e Falácias Lógicas. Embora os modelos geralmente seguissem os formatos de saída (conformidade estrutural), eles lutaram para resolver referências espaciais/temporais em vídeos egocêntricos e executar lógica condicional complexa.
• Eficiência: O consumo de tokens foi negativamente correlacionado com as taxas de sucesso; modelos de melhor desempenho (como o Gemini-3.1-Pro) alcançaram melhores resultados com menos tokens, indicando raciocínio mais eficiente e menos exploração redundante.

Significância

O artigo posiciona o EgoBench como um passo crítico para a avaliação de agentes de IA para implantação no mundo real. Ao expor uma lacuna substancial entre as capacidades atuais dos modelos e os requisitos para conclusão confiável de tarefas ponta a ponta em ambientes abertos, a benchmark destaca gargalos específicos — particularmente na fundamentação multimodal e no raciocínio complexo — que devem ser abordados. Os autores afirmam que o EgoBench fornece um framework rigoroso e objetivo para orientar o desenvolvimento futuro de modelos, indo além de avaliações apenas de texto ou estáticas para avaliar agentes em contextos situados, interativos e mediados por ferramentas.