Resumo Técnico: EPIC-Bench

Declaração do Problema

Enquanto os Modelos Visuais-Linguísticos de Grande Escala (VLMs) são cada vez mais adotados como espinhas dorsais perceptivas para agentes corporificados, os benchmarks existentes frequentemente dependem de formatos de Pergunta-Resposta (QA) ou Questão de Múltipla Escolha (MCQ). Os autores argumentam que esses protocolos permitem que os modelos explorem priores linguísticos e raciocínio de senso comum, em vez de demonstrar uma fundamentação visual genuína. Além disso, os benchmarks tradicionais de fundamentação visual frequentemente focam na detecção genérica de objetos com descrições simples, falhando em capturar a percepção granular e orientada a tarefas necessária para interações corporificadas no mundo real (navegação e manipulação). Há uma falta crítica de um quadro de avaliação abrangente que avalie sistematicamente as capacidades perceptivas visuais dos VLMs em todo o pipeline de interação corporificada.

Metodologia

Design do EPIC-Bench

Para abordar essas lacunas, os autores introduzem o EPIC-Bench (Benchmark de Percepção Corporificada), um benchmark de fundamentação granular composto por 6.661 tuplas meticulosamente anotadas de (Imagem, Texto, Máscara). O benchmark é estruturado em torno de três etapas principais do pipeline de interação corporificada:

1. Localização de Alvo (TL): A base para navegação e manipulação, avaliando a capacidade de localizar alvos com base em atributos multidimensionais. Esta categoria é subdividida em:
   • Atributos Básicos (BA): Reconhecimento de categoria de objeto, cor, geometria, material, atributos relativos (tamanho/altura) e projeção.
   • Atributos Relacionados ao Espaço (SRA): Compreensão de orientação (incluindo relativa ao humano) e relações espaciais.
   • Atributos Composicionais Corporificados (ECA): Reconhecimento de relações parte-todo, regiões parte-todo relacionadas ao humano, estados de objetos e descrições coloquiais.
2. Navegação (NAV): Avalia a percepção para mover-se em direção a um alvo. As subtarefas incluem:
   • Detecção de Solo (GD): Identificação de regiões de solo transitáveis.
   • Caminho Viável (FP): Raciocínio sobre caminhos válidos de uma posição da câmera até um alvo ou entre dois alvos, restritos a áreas transitáveis.
   • Correspondência Visual (VM): Localização do mesmo objeto-alvo em diferentes pontos de vista no mesmo ambiente.
3. Manipulação (MAN): Avalia a percepção para interação física direta. As subtarefas incluem:
   • Região de Afordância (AR): Identificação de regiões operacionais específicas ou áreas de uso de ferramentas.
   • Relação de Contato (CR): Localização de objetos com base em estados de contato com um ou múltiplos objetos de referência.
   • Região de Colocação (PR): Localização de áreas de colocação de alvos e determinação da viabilidade física da colocação.

Construção e Anotação de Dados

O conjunto de dados foi curado a partir de 25 conjuntos de dados publicamente disponíveis, abrangendo cenas genéricas, ambientes internos, vistas egocêntricas e imagens de visão robótica. O pipeline de anotação envolveu:

• Filtragem: Uso de um ensemble de VLMs de código aberto seguido de revisão manual para garantir diversidade e complexidade (por exemplo, incluindo distratores para prevenir aprendizado de atalhos).
• Anotação: Utilização do SAM3 (Segment Anything Model 3) para gerar propostas iniciais de máscaras, que foram então refinadas manualmente por 20 anotadores humanos para alcançar uma verdade fundamental de alta fidelidade.
• Controle de Qualidade: Um processo rigoroso envolvendo pelo menos duas rodadas de inspeção para resolver ambiguidades, corrigir inconsistências entre texto e máscaras e remover amostras onde os alvos poderiam ser identificados trivialmente.

Estratégia de Avaliação

O benchmark avalia 89 VLMs líderes, categorizados em Modelos Proprietários, Modelos de Código Aberto e Modelos Fundamentais Corporificados.

• Protocolo: Diferentemente de QA/MCQ, o EPIC-Bench exige que os modelos geram máscaras (aproximadas como caixas delimitadoras para pontuação) e, quando aplicável, contagens de instâncias de alvos.
• Métricas: O sistema de pontuação compreende quatro componentes:
  1. Pontuação de Localização: Interseção sobre União (IoU) entre as caixas delimitadoras previstas e as máscaras de verdade fundamental.
  2. Pontuação de Contagem: Precisão na previsão do número exato de alvos (precisão binária para contagens estritas, penalidade suave para desvios).
  3. Pontuação de Caminho: Uma métrica composta para caminhos de navegação que avalia precisão de início/fim, transitabilidade, distância e continuidade.
  4. Pontuação de Viabilidade: Um julgamento binário sobre a viabilidade física de ações de manipulação (por exemplo, estabilidade de colocação).

Principais Resultados

A extensa avaliação de 89 modelos revela várias descobertas críticas:

1. Dificuldades Gerais com Fundamentação Complexa: Os VLMs atuais lutam universalmente com o alinhamento visual-textual complexo necessário para interações físicas. Embora modelos avançados de "pensamento" mostrem promessa, eles ainda não resolvem os principais gargalos.
2. Gargalos Específicos:
   • Contagem de Múltiplos Alvos: Os modelos desempenham níveis próximos aos humanos quando exatamente um alvo está presente, mas degradam significativamente em cenários de zero alvos ou múltiplos alvos.
   • Relações Parte-Todo: Os modelos falham em fundamentar sub-regiões específicas de objetos com base no texto, levando a um desempenho pobre em tarefas de Região de Afordância.
   • Orientação Espacial: O desempenho cai substancialmente em tarefas que exigem raciocínio espacial robusto e compreensão de quadro de referência (por exemplo, "à esquerda da pessoa").
3. Desempenho dos Modelos:
   • Modelos Proprietários: Gemini-3-Pro e Gemini-3.1-Pro alcançaram as pontuações gerais mais altas (~54,8), com o Gemini-3-Pro se destacando em tarefas de Caminho Viável (70,82).
   • Modelos de Código Aberto: Qwen3-VL-235B-A22B (com modo de pensamento) alcançou o melhor resultado de código aberto (50,93).
   • Modelos Fundamentais Corporificados: Modelos projetados especificamente para tarefas corporificadas (por exemplo, RoboBrain, RynnBrain) geralmente tiveram desempenho inferior em comparação com VLMs de propósito geral, atribuído em grande parte às suas escalas menores de parâmetros.
4. Impacto do Raciocínio e Prompts:
   • Modelos equipados com modos avançados de raciocínio ("pensamento") consistentemente superaram suas contrapartes padrão.
   • Prompts Visuais: Fornecer sobreposições de máscaras como prompts visuais melhorou significativamente o desempenho para modelos capazes de raciocínio, enquanto modelos menos capazes às vezes lutaram com a informação densa, beneficiando-se mais de sobreposições simples de caixas delimitadoras.
   • Restrições de Tokens: Modelos de "pensamento" sofreram com truncamento de resposta sob orçamentos de tokens apertados (4096 tokens), exigindo orçamentos maiores (8192 tokens) para aproveitar plenamente suas capacidades de raciocínio.

Significado e Alegações

O artigo afirma que o EPIC-Bench fornece uma base robusta e insights acionáveis para avançar a próxima geração de modelos corporificados orientados por visão. Ao ir além de atalhos linguísticos e focar na fundamentação ao nível de máscara, o benchmark expõe limitações fundamentais no alinhamento visão-linguagem atual, especificamente em relação ao raciocínio de múltiplos objetos, compreensão parte-todo e detecção de afordâncias físicas. Os autores afirmam que seu trabalho oferece um caminho claro para pesquisas futuras, identificando capacidades perceptivas específicas que requerem melhoria para suportar implantações corporificadas confiáveis. O benchmark está disponível publicamente para facilitar avaliações em grande escala e reprodutibilidade.