Resumo Técnico: ERQA-Plus

Declaração do Problema

Agentes incorporados generalistas requerem a capacidade de raciocinar sobre relações espaciais, ações, procedimentos, intenções humanas e consequências de senso comum com base em observações visuais situadas. No entanto, os benchmarks existentes de Visual Question Answering (VQA) e Embodied Question Answering (EQA) sofrem de limitações críticas. Muitos conjuntos de dados de VQA permitem que os modelos alcancem alto desempenho através de aprendizado de atalhos (shortcut learning), vieses linguísticos e fundamentação visual fraca, falhando em distinguir o raciocínio incorporado genuíno da correspondência de padrões. Por outro lado, os benchmarks de EQA frequentemente priorizam a navegação ou a conclusão de tarefas, mas carecem de controle sobre os processos de raciocínio específicos sendo avaliados. Consequentemente, os benchmarks atuais não conseguem desmembrar adequadamente diferentes habilidades de raciocínio ou fornecer diagnósticos detalhados das capacidades dos modelos, dificultando a identificação de modos de falha ou o direcionamento do desenvolvimento de uma inteligência incorporada robusta.

Metodologia

1. Taxonomia de Raciocínio

Os autores propõem uma taxonomia estruturada para agentes incorporados generalistas, organizando o raciocínio em cinco categorias interdependentes que refletem a arquitetura cognitiva necessária para navegação, manipulação e colaboração humana:

• Raciocínio Perceptivo: Inclui raciocínio de objetos (identificação de atributos), raciocínio espacial (estrutura geométrica, posicionamento relativo, oclusão) e raciocínio temporal (sequências de eventos, dinâmica de movimento).
• Raciocínio Centrado em Ação: Abrange reconhecimento de ação, raciocínio de intenção (inferir objetivos a partir de observações parciais) e raciocínio procedural (modelagem de tarefas de múltiplas etapas e sequências de ações válidas).
• Raciocínio Social e de Interação: Foca na interpretação de estados mentais humanos, incluindo atenção, compreensão de papéis, olhar e divisão de trabalho.
• Raciocínio de Navegação e Ambiental: Envolve compreensão de layout e planejamento de trajetória (trajetórias viáveis evitando obstáculos).
• Raciocínio Contextual e de Senso Comum: Alavanca conhecimento prévio para contexto funcional, previsão de eventos plausíveis e fundamentação de conhecimento de mundo para resolver ambiguidades.

2. Pipeline de Criação do Conjunto de Dados

O ERQA-Plus é construído usando um pipeline iterativo de múltiplos estágios envolvendo três agentes para garantir pares de pergunta-resposta (QA) de alta qualidade e visualmente fundamentados:

• Gerador (Generator): Transforma observações visuais centradas no robô (da câmera principal ou lateral) em perguntas de múltipla escolha estruturadas. Ele adere a princípios de design que priorizam o raciocínio visual fundamentado sobre atalhos linguísticos, garantindo que as perguntas foquem em subtipos de raciocínio específicos com distratores equilibrados.
• Agente Juiz (Judge Agent): Um meta-avaliador que assessora automaticamente instâncias de QA ao longo de cinco dimensões: qualidade da pergunta (fundamentação visual), qualidade das opções/validade da resposta correta, correção do raciocínio espacial e utilidade geral. Ele atribui uma pontuação de qualidade (0–10) e gera um JSON estruturado com justificativas.
• Agente Revisor (Reviser Agent): Refina os pares de QA candidatos com base no feedback do Juiz, melhorando a clareza, a fundamentação e a profundidade do raciocínio, enquanto elimina distratores fracos.

O pipeline itera entre os agentes Juiz e Revisor por um máximo de $N$ rodadas para gerar o conjunto de dados final.

3. Estatísticas do Conjunto de Dados

O conjunto de dados final compreende 1.766 instâncias de QA fundamentadas em 711 imagens centradas no robô (630 do conjunto de dados ERQA original e 81 curadas do COIN e ScanNet). A distribuição é dominada pelo raciocínio espacial e centrado em objetos, com a inclusão deliberada de habilidades de ordem superior, como inferência de intenção e planejamento de trajetória, para avaliar capacidades avançadas.

4. Configuração Experimental

Os autores testaram uma gama de modelos (principalmente no regime de ~8B de parâmetros) no ERQA-Plus usando duas configurações de avaliação:

• Resposta a Perguntas de Múltipla Escolha (MCQ): Medida pela acurácia padrão.
• Resposta a Perguntas de Resposta Aberta: Medida pela similaridade semântica usando embeddings de Sentence-BERT (SBERT).

Os modelos avaliados incluíram modelos de Visão-Linguagem (VLMs) de propósito geral como LLaVA-NeXT-8B, Prismatic-7B, MiniCPM-V-4.5-8B e variantes do Qwen3-VL, bem como modelos incorporados como RoboRefer-8B, RoboBrain2.5-8B e LEO.

Principais Resultados

Hierarquia de Desempenho

• Melhor Desempenho: O Qwen3-VL-32B-Thinking alcançou o maior desempenho geral com 83,4% de acurácia em MCQ e 61,4 de pontuação SBERT, beneficiando-se de sua escala e raciocínio de cadeia de pensamento (chain-of-thought).
• Modelos de 8B: Entre os modelos de 8B, o Qwen3-VL-8B (81,9% em MCQ) e o MiniCPM-V-4.5-8B (79,4% em MCQ) estabeleceram bases sólidas. O RoboBrain2.5-8B (80,8% em MCQ) igualou este desempenho, demonstrando que o treinamento orientado à robótica não sacrifica a amplitude.
• Generalista vs. Incorporado: O RoboRefer-8B ficou significativamente atrás (69,6% em MCQ), sugerindo que o treinamento de domínio específico não confere benefícios de generalização uniformemente.

Descobertas Críticas

1. Fraquezas Persistentes: Mesmo os modelos mais fortes (Qwen3-VL-32B) mostraram fraquezas significativas em Raciocínio Temporal (caindo para 46,7% em MCQ) e Planejamento de Trajetória, indicando que a escala sozinha não resolve a compreensão temporal complexa de múltiplas imagens.
2. Eficiência do Treinamento Especializado: O RoboBrain2.5-8B superou significativamente modelos maiores em subtipos difíceis. Ele alcançou 73,3% em Raciocínio Temporal (superando o Qwen3-VL-32B em 26,6 pontos) e 86,7% em Planejamento de Trajetória. Isso sugere que o treinamento alinhado ao domínio pode compensar diferenças substanciais de capacidade.
3. Assimetrias Cross-Modais: O Raciocínio Social e de Interação teve classificação alta em MCQ, mas tornou-se a categoria mais difícil na geração de respostas abertas. Inversamente, o Raciocínio Perceptivo mostrou o padrão oposto. O Raciocínio Centrado em Ação permaneceu como um gargalo compartilhado em todas as arquiteturas na geração de respostas abertas.
4. Ablação no Pipeline: O gerador (GPT-4o) demonstrou convergência mais rápida e pontuações de qualidade final mais altas em comparação ao Qwen3-VL-32B. O agente Juiz (Gemini 3 Pro) mostrou melhor alinhamento com o julgamento humano (correlação de Pearson 0,42) do que o Qwen3-VL-32B, embora nenhum tenha alcançado um acordo forte, destacando a necessidade de estratégias de avaliação híbridas.

Significância e Alegações

O artigo posiciona o ERQA-Plus não como um ranking para pontuações agregadas, mas como um framework de diagnóstico de granularidade fina. Sua principal significância reside em:

• Desmembrar Habilidades de Raciocínio: Ao categorizar as perguntas em uma taxonomia estruturada, ele revela quais formas de raciocínio incorporado os modelos podem ou não realizar de forma confiável, indo além de métricas de acurácia grosseiras.
• Identificar Modos de Falha: O benchmark expõe gargalos específicos, como a incapacidade dos modelos atuais de lidar efetivamente com raciocínio temporal ou planejamento procedural, mesmo quando se destacam na percepção estática.
• Validar Arquiteturas Especializadas: Os resultados fornecem evidências de que o treinamento especializado e alinhado ao domínio (como visto no RoboBrain2.5) pode ser mais eficiente e eficaz para tarefas incorporadas específicas do que simplesmente aumentar a escala de VLMs de propósito geral.
• Promover Avaliação Fundamentada: O conjunto de dados e o pipeline enfatizam uma forte fundamentação visual e validação rigorosa para evitar o aprendizado de atalhos, incentivando o desenvolvimento de uma inteligência incorporada mais robusta, interpretável e cognitivamente fundamentada.

Os autores concluem que, embora os modelos atuais estejam melhorando, eles permanecem inconsistentes no raciocínio espacial, procedural e preditivo. O ERQA-Plus fornece uma base para depuração direcionada e o desenvolvimento de agentes capazes de comportamento coerente e orientado a objetivos em ambientes dinâmicos.