Resumo Técnico: GroundAct

Declaração do Problema

Agentes de Modelos de Linguagem de Grande Porte (LLM) atuais demonstram altas taxas de sucesso (85–96%) em tarefas onde as instruções especificam completamente as ações necessárias. No entanto, o desempenho cai precipitadamente (29–53%) quando a viabilidade da ação depende de estados ambientais não mencionados explicitamente na instrução. Benchmarks existentes (por exemplo, ALFRED, BEHAVIOR-1K, PARTNR) frequentemente pré-resolvem essas restrições fornecendo variáveis de estado discretas, espaços de ação estáticos ou diretivas explícitas de colaboração. Consequentemente, eles avaliam a execução da ação sob restrições pré-fundamentadas, em vez da capacidade de inferir restrições a partir do próprio ambiente.

Os autores identificam uma capacidade ausente denominada fundamentação de ação (action grounding): a capacidade de inferir, a partir de estados ambientais estruturados, se uma ação é viável, quais pré-requisitos estão faltando e se ela excede a capacidade individual. Esta capacidade é decomposta em três dimensões:

1. Raciocínio de Atributos: Inferir alvos com base em propriedades contínuas de objetos (por exemplo, peso, temperatura) que exigem comparação em vez de consulta a predicados.
2. Raciocínio de Ferramentas: Inferir pré-requisitos com base na disponibilidade dinâmica de capacidades (por exemplo, agarrar uma ferramenta expande o conjunto de ações; soltá-la as retrai).
3. Raciocínio de Coordenação: Inferir viabilidade com base nos limites de capacidade individual (por exemplo, reconhecer quando o peso de um objeto excede o limite de carga de um único agente, necessitando colaboração sem instrução explícita).

Metodologia

O Framework GroundAct

Os autores introduzem o GroundAct, um benchmark projetado para avaliar essas três dimensões de raciocínio independentemente e em combinação. O framework consiste em dois componentes principais:

1. GA-Sim (Simulação de Ambiente):

   • Representação: Ambientes são modelados como grafos direcionados ($G_t = (V_t, E_t, A_t)$) usando representações estruturadas baseadas em texto, em vez de simulação 3D contínua. Nós representam salas, objetos e agentes; arestas codificam relações espaciais.
   • Capacidades Dinâmicas: Diferentemente de benchmarks estáticos, o GA-Sim implementa vinculação dinâmica de capacidade-ferramenta. Agarrar uma ferramenta expande dinamicamente o conjunto de ações de um agente, e soltá-la retrai essas capacidades.
   • Colaboração Emergente: A colaboração é acionada por restrições físicas (por exemplo, limites de peso) em vez de diretivas explícitas. O sistema valida pré-condições para todos os agentes para garantir interações realistas entre múltiplos agentes.

2. GA-Bench (Matriz de Avaliação):

   • Escala: 1.500 cenários validados em 11 domínios (por exemplo, laboratório, escritório, industrial) contendo 64.057 objetos interativos e 6.381 tipos de atributos distintos.
   • Taxonomia de Tarefas: As tarefas são organizadas em sete categorias ao longo de dois eixos: complexidade cognitiva (L0–L2) e configuração de agente (único vs. multiagente).
     • L0 (Seguimento de Instrução): Comando Direto (DC) e Colaboração Explícita (EC).
     • L1 (Raciocínio Dimensional): Uso de Ferramentas (TU), Raciocínio de Atributos (AR) e Colaboração Implícita (IC).
     • L2 (Tarefas Compostas): Raciocínio Composto (CR) e Colaboração Composta (CC).
   • Pipeline de Geração: Um pipeline automatizado de quatro etapas combina geração orientada por LLM com validação baseada em regras e verificação com intervenção humana para garantir consistência física e solvabilidade.

Configuração Experimental

Os autores avaliaram 15 LLMs representativos (variando de 3B a 671B parâmetros), incluindo modelos de código fechado (GPT-4o, Claude-Opus-4.6), modelos fundamentais de código aberto (Qwen2.5, Llama3.1, Deepseek-V3) e modelos especializados em raciocínio (Deepseek-R1).

• Protocolo: Os modelos operaram sob observabilidade parcial, exigindo exploração para descobrir localizações e propriedades de objetos.
• Análise de Ajuste Fino: Um experimento de ajuste fino supervisionado (SFT) foi conduzido no Qwen2.5-3B usando trajetórias destiladas do Qwen2.5-72B para avaliar a transferibilidade das capacidades de raciocínio.
• Ablação: Uma condição de "Grafo de Mundo" foi testada, onde o grafo completo do ambiente foi exposto, separando gargalos de busca de gargalos de filtragem de restrições.

Principais Resultados

1. Padrões Diagnósticos no Desempenho do Modelo

• Correlação Fraca das Dimensões: O raciocínio de atributos tem correlação fraca com o raciocínio de ferramentas e coordenação ($r \in [-0.03, 0.02]$). Os modelos exibem perfis de capacidade distintos; por exemplo, o GPT-4o se destaca no Raciocínio de Atributos (77,8%), mas luta com Colaboração Composta (32,0%), enquanto o DeepSeek-R1 mostra o padrão inverso.
• Pontuações Agregadas Mascaram Diferenças: Modelos com taxas de sucesso gerais semelhantes (por exemplo, GPT-4o em 74,7% vs. DeepSeek-R1 em 73,9%) possuem modos de falha qualitativamente diferentes. Métricas agregadas falham em capturar essas diferenças estruturais.
• Efeitos de Escala e Treinamento de Raciocínio:
  • Escala: Aumentar o tamanho do modelo (série Qwen2.5 de 3B a 72B) melhora significativamente o seguimento de instruções (0,6% para 89,7%), mas produz retornos decrescentes para o Raciocínio de Atributos (atingindo apenas 57,4%).
  • Treinamento de Raciocínio: Modelos especializados em raciocínio (Deepseek-R1) melhoram a colaboração e tarefas compostas, mas performam pior no Raciocínio de Atributos em comparação com suas contrapartes base, apesar de usarem significativamente mais tokens por trajetória.

2. Análise de Gargalos

• Impacto da Observabilidade: Expor o grafo completo do ambiente (Grafo de Mundo) melhora o desempenho de Uso de Ferramentas (até +27,6%) ao remover a etapa de busca. Por outro lado, degrada o desempenho da Colaboração Implícita (até -22,9%) porque o estado completo introduz atributos irrelevantes para a tarefa que obscurecem a necessidade física de colaboração. Isso indica que o Uso de Ferramentas é "limitado por busca", enquanto a Colaboração Implícita é "limitada por filtragem de restrições".
• Limitações do Ajuste Fino: O ajuste fino supervisionado no Qwen2.5-3B melhorou dramaticamente o desempenho de Comando Direto (0,6% para 76,3%), mas teve impacto mínimo na Colaboração Implícita (1,5% para 5,5%). Isso sugere que a aprendizagem por imitação transfere padrões de execução, mas falha em ensinar os gatilhos latentes para quando a colaboração é fisicamente necessária.

3. Desafios de Tarefas Compostas

O desempenho em Tarefas Compostas (L2) cai significativamente em comparação com tarefas L1. Por exemplo, o GPT-4o média 78,4% nas categorias L1, mas cai para 32,0% na Colaboração Composta. Isso indica que as tarefas L2 não são meramente versões mais difíceis das tarefas L1, mas representam um regime onde múltiplas dimensões de fundamentação interagem, criando novos gargalos.

Significado e Alegações

O artigo estabelece a fundamentação de ação como um desafio multidimensional que é irredutível a simples escalas ou treinamento uniforme de raciocínio. Os autores afirmam que:

1. A Fundamentação de Ação é Distinta: Não é uma habilidade monolítica, mas um conjunto de capacidades distintas (raciocínio de atributos, ferramentas e coordenação) que exigem intervenções arquitetônicas ou de treinamento específicas.
2. Benchmarks Atuais são Insuficientes: Benchmarks existentes avaliam a execução sob restrições pré-fundamentadas, falhando em diagnosticar as falhas de raciocínio específicas que ocorrem quando os agentes devem inferir restrições a partir do ambiente.
3. Diagnóstico Requer Granularidade: O progresso na competência dos agentes requer benchmarks que variam as demandas de fundamentação independentemente. Taxas de sucesso agregadas escondem o "perfil de aprendibilidade graduada" entre dimensões, onde algumas capacidades (como seguimento de instruções) são facilmente aprendidas via SFT, enquanto outras (como gatilhos de colaboração implícita) permanecem resistentes.

Os autores concluem que o progresso futuro em agentes incorporados exigirá intervenções direcionadas para dimensões específicas de fundamentação em vez de escalas uniformes, e que diagnosticar tal progresso necessita de benchmarks que isolem essas dimensões.