Resumo Técnico: Habilitando Capacidades Corporificadas Extensíveis com Ferramentas

Declaração do Problema

Os métodos atuais de inteligência corporificada dependem predominantemente de políticas unificadas e parametrizadas (por exemplo, modelos visão-linguagem-ação) para lidar com percepção, raciocínio, planejamento e controle simultaneamente. Os autores argumentam que essa arquitetura monolítica enfrenta limitações estruturais inerentes, pois a tomada de decisão corporificada é fundamentalmente hierárquica e heterogênea. O planejamento de alto nível e o controle de baixo nível diferem significativamente em seus papéis funcionais e objetivos de otimização. Codificar essas capacidades diversas dentro de um único conjunto de parâmetros leva a três questões críticas:

1. Acoplamento Opaco: As capacidades são codificadas conjuntamente sem atribuição clara, impedindo a invocação seletiva ou o diagnóstico de falhas.
2. Isolamento de Capacidades: As competências aprendidas por um modelo permanecem isoladas e não podem ser transferidas ou reutilizadas entre diferentes sistemas.
3. Otimização Enredada: Melhorar uma capacidade corre o risco de degradar outras devido a sinais de gradiente conflitantes sobre parâmetros compartilhados.

Embora avanços recentes tenham melhorado a ancoragem espacial e o raciocínio, esses modelos monolíticos ainda têm desempenho inferior em tarefas de longo horizonte, composicionais e críticas para a segurança. O artigo postula que a lacuna é estrutural e não uma falta de capacidade, motivando uma mudança em direção à inteligência corporificada baseada em ferramentas, onde capacidades específicas são externalizadas como ferramentas independentemente otimizáveis.

Metodologia

1. Protocolo de Ferramenta Corporificada (ETP)

Para abordar a falta de um quadro unificador, os autores introduzem o Protocolo de Ferramenta Corporificada (ETP). Este protocolo padronizado desacopla a representação da capacidade da implementação, permitindo o registro, descoberta, invocação e execução de ferramentas.

• Ferramenta como Unidade de Capacidade: Cada ferramenta $z_m$ é definida por seus espaços de entrada-saída $(X_m, Y_m)$, um subconjunto de capacidade realizado e um mapeamento executável $f_m$. A implementação pode ser um modelo aprendido, um algoritmo clássico ou um híbrido, mas a interface permanece consistente.
• Descoberta Baseada em Registro: As ferramentas são mantidas em um registro de capacidades $R$ com descrições ($\rho_m$) e restrições de esquema ($\kappa_m$). Os agentes consultam o registro com base nas necessidades de capacidade, e não em convenções de chamada específicas.
• Execução Isolada: As ferramentas são executadas em sessões isoladas com feedback em tempo de execução, suportando chamadas concorrentes e execução remota sem acoplar a implementação da ferramenta à política do agente.

2. Construção da Base de Ferramentas

Fundamentado no ETP, os autores curaram uma base de ferramentas com mais de 100 ferramentas validadas abrangendo quatro dimensões de capacidade principais:

• Percepção e Ancoragem: Detecção de objetos, segmentação, localização espacial e compreensão de cena.
• Cognição e Modelagem de Estado: Estimativa de estado, modelagem relacional, compreensão de affordances e recuperação de memória.
• Raciocínio e Planejamento: Decomposição de objetivos, raciocínio causal e planejamento de longo horizonte.
• Execução e Controle: Geração de trajetória, planejamento de preensão e atuação de baixo nível.

Cada ferramenta foi selecionada com base em ser leve, fácil de implantar e robusta ao ambiente, sendo então encapsulada com uma API estruturada e um cartão de ferramenta.

3. EmbodiedToolBench

Os autores construíram o EmbodiedToolBench para avaliar sistematicamente a competência de uso de ferramentas dos modelos atuais. O benchmark consiste em quatro tarefas:

• Reconhecimento de Necessidade de Ferramenta: Determinar se ferramentas externas são necessárias para um determinado estado de decisão.
• Seleção de Ferramenta: Identificar a ferramenta mais apropriada de um conjunto de candidatos (incluindo distratores semanticamente semelhantes).
• Execução de Ferramenta: Construir consultas de ferramenta válidas (Etapa 1) e agir corretamente sobre as saídas da ferramenta (Etapa 2).
• Composição de Cadeia de Ferramentas: Selecionar as ferramentas mínimas necessárias e organizá-las na ordem de dependência correta.

4. Quadro de Avaliação

Os experimentos foram conduzidos em plataformas de simulação (EB-ALFRED, EB-Habitat, EB-Navigation, EB-Manipulation) e em plataformas robóticas do mundo real. O estudo avaliou oito modelos representativos de código aberto e de código fechado, comparando o desempenho com e sem aumento de ferramentas.

Principais Resultados

Melhorias de Desempenho

• Ganhos Consistentes: O aumento de ferramentas melhorou consistentemente o desempenho de tarefas corporificadas em todos os benchmarks.
  • EB-ALFRED: Ganho médio de 31%. Modelos de código aberto como o Qwen3-8B viram melhorias dramáticas (0,20 $\to$ 0,72).
  • EB-Navigation: Ganho médio de 36%, com ganhos particularmente fortes em subtarefas Visuais (+0,40) e de Longo Horizonte (+0,54).
  • Mundo Real: Em tarefas robóticas do mundo real (limpeza de mesa, balança de precisão, blocos de construção), modelos sem ferramentas alcançaram 0/10 de sucesso, enquanto agentes aumentados com ferramentas alcançaram taxas de sucesso substanciais (por exemplo, 8/10 a 9/10).
• Reduzindo a Lacuna: O aumento de ferramentas melhorou significativamente a competitividade dos modelos de código aberto, permitindo que eles superassem modelos de código fechado mais fortes que não tinham acesso a ferramentas (por exemplo, o Qwen3-8B com ferramentas superou o GPT-4o sem ferramentas no EB-ALFRED).

Limites de Capacidade

O estudo revelou um limite claro sobre quais capacidades se beneficiam da externalização:

• Alto Benefício: Tarefas de Percepção e Cognição mostraram os maiores ganhos (até +0,34 para modelos de código aberto). As ferramentas apoiam efetivamente a análise visual e tarefas orientadas por conhecimento.
• Benefício Moderado: Tarefas de Raciocínio mostraram melhorias consistentes.
• Benefício Limitado: Capacidades de Execução mostraram ganhos menores e mais variáveis (+0,03 a +0,19). Os autores observam que tarefas que exigem ancoragem espacial precisa, interação rica em contato e controle físico de baixo nível são menos efetivamente suportadas pelas interfaces de ferramentas atuais.

Gargalos de Competência

Apesar dos ganhos de desempenho, a análise identificou gargalos persistentes na forma como os modelos usam ferramentas:

• Reconhecimento de Necessidade de Ferramenta: Os modelos frequentemente falham em reconhecer quando as ferramentas são necessárias, com a taxa de recuperação caindo tão baixo quanto 0,31 para alguns modelos de código aberto.
• Seleção de Ferramenta: Selecionar a ferramenta correta entre candidatos semanticamente semelhantes permanece um desafio (melhor CSR ~0,74).
• Execução de Ferramenta: Embora a construção de entrada seja geralmente alta, a utilização do resultado é um grande gargalo. Os modelos frequentemente lutam para interpretar e agir sobre as saídas retornadas das ferramentas de forma eficaz.
• Composição de Cadeia de Ferramentas: Os modelos tendem a "super-compor", incluindo ferramentas supérfluas em vez de selecionar o conjunto mínimo, indicando dificuldade na coordenação precisa de múltiplas ferramentas.

Significado e Alegações

O artigo alega que a externalização de capacidades é uma abordagem viável e eficaz para superar as limitações estruturais das políticas corporificadas monolíticas. Ao desacoplar capacidades heterogêneas em ferramentas independentemente otimizáveis, o quadro permite:

1. Reutilização Modular: Capacidades especializadas podem ser registradas e reutilizadas entre diferentes agentes e tarefas.
2. Otimização Direcionada: As ferramentas podem ser melhoradas independentemente sem interferir em outras capacidades.
3. Escalabilidade: O sistema pode escalar para grandes e heterogêneas coleções de ferramentas sem retreinar a política central do agente.

No entanto, os autores concluem modestamente que a competência de ferramenta — especificamente a capacidade de saber quando, qual e como invocar ferramentas — permanece o gargalo central para agentes corporificados verdadeiramente capazes. A pesquisa destaca que, embora a disponibilidade de ferramentas melhore o desempenho, a orquestração autônoma dessas ferramentas pelos modelos atuais ainda não é totalmente confiável, particularmente em cenários pesados de execução. Isso identifica a competência de ferramenta corporificada como uma direção crítica para pesquisas futuras.