The Tool Decathlon: Benchmarking Language Agents for Diverse, Realistic, and Long-Horizon Task Execution

Título: The Tool Decathlon (TOOLATHLON)

Autores: Junlong Li, Wenshuo Zhao, Jian Zhao, et al. (HKUST, All Hands AI, CMU, Duke University).

1. O Problema

Os agentes de linguagem (LLMs) baseados em ferramentas demonstraram potencial em domínios específicos, como engenharia de software e pesquisa profunda. No entanto, os benchmarks existentes para avaliar esses agentes sofrem de limitações críticas que impedem uma avaliação realista do desempenho no mundo real:

• Domínios Restritos: Focam em nichos específicos ou tarefas simplificadas.
• Falta de Realismo: Utilizam estados de ambiente artificiais ou sintéticos (ex: caixas de entrada de e-mail vazias ou dados simulados) que não refletem a complexidade de sistemas reais.
• Horizonte Curto: As tarefas geralmente exigem poucas interações (turnos), não capturando a complexidade de fluxos de trabalho de longo prazo que envolvem múltiplas aplicações.
• Instruções Excessivamente Claras: Muitas vezes fornecem planos passo a passo, reduzindo a necessidade de o agente inferir a intenção do usuário ou planejar autonomamente.

Essas lacunas resultam em uma avaliação que não consegue distinguir a capacidade real dos agentes de orquestrar workflows complexos, diversificados e de longo prazo em ambientes reais.

2. Metodologia

Os autores introduzem o TOOLATHLON, um benchmark abrangente projetado para preencher essas lacunas através de três pilares principais:

A. Diversidade de Aplicações e Ferramentas

• Escala: O benchmark abrange 32 aplicações de software reais e 604 ferramentas.
• Domínios: Cobre desde plataformas cotidianas (Google Calendar, Notion, Gmail) até aplicações profissionais e de alto valor (Snowflake, Kubernetes, BigQuery, WooCommerce).
• Protocolo MCP: A maioria das ferramentas é baseada no Model Context Protocol (MCP). Os autores utilizaram servidores MCP de código aberto existentes, corrigindo bugs e implementando novos servidores quando necessário para garantir a completude das tarefas.

B. Realismo do Ambiente e Inicialização de Estado

Diferente de benchmarks anteriores que começam com estados vazios ou sintéticos, o TOOLATHLON utiliza:

• Ambientes Reais e Contêinerizados: Combina ambientes remotos (como Google Sheets) com aplicações open-source implantadas localmente em contêineres (ex: Poste.io para e-mail, Canvas para gestão de cursos, WooCommerce para e-commerce).
• Inicialização de Estado Complexa: As tarefas começam com estados iniciais realistas e densos. Por exemplo, um curso no Canvas com dezenas de alunos e arquivos de trabalho, ou planilhas financeiras com dados reais. Isso força o agente a navegar em ambientes "sujos" e complexos, não apenas em dados limpos.

C. Tarefas de Longo Horizonte e Instruções "Fuzzy"

• Tarefas: São 108 tarefas manualmente criadas ou extraídas de demandas reais.
• Complexidade: As tarefas exigem, em média, 20 turnos de interação para serem concluídas, envolvendo a coordenação de múltiplas aplicações (ex: ler e-mail, baixar anexo, executar script local, atualizar LMS, gerar relatório).
• Instruções Ambíguas: Os prompts são projetados para imitar a linguagem natural e concisa dos usuários reais, que muitas vezes são vagos. O agente deve inferir a intenção, descobrir onde encontrar informações (ex: manuais de operação em PDF) e planejar a execução sem um roteiro explícito.

D. Framework de Avaliação

• Execução Baseada em Estado: A avaliação não depende de juízes LLM (que podem ser subjetivos), mas sim de scripts de avaliação determinísticos que verificam o estado final do ambiente (ex: verificar se um arquivo foi criado, se um e-mail foi enviado, se um banco de dados foi atualizado).
• Isolamento e Paralelismo: Cada tarefa é executada em um contêiner isolado, permitindo avaliação paralela rápida e segura.
• Tratamento de Erros: O framework lida com respostas longas de ferramentas e erros de chamada, permitindo que o agente continue a tentativa mesmo após falhas, simulando um ambiente realista e ruidoso.

3. Contribuições Principais

1. TOOLATHLON: O primeiro benchmark que combina diversidade de ferramentas, realismo de estado inicial (não sintético) e tarefas de longo horizonte com instruções fuzzy.
2. Infraestrutura de Avaliação Robusta: Um framework de código aberto que permite a execução paralela de agentes em ambientes contêinerizados com verificação determinística de sucesso.
3. Conjunto de Dados de Ferramentas MCP: Uma coleção de 32 servidores MCP de alta qualidade, muitos revisados ou implementados pelos autores, cobrindo domínios profissionais complexos.
4. Análise de Limitações: Uma avaliação extensiva que expõe as falhas atuais dos modelos de ponta em cenários do mundo real.

4. Resultados Experimentais

Os autores avaliaram os modelos mais avançados (Proprietários e Open-Source) no TOOLATHLON:

• Desempenho Geral: Os resultados são preocupantes para o estado da arte.
  • O melhor modelo proprietário, Claude-4.5-Sonnet, alcançou uma taxa de sucesso (Pass@1) de apenas 38,6%, com uma média de 20,2 turnos por tarefa.
  • O melhor modelo de pesos abertos, DeepSeek-V3.2-Exp, atingiu 20,1%.
  • A maioria dos outros modelos ficou abaixo de 30%.
• Análise de Erros:
  • Erros de Chamada de Ferramenta: Modelos frequentemente alucinam nomes de ferramentas não existentes ou cometem erros de execução (parâmetros incorretos).
  • Desafios de Contexto Longo: Modelos tendem a falhar quando enfrentam saídas de ferramentas excessivamente longas (ex: HTML completo, listas de dados massivas), muitas vezes perdendo informações cruciais.
  • Terminação Prematura: Em tarefas de longo horizonte, os agentes frequentemente abandonam a tarefa antes de completar todos os sub-passos necessários, delegando o trabalho restante ao usuário.
• Consistência: A diferença entre Pass@1 e Pass@3 (tentativas múltiplas) indica que, embora alguns modelos tenham a capacidade de resolver as tarefas, eles carecem de consistência e robustez para fazê-lo de forma confiável.

5. Significado e Impacto

O TOOLATHLON representa um marco significativo na pesquisa de agentes de linguagem:

• Realidade vs. Simulação: Demonstra que benchmarks baseados em simulação ou ambientes sintéticos superestimam drasticamente as capacidades dos agentes. O mundo real é caótico, e os agentes precisam lidar com estados complexos e instruções ambíguas.
• Direção Futura: Os resultados indicam que a próxima geração de agentes precisa focar não apenas em raciocínio, mas em:
  • Gerenciamento de Contexto Longo: Capacidade de manter o foco e a memória em trajetórias extensas.
  • Robustez na Execução: Lidar com erros de ferramentas e recuperar-se de falhas sem colapsar.
  • Planejamento Autônomo: Inferir intenções e planejar fluxos de trabalho complexos sem instruções explícitas.
• Aceleração do Desenvolvimento: Ao fornecer um ambiente de avaliação padronizado, realista e verificável, o TOOLATHLON visa acelerar o desenvolvimento de agentes de linguagem prontos para implantação em cenários reais de negócios e produtividade.

Em resumo, o TOOLATHLON expõe a lacuna entre a performance em laboratório e a capacidade de execução no mundo real, estabelecendo um novo padrão rigoroso para a avaliação de agentes autônomos.