Resumo Técnico: WorkBench Revisited

Declaração do Problema

O artigo aborda a necessidade de avaliar o progresso dos agentes de Grandes Modelos de Linguagem (LLMs) em cenários de trabalho dois anos após o lançamento inicial do WorkBench (Styles et al., 2024). O benchmark original, lançado em 2024, media a capacidade de um agente de realizar tarefas em cinco bancos de dados simulados (calendário, e-mail, análise, CRM, gestão de projetos) utilizando 26 ferramentas. Naquela época, o estado da arte (GPT-4) completava apenas 43% das tarefas e causava efeitos colaterais prejudiciais não pretendidos (ex: enviar e-mail para a pessoa errada) em 26% das tentativas. Os autores buscam determinar o quanto o campo avançou até junho de 2026, especificamente em relação às taxas de conclusão de tarefas, segurança (efeitos colaterais prejudiciais) e eficiência de custo, levando em conta as correções necessárias na pontuação e nas ferramentas do benchmark original.

Metodologia

Os autores executaram novamente o benchmark WorkBench em 21 modelos lançados entre março de 2023 e maio de 2026, abrangendo modelos proprietários (OpenAI, Anthropic, Google) e modelos de pesos abertos (Qwen, DeepSeek, Kimi, GLM).

Principais Mudanças Experimentais:

• Harness de Agente: O estudo afastou-se do loop ReAct original baseado em parsing de texto, que frequentemente falhava devido a problemas de adesão ao formato. Em vez disso, os autores utilizaram interfaces de chamada de ferramenta nativa (saída estruturada) fornecidas pelos provedores de modelos modernos. Isso garante que o modelo emita chamadas tipadas contra um esquema de ferramenta, eliminando erros de parsing e permitindo uma comparação mais justa das capacidades de raciocínio.
• Métricas: Além da conclusão de tarefas, o estudo introduziu dois novos eixos:
  1. Efeitos Colaterais Prejudiciais: A taxa de ações prejudiciais não pretendidas (ex: enviar dados para o destinatário errado).
  2. Estimativa de Custo: Uma estimativa de limite superior do custo em dólares por tarefa, calculada com base nas contagens de tokens registrados (entrada/saída) e nos preços dos provedores, incluindo um overhead fixo para prompts de sistema e esquemas de ferramentas.
• Correções do Benchmark: Os autores identificaram e corrigiram diversos problemas de pontuação e engenharia no benchmark original para garantir a justiça. Isso incluiu a correção de erros de data "off-by-one", resolução de incompatibilidades entre prompt e chave de resposta, correção de bugs de agregação e melhoria nas descrições das ferramentas. Essas mudanças aumentaram a pontuação base do modelo de fronteira de 2024 (GPT-4) de 49% para 57% no benchmark corrigido.

Principais Resultados

1. Desempenho e Segurança

• Melhoria Significativa: As taxas de conclusão de tarefas praticamente dobraram. O estado da arte de 2026, Claude Opus 4.8, alcançou 88,8% de conclusão, comparado aos 43% do GPT-4 em 2024. Seis modelos de quatro fornecedores diferentes agora excedem 80% de conclusão.
• Correlação de Segurança: Contrariando um possível trade-off, a capacidade e a segurança melhoraram juntas. Os melhores modelos (Opus 4.8, GPT-5.5) exibem as menores taxas de efeitos colaterais prejudiciais (2,5% e 3,9%, respectivamente).
• Redução de Erros: Categorias de erro importantes de 2024, como falha em seguir formatos ReAct e envio de informações para endereços de e-mail errados, foram amplamente eliminadas. No entanto, modelos de fronteira ainda lutam com:
  • Erros básicos de raciocínio: Comparar porcentagens com valores brutos.
  • Limitações de busca: Falhar ao re-consultar quando os resultados da busca são limitados (ex: assumir que 5 resultados são o conjunto total).
  • Alucinações temporais: Plotar dados para datas futuras onde não existem dados.

2. Custo e Eficiência

• Disparidade de Custo: Os custos por tarefa abrangem duas ordens de magnitude.
• A Fronteira Eficiente:
  • Alto Custo/Alto Desempenho: O nível superior consiste em modelos proprietários ocidentais (Opus 4.8, Gemini-3.1-pro, GPT-5.5).
  • Baixo Custo/Alto Desempenho: Modelos de pesos abertos de laboratórios chineses (Qwen3.5, DeepSeek-V4-pro, Kimi-K2.6) dominam a extremidade de menor custo. Por exemplo, o Qwen3.5 atinge desempenho superior ao SOTA de 2024 (GPT-4) a aproximadamente 1/100 do custo.
  • Meio Comprimido: Modelos de orçamento ocidentais (ex: GPT-5.4-mini, Claude Haiku 4.5) são frequentemente superados por alternativas de pesos abertos mais baratas e capazes.

3. Data de Lançamento vs. Capacidade

O estudo constata que uma data de lançamento mais recente não garante melhor desempenho. Vários modelos lançados posteriormente no cronograma (ex: GPT-5.1, GPT-5.4-mini) apresentam desempenho inferior a modelos flagships mais antigos, indicando que a capacidade não é estritamente linear com a data de lançamento.

Significância e Alegações

O artigo afirma que o campo dos agentes de trabalho melhorou de forma acentuada, porém desigual. A principal significância reside na demonstração de que capacidade e segurança não são trade-offs; os modelos que completam mais tarefas também causam menos danos não pretendidos.

Os autores enfatizam que a natureza "resolvida" do WorkBench pelos modelos de fronteira (89% de conclusão) é resultado tanto de melhorias nos modelos quanto de correções no benchmark. Eles alertam que, como o benchmark é público, os resultados podem ser inflados pela memorização, e futuras iterações exigirão conjuntos de dados retidos (held-out sets) para distinguir a capacidade genuína da vazão de dados (data leakage).

Em última análise, o artigo fornece um benchmark atualizado e corrigido, bem como um novo harness de avaliação para servir como base para o desenvolvimento futuro de agentes, destacando que, embora os modelos de fronteira tenham largamente resolvido o benchmark, disparidades de custo significativas e lacunas específicas de raciocínio permanecem.