AutomationBench

Visão Geral

O AutomationBench é um novo benchmark projetado para avaliar a capacidade de agentes de IA em orquestrar fluxos de trabalho complexos que envolvem múltiplas aplicações, descoberta autônoma de APIs e adesão a políticas de negócios. Desenvolvido por Daniel Shepard e Robin Salimans da Zapier, o benchmark visa preencher uma lacuna crítica: a maioria das avaliações atuais foca em tarefas de navegação web ou uso de ferramentas isoladas, falhando em medir a coordenação real entre sistemas corporativos (como CRM, e-mail, calendário e plataformas de mensagens).

1. O Problema

Os fluxos de trabalho empresariais reais exigem que um agente:

• Coordene ações através de diversas aplicações interconectadas.
• Descubra endpoints de API relevantes sem instruções pré-definidas (não há um conjunto fixo de ferramentas).
• Aplique regras de negócios estritas e políticas organizacionais que podem contradizer a intuição ou solicitações externas.
• Navegue em ambientes ruidosos, contendo registros irrelevantes, dados enganosos e entradas adversariais.

Benchmarks existentes (como WebArena, Mind2Web ou ToolBench) geralmente operam dentro de um único domínio, fornecem as ferramentas corretas de antemão ou avaliam a execução de tarefas de navegador, não a orquestração de APIs REST em um estado final determinístico.

2. Metodologia e Construção do Dataset

Domínios e Tarefas

• Escopo: O benchmark cobre 6 domínios principais: Vendas, Marketing, Operações, Suporte, Finanças e RH.
• Volume: Existem 600 tarefas públicas (para pesquisa) e mais de 600 tarefas privadas (para avaliação no leaderboard).
• Base de Dados: As tarefas são baseadas em padrões de fluxo de trabalho reais da Zapier, utilizando um pool de ~500 endpoints de API distribuídos entre 47 aplicativos.
• Geração: As tarefas foram geradas sinteticamente usando modelos de ponta (Opus 4.6, GPT 5.3 Codex, Gemini 3), com foco em workflows difíceis de configurar.

Hardening (Endurecimento)

Para garantir que o benchmark seja desafiador e evite overfitting, foram aplicadas várias técnicas de endurecimento:

• Inclusão de dados irrelevantes e registros "decoy" (iscas).
• Ambiguidade sobre onde as informações estão armazenadas.
• Nomes similares para entradas incorretas.
• Regras de política estritas com prioridades sobrepostas.
• O conjunto de dados privado possui técnicas adicionais para prevenir a memorização de desafios específicos.

Interface e Execução

• Ferramentas: Os agentes utilizam duas ferramentas principais: Search (busca por palavras-chave BM25 em esquemas de API) e Execute (simula chamadas curl/fetch).
• Descoberta: O agente deve descobrir sozinho quais endpoints chamar; o nome correto do aplicativo ou ação não é fornecido.
• Ambiente: Simulado via modelos Pydantic que representam o estado do banco de dados, preservando a estrutura de APIs reais (paginação, campos obrigatórios, códigos de erro 4xx).
• Limites: Máximo de 50 passos por tarefa (a maioria das tarefas é resolvida em passos de dígitos simples).

Critérios de Avaliação (Grading)

A avaliação é puramente baseada no estado final (end-state), ignorando o caminho percorrido pelo agente:

• Determinístico: O sucesso é verificado por asserções programáticas sobre o estado do mundo simulado (ex: "o e-mail foi enviado?", "o lead foi criado com o valor X?").
• Sem parcialidade: Não há crédito parcial; a tarefa deve ser concluída corretamente.
• Decisão Registrada: Se o agente precisa tomar uma decisão subjetiva (ex: priorizar uma reunião), essa decisão deve ser registrada no estado do sistema (ex: atualizar um campo de status), permitindo verificação.
• Custo: Além da pontuação, é reportado o custo em USD por tarefa (baseado em tokens), servindo como métrica de eficiência.

3. Contribuições Principais

1. Primeiro Benchmark de Orquestração Cross-App: Foca especificamente na coordenação entre múltiplas aplicações via REST APIs, um cenário ubíquo em automação empresarial.
2. Descoberta Autônoma de Ferramentas: Exige que o agente navegue por esquemas de API desconhecidos, simulando a realidade onde os desenvolvedores não fornecem listas fixas de ferramentas.
3. Avaliação de Adesão a Políticas: Testa a capacidade do agente de seguir documentos de política de negócios que podem anular instruções óbvias, sem confundir isso com ataques de prompt injection.
4. Métricas Realistas: Foca no resultado final (o que o negócio precisa) em vez de métricas intermediárias, com verificação determinística para evitar viés de avaliação por LLMs.

4. Resultados

Os resultados indicam que os modelos de IA atuais ainda têm dificuldades significativas com tarefas de orquestração complexas:

• Desempenho Geral: Mesmo os modelos de ponta (frontier models) obtêm pontuações abaixo de 10%.
  • Opus 4.7 (max): 9.9% (Líder).
  • Gemini 3.1 Pro (high): 9.6%.
  • GPT 5.4 (high): 7.6%.
  • Haiku 4.5: 1.5%.
• Diversidade de Soluções: Há pouca sobreposição entre os conjuntos de tarefas resolvidas por diferentes modelos (Jaccard similarity de 0.17 entre Opus e Gemini), sugerindo que os modelos falham em tipos de raciocínio diferentes.
• Modos de Falha Comuns:
  • Falsa Confiança: 72-91% das falhas envolvem o agente declarar sucesso sem completar a tarefa.
  • Falha na Busca: Incapacidade de persistir na busca de dados quando a busca genérica falha.
  • Processamento Incompleto: Parar de processar listas (ex: e-mails) antes de verificar todos os itens.
  • Ignorar Instruções: Não seguir requisitos de conteúdo específicos.
• Eficiência: O Gemini 3.1 Pro demonstrou alta precisão com custo significativamente menor que o Opus.

5. Significado e Conclusão

O AutomationBench estabelece um novo padrão para medir a maturidade de agentes de IA em cenários empresariais reais. O fato de os melhores modelos atuais estarem abaixo de 10% de precisão em tarefas que são fundamentais para a automação de negócios destaca uma lacuna crítica na capacidade de raciocínio multi-estágio, descoberta de ferramentas e adesão a políticas.

O benchmark serve como um guia para a pesquisa futura, direcionando esforços para melhorar a orquestração de agentes, a robustez contra ruídos e a capacidade de seguir regras complexas. A baixa pontuação atual sugere que, embora a automação de tarefas simples esteja madura, a automação de fluxos de trabalho complexos e interconectados ainda requer avanços substanciais na arquitetura de agentes.

O código, tarefas públicas e ferramentas estão disponíveis publicamente para fomentar o desenvolvimento e a pesquisa nesta área.