Resumo Técnico: EnterpriseClawBench

Declaração do Problema

Grandes modelos de linguagem (LLMs) estão transitando de assistentes apenas de texto para agentes operando em espaços de trabalho executáveis para produzir artefatos de negócios. No entanto, as estruturas de avaliação existentes enfrentam três lacunas críticas quando aplicadas a ambientes corporativos:

1. Realismo vs. Escalabilidade: Muitos benchmarks dependem de tarefas criadas por humanos ou simuladas que falham em capturar a complexidade e o ruído das demandas corporativas que ocorrem naturalmente.
2. Avaliação Multidimensional: As métricas atuais frequentemente colapsam o desempenho em uma única pontuação de modelo, ignorando o acoplamento crítico entre o "harness" do agente (o andaime que permite o uso de ferramentas) e o modelo base, bem como a qualidade dos artefatos entregues, custo e tempo de execução.
3. Avaliação de Habilidades: Os benchmarks existentes raramente testam habilidades reutilizáveis como unidades de transferência. Eles frequentemente avaliam habilidades ao nível de itens de tarefas individuais, em vez de avaliar se uma habilidade destilada de uma classe de tarefa melhora o desempenho em tarefas retidas dentro da mesma classe.

Metodologia

Os autores introduzem o EnterpriseClawBench, um benchmark construído a partir de um arquivo proprietário de sessões reais de agentes de uma startup de IA com mais de 100 funcionários. Os dados abrangem de março a maio de 2026 e incluem turnos de chat, arquivos carregados, rastreios de ferramentas e estados de workspace persistentes.

Pipeline de Construção

O pipeline converte 5.291 instâncias de tarefas brutas em 852 tarefas de benchmark reproduzíveis através de um processo rigoroso de filtragem e transformação (Figura 2 & 3):

1. Portões Mecânicos: Os candidatos passam por filtragem de comprimento, recuperação de fixtures (garantindo que os arquivos de entrada existam), recuperação de redação (restaurando URLs/caminhos mascarados a partir do contexto) e verificações de acessibilidade de rede. Isso reduz o conjunto para 3.813 candidatos mecanicamente utilizáveis.
2. Autossuficiência e Reescrita: As tarefas são revisadas para autossuficiência. Conversas multitorno e ruidosas são reescritas em prompts de turno único com referências explícitas de materiais e requisitos de entregáveis.
3. Atribuição de Taxonomia: As tarefas são rotuladas com classes de funções (ex: Produto, Engenharia, RH) e subclasses de habilidades (45 subclasses totais em 8 classes de funções).
4. Geração de Rubrica: Cada tarefa é empacotada com regras rígidas (verificações objetivas de tipos de arquivo, contagens, não-vazio) e rubricas semânticas para julgamento de texto e visual.
5. Preflight de Sandbox: As tarefas finais passam por verificações de sandbox para garantir que os inputs possam ser carregados, os agentes possam executar e os artefatos possam ser baixados.

Estrutura de Avaliação

O benchmark avalia combinações de harness–modelo em vez de modelos isolados.

• Leaderboard: Cobre 32 combinações de 5 harnesses (Claude Code, Codex, DeepAgents, Hermes, OpenClaw) e 9 modelos (incluindo GPT-5.5, Sonnet 4.6, Opus 4.6, Kimi K2.6, etc.).
• Pontuação:
  • Regras Rígidas: Verificações objetivas de existência de arquivo, formato e validade de conteúdo.
  • Juízes Semânticos: Juízes de LLM multi-métrica pontuam a qualidade da saída em cinco dimensões: precisão fundamentada, relevância da tarefa, profundidade substantiva, utilidade prática e qualidade de comunicação.
  • Roteamento: Outputs extraíveis via texto são julgados por modelos de texto; artefatos visuais (HTML, PDFs, planilhas, slides) são renderizados como imagens para juízes visuais.
• Avaliação de Habilidade: Um protocolo específico testa a transferência de habilidade ao destilar uma habilidade de tarefas in-domain (ex: geração de página frontend) e injetá-la em um agente consumidor para avaliar o desempenho em tarefas retidas da mesma subclasse.

Principais Resultados

Desempenho no Subconjunto Lite (120 Tarefas)

• Desempenho Não Saturado: A melhor configuração (Codex com GPT-5.5) alcança uma pontuação de apenas 0,663, indicando uma margem significativa para melhoria na entrega de artefatos corporativos.
• Acoplamento Harness-Modelo: O desempenho é altamente dependente do harness. Por exemplo, modelos da família Claude (Sonnet 4.6, Opus 4.6) performam bem sob Claude Code, DeepAgents e OpenClaw (pontuações 0,62–0,64), mas caem significativamente sob o Hermes (0,458). A análise de trace sugere que o Hermes bloqueia a sondagem necessária do ambiente e a execução de scripts, levando a uma geração incompleta de artefatos.
• Custo-Efetividade: Existe uma relação não linear entre custo e pontuação. Mover de sistemas de baixo custo para sistemas de custo médio gera grandes ganhos, mas os retornos marginais diminuem em níveis de custo mais altos.
• Variância de Função e Artefato:
  • Funções: Tarefas de Marketing e Finanças/Operações são as mais difíceis, provavelmente devido aos pesados requisitos de compreensão de documentos e convenções específicas da empresa.
  • Artefatos: GPT-5.5 se destaca em HTML, código e JSON, enquanto o Opus 4.6 lidera em planilhas. Notavelmente, juízes visuais tendem a inflar as pontuações para planilhas e apresentações em comparação com entregáveis apenas de texto.
• Transferência de Habilidade: A injeção de habilidade gera alta variância. GPT-5.5 atua como um forte criador de habilidades (transferência média positiva), enquanto Haiku 4.5 atua como um criador fraco (transferência média negativa. Crucialmente, um consumidor forte (ex: DeepAgents/Haiku 4.5) ainda pode se beneficiar de um criador fraco, enquanto consumidores fortes podem ser degradados por escolhas de criadores ruins.

Confiabilidade do Juiz

• Texto vs. Visual: Juízes de texto mostram forte concordância com avaliadores humanos (correlação de Spearman 0,790, MAE 0,134). Juízes visuais, no entanto, mostram fraca concordância com humanos (Spearman -0,259, MAE 0,303), com o Sonnet 4.6 sendo substancialmente mais conservador que os avaliadores humanos. Isso destaca uma lacuna de maturidade na avaliação de artefatos multimodais.

Principais Contribuições

1. Protocolo de Construção Automatizado: Um pipeline reproduzível que converte sessões corporativas proprietárias e ruidosas em tarefas de benchmark padronizadas com fixtures, taxonomias e rubricas.
2. Estrutura de Avaliação Multidimensional: Um protocolo que reporta conjuntamente o desempenho da combinação harness–modelo, qualidade de entrega de artefato, scores semânticos de texto/visual, custo e tempo de execução, indo além de métricas de pontuação única.
3. Suporte à Generalização de Habilidade: Infraestrutura nativa para avaliar a transferência de habilidade ao nível de classe de tarefa usando uma matriz consumidor–criador.

Significância e Limitações

O artigo argumenta que a avaliação de agentes corporativos deve evoluir para reportar a combinação harness–modelo e a qualidade de entrega do artefato em vez de colapsar o desempenho em uma única pontuação de modelo. Os resultados demonstram que os sistemas atuais estão longe de resolver tarefas corporativas do mundo real, particularmente aquelas que exigem manipulação complexa de documentos e saída visual.

Limitações:

• Privacidade de Dados: Devido à natureza proprietária dos dados de origem (sessões internas, anexos, contexto de negócio), o conjunto de dados do benchmark em si não é liberado. A contribuição é o protocolo de construção e a estrutura de avaliação.
• Generalização: O benchmark é derivado de um único deployment corporativo, o que pode não representar todas as estruturas organizacionais ou fluxos de trabalho.
• Imperfeição do Juiz: Juízes de LLM, particularmente para artefatos visuais, permanecem imperfeitos e requerem calibração contra avaliadores humanos.

Os autores concluem que o EnterpriseClawBench fornece uma base necessária para entender o comportamento acoplado de agentes em ambientes realistas e orientados a artefatos, enfatizando que "a avaliação de agentes corporativos deve reportar combinações harness–modelo, entrega de artefato, qualidade visual, custo, tempo de execução e comportamento de transferência de habilidade".