ClawMark: A Living-World Benchmark for Multi-Turn, Multi-Day, Multimodal Coworker Agents

1. Declaração do Problema

Os benchmarks atuais para agentes de Modelos de Linguagem (LM) avaliam principalmente solucionadores de tarefas "one-shot" dentro de ambientes estáticos e de sessão única. No entanto, o caso de uso emergente para agentes LM é o de colegas de trabalho persistentes que trabalham ao lado de humanos ao longo de vários dias. Esta configuração apresenta três desafios críticos que os benchmarks existentes não abordam:

• Evolução Temporal: O ambiente muda independentemente do agente entre as rodadas (por exemplo, novos e-mails chegam, entradas de calendário mudam, arquivos são atualizados). Os agentes devem adaptar-se a essas mudanças de estado exógenas em vez de assumir um mundo estático.
• Estado Dinâmico: Diferente de logs estáticos ou instantâneos em cache, fluxos de trabalho reais envolvem serviços com estado onde dados lidos no Passo 1 podem diferir no Passo 2 devido a fatores externos.
• Evidência Multimodal: Fluxos de trabalho profissionais dependem de evidências brutas, não transcritas, através de diversas modalidades (imagens, PDFs digitalizados, áudio, vídeo, planilhas), não apenas texto.

Os benchmarks existentes frequentemente dependem de "LLM como juiz" para pontuação, o que introduz subjetividade e não determinismo, e raramente simulam o "mundo vivo" onde o ambiente muta entre as rodadas do agente.

2. Metodologia: O Benchmark ClawMark

O ClawMark é um benchmark projetado para avaliar agentes colegas de trabalho em um ambiente com estado, dinâmico e multimodal.

A. Ambiente e Arquitetura

• Serviços em Sandbox com Estado: O benchmark é executado contra cinco serviços isolados e com estado dentro de um ambiente Docker:
  1. Sistema de Arquivos
  2. E-mail (GreenMail SMTP/IMAP)
  3. Calendário (Radicale CalDAV)
  4. Base de Conhecimento (compatível com Notion)
  5. Planilha (compatível com Google Sheets)
• Fluxo de Trabalho Multirrodada e Multidias: Cada tarefa abrange 2–6 rodadas, onde uma rodada equivale a um dia de trabalho dentro do universo.
• Mutações Exógenas: Entre as rodadas, o ambiente muta independentemente do agente através de dois mecanismos:
  • Eventos Ruidosos: Anunciados explicitamente no prompt de "acordar" (por exemplo, "Um novo e-mail chegou").
  • Mutações Silenciosas: Mudanças não anunciadas injetadas nos serviços (por exemplo, uma linha de planilha é sobrescrita, um arquivo é modificado) sem notificação. O agente deve detectar essas mudanças atualizando o estado.
• Entradas Multimodais: A evidência é entregue como artefatos brutos (fotos, áudio, vídeo, PDFs) sem pré-transcrição, exigindo que os agentes usem ferramentas (por exemplo, whisper, ffmpeg, PyMuPDF) para processá-los.

B. Protocolo de Pontuação (Sem LLM como Juiz)

O ClawMark emprega um sistema de pontuação totalmente determinístico e baseado em regras:

• Verificadores: Cada tarefa inclui 6–29 verificadores Python ponderados que inspecionam o estado pós-execução dos serviços em sandbox.
• Métricas:
  • Pontuação Ponderada: Uma métrica contínua (0–100) que recompensa o progresso parcial com base na taxa de aprovação dos verificadores ponderados.
  • Sucesso da Tarefa: Uma métrica binária estrita (0–100%) exigindo que todos os verificadores passem.
• Restrições de Linha Vermelha: 55 verificadores específicos atuam como "linhas vermelhas" (restrições rígidas). Violar estas (por exemplo, aprovar uma reivindicação antes de um relatório final, exfiltração de dados) resulta em penalidades severas ou falha, independentemente de outro progresso.
• Garantia de Determinismo: As tarefas são liberadas apenas se duas reexecuções independentes produzirem veredictos de verificadores idênticos em nível de bit, garantindo reprodutibilidade sem juízes LLM.

C. Pipeline de Construção

O benchmark foi construído usando um pipeline primeiro-tarefa:

1. Autoria da Tarefa: Designers definem o fluxo de trabalho, a rubrica e as mudanças de estado necessárias.
2. Origem da Evidência: 1.072 artefatos multimodais brutos são obtidos via coleta na web, gravação original ou síntese de IA direcionada para corresponder ao design da tarefa.
3. Loop de Revisão: Um processo de 3–5 rodadas envolvendo revisão humana, auditorias de IA (verificando "hacking de verificadores" ou correspondências de strings frágeis) e revisões de trajetória por modelos de referência.
4. Portão de Liberação: As tarefas são liberadas apenas se passarem em todas as auditorias e demonstrarem consistência determinística dos verificadores.

3. Contribuições Principais

1. Primeiro Benchmark de "Mundo Vivo": Introduz um benchmark combinando cronogramas de vários dias, mutações de ambiente exógenas e evidência multimodal bruta.
2. Protocolo de Avaliação Determinístico: Estabelece um sistema de pontuação baseado em regras com 1.537 verificadores que elimina o viés de "LLM como juiz" e garante reprodutibilidade idêntica em nível de bit.
3. Conjunto de Dados Abrangente: Libera 100 tarefas em 13 cenários profissionais (por exemplo, Assistente Clínico, Seguro, EDA, Jurídico) envolvendo 87 papéis distintos.
4. Infraestrutura Aberta: Libera o benchmark, a ferramenta de avaliação e o pipeline de construção para apoiar pesquisa reprodutível.

4. Resultados Experimentais

Os autores avaliaram sete sistemas de agentes de fronteira (5 proprietários, 2 de código aberto) usando o framework OpenClaw.

Desempenho Geral

• Pontuação Ponderada: O melhor desempenho, Claude Sonnet 4.6, alcançou 75,8. Outros modelos de topo incluíram Claude Opus 4.6 (74,6) e GPT-5.4 (72,0).
• Sucesso Estrito da Tarefa: A lacuna entre progresso parcial e conclusão total é massiva. A melhor taxa de Sucesso da Tarefa foi apenas 20,0% (Claude Opus 4.6). A maioria dos modelos resolveu menos de 15% das tarefas de ponta a ponta.
• Variância de Cenário: O desempenho variou significativamente por domínio. Por exemplo, os modelos se destacaram em "EDA" (Automação de Design Eletrônico) e "Imobiliário", mas lutaram significativamente em "Gestão de Projetos" (pontuação média ~35,1).

Análise ao Nível de Rodada (Adaptação)

• Queda no Dia 2: A análise de 73 tarefas de três rodadas revelou que seis dos sete modelos tiveram queda no desempenho no Dia 2, o ponto onde ocorre a primeira mutação exógena.
• Recuperação: No Dia 3, a maioria dos modelos recuperou-se apenas parcialmente, permanecendo abaixo de suas linhas de base do Dia 1. Isso destaca que adaptar-se a mudanças de estado é um ponto principal de falha.
• Eficiência: Não houve relação monotônica entre uso de tokens/ferramentas e pontuação. Curiosamente, os modelos com maior pontuação (Sonnet 4.6, Opus 4.6) também foram os mais eficientes em ferramentas.

Taxonomia de Falhas

A análise de 10.759 avaliações de verificadores revelou dois modos de falha dominantes:

1. Detecção de Mudança Silenciosa (56,5% de taxa de falha): Os agentes frequentemente falharam em notar mudanças não anunciadas no ambiente.
2. Gravação no Backend (53,6% de taxa de falha): Os agentes frequentemente raciocinaram corretamente, mas falharam em comprometer a ação final ao serviço correto (por exemplo, salvar um arquivo ou atualizar uma linha).

• Violações de Linha Vermelha: Embora raras no geral (7,1%), estavam concentradas em tarefas específicas. Notavelmente, o Qwen 3.6 Plus teve uma taxa de falha de linha vermelha significativamente maior (14,5%) em comparação com modelos de topo (~3,6%).

5. Significado

O ClawMark representa uma mudança de paradigma na avaliação de agentes:

• De Estático para Dinâmico: Avança além de "resolva este quebra-cabeça" para "gerencie este fluxo de trabalho", testando a capacidade do agente de manter o contexto ao longo do tempo e adaptar-se ao ruído externo.
• Confiabilidade sobre Fluência: A métrica estrita de Sucesso da Tarefa e as restrições de linha vermelha enfatizam que, em ambientes profissionais, conformidade e correção são mais críticas do que progresso parcial ou conversas fluentes.
• Prontidão para o Mundo Real: Os resultados indicam que, embora os modelos de fronteira possam lidar com raciocínio complexo, atualmente carecem da robustez necessária para papéis persistentes e autônomos de colegas de trabalho, particularmente na detecção de mudanças de estado silenciosas e na execução de atualizações de backend confiáveis.

O lançamento do ClawMark fornece a infraestrutura necessária para impulsionar o progresso em direção a verdadeiros colegas de trabalho de IA confiáveis e persistentes.