Resumo Técnico: ClawForge

Declaração do Problema

Os benchmarks de agentes interativos atualmente enfrentam uma tensão fundamental entre a construção escalável e a avaliação realista de fluxos de trabalho. As abordagens existentes dependem fortemente de tarefas criadas manualmente, que são caras para expandir e revisar, ou de avaliações estáticas baseadas em prompts que ignoram falhas que ocorrem apenas quando os agentes operam sobre um estado persistente. Crucialmente, a maioria dos benchmarks interativos atuais inicializa as tarefas a partir de um "estado limpo", falhando em testar sistematicamente como os agentes lidam com artefatos pré-existentes parciais, desatualizados ou conflitantes. Essa lacuna deixa um aspecto central da competência em fluxos de trabalho sem medição: a correção que depende do estado final de um ambiente ativo, e não meramente de uma resposta textual plausível ou de uma sequência de comandos.

Metodologia

Os autores apresentam o ClawForge, um framework de benchmark apoiado por gerador, projetado para fluxos de trabalho executáveis em linha de comando sob conflito de estado. Diferentemente de coleções estáticas de prompts, o ClawForge trata cada tarefa como uma especificação executável composta por cinco componentes acoplados:

1. Instrução ($x$): Um comando em linguagem natural.
2. Estado Inicializado ($S_0$): Um estado de ambiente semeado contendo artefatos pré-existentes (que podem ser válidos, desatualizados ou conflitantes).
3. Trajetória de Referência ($C^\star$): Uma sequência de comandos de verdade fundamental derivada da execução do fluxo de trabalho pretendido contra o estado inicializado.
4. Verificações Executáveis ($E$): Validadores que verificam transições de estado necessárias e efeitos colaterais observáveis.
5. Metadados ($m$): Informações estruturadas sobre famílias de cenários e categorias de habilidades.

Pipeline de Geração e Execução

O framework compila modelos de cenários e slots fundamentados (por exemplo, cidade, fuso horário, destinatário) em especificações de tarefa reproduzíveis. O ambiente de execução expõe uma interface no estilo de linha de comando sobre superfícies de fluxo de trabalho, incluindo tarefas, calendários, e-mail, mensagens, arquivos, configuração de tempo de execução e clima.

• Execução com Estado: Os agentes interagem passo a passo em um loop com estado. O ambiente executa comandos, registra efeitos que alteram o estado e constrói a próxima observação com base no estado atualizado.
• Avaliação Focada no Resultado: A avaliação é realizada sobre um estado final normalizado ($\hat{S}$) e efeitos colaterais observáveis, em vez de correspondência exata de trajetória. Isso permite que múltiplas sequências de comandos válidas passem se produzirem as transições de estado necessárias.
• Pontuação: O framework relata duas métricas:
  • Precisão Estrita: A fração de tarefas em que todas as verificações necessárias passam.
  • Pontuação de Crédito Parcial: Uma média ponderada que mede quanto do fluxo de trabalho foi concluído corretamente, distinguindo entre falhas iniciais e fechamentos "quase acertos".

Principais Contribuições

1. Framework ClawForge: Um sistema para construção automatizada de tarefas, execução com estado e avaliação focada no resultado que mantém a reprodutibilidade e a extensibilidade em benchmarks interativos.
2. ClawForge-Bench: Uma instanciação concreta do framework contendo 17 famílias de cenários organizadas em 6 categorias de habilidades:
   • Evitação de Duplicatas
   • Preenchimento de Lacunas
   • Transferência de Informação
   • Raciocínio Multi-Fonte
   • Reparo de Estado
   • Conclusão de Fluxo de Trabalho
3. Análise de Modos de Falha: O benchmark visa especificamente modos de falha realistas, como conclusão consciente de duplicatas, reparo de estado desatualizado, substituição de estado incorreto, resolução de ramificações multi-fonte e fechamento completo do fluxo de trabalho.

Resultados Experimentais

Os autores avaliaram sete modelos de ponta (incluindo Kimi-K2.5, variantes do GPT-5 e variantes do Claude 4.6) no ClawForge-Bench. As principais descobertas incluem:

• Baixa Saturação: O benchmark permanece longe de saturado. O modelo de melhor desempenho (Claude Opus 4.6) alcançou apenas 45,3% de precisão estrita.
• Dificuldade de Conflito de Estado: "Substituição de Estado Incorreto" provou ser a fatia compartilhada mais desafiadora, com todos os modelos pontuando abaixo de 17% (o melhor atingindo 17,4%). Isso indica uma incapacidade significativa de identificar estado desatualizado, preservar partes válidas e substituir partes inválidas simultaneamente.
• Separação de Modelos: A maior lacuna de desempenho (de 17% a 90%) foi observada no cenário "Retomada de Fluxo de Trabalho Interrompido". Essa separação é impulsionada principalmente por se os agentes inspecionam o estado existente antes de agir; modelos que pulam a inspeção tendem a recriar objetos existentes, acionando guardas de duplicata.
• Estilos de Falha: Análises de crédito parcial e eficiência de passo revelaram que muitas falhas são fechamentos "quase acertos" em vez de falhas iniciais. Os modelos frequentemente identificam a direção correta de reparo, mas perdem um efeito colateral final. Além disso, os modelos exibem estilos de falha qualitativamente diferentes: alguns são eficientes em passos, mas perdem operações finais, enquanto outros consomem passos excessivos sem melhorar o fechamento.

Significado

O artigo afirma que o ClawForge aborda um ponto cego crítico na avaliação de agentes: a capacidade de gerenciar conflitos de estado em fluxos de trabalho persistentes. Ao ir além da inicialização em estado limpo, o benchmark expõe modos de falha — como substituição incorreta de estado e falha em reconhecer artefatos válidos existentes — que benchmarks estáticos ou de estado limpo não podem observar. Os resultados sugerem que os modelos de ponta atuais lutam significativamente com as decisões de julgamento exigidas em cenários de conflito de estado, especificamente na distinção entre o que precisa ser reparado versus o que precisa ser preservado. O framework fornece um mecanismo para medir sistematicamente essas capacidades, oferecendo uma visão mais diagnóstica da confiabilidade dos agentes em contextos operacionais do mundo real.