Resumo Técnico: REALCLAWBENCH

Declaração do Problema

Os benchmarks atuais para agentes frequentemente falham em refletir a realidade das sessões de desenvolvedor-agente implantadas. Embora os benchmarks existentes (ex: SWE-bench, WebArena, AgentBench) tenham melhorado a executabilidade e a consciência de ferramentas, eles dependem primordialmente de tarefas autoriais, artefatos públicos ou ambientes curados. Isso cria um "gap de realismo", onde os benchmarks podem ser executáveis e difíceis, mas carecem do estado local, da intenção implícita do usuário e dos critérios de sucesso naturalmente ocorrentes encontrados em fluxos de trabalho reais de produção.

Sessões reais de desenvolvedor-agente (especificamente dentro do ecossistema OpenClaw) apresentam desafios únicos para a avaliação:

• Dependência de Contexto: As tarefas frequentemente dependem de ambientes de execução locais e estados específicos de projeto.
• Intenção Implícita: As solicitações dos usuários frequentemente contêm objetivos subespecificados ou elipses conversacionais.
• Dificuldade de Verificação: Os critérios de sucesso são frequentemente não determinísticos ou exigem julgamento subjetivo, tornando a pontuação automatizada difícil.

Consequentemente, as avaliações existentes podem não medir com precisão a capacidade de um agente de resolver tarefas extraídas da distribuição real de uso implantado.

Metodologia

O artigo apresenta o REALCLAWBENCH, um framework de benchmark ao vivo construído diretamente de sessões reais de usuários do OpenClaw. A metodologia central envolve um pipeline que transforma logs de implantação brutos e sensíveis em tarefas reproduzíveis, com privacidade preservada e pontuadas automaticamente.

1. Ancoragem de Distribuição de Origem

O framework utiliza 76.155 sessões de uso de ferramentas implantadas do OpenClaw como a distribuição de origem. Diferente de abordagens anteriores que amostram de pools curados finais, o REALCLAWBENCH ancora sua amostragem no fluxo de uso de ferramentas limpo antes do filtro de qualidade final. Isso garante que o benchmark preserve a distribuição empírica das demandas reais dos usuários, incluindo categorias raras e misturas específicas de tarefas.

2. Pipeline de Sessão-para-Tarefa

Cada instância lançada é construída através de um processo de transformação de quatro estágios (ilustrado na Figura 2):

• Reconstrução de Ambiente ($E_0$): O workspace inicial é materializado a partir de evidências da sessão, incluindo arquivos, dependências, contextos de comando e esquemas. Tarefas que dependem de serviços privados são baseadas em fixtures ou rejeitadas.
• Reescrita de Requisição ($x$): As mensagens originais dos usuários são convertidas em instruções autônomas. Este processo resolve referências locais e elipses conversacionais, enquanto remove identificadores privados. Crucialmente, as reescritas preservam a categoria original da tarefa sem adicionar dicas de solução.
• Construção de Verificador ($V$): Um programa determinístico é construído para verificar o workspace final, o stdout e subprocessos limitados. Os verificadores checam resultados estruturais (ex: existência de arquivo, validade de esquema). Tarefas que exigem julgamento subjetivo ou estético são excluídas para garantir pontuação automática e determinística.
• Revisão de Fidelidade: Instâncias de rascunho passam por sondagem para detectar bugs, redação ambígua ou instruções "vazadas". Apenas instâncias que passam nos testes de reconstruibilidade e validade do verificador são lançadas.

3. Mecanismo de Lançamento ao Vivo

O REALCLAWBENCH suporta lançamentos ao vivo versionados. O mesmo mapa de construção ($T$) pode ser aplicado a janelas temporais não sobrepostas de logs futuros. Isso permite que o benchmark acompanhe mudanças temporais na demanda do usuário enquanto mantém um protocolo de avaliação controlado.

Principais Contribuições

1. Identificação do Gap de Realismo: O artigo define formalmente a discrepância entre os benchmarks de agentes executáveis e a distribuição real do uso de desenvolvedor-agente implantado, destacando a falta de estado local e intenção implícita nos datasets atuais.
2. Pipeline de Sessão-para-Tarefa: Um pipeline inovador que converte logs de implantação brutos e sensíveis à privacidade em tarefas de benchmark reproduzíveis usando reconstrução de ambiente, reescrita de intenção preservada e verificadores determinísticos.
3. Lançamento de Benchmark ao Vivo: O lançamento do REALCLAWBENCH, um benchmark ancorado em distribuição contendo 281 tarefas executáveis amostradas de sessões reais. Ele demonstra que o processo de construção pode ser executado novamente em logs futuros para produzir atualizações versionadas sem redesenhar filtros.

Resultados

Fidelidade Distribuicional

O pipeline de construção preserva com sucesso a forma da distribuição real do usuário.

• Divergência de Jensen-Shannon (JSD): O lançamento final de 281 tarefas mantém um JSD máximo de 0,0448 contra a distribuição de origem (76.155 sessões) em quatro eixos: tipo de tarefa, turnos do usuário, ferramentas definidas e chamadas de ferramentas.
• Impacto da Filtragem: A filtragem agressiva (de chamadas brutas para o conjunto final) não introduziu desvio significativo na distribuição, com todas as mudanças entre estágios adjacentes permanecendo abaixo de 0,05 bits.

Desempenho do Modelo (Leaderboard)

O benchmark foi usado para avaliar 14 modelos contemporâneos (incluindo Claude Opus/Sonnet, GPT-5.5, DeepSeek, Gemini e outros) sob um harness compartilhado do OpenClaw com um timeout de 600 segundos.

• Desempenho Superior: O melhor modelo, Claude Opus 4.7, alcançou uma taxa de sucesso média de amostra de 65,8%.
• Margem de Melhoria (Headroom): O fato de o melhor modelo resolver apenas ~66% das tarefas revela uma margem substancial para agentes atuais em cargas de trabalho de desenvolvedor realistas.
• Eficiência de Custo: Desempenho e custo não estão estritamente alinhados. Por exemplo, o MiMo V2.5 Pro ofereceu um tradeoff favorável a um custo significativamente menor ($11,87) comparado a modelos de maior custo como o GPT-5.5 ($61,87), que ficou em uma posição inferior.
• Comportamento de Cauda Longa: Pontuações de média macro (considerando a distribuição desbalanceada de tipos de tarefas) revelaram rankings diferentes em comparação com médias simples de amostra, destacando a importância de avaliar o desempenho através de diversas categorias de tarefas do mundo real.

Validação de Benchmarking ao Vivo

O pipeline foi testado em uma janela temporal posterior ($W_{live}$) sem modificar filtros ou regras.

• Rendimento: O pipeline produziu com sucesso 34 casos finais da janela ao vivo, com razões de retenção comparáveis à janela base.
• Drift: A janela ao vivo permaneceu distribuicionalmente próxima da janela base (JSD máximo de 0,0411), confirmando que o protocolo pode rastrear mudanças de demanda enquanto mantém a comparabilidade.

Significância e Alegações

O artigo alega que o REALCLAWBENCH fornece um caminho prático para benchmarks que meçam melhor a capacidade de um agente no uso real. Ao transformar sessões implantadas reais em instâncias de avaliação controladas, o framework aborda as limitações de benchmarks autoriais.

As principais alegações incluem:

• Realismo: O benchmark captura a distribuição, diversidade e dificuldade do mundo real do uso de agentes implantados, o que é frequentemente perdido em datasets curados.
• Reprodutibilidade: Demonstra que sessões reais podem ser convertidas em tarefas de pontuação automática e reproduzíveis sem perder a "forma medida" da distribuição de origem.
• Avaliação Dinâmica: O framework suporta lançamentos ao vivo e versionados que reduzem a obsolescência e a contaminação de dados, permitindo que o benchmark evolua junto com o uso implantado do agente.

Os autores enfatizam que o benchmark é específico para o ecossistema OpenClaw e para a população de usuários orientada a desenvolvedores, e que os pontuadores programáticos favorecem resultados verificáveis em um workspace final, podendo perder qualidades como manutenibilidade de código ou progresso parcial. No entanto, o framework estabelece um novo padrão para fundamentar a avaliação de agentes em dados de implantação do mundo real.