Resumo Técnico: AcademiClaw

Declaração do Problema

Enquanto o ecossistema OpenClaw evoluiu rapidamente como uma estrutura de código aberto líder para agentes autônomos, as benchmarks de avaliação existentes dentro desse ecossistema permaneceram limitadas a tarefas de nível assistencial (por exemplo, triagem de e-mails, gerenciamento de calendários, estruturação de projetos). Essas tarefas, embora úteis na prática, carecem da profundidade de expertise de domínio e do raciocínio multi-etapa sustentado necessários para fluxos de trabalho acadêmicos e profissionais do mundo real. Consequentemente, há uma lacuna crítica na compreensão das capacidades dos agentes OpenClaw quando confrontados com problemas complexos e intensivos em conhecimento, como provas matemáticas, treinamento de modelos intensivos em GPU, depuração entre frameworks e análise de dados científicos. As benchmarks atuais falham em avaliar sistematicamente os agentes nessas desafios de "nível acadêmico", deixando a comunidade sem sinais diagnósticos acionáveis para avançar os agentes além de seu escopo atual orientado a assistentes.

Metodologia

Coleta de Tarefas: Uma Abordagem de Baixo para Cima

Diferentemente das benchmarks tradicionais, onde as tarefas são projetadas de cima para baixo por pesquisadores, o AcademiClaw emprega uma estratégia de coleta de baixo para cima, baseada em usuários.

• Fonte: 230 tarefas candidatas foram submetidas por estudantes universitários com base em seus fluxos de trabalho acadêmicos reais (trabalhos de casa, projetos de pesquisa, competições, projetos pessoais) onde constataram que os agentes de IA atuais eram ineficazes.
• Filtragem: Um rigoroso processo de revisão por especialistas em duas etapas destilou esses candidatos em um conjunto final de 80 tarefas de alta qualidade. Os especialistas avaliaram as tarefas quanto à clareza do prompt, correção da rubrica, reprodutibilidade da pontuação, calibração de dificuldade e equilíbrio de domínio.
• Escopo: O conjunto de dados final cobre 25+ domínios profissionais, variando de provas da OMC (Olimpíada Matemática Chinesa) e problemas da IOL (Olimpíada Internacional de Linguística) até aprendizado por reforço intensivo em GPU e depuração de sistemas full-stack. Inclui 16 tarefas intensivas em GPU que exigem execução CUDA, uma característica ausente em benchmarks anteriores do OpenClaw.
• Natureza Bilíngue: A benchmark é bilíngue (49 em inglês, 31 em chinês), com tarefas em chinês sendo nativamente chinesas e exigindo competência culturalmente fundamentada (por exemplo, adaptação de poesia Tang, compreensão da codificação Shuangpin) em vez de simples tradução de instruções.

Ambiente de Execução

• Isolamento: Cada tarefa executa dentro de um sandbox Docker isolado com uma hierarquia de imagem de duas camadas (ambiente base CPU/GPU + dependências por tarefa).
• Framework de Agente: As tarefas são resolvidas usando o framework de agente OpenClaw, que fornece uma paleta unificada de ferramentas incluindo operações de arquivo, execução de shell, busca na web e automação de navegador headless.
• Protocolo de Avaliação: Os agentes recebem uma única tentativa por tarefa, sem repetições. A rubrica de avaliação é mantida em sigilo para o agente durante a execução.

Framework de Avaliação Multidimensional

O AcademiClaw vai além das métricas binárias de aprovação/reprovação, empregando uma rubrica multidimensional (escala de 0–100) que combina seis técnicas de verificação complementares:

1. Correspondência de Padrões: Expressões regulares (Regex), detecção de palavras-chave e análise AST.
2. Execução de Código: Compilação e execução de testes unitários contra soluções de referência.
3. LLM como Juiz: Avaliação de saídas abertas (relatórios, escrita criativa) com fallbacks heurísticos determinísticos.
4. Avaliação por Visão de LLM: Comparação de gráficos renderizados ou capturas de tela de GUI contra referências.
5. Testes de Navegador End-to-End: Uso do Playwright para interagir com elementos web dinâmicos.
6. Validação de Saída Estruturada: Verificações de esquema JSON, verificação de CSV e análise de BibTeX.

Adicionalmente, uma auditoria de segurança de cinco categorias (S1–S5) avalia operações destrutivas, vazamento de informações, conformidade de limites, escalonamento de privilégios e riscos na cadeia de suprimentos.

Contribuições Principais

1. Primeira Benchmark de Nível Acadêmico para OpenClaw: O AcademiClaw é a primeira benchmark no ecossistema a visar complexidade de nível acadêmico, composta por 80 tarefas provenientes inteiramente de estudantes universitários e não de pesquisadores. Inclui exclusivamente 16 tarefas intensivas em GPU.
2. Framework de Avaliação Inovador: O artigo introduz um sistema de pontuação multidimensional que combina seis técnicas de verificação e uma auditoria de segurança de cinco categorias, fornecendo sinais diagnósticos granulares além de métricas agregadas.
3. Análise Empírica Sistemática: Os autores fornecem uma avaliação abrangente de seis modelos de fronteira (Claude Opus 4.6, Claude Sonnet 4.6, GPT-5.4, Gemini 3.1 Pro, Qwen3.5-397B e MiniMax M2.7), revelando fenômenos ocultos por benchmarks mais leves.

Resultados Experimentais

Desempenho Geral

Mesmo o modelo de melhor desempenho, Claude Opus 4.6, alcançou apenas uma taxa de aprovação de 55% (pontuação ≥75) com uma pontuação média de 71,9. A lacuna entre os modelos mais fortes e o mais fraco (MiniMax M2.7) foi de 8,8 pontos na pontuação média, mas a lacuna na taxa de aprovação foi mais ampla (55,0% vs. 37,5%). Notavelmente, 23 das 80 tarefas (28,8%) derrotaram todos os seis modelos, com 8 tarefas onde cada modelo obteve pontuação abaixo de 50.

Padrões por Domínio e Nível de Tarefa

• Domínio da Dificuldade da Tarefa: A variação no desempenho entre as categorias de tarefas (dispersão de 26,3 pontos) superou amplamente a variação entre os modelos (dispersão de 8,8 pontos). Raciocínio STEM foi a categoria mais desafiadora (pontuação média ~50,6), enquanto Linguagem e Criatividade foi a mais fácil (pontuação média ~76,9).
• Limites de Capacidade: Tarefas específicas revelaram limites agudos de capacidade. Por exemplo, em uma tarefa de extração de árvore genealógica de Cem Anos de Solidão, as pontuações variaram de 86–92 para alguns modelos a apenas 3 para outros (uma lacuna de 90 pontos). Da mesma forma, uma tarefa de migração de TensorFlow para PyTorch resultou em falha catastrófica (pontuação 0) para o GPT-5.4, enquanto outros obtiveram 74–90.

Fenótipos Comportamentais

O estudo identificou três estratégias comportamentais distintas entre os modelos:

1. Ler Primeiro (Claude Opus 4.6): Prioriza a leitura de arquivos (41% das chamadas de ferramentas) antes da execução. Essa estratégia rendeu a maior qualidade ("prêmio de compreensão"), mas exigiu uso moderado de tokens.
2. Executar Primeiro (Gemini 3.1 Pro): Depende fortemente da execução de shell (74,3% das chamadas) com uma abordagem de tentativa e erro. Isso resultou no maior consumo de tokens (2,8 milhões de tokens, 5,4 vezes mais que o GPT-5.4), mas menor qualidade e a menor pontuação de segurança (74,9), devido principalmente a violações de limites.
3. Minimalista (GPT-5.4): Utiliza o menor número de chamadas de ferramentas (19) e tokens (525 mil) com o tempo de execução mais curto, alcançando qualidade competitiva através de inferência interna.

Desconexão Token-Qualidade

Uma descoberta crítica é a correlação próxima de zero ($r = -0,03$) entre o consumo de tokens e a qualidade da tarefa em todos os modelos. Isso sugere que os agentes atuais carecem de mecanismos eficazes para determinar quando parar de iterar, levando a penalidades de "superpensamento" onde o esforço computacional aumentado não se traduz em melhores soluções.

Análise de Segurança

Segurança e qualidade foram encontradas como amplamente independentes ($|r| < 0,29$). No entanto, a conformidade de limites (S3) foi a dimensão decisiva de segurança, mostrando uma lacuna de 53 pontos entre os modelos mais seguros (modelos Claude, ~84) e os menos seguros (Gemini, 31,6). Isso correlaciona-se com o fenótipo "executar primeiro", onde execuções frequentes de shell aumentam o risco de acessar arquivos fora do espaço de trabalho designado.

Significado e Alegações

Os autores posicionam o AcademiClaw como uma evolução necessária na avaliação de agentes, deslocando o foco de rotinas de nível assistencial para as demandas complexas e abertas da prática acadêmica e profissional do mundo real.

• Valor Diagnóstico: A benchmark fornece sinais granulares que revelam lacunas específicas de capacidade (por exemplo, raciocínio formal vs. tarefas generativas) e ineficiências comportamentais (por exemplo, a desconexão token-qualidade) que métricas agregadas obscurecem.
• Recurso Comunitário: Ao tornar os dados e o código de código aberto, os autores visam impulsionar o progresso em direção a agentes mais capazes e versáteis, ajudando a comunidade OpenClaw a ir além de seu escopo atual orientado a assistentes.
• Escopo Moderado: Os autores reconhecem limitações, observando que o conjunto de dados atual é proveniente de estudantes de graduação em CS de uma única universidade e depende de avaliações de tentativa única. Eles enquadram a benchmark como um passo fundamental em direção a protocolos de avaliação mais abrangentes, multidisciplinares e de múltiplas tentativas no futuro.