Resumo Técnico: Evo-Bench – Podem os Modelos de Linguagem Melhorar o Harness de Agentes?

Declaração do Problema

Embora os Grandes Modelos de Linguagem (LLMs) tenham avançado os agentes autônomos, as avaliações atuais estão amplamente confinadas à resolução de tarefas estáticas dentro de "harnesses" (as estruturas de código que orquestram o raciocínio, o uso de ferramentas e a memória) fixos e projetados por humanos. Uma fronteira crítica é a evolução do harness: a capacidade de um agente de otimizar autonomamente seu próprio harness operacional. No entanto, avaliar sistematicamente essa capacidade é dificultado por três desafios específicos:

1. Sensibilidade do Harness: Benchmarks padrão frequentemente falham em isolar as melhorias do harness da força do modelo base subjacente, tornando difícil determinar se os ganhos de desempenho decorrem de um código melhor ou de um modelo mais inteligente.
2. Generalização entre Divisões (Cross-Split Generalization): As avaliações existentes correm o risco de overfitting específico de tarefa, onde as divisões de validação e avaliação não exibem uma responsividade alinhada às variações do harness.
3. Evolução de Longo Horizonte: Capturar a capacidade de sustentar o refinamento iterativo de múltiplos turnos (diagnosticar falhas, formular hipóteses de melhoria e atualizar o código) continua sendo difícil.

A literatura atual carece de um ambiente controlado para avaliar a capacidade intrínseca de modelos de fundação para atuarem como engenheiros de harness de longo horizonte através de domínios heterogêneos.

Metodologia: Evo-Bench

Para abordar esses desafios, os autores introduzem o Evo-Bench, o primeiro benchmark projetado para avaliar as capacidades intrínsecas de evolução de harness de modelos. O framework emprega um processo de construção guiado pelo harness inovador e um protocolo de avaliação controlado.

1. Estrutura de Construção do Benchmark

A construção do Evo-Bench segue um processo de dois estágios para garantir que as tarefas sejam genuinamente sensíveis às melhorias do harness:

• Estágio 1: Geração de Harness Auxiliar: Os autores coletam um conjunto de tarefas auxiliares (320 tarefas) disjunto dos benchmarks finais. Eles executam experimentos de evolução independentes nessas tarefas usando quatro modelos de fronteira (GLM-5.2, Claude-Opus-4.8, Claude-Sonnet-5, GPT-5.6-Sol) para gerar um conjunto diversificado de 12 harnesses evoluídos representativos ($H_{aux}$).
• Estágio 2: Seleção de Tarefas Guiada pelo Harness: Candidatas a tarefas de cinco benchmarks estabelecidos (BrowseComp, HLE, GDPval, APEX-Agents, Claw-Eval) são avaliadas contra $H_{aux}$. As tarefas são filtradas com base na Sensibilidade do Harness ($Sens(x)$), definida como a correlação de Pearson entre a pontuação de uma tarefa e a qualidade geral dos harnesses. Apenas tarefas com sensibilidade positiva e dificuldade apropriada são selecionadas.
• Divisão Estratificada: O conjunto de dados final é dividido em uma Suíte de Validação visível ($D_{val}$, 160 tarefas) e uma Suíte de Avaliação disjunta ($D_{eval}$, 448 tarefas) usando divisão estratificada consciente da sensibilidade para garantir consistência distributiva e evitar overfitting.

2. Protocolo de Avaliação

• Domínios: O benchmark cobre três domínios: Busca (navegação web), Escritório (processamento de documentos) e Geral (tarefas de agentes diversas).
• Processo: Um Modelo de Política ($\pi$) fixo executa tarefas usando um Harness de Política mutável ($H_t$). Um Evoluidor ($E$), operando via um comando fixo de "evoluir harness", inspeciona iterativamente padrões de falha, formula hipóteses e edita $H_t$.
• Restrições: O processo é limitado por um orçamento de recursos (iterações, tempo, passos). O evoluidor pode acessar apenas $D_{val}$ durante o processo; $D_{eval}$ é reservado para a avaliação final do harness congelado ($H_T$).
• Métricas:
  • Pontuação Geral (Overall Score): Desempenho na $D_{eval}$ mantida separadamente.
  • Pontuação de Validação a Qualquer Momento (Anytime Validation Score): A média do melhor desempenho de validação até o momento sobre o orçamento de evolução, medindo a eficiência do processo evolutivo.

Principais Contribuições

1. Evo-Bench: Um novo benchmark que avalia a habilidade intrínseca de LLMs de refinar autonomamente códigos executáveis de harness através dos domínios de Busca, Escritório e Geral, indo além da resolução de tarefas estáticas.
2. Estrutura de Construção Guiada pelo Harness: Uma metodologia que utiliza a evolução de tarefas auxiliares para identificar tarefas sensíveis ao harness e emprega divisão estratificada consciente da sensibilidade para garantir generalização robusta entre suítes.
3. Análise Sistemática da Evolução do Harness: Uma avaliação abrangente de nove modelos de fronteira e de pesos abertos, caracterizando ganhos de desempenho, anomalias temporais (ex: saturação precoce) e a transferibilidade de estruturas evoluídas.

Resultados Experimentais

Os autores avaliaram nove modelos (incluindo GPT-5.6-Sol, Claude Opus 4.8, GLM-5.2, Qwen3.7-Max e outros) contra um seed harness de CodeAct e um baseline de "Harness Artificial" projetado por humanos.

• Ganhos de Desempenho: Os principais modelos alcançaram ganhos absolutos massivos. GPT-5.6-Sol e Claude Opus 4.8 melhoraram a Pontuação Geral em 16,6 e 16,1 pontos, respectivamente, atingindo 46,3 e 45,8. Essas pontuações aproximam-se muito do baseline projetado por humanos de 47,5.
• Variância por Domínio:
  • Busca: A evolução foi altamente eficaz; Claude Opus 4.8 ganhou +34,8 pontos, quase igualando o baseline humano. Os modelos sintetizaram com sucesso a lógica de navegação web ausente.
  • Geral: Os principais evolutores (ex: GPT-5.6-Sol, Qwen3.7-Max) superaram o baseline projetado por humanos, demonstrando que estruturas de raciocínio autônomo podem ultrapassar designs manuais neste domínio.
  • Escritório: Os modelos tiveram dificuldades significativas, mostrando melhorias marginais ou leves regressões. Os autores atribuem isso à dificuldade de descobrir fluxos de trabalho de processamento altamente específicos exigidos para tarefas de escritório.
• Anomalias Temporais: A análise revelou saturação precoce, onde os modelos descobrem rapidamente estruturas de alta qualidade, mas frequentemente introduzem modificações prejudiciais em rodadas posteriores, levando à terminação prematura ou quedas de desempenho.
• Transferibilidade: Os harnesses evoluídos demonstraram robusta generalização entre políticas. Quando aplicados a diferentes modelos de política (Qwen, DeepSeek, GLM), os harnesses sintetizados aumentaram consistentemente o desempenho, indicando que eles atuam como estruturas de raciocínio transferíveis em vez de sofrer overfitting aos defeitos de um único modelo.
• Eficiência de Custo: Uma análise de fronteira de Pareto mostrou um trade-off logarítmico acentuado entre custo e desempenho. Embora os resultados de alto nível tenham exigido recursos substanciais (ex: >$500 para GPT-5.6-Sol), modelos como GLM-5.2 e Qwen3.7-Max alcançaram bons resultados por menos de $40.

Significância e Alegações

O artigo afirma que o Evo-Bench fornece um framework rigoroso e controlado para separar a capacidade real de evolução de harness da força do modelo base e do ruído estocástico. Os resultados sugerem que, embora os modelos de fronteira atuais possuam a capacidade de atuar como engenheiros de pesquisa autônomos — particularmente nos domínios de Busca e Geral — eles ainda carecem da otimização profunda de nível de sistema e persistência de engenheiros humanos, especialmente em fluxos de trabalho complexos de Escritório.

Os autores posicionam o Evo-Bench como um banco de testes fundamental para catalisar pesquisas futuras em arquiteturas de agentes autoevoluíveis. Eles argumentam que, ao fortalecer a capacidade de abstrair padrões de falha causais e executar refatoração arquitetônica em larga escala, os modelos futuros têm o potencial de consistentemente superar especialistas humanos na engenharia de harness. O artigo não afirma ter resolvido a auto-melhoria, mas sim fornece a primeira métrica sistemática para medir e avaliar essa capacidade evolutiva específica.