Resumo Técnico: O Que Agentes de Codificação Evolutiva Evoluem?

Declaração do Problema

A busca evolutiva por código impulsionada por Modelos de Linguagem de Grande Escala (LLM) emergiu como um paradigma para descoberta científica e algorítmica automatizada, produzindo resultados sólidos em construção matemática, design de algoritmos e otimização de sistemas. No entanto, permanece uma lacuna fundamental na compreensão da dinâmica interna desses sistemas. As práticas atuais de avaliação dependem fortemente de pontuações finais em benchmarks, o que obscurece os mecanismos que impulsionam a melhoria. Não está claro se o progresso decorre da descoberta de estruturas algorítmicas novas, do ajuste fino de estratégias existentes, da recombinação de conhecimento interno do modelo ou simplesmente do sobreajuste a avaliadores específicos. O artigo postula que, sem inspecionar o próprio processo de busca — e não apenas o resultado final —, é impossível distinguir entre descoberta estrutural genuína e outras formas de otimização.

Metodologia

Para abordar isso, os autores introduzem um framework abrangente para analisar traços de codificação evolutiva, consistindo em um conjunto de dados e uma ferramenta de análise baseada em replay.

1. EvoTrace: Um Conjunto de Dados Estruturado

Os autores construíram o EvoTrace, um conjunto de dados compreendendo 121 execuções evolutivas em quatro frameworks distintos (OpenEvolve, GEPA, EvoX, ShinkaEvolve), cinco LLMs (incluindo modelos com e sem raciocínio) e 16 tarefas (6 construções matemáticas em Python e 10 problemas de programação competitiva em C++ do ALE-bench Lite).

• Escopo: O conjunto de dados inclui 10.672 programas únicos, 18.400 chamadas de LLM e grafos completos de linhagem pai-filho.
• Esquema: Diferentemente de logs padrão, o EvoTrace normaliza as execuções em um esquema JSONL unificado contendo o código-fonte completo (idêntico em bytes), prompts, contexto, saídas do avaliador e metadados de execução. Este design prioriza a reprodutibilidade (replayability), permitindo que qualquer ponto no grafo de busca seja reexecutado contra o avaliador original.

2. EvoReplay: Ferramentas de Diagnóstico

Construído sobre o EvoTrace e o framework SkyDiscover, o EvoReplay é uma metodologia e um pacote de código aberto projetados para reconstruir estados locais de busca e realizar intervenções controladas. Ele habilita quatro capacidades diagnósticas principais:

• Análise Estática: Normalização de execuções para medir complexidade do programa, profundidade da linhagem e utilização do orçamento.
• Anotação com LLM como Juiz: Um pipeline que classifica cada edição de código pai-filho em uma de nove categorias recorrentes (ex.: Ajuste de hiperparâmetro, Mudança arquitetural, Correção de bug, Dependência externa) usando um juiz LLM validado contra reanotação humana cega.
• Linha de Base de Otimização Bayesiana (BO): Um método para isolar a "lacuna de ajuste" fixando a estrutura de um programa e executando BO em suas constantes numéricas expostas para determinar quanto do ganho evolutivo é puramente paramétrico.
• Análise de Estabilidade: Reexecutar os prompts exatos de geração para eventos de avanço para testar a reprodutibilidade e medir a distribuição dos resultados.

Contribuições Principais

O artigo contribui com dois artefatos principais e um conjunto de descobertas em nível de traço:

1. Conjunto de Dados EvoTrace: Uma coleção unificada e reprodutível de traços de codificação evolutiva cobrindo múltiplos frameworks, modelos e domínios.
2. Pacote EvoReplay: Uma ferramenta para análise mecânica, habilitando intervenções como replay com o mesmo prompt, ablação e substituição de contexto.
3. Descobertas Empíricas: Uma caracterização de como os agentes de codificação evolutiva realmente se comportam, revelando ineficiências e mecanismos específicos.

Resultados Principais

1. A Lacuna Frequência-Utilidade nas Edições

A análise de mais de 10.000 edições revela uma desconexão entre o que os agentes buscam e o que realmente melhora as pontuações:

• Frequência: O ajuste de hiperparâmetro (alteração de literais numéricos) é o tipo de edição mais prevalente, dominando a distribuição de busca.
• Utilidade: As edições mais úteis por unidade são Dependência externa (adição de bibliotecas), Eficiência (otimização de complexidade) e Mudança arquitetural (substituição de algoritmos centrais).
• Descoberta: As categorias que mais frequentemente melhoram uma única edição não são as categorias nas quais a busca gasta mais esforço. A maioria dos ganhos de pontuação provém de um pequeno subconjunto raro de tipos de edição.

2. Ciclagem Determinística

Uma parte significativa do orçamento de busca é desperdiçada em "rotatividade".

• Observação: Aproximadamente 30% das linhas de código adicionadas durante a busca são reintroduções idênticas em bytes de linhas previamente deletadas na mesma linhagem.
• Padrão: Esta taxa de ciclagem cresce monotonicamente ao longo da execução em 118 dos 121 casos. O intervalo mediano entre a deleção e a reintrodução é de apenas 5 iterações.
• Implicação: Os agentes frequentemente descartam e depois redescobrem os mesmos fragmentos de código, sugerindo uma falta de memória ou filtragem eficaz de novidade.

3. Reprodutibilidade do Replay

Ao reexecutar o prompt exato que gerou um programa "melhor até o momento":

• Estrutural vs. Léxico: Os replays quase sempre produzem programas executáveis (100% de sucesso em parse/avaliação), mas nunca reproduzem o programa original byte por byte (0% de correspondência exata).
• Recuperação de Pontuação: Apesar de gerar código diferente, os replays recuperam uma mediana de 76% da pontuação original.
• Conclusão: O ganho de pontuação é uma propriedade reprodutível do contexto do prompt e do estado de busca, mas a estrutura específica do programa é apenas uma amostra de uma distribuição mais ampla de soluções válidas.

4. A Lacuna de Ajuste

Os autores investigaram quanto do ganho evolutivo é estrutural versus paramétrico.

• Método: Eles aplicaram otimização bayesiana aos hiperparâmetros de programas intermediários das execuções evolutivas.
• Resultado: Em tarefas matemáticas, uma passagem de BO de 24 chamadas em um único programa intermediário frequentemente iguala ou excede a pontuação final-melhor da execução evolutiva completa de 100 iterações.
• Implicação: Em benchmarks matemáticos, as iterações evolutivas de estágio tardio frequentemente realizam refinamento paramétrico que poderia ser alcançado post-hoc ajustando um único programa anterior, sugerindo que a descoberta estrutural ocorre cedo.

5. Sobreajuste em Benchmarks ALE

Em tarefas de programação competitiva (ALE-bench), as pontuações públicas são indicadores pouco confiáveis de generalização.

• Descoberta: Dois dos quatro frameworks apresentaram sobreajuste em pelo menos 30% dos problemas. Em alguns casos (ex.: problema ahc024), um framework mostrou um ganho massivo de pontuação pública, mas uma perda massiva de pontuação privada, enquanto outro mostrou o oposto.
• Conclusão: As cadeias públicas "melhor até o momento" são pouco confiáveis como resumos de número único para tarefas de engenharia algorítmica.

Significado e Alegações

O artigo alega que os ganhos em benchmarks de agentes de codificação evolutiva surgem de mecanismos qualitativamente diferentes, dos quais apenas alguns correspondem a nova estrutura algorítmica. Ao deslocar o foco das pontuações finais para a dinâmica de busca, os autores demonstram que:

• O progresso não é uniforme: Depende conjuntamente da tarefa, procedimento de busca, avaliador e família de modelos.
• Ineficiências são sistêmicas: Um orçamento de busca significativo é consumido pela reintrodução de código deletado e pelo ajuste de hiperparâmetros que poderia ser desacoplado da busca estrutural.
• A avaliação precisa de refinamento: Os benchmarks atuais podem recompensar o sobreajuste ou o ajuste paramétrico em vez da descoberta algorítmica genuína.

Os autores concluem que ferramentas como EvoTrace e EvoReplay permitem uma avaliação mais diagnóstica, permitindo que pesquisadores determinem se um sistema está descobrindo novas estruturas, reajustando padrões conhecidos ou ficando preso por sua própria história. Eles sugerem que futuros designs de sistema devem incorporar intervenções para evitar refazer trabalho descartado (ex.: atribuição de crédito consciente da linhagem) e que a divulgação de benchmarks deve incluir tetos de ajuste e métricas de generalização em testes privados para fornecer uma imagem completa do desempenho do agente.