PACEvolve++: Improving Test-time Learning for Evolutionary Search Agents

Resumo Técnico do PACEvolve++: Melhorando a Aprendizagem em Tempo de Teste para Agentes de Busca Evolutiva

Declaração do Problema
Os Modelos de Linguagem de Grande Escala (LLMs) emergiram como impulsionadores eficazes para a busca evolutiva, permitindo a descoberta autônoma em problemas de otimização de fim aberto. No entanto, os sistemas existentes geralmente dependem de uma política de raciocínio fixa, elicita por prompts, para amostrar os próximos candidatos. Embora a experiência de busca útil possa acumular-se no contexto (andaime) do sistema, ela não é internalizada nas preferências de decisão do modelo. Essa limitação é particularmente consequente em tarefas práticas de engenharia e pesquisa (por exemplo, balanceamento de carga de MoE, extrapolação de aptidão de proteínas), onde as avaliações são caras e o progresso depende do reconhecimento de padrões em tentativas anteriores. Uma política fixa pode condicionar-se ao histórico via contexto, mas falha em adaptar sua estratégia de decisão para priorizar direções que sejam novas, viáveis e propensas a melhorar a fronteira em evolução. Além disso, o treinamento de ponta a ponta de um único modelo para tomada de decisão estratégica e implementação de código frequentemente entrelaça a qualidade da hipótese com a correção da implementação, criando sinais ruidosos para adaptação.

Metodologia
Os autores introduzem o PACEvolve++, um framework de aprendizado por reforço (RL) modelo-consultor projetado para adaptação de política em tempo de teste em agentes de busca evolutiva. A metodologia é construída sobre dois pilares centrais:

1. Decomposição Consultor-Modelo:
   O framework desacopla as decisões estratégicas de busca da implementação de código.

   • O Consultor: Um modelo menor e treinável responsável pelo raciocínio estratégico de alto nível, incluindo geração de hipóteses, avaliação de novidade e seleção de mutação.
   • O Modelo de Fronteira: Um modelo mais forte e congelado (por exemplo, Gemini) responsável por traduzir as hipóteses selecionadas pelo consultor em código executável.
     Essa separação permite que o sistema aprenda priores de busca específicos da tarefa sem ser impedido pelas falhas de implementação de bases de código complexas, que frequentemente prejudicam o treinamento de ponta a ponta.

2. Aprendizado por Reforço Adaptativo de Fase:
   Reconhecendo que a natureza do feedback muda à medida que a busca evolutiva progride, o PACEvolve++ emprega uma estratégia dinâmica de atribuição de crédito que se adapta à fase da busca:

   • Fase de Exploração (Início): Quando os candidatos diferem substancialmente em mecanismo e qualidade, o sistema usa feedback relativo a grupos (semelhante ao GRPO). Isso fornece sinais densos e informativos para aprender preferências de busca amplas e identificar famílias de mutação promissoras sem convergência prematura.
   • Fase de Refinamento (Fim): À medida que a busca converge e as lacunas de recompensa se comprimem (os candidatos tornam-se variantes vizinhas de pais fortes), os sinais relativos a grupos tornam-se ineficazes e podem causar instabilidade na otimização. O sistema muda para um sinal de contribuição de fronteira baseado em Otimização de Política Pass@k (PKPO). Especificamente, utiliza um estimador SLOO (Leave-One-Out) de baixa variância para creditar candidatos com base em se eles alteram a fronteira "melhor-de-k". Isso alinha o objetivo de treinamento com a estrutura de recompensa de diminuição logarítmica da busca evolutiva de longo horizonte.

   O benefício final é uma mistura linear desses dois sinais, onde o peso do sinal de contribuição de fronteira ($\alpha_t$) escala linearmente de 0 a 1 durante todo o treinamento. Além disso, o framework usa modelagem de recompensa normalizada por progresso para mapear métricas de tarefa heterogêneas (maximização/minimização) em uma escala unificada.

Principais Contribuições

• Adaptação de Política Baseada em Consultor: O artigo propõe uma arquitetura inovadora que isola a camada de decisão treinável (consultor) da camada de implementação. Isso permite que o sistema internalize priores de busca dinâmicos (por exemplo, quais famílias de mutação desbloqueiam novas regiões no início versus quais refinamentos geram ganhos em estágios tardios) enquanto aproveita modelos de fronteira poderosos para geração de código.
• Algoritmo de RL Consciente da Dinâmica de Busca: Os autores projetam um objetivo de RL adaptativo de fase que transita do feedback relativo a grupos para a atribuição de crédito de contribuição de fronteira. Isso aborda a instabilidade observada em métodos existentes (como GRPO e objetivos entrópicos) ao lidar com lotes de rolagem pequenos e paisagens de recompensa comprimidas típicas de avaliações caras.
• Validação Empírica: O framework é avaliado em três tarefas diversas e reais de engenharia de aprendizado de máquina:
  1. Balanceamento de Carga de Paralelismo Especializado (EPLB): Otimização da atribuição de dispositivos para modelos de Mistura de Especialistas.
  2. Recomendação Sequencial: Evolução de um recomendador estilo FuXi-linear no conjunto de dados KuaiRec.
  3. Extrapolação de Aptidão de Proteínas: Previsão dos efeitos de aptidão de mutações de múltiplos sítios (benchmark Multi-Evolve).

Resultados
Em todas as três tarefas e diferentes tamanhos de modelo (Qwen3.5-4B e DeepSeek-R1-0528-Qwen3-8B), o PACEvolve++ demonstra desempenho superior em comparação com baselines de última geração, incluindo ThetaEvolve (baseado em GRPO), TTT-Discover (objetivo entrópico) e treinamento Max@k (baseado em PKPO).

• Convergência: O PACEvolve++ alcança convergência mais rápida e atinge recompensas finais mais altas do que todas as baselines.
• Estabilidade: Diferentemente das baselines que exibem picos na norma do gradiente (GRPO) ou colapso entrópico prematuro (Max@k), o PACEvolve++ mantém dinâmicas de treinamento estáveis com normas de entropia e gradiente mais suaves.
• Eficiência: Na tarefa EPLB, o PACEvolve++ atinge uma solução quase ótima usando apenas metade do orçamento de evolução exigido pela baseline PACEvolve sem RL.

Significado
O artigo argumenta que escalar agentes auto-evolutivos para domínios realistas exige melhorar a própria política de raciocínio, e não apenas o andaime de busca. Ao desacoplar o raciocínio estratégico da implementação e alinhar o objetivo de otimização com a dinâmica intrínseca da busca evolutiva (mudando de exploração para refinamento), o PACEvolve++ estabiliza o treinamento em tempo de teste em cenários onde as avaliações são caras. O trabalho destaca que a adaptação eficaz em buscas de longo horizonte requer uma política capaz de internalizar feedback sobre o que buscar, distinta da capacidade de implementar a busca, e que essa política deve adaptar sua estratégia de aprendizado à medida que a paisagem de busca evolui de diversa para saturada.