The Time Value of Evolution

Resumo Técnico: O Valor Temporal da Evolução

Definição do Problema
Na busca evolutiva, particularmente na mutação de programas semânticos (por exemplo, descoberta automatizada de políticas de negociação), algoritmos padrão frequentemente tratam o fitness de um recém-gerado filho como o retorno imediato para a mutação que o produziu. Este controle de "retorno imediato" é cego à utilidade tardia. Uma mutação que temporariamente reduz o fitness (um "filho fraco") pode ser um ancestral valioso que abre uma região produtiva do espaço de busca, permitindo descendentes de alto fitness mais adiante no processo de busca. No entanto, a otimização de retorno imediato penaliza tais mutações, potencialmente descartando caminhos que poderiam levar a soluções superiores antes que o orçamento de busca se esgote. Este artigo formaliza essa dinâmica como o Valor Temporal da Evolução (TVE), distinguindo entre o valor de um descendente imediato e o valor de linhagem de horizonte finito.

Metodologia: Gradientes de Política de Valor de Linhagem (LVPG)
Os autores propõem os Gradientes de Política de Valor de Linhagem (LVPG), uma estrutura de ator-crítico de longo horizonte projetada para otimizar políticas de negociação automatizada dentro de um MDP (Processo de Decisão de Markov) de orçamento finito.

• Formulação de MDP Evolutivo: A busca é modelada como um MDP com um horizonte $H=8$. O estado inclui o programa atual, métricas de execução e o orçamento restante. O espaço de ação consiste em três raios de mutação calibrados comportamentalmente: Refinar, Interpolar e Explorar.
• Arquitetura Central:
  • Backbone Congelado: Um Modelo de Linguagem Evolutivo (ELM) treinado offline, baseado no Qwen3-8B, serve como o operador de mutação. Ele é mantido congelado durante o processo de busca para garantir uma distribuição de conteúdo consistente e capacidades de compilação.
  • Controladores Adaptativos: Adaptadores LoRA separados de Ator e Crítico são treinados via Otimização de Política Próxima (PPO).
    • O Ator seleciona dinamicamente a intensidade da mutação (raio) com base no estado atual e no orçamento restante.
    • O Crítico estima o potencial de linhagem de horizonte finito. Ele é iniciado via bootstrapping usando árvores de mutação de múltiplos passos (árvores ternárias de profundidade cinco) para avaliar a melhor melhoria esperada até o momento (best-so-far) sobre o horizonte restante.
• Mecanismo de Atribuição de Crédito:
  • PPO-Path (Proposto): Utiliza um sinal de retorno baseado na melhor melhoria do caminho até o momento ($G_{path}$). Uma ação recebe crédito se um descendente posterior estabelecer um novo recorde de caminho, mesmo que o filho imediato tenha sido pior. O fator de desconto $\gamma = 1$ garante que as melhorias não sejam descontadas apenas devido ao atraso temporal.
  • PPO-Immediate (Baseline): Utiliza uma mudança de fitness de um passo clipada ($\gamma = 0$), tratando o fitness do descendente imediato como o único retorno.
• Protocolo de Treinamento: O sistema é avaliado na descoberta de políticas de negociação para S&P 500 E-mini, Prata e Títulos do Tesouro de 30 anos. O protocolo envolve 90 execuções pareadas por condição, utilizando dobras de origem rotativa (rolling-origin folds), janelas de teste seladas e correspondência estrita de operadores, sementes e orçamentos para isolar o efeito do horizonte de crédito.

Principais Contribuições

1. Conceitual: O artigo formaliza o Valor Temporal da Evolução, definindo-o como a diferença entre o valor de linhagem de horizonte finito e o valor do descendente imediato. Argumenta-se que o fitness imediato é uma medida incompleta do valor de uma ação na busca de orçamento finito.
2. Metodológica: A introdução do LVPG, que desacopla o controle de busca em cabeças de política especializadas sobre um backbone generativo compartilhado. Ele integra o controle de mutação dependente de estado e orçamento com um crítico iniciado por árvore de mutação para atribuir crédito ao longo de caminhos evolutivos realizados, em vez de passos únicos.
3. Empírica: Através de um protocolo pareado correspondido, o estudo demonstra que a atribuição de crédito de longo horizonte melhora significamente a eficiência da busca e o desempenho da política final em comparação com a otimização de retorno imediato.

Resultados
Em 90 execuções pareadas sob condições correspondidas, o LVPG (PPO-Path) demonstrou desempenho superior aos baselines de retorno imediato (PPO-Immediate) e outras estratégias de controle:

• Eficiência de Busca: O PPO-Path aumentou a Área Sob a Curva (AUC) de validação do melhor até o momento em 0,394 unidades de Sharpe em relação ao PPO-Immediate.
• Desempenho Final: O Sharpe ratio médio de teste selado melhorou de 0,862 (PPO-Immediate) para 1,321 (PPO-Path).
• Dinâmica de Busca: O PPO-Path produziu menos regressões temporárias (54,2% vs. 59,8%) e recuperou-se delas com mais frequência (48,0% vs. 39,9%). Quando as regressões ocorreram, foram mais profundas, mas recuperaram-se mais rápido, gerando maiores melhorias pós-recuperação.
• Sensibilidade ao Horizonte: Aumentar o horizonte de crédito de um passo para oito passos melhorou significamente a AUC de validação (0,599 unidades), sugerindo que o crédito de múltiplos passos é crucial para navegar em paisagens de busca não monotônicas.
• Validação do Crítico: O crítico alcançou uma correlação de Spearman de 0,597 com os retornos de caminho realizados em estados de teste, atuando como um classificador informativo do potencial de linhagem futura.

Significância e Alegações
O artigo alega que o valor de linhagem de horizonte finito produz uma busca não monotônica mais seletiva e políticas mais fortes dentro de restrições de recursos idênticas. A principal significância reside em demonstrar que tratar decisões de mutação como investimentos — valorizando-as pelas oportunidades de busca futuras que elas desbloqueiam, em vez de apenas pelo seu descendente imediato — pode superar a miopia dos algoritmos evolutivos padrão.

Os autores enfatizam que este aumento é alcançado sem alterar o operador de mutação ou o objetivo da tarefa subjacente, mas unicamente alterando o escopo temporal da atribuição de crédito. Os resultados sugerem um princípio geral para a otimização de orçamento finito: o fitness do descendente imediato é insuficiente para avaliar ações em busca generativa de programas, e preservar o "valor temporal" das trajetórias evolutivas leva a uma melhor descoberta de políticas. O estudo estabelece esses ganhos sob avaliação histórica controlada, observando que, embora não garanta lucratividade em tempo real, fornece um roteiro robusto para melhorar a busca generativa dentro de orçamentos computacionais fixos.