Resumo Técnico: ELMER – Modelo de Linguagem Evolucionário que Explora e Refina

1. Declaração do Problema

A evolução de programas enfrenta tradicionalmente um descompasso crítico: embora possa medir se uma mutação melhora o fitness, ela carece de controle sobre a magnitude do movimento da mutação no espaço comportamental. Os métodos atuais dependem de proxies sintáticos (ex: edições de tokens, árvores ou subárvores) como escalas de mutação. Esses proxies são pouco confiáveis porque uma pequena mudança sintática pode alterar drasticamente o traço de execução de uma política, enquanto uma reescrita grande pode preservar o mesmo comportamento. O artigo identifica a necessidade de uma escala de mutação onde a magnitude solicitada preveja diretamente o deslocamento comportamental realizado.

2. Metodologia

Os autores propõem o ELMER, um sistema que desacopla a representação usada para a variação da representação usada para a avaliação. A inovação central é um Modelo de Linguagem Evolucionário que busca sobre descrições de políticas em linguagem natural (NL) e as compila em programas executáveis tipados.

Arquitetura do Sistema

• Representação: As políticas são mutadas como descrições padronizadas em linguagem natural.
• Execução: Um compilador aprendido mapeia as descrições em NL para código da Linguagem de Programação Genética de Trading (GPTL) para execução determinística e backtesting.
• Deslocamento Comportamental: Definido como o desacordo do sinal bruto entre as sequências de ações do pai e do filho sobre uma trajetória histórica compartilhada.
• O Modelo: Um modelo Qwen3-8B totalmente ajustado (fine-tuned) aprende três operações condicionadas à tarefa:
  1. Mutação Semântica Condicional: Gera uma descrição de NL filha dada uma descrição de NL pai, feedback de backtest e uma força solicitada ($s \in \{low, medium, high\}$).
  2. Compilação de NL para GPTL: Traduz NL para código executável.
  3. Tradução de GPTL para NL: Converte o código de volta para o formato de NL padronizado.

Pipeline de Treinamento

O processo de treinamento envolve duas etapas distintas para aprender o controle fundamentado no comportamento:

1. Ajuste Fino Supervisionado (SFT) Fundamentado no Comportamento:
   • A supervisão é construída a partir de "cadeias de degradação" começando de programas GPTL de alto fitness.
   • Edições de AST gramaticalmente válidas são aplicadas para reduzir o fitness, criando transições pai-filho com distâncias comportamentais conhecidas.
   • Essas transições são revertidas e renderizadas em pares de NL, ensinando o modelo a associar edições semânticas a deslocamentos comportamentais específicos.
2. Otimização de Preferência Direta de Offset de Pai Comum (oDPO):
   • Para refinar o controle, o modelo é otimizado usando um framework de preferência.
   • Para um determinado pai e força solicitada, o modelo prefere um filho cujo deslocamento realizado seja o mais próximo possível do regime alvo ($\mu_s$) em relação a um filho que se desvie.
   • Diferente do DPO padrão, que otimiza para qualidade binária, o oDPO incorpora margens dependentes de par baseadas no offset de deslocamento, permitendo que o modelo aprenda uma geometria ordinal e direcionável do espaço de mutação.

Configuração Experimental

• Domínio: Trading financeiro (E-mini S&_P 500, Prata, Títulos do Tesouro dos EUA) usando dados horários de 2008–2025.
• Protocolo: Buscas de orçamento fixo com exclusões temporais (holdouts) estritas. O design experimental consiste em 216 buscas na matriz de operadores aprendidos (seis operadores, três algoritmos, três ativos e quatro sementes) e uma matriz AST de 36 buscas separada para o baseline nativo, totalizando 252 buscas.
• Baselines:
  • Modelo base não treinado.
  • SFT sem rótulos de força.
  • Condicionamento apenas por prompt (palavras de força sem fundamentação comportamental).
  • SFT fundamentado no comportamento (sem oDPO).
  • Mutação AST nativa (operador projetado à mão).
  • oDPO de código-saída correspondente (mesmos dados de treinamento/objetivo, mas produzindo código GPTL em vez de NL).

3. Principais Contribuições

1. Definição de Mutação Fundamentada na Execução: Uma definição de deslocamento de mutação baseada no desacordo da sequência de ações realizada, acoplada a um operador de variação condicional sobre regimes comportamentais ordenados.
2. Modelo Multitarefa Fundamentado no Comportamento: Um único LLM treinado para mutação semântica, compilação e tradução usando transições executáveis, permitindo que o modelo aprenda "o quão longe" deve mutar.
3. Ablações Controladas: Um isolamento sistemático de ajuste fino de domínio, condicionamento fundamentado no comportamento, oDPO e a representação de linguagem natural.
4. Análise Mecanística: Uma análise de calibração, composição de edição semântica e localidade sintática-comportamental das mutações.

4. Resultados

O estudo relata resultados através de 252 buscas de orçamento fixo (216 execuções de operador aprendido e 36 execuções de baseline AST nativo).

• Calibração (Controle de Força):
  • O oDPO atinge uma correlação média de Spearman de 0,824 entre a força solicitada e o deslocamento realizado.
  • O SFT fundamentado no comportamento sozinho atinge 0,310, e o condicionamento apenas por prompt atinge 0,018.
  • O oDPO transforma com sucesso a ordenação parcial em controle de regime consistente.
• Eficiência de Busca:
  • O NL oDPO supera significativamente o SFT fundamentado no comportamento, a mutação AST nativa e o modelo oDPO de código-saída correspondente em termos de Área Sob a Curva (AUC) do melhor fitness de validação até o momento.
  • O controle de código-saída correspondente (que isola a variável de representação) mostra que a NL fornece uma vantagem de eficiência de busca de orçamento finito sobre a mutação direta de código.
• Performance em Dados Não Vistos (Held-Out):
  • O NL oDPO descobre a política de maior performance observada (Sharpe ratio de 2,3445).
  • Embora o SFT fundamentado no comportamento mostre o maior valor médio e de quartil superior de fitness de teste em agregados descritivos, o NL oDPO demonstra uma performance superior na cauda superior.
• Insights Mecanísticos:
  • Composição Semântica: A força solicitada altera sistematicamente o tipo de edições. A força baixa é dominada por mudanças de parâmetros (86,4%), enquanto a força alta muda para reescritas estruturais, substituições de indicadores e inversões lógicas.
  • Localidade Sintaxe-Comportamento: As mutações de NL exibem uma correlação mais forte entre distância sintática e deslocamento comportamental ($\rho=0,88$) comparado às mutações AST nativas ($\rho=0,44$).
  • Preservação de Fitness: Em deslocamentos comportamentais pequenos a moderados, as mutações de NL preservam mais o fitness do pai e possuem uma taxa de falha catastrófica menor (9% vs. 14%) do que as mutações AST nativas.

5. Significância e Alegações

O artigo afirma que a linguagem pode servir como uma representação de busca direcionável e fundamentada na execução sobre um espaço de programas executáveis. Ao separar a variação semântica da execução determinística, o ELMER aborda a incapacidade histórica da evolução de programas em controlar a magnitude da mudança comportamental.

Os autores enfatizam que o sistema move a evolução de programas além da "perturbação sintática cega" em direção ao "movimento deliberado e fundamentado na execução". A descoberta principal é que o modelo aprende não apenas o que mudar, mas o quão longe se mover no espaço comportamental. Embora os resultados mostrem melhorias significativas na calibração e eficiência de busca, os autores permanecem modestos quanto à generalização da performance da cauda superior, observando que os padrões do loop externo (ex: MAP-Elites vs. $(\mu, \lambda)$-ES) são heterogêneos e que o experimento não isola totalmente o papel da memória de arquivo na preservação da exploração estruturada.

O trabalho demonstra que condicionar um modelo de linguagem na disparidade comportamental via oDPO cria um mecanismo de controle ordinal confiável, permitindo uma exploração mais eficiente do espaço de programas em comparação com operadores sintáticos tradicionais ou modelos de linguagem sem condicionamento.