Resumo Técnico: GESR – Um Método de Regressão Simbólica Baseado em Programação Genética com Edição de Genes

1. Declaração do Problema

A regressão simbólica visa descobrir automaticamente expressões matemáticas a partir de dados observacionais que alcancem tanto alta precisão preditiva quanto forte interpretabilidade. Embora a Programação Genética (PG) seja uma abordagem clássica e amplamente adotada para essa tarefa, ela depende fortemente de operadores genéticos aleatórios (mutação e cruzamento) para evoluir estruturas de expressão. Os autores argumentam que essa aleatoriedade, embora imite a evolução natural, inevitavelmente gera um grande número de variações ineficazes ou prejudiciais. Essa falta de controlabilidade reduz a eficiência da busca, desacelera a convergência e aumenta os custos computacionais. Métodos existentes que tentam guiar a PG (por exemplo, usando LSTMs para inicialização ou cálculo reverso para previsão de subárvores) frequentemente sofrem com alta sobrecarga computacional ou falham em guiar efetivamente os processos de mutação e cruzamento durante a busca evolutiva.

2. Metodologia

O artigo propõe GESR (Regressão Simbólica com Edição de Genes), um framework que integra modelos BERT multimodais no loop evolutivo da PG para realizar "edição de genes". Essa abordagem substitui operadores genéticos puramente aleatórios por operações guiadas e condicionadas aos dados. O framework consiste em dois componentes principais, descritos metaforicamente como as "Mãos de Deus":

2.1 Mutação Guiada via Modelagem de Linguagem Mascaramentada

• Representação: Expressões simbólicas são representadas como árvores binárias e linearizadas em sequências de travessia em pré-ordem.
• Mecanismo: Um modelo BERT multimodal é treinado para guiar a mutação. Durante a fase de mutação, tokens específicos de operador ou operando em uma sequência de expressão são aleatoriamente mascarados.
• Entrada: A sequência mascarada é alimentada no modelo BERT juntamente com o conjunto de dados de regressão $(X, Y)$. Os dados são codificados usando um SetTransformer para garantir invariância de permutação e fundidos com embeddings de tokens simbólicos.
• Saída: O modelo prevê o símbolo de substituição mais adequado para a posição mascarada com base na distribuição de probabilidade condicional derivada da distribuição dos dados. Isso transforma a mutação de uma perturbação aleatória em uma edição direcionada visando melhorar o ajuste da regressão (por exemplo, $R^2$).

2.2 Cruzamento Guiado via Previsão de Subárvores

• Mecanismo: Um segundo modelo BERT multimodal guia a operação de cruzamento.
• Entrada: Duas sequências de expressão candidatas são concatenadas usando um token especial [SEP], juntamente com o conjunto de dados $(X, Y)$.
• Saída: O modelo prevê os nós raiz das subárvores em ambas as expressões parentais que são mais adequadas para troca.
• Estratégia: Em vez de selecionar aleatoriamente pontos de cruzamento, o modelo identifica fragmentos estruturais que, quando trocados, são propensos a melhorar o ajuste da prole sob as restrições de dados dadas.

2.3 Construção de Dados de Treinamento

Os autores projetaram pipelines específicos para construir dados de treinamento de alta qualidade para os modelos BERT:

• Para Mutação: O pipeline gera pares de expressões onde uma é uma versão "melhor" da outra. Envolve gerar uma expressão alvo, amostrar dados, criar uma expressão inicial aleatória, aplicar funções de mutação diferenciáveis, otimizar parâmetros via BFGS e discretizar o resultado. Se a expressão mutada melhorar o ajuste ($R^2$), a expressão original é mascarada e os símbolos aprimorados servem como alvo.
• Para Cruzamento: Os dados de treinamento são coletados online durante o processo de evolução da PG. Pares de expressões parentais são cruzados (usando PG padrão ou mutação guiada primeiro), e a prole é avaliada. Se a prole superar os pais, o par parental e os nós de cruzamento específicos usados são registrados como uma amostra de treinamento. Isso garante que o modelo aprenda pontos de cruzamento que levam a melhorias no ajuste.

2.4 Loop Evolutivo

O framework GESR itera através de gerações:

1. Mutação: A população sofre mutação guiada usando o BERT de mutação.
2. Cruzamento: Cruzamento guiado é realizado usando o BERT de cruzamento.
3. Otimização: Constantes nas expressões resultantes são refinadas usando BFGS.
4. Seleção: Indivíduos são avaliados com base em $R^2$, e os top $N$ são selecionados para a próxima geração.

3. Contribuições Principais

O artigo delineia quatro contribuições principais:

1. Um Framework de Edição de Genes: Propõe um framework de regressão simbólica que permite o direcionamento alvo de mutações e cruzamentos genéticos, melhorando substancialmente a eficiência evolutiva.
2. Modelos Duplos "Mãos de Deus": Treina dois modelos BERT multimodais para realizar edição de genes, que podem servir como um módulo plug-and-play para outros algoritmos de regressão simbólica baseados em PG.
3. Método de Construção de Dados: Projeta uma função de mutação e um método para construir dados de treinamento de edição de genes de alta qualidade baseados na melhoria do ajuste.
4. Integração Conceitual: Introduz o conceito de "edição de genes" no campo da computação evolutiva, aproveitando modelos de linguagem profundos para guiar a busca.

4. Resultados Experimentais

Os autores avaliaram o GESR em 13 conjuntos de dados, incluindo benchmarks padrão (Nguyen, Keijzer, Korns, etc.) e o conjunto SRBench (Feynman, Strogatz, Black-box).

• Desempenho de Ajuste: O GESR alcançou pontuações $R^2$ superiores ou comparáveis em relação a baselines de última geração (PySR, NGGP, SNIP, GPlearn). Em média, o GESR alcançou um $R^2$ de 0,9903, superando o PySR (0,9876) e o NGGP (0,9784).
• Complexidade (Interpretabilidade): O GESR produziu expressões mais compactas. A contagem média de nós para o GESR foi de 22,0, significativamente menor que PySR (26,9), NGGP (28,1) e GPlearn (35,8).
• Eficiência: O GESR demonstrou tempos de inferência significativamente mais rápidos. O tempo médio para atingir $R^2 > 0,999$ foi de 117,2 segundos para o GESR, comparado a 176,1 segundos para a baseline de PG não guiada e 124,4 segundos para uma variante com apenas orientação de mutação.
• Estudos de Ablação: Remover qualquer um dos módulos de orientação de mutação ou cruzamento resultou em desempenho degradado em termos de precisão, complexidade e tempo de busca, confirmando que ambos os componentes contribuem para o sucesso do método.
• Sistemas Caóticos: Em testes em 16 sistemas dinâmicos caóticos (por exemplo, Lorenz, Duffing), o GESR mostrou maior precisão de ajuste de campo vetorial e melhor consistência de projeção de curto prazo em comparação com as baselines.
• Transferibilidade: Quando integrado ao framework NGGP, a estratégia de edição de genes guiada por BERT melhorou o desempenho do NGGP, demonstrando que a abordagem não se limita à arquitetura específica do GESR.

5. Significado e Alegações

O artigo afirma que a integração de modelos de linguagem profundos para edição de genes inteligente fornece uma direção de pesquisa nova e eficiente para regressão simbólica. Ao substituir a exploração aleatória não guiada por otimização direcionada e orientada por dados, o GESR:

• Reduz a Busca Ineficaz: Diminui significativamente o número de mutações e cruzamentos prejudiciais.
• Melhora a Convergência: Alcança velocidades de convergência mais rápidas e maior estabilidade de busca.
• Aumenta a Interpretabilidade: Gera fórmulas matemáticas mais compactas e interpretáveis por humanos.

Os autores reconhecem limitações, observando que o método depende da qualidade dos modelos BERT pré-treinados e enfrenta desafios de escalabilidade quando a dimensionalidade dos dados de teste excede o intervalo suportado durante o pré-treinamento. Eles sugerem que trabalhos futuros devem focar no desenvolvimento de modelos mais leves e transferíveis e frameworks escaláveis para entradas de alta dimensionalidade.

Em resumo, o artigo postula que o "Deus metafórico" da edição de genes — realizado por meio de modelos BERT multimodais — pode aumentar substancialmente a eficiência da regressão simbólica evolutiva ao aprender a prever mudanças estruturais benéficas com base na distribuição de dados, transformando assim o processo de busca de uma exploração cega para uma otimização guiada.