Resumo Técnico: Proteção Adaptativa para Construção Evolutiva de Características em Regressão Simbólica

Declaração do Problema

A construção evolutiva de características (EFC - Evolutionary Feature Construction) dentro da regressão simbólica visa descobrir automaticamente transformações informativas de características de entrada para aprimorar modelos preditivos. Embora a Programação Genética (GP) seja eficaz na evolução dessas transformações, um desafio fundamental persiste: equilibrar a preservação de "blocos de construção" úteis (transformações de características de alto desempenho) com a geração de novas combinações. Operadores genéticos padrão, como mutação e crossover, frequentemente perturbam inadvertidamente características existentes valiosas. Modificar ou remover uma característica importante pode degradar a qualidade da solução ao substituir um bloco de construção altamente eficaz por uma alternativa menos eficaz, mesmo que o descendente introduza outras características úteis. As abordagens existentes muitas vezes carecem de mecanismos explícitos e universais para preservar esses componentes críticos sem exigir o redesenho dos operadores genéticos.

Metodologia

O artigo propõe um Mecanismo de Proteção Adaptativa (APM) incorporado em uma estrutura de proteção universal. Este mecanismo foi projetamente compatível com arbitrários operadores genéticos (ex: crossover de subárvore e mutação padrão) e diversos aprendizes base (base learners).

Fluxo de Trabalho Principal

O processo evolutivo segue um framework geracional com as seguintes etapas principais:

1. Inicialização e Avaliação: Uma população de indivíduos, onde cada indivíduo consiste em um conjunto de árvores de transformação de características, é inicializada. Cada indivíduo é avaliado treinando um aprendiz base (ex: Regressão Ridge, Árvores de Decisão Aleatórias ou Regressão Logística) sobre as características construídas. O fitness é determinado por $R^2$ (regressão) ou AUC (classificação).
2. Cálculo de Importância de Características: Após a avaliação, a importância ($I_j$) de cada característica construída (árvore) dentro de um indivíduo é calculada. O artigo avalia três métodos distintos para demonstrar generalidade:
   • Coeficientes Integrados: Utilizando coeficientes absolutos para modelos lineares ou diminuição de impureza para árvores de decisão.
   • Valores SHAP: Utilizando valores de Shapley absolutos médios para medir a contribuição marginal entre subconjuntos de características.
   • Contribuição Marginal: Medindo a queda no $R^2$ quando uma característica específica é removida e o modelo é reajustado.
3. Proteção Adaptativa (A Novidade):
   • Antes das operações genéticas (crossover/mutação), as árvores originais de um indivíduo são salvas.
   • Após a aplicação das operações, uma pontuação de proteção ($s_j$) é computada para cada árvore $j$: $s_j = m_{protect} \cdot \tilde{I}_j$, onde $\tilde{I}_j$ é a importância normalizada e $m_{protect}$ é um coeficiente de proteção ajustável.
   • Uma variável aleatória uniforme $u \sim U(0,1)$ é amostrada. Se $u < s_j$, a árvore modificada é restaurada ao seu estado original salvo.
   • Lógica: Características altamente importantes têm uma probabilidade maior de serem restauradas (protegidas), enquanto características menos importantes permanecem livres para serem modificadas ou substituídas, permitindo que a busca explore novas combinações.

Configuração Experimental

• Datasets: 98 conjuntos de dados de referência de regressão do PMLB (Penn Machine Learning Benchmarks) e dois conjuntos de classificação de crédito (Australiano e Alemão).
• Aprendizes Base (Base Learners): Regressão Ridge, Árvores de Decisão Aleatórias e Regressão Logística.
• Métricas: $R^2$ para regressão e AUC para classificação. A significância estatística foi testada usando o teste de postos sinalizados de Wilcoxon.

Principais Contribuições

1. Mecanismo de Proteção Adaptativa Universal: O artigo introduz um mecanismo que preserva seletivamente as características construídas com base em métricas de importância. Diferente de métodos anteriores que frequentemente exigem o redesenho de operadores genéticos, esta abordagem envolve os operadores existentes, fornecendo uma proteção mais forte para características importantes enquanto mantém a diversidade nas menos importantes.
2. Generalidade entre Métricas e Aprendizes: O estudo compara sistematicamente múltiplos métodos de cálculo de importância de características (coeficientes, SHários, contribuição marginal) e demonstra a robustez do mecanismo através de diferentes aprendizes base (modelos lineares, árvores de decisão e modelos de classificação).
3. Validação Empírica: Experimentos extensos em 98 datasets de regressão mostram melhorias consistentes na qualidade da solução em relação às abordagens de linha de base sem proteção. O método também é validado em tarefas de classificação de crédito, provando sua aplicabilidade além da regressão simbólica pura.

Resultados

• Melhoria de Desempenho: O mecanismo proposto melhora consistentemente a qualidade da solução (maiores $R^2$ e AUC) em comparação com as abordagens de linha de base em todos os 98 datasets de regressão.
• Robustez: A abordagem demonstra eficácia independentemente da métrica de importância de característica específica ou do aprendiz base empregado.
• Classificação de Crédito: Experimentos nos datasets de Crédito Australiano e Alemão confirmam que o método se estende efetivamente para problemas de classificação, melhorando a eficácia da busca em contextos financeiros reais.

Significância e Alegações

Os autores afirmam que o Mecanismo de Proteção Adaptativa aborda uma lacuna crítica na construção evolutiva de características: a perda de material genético valioso devido a operadores genéticos disruptivos. Ao alavancar métricas de importância de características para guiar a restauração, o método garante que os blocos de construção de alta qualidade sejam preservados de forma mais confiável do que nos processos evolutivos padrão.

O artigo posiciona este trabalho como uma solução "universal" que não vincula o usuário a operadores genéticos ou tipos de modelos específicos. Ele afirma fornecer uma forma mais adaptativa de elitismo que opera no nível da característica (bloco de construção) em vez de no nível do indivíduo, preservando assim os componentes mais valiosos da população enquanto ainda permite que a busca evolutiva explore novas combinações de características. O estudo conclui que este mecanismo oferece uma maneira robusta e agnóstica a operadores para aumentar o desempenho da regressão simbólica evolutiva e da construção de características.