Resumo Técnico: Aprimorando a Generalização na Construção de Características Evolutivas através da Minimização do Gap de Jensen Vicinal

Declaração do Problema

A construção de características baseada em Programação Genética (GP) emergiu como uma poderosa técnica de aprendizado de máquina automatizado para regressão simbólica. No entanto, um desafio persistente que limita sua aplicabilidade mais ampla é o overfitting (sobreajuste). Embora os métodos de GP frequentemente alcancem alto desempenho nos dados de treinamento, as características construídas frequentemente falham em generalizar para dados não vistos. Abordagens tradicionais para controlar o overfitting, como a regulação do tamanho do modelo (pressão de parcimônia), mostraram-se insuficientes para caracterizar a complexidade dos modelos evolutivos modernos. Além disso, métricas teóricas existentes como a dimensão VC ou a complexidade de Rademacher frequentemente falham em prever o desempenho de generalização em contextos inspirados em deep learning. Adicionalmente, aplicar a Minimização de Risco Vicinal (VRM) — uma técnica bem-sucedida em deep learning para mitigar o overfitting via aumento de dados — diretamente à regressão por GP é problemático porque a VRM padrão assume que os rótulos alvo permanecem estáveis sob pequenas perturbações, uma suposição que frequentemente falha em tarefas de regressão onde os valores alvo são contínuos.

Metodologia

O artigo propõe um framework para aprimorar a generalização ao decompor o Risco Vicinal em um componente de perda empírica e um termo de regularização. Essa decomposição permite a otimização independente da acurácia de treinamento e da suavidade do modelo.

1. Decomposição Teórica do Risco Vicinal

Os autores provam que o risco vicinal é limitado pela soma do risco empírico e de um termo de regularização, dependendo da estratégia de aumento de dados:

• Perturbação de Ruído: Se os exemplos vicinais forem sintetizados via perturbação de ruído (ex: ruído Gaussiano), o termo de regularização é uma Diferença Finita. Isso penaliza mudanças rápidas na saída da função em resposta a pequenas variações de entrada.
• Aumento por Mixup: Se os exemplos vicinais forem sintetizados usando o método Mixup (interpolação linear de entradas e rótulos), o termo de regularização é o Gap de Jensen Vicinal. Este termo, definido como $(\lambda f(x_i) + (1-\lambda)f(x_j) - f(\lambda x_i + (1-\lambda)x_j))^2$, penaliza convexidade e concavidade, promovendo linearidade local entre pontos de dados próximos.

Os autores argumentam que decompor o risco é superior a otimizar o risco vicinal bruto porque permite:

• Trade-offs Flexíveis: Controle refinado sobre o equilíbrio entre perda empírica e suavidade.
• Estimativa de Erro Precisa: Garantir que a perda empírica seja calculada precisamente nos dados originais, em vez de ser confundida com amostras aumentadas ruidosas.
• Integração de Perda de Validação: Permitir o uso da perda de validação cruzada (em vez de apenas perda empírica) como a métrica primária de acurácia.

2. O Algoritmo Proposto (VJM-GP)

Os autores introduzem o VJM-GP (Vicinal Jensen Gap Minimization-based GP), um framework de construção de características evolutivas que otimiza conjuntamente:

1. Perda Empírica: Medida via Leave-One-Out Cross-Validation (LOOCV) para garantir robustez.
2. Termo de Regularização: O Gap de Jensen Vicinal (ou Diferença Finita).

Componentes principais do algoritmo incluem:

• Otimização Multiobjetivo: Utiliza ordenação não dominada com distância de agrupamento (crowding distance) para evoluir uma fronteira de Pareto de soluções, equilibrando a perda de validação cruzada e o termo de regularização.
• Estratégia de Estimativa de Ruído: Como os conjuntos de dados variam em níveis de ruído, os autores propõem uma estratégia dinâmica para ajustar o peso de regularização ($\tau$). Eles utilizam o escore $R^2$ de Árvores Extremamente Aleatórias (Extra Trees) no conjunto de dados para estimar o ruído; níveis de ruído mais altos disparam um peso de regularização mais forte para evitar o ajuste ao ruído.
• Detecção de Intrusão de Manifold: Para abordar o problema onde amostras geradas por Mixup caem fora do manifold de dados real (criando amostras irreais), os autores propõem um mecanismo de detecção. Se o rótulo de uma amostra sintetizada (previsto por um modelo Extra Trees treinado nos dados originais) desviar significativamente da interpolação linear de seus pais, a amostra é descartada. Isso evita que a minimização do gap de Jensen penalize excessivamente modelos eficazes em regiões altamente não lineares.

Principais Contribuições

1. Decomposição Teórica: O artigo deriva limites superiores mostrando que a VRM baseada em perturbação se decompõe em risco empírico e diferença finita, enquanto a VRM baseada em mixup se decompõe em risco empírico e o gap de Jensen vicinal.
2. Framework de GP Regularizado: Um novo framework de GP (VJM-GP) é proposto que otimiza simultaneamente a perda de validação cruzada e o gap de Jensen vicinal, oferecendo um controle mais eficaz sobre o overfitting do que as medidas de complexidade tradicionais.
3. Regularização Adaptativa: Uma estratégia de estimativa de ruído é introduzida para ajustar dinamicamente a força da regularização com base nas características do conjunto de dados, evitando penalizações excessivas em cenários de baixo ruído.
4. Mitigação de Intrusão de Manifold: Uma estratégia de detecção é proposta para filtrar amostras aumentadas irreais, garantindo que o termo de regularização reflita a verdadeira geometria do manifold de dados.

Resultados Experimentais

O método proposto foi avaliado em 58 conjuntos de dados de regressão do mundo real do Penn Machine Learning Benchmark (PMLB).

• Comparação de Regularizadores: O Gap de Jensen Vicinal mostrou-se um regularizador mais eficaz que a Diferença Finita, superando-a em 15 conjuntos de dados e sendo inferior apenas em 5.
• Comparação com Medidas de Complexidade: O VJM-GP superou significativamente o GP padrão e outros sete métodos de controle de complexidade (incluindo Pressão de Parcimônia, Regularização de Tikhonov, Complexidade de Rademacher e P-VRM) em termos de escores $R^2$ de teste. Alcançou generalização superior em 36 conjuntos de dados comparado ao GP padrão.
• Comparação com Baselines: O VJM-GP foi comparado contra 15 algoritmos de estado da arte de regressão simbólica e aprendizado de máquina (incluindo XGBoost e ExcelFormer). Alcançou desempenho competitivo ou superior, particularmente em cenários com amostras limitadas, mantendo tamanhos de modelo significativamente menores do que métodos de gradient boosting.
• Estudos de Ablação:
  • Detecção de Intrusão de Manifold: Remover esta estratégia resultou em menor desempenho de teste em 6 conjuntos de dados, confirmando sua necessidade.
  • Estimativa de Ruído: A estratégia de peso adaptativo melhorou significativamente o desempenho em 12 conjuntos de dados comparado a um peso fixo, validando a necessidade de regularização dinâmica.
• Ruído de Rótulo: Em experimentos com rótulos ruidosos, o VJM-GP demonstrou robustez superior comparado ao GP padrão e ao P-VRM.

Significância e Alegações

O artigo afirma que a decomposição proposta do risco vicinal fornece uma compreensão teórica mais profunda do overfitting na construção de características evolutivas. Ao separar a perda empírica do termo de regularização, o método permite um controle mais matizado da complexidade do modelo, focando na complexidade funcional (suavidade e linearidade) em vez de apenas na complexidade sintática (tamanho da árvore).

Os autores asseguram que sua abordagem permite que o GP alcance um desempenho de alto nível em tarefas de regressão simbólica, particularmente quando os dados são escassos ou ruidosos. Eles enfatizam que o controle eficaz de overfitting requer o equilíbrio entre acurácia e suavidade, e que minimizar cegamente o tamanho do modelo é insuficiente. O trabalho sugere que o framework proposto pode ser integrado a outros algoritmos evolutivos e potencialmente adaptado para métodos de regressão simbólica baseados em deep learning no futuro.