Resumo Técnico: Um Levantamento Abrangente e Compreensível da Quantificação de Incerteza em Regressão Simbólica

Declaração do Problema

A Regressão Simbólica (RS) é uma classe de algoritmos de busca projetada para descobrir funções matemáticas que capturem com precisão as relações subjacentes em conjuntos de dados. Apesar dos avanços recentes, a adoção da RS em processos de tomada de decisão do mundo real é limitada pela falta de suporte para a Quantificação de Incerteza (QI). Na análise de regressão, a QI é crítica para avaliar a confiabilidade do modelo, prevenir o sobreajuste (overfitting) ao considerar o ruído dos dados (incerteza aleatória) e fornecer insights para a tomada de decisões.

A RS enfrenta duas fontes primárias de incerteza:

1. Incerteza Aleatória: Aleatoriedade intrínseca ou imprecisão de medição no processo de geração de dados. Esta é irredutível, mas pode ser quantificada para estimar o limite inferior de erro induzido pelo ruído.
2. Incerteza Epistêmica: Uma falta de conhecimento sobre o modelo verdadeiro. Isso inclui:
   • Incerteza do Modelo: O risco de que o modelo verdadeiro $h^*$ não esteja presente no espaço de hipóteses $\mathcal{H}$.
   • Incerteza de Aproximação: Incerteza sobre se uma hipótese específica $h$ é a melhor dentro de $\mathcal{H}$, frequentemente decomposta em incerteza de parâmetro (incerteza nos parâmetros ajustáveis $\theta$) e incerteza estrutural.

Enquanto a literatura tradicional de RS foca na travessia eficiente do espaço de busca multimodal, as incertezas muitas vezes não são explicitamente abordadas. Este levantamento visa introduzir conceitos essenciais de QI e revisar a literatura atual para aumentar a conscientização e promover avanços em métodos de QI confiáveis para RS.

Metodologia e Fundamentos Teóricos

O artigo estrutura sua revisão em torno de três direções de pesquisa: Frequentista, Bayesiana e Seleção de Modelo. Ele estabelece um fundamento teórico utilizando funções de verossimilhança e informação de Fisher.

1. Fundamentos Estatísticos

• Verossimilhança e Informação de Fisher: O levantamento define a função de verossimilhança $L_N(\theta)$ e sua transformação logarítmica. Utiliza a matriz Hessiana do log-verossimilhança para estimar a certeza do parâmetro. A Hessiana negativa corresponde à Informação de Fisher observada, onde pequenos valores de informação indicam superfícies de verossimilhança planas (alta incerteza) e picos agudos indicam estimativa precisa.
• Abordagens Frequentistas: Tratam os parâmetros como fixos, porém desconhecidos. A QI é alcançada via Intervalos de Confiança (IC) para parâmetros e Intervalos de Predição (IP) para saídas. O artigo detalha o cálculo de erros padrão usando a inversa da Hessiana e discute a Predição Conforme (CP) como um método livre de distribuição que garante cobertura para dados intercambiáveis, contrastando com os IPs tradicionais que dependem de suposições gaussianas.
• Métodos Bayesianos: Tratam os parâmetros como variáveis aleatórias com distribuições. A QI é alcançada via Intervalos de Credibilidade (ICr) derivados da distribuição posterior $p(h|D) \propto p(h)p(D|h)$. O artigo discute Markov Chain Monte Carlo (MCMC) e Sequential Monte Carlo (SMC) como métodos para aproximar posteriors intratáveis. Também cobre a Média de Modelos Bayesianos (BMA) para lidar com a incerteza de aproximação.
• Seleção de Modelo: O levantamento revisa princípios como o Fator de Bayes, o Fator Bayesiano Fracionário (FBF) (para lidar com priors improprios) e o princípio do Comprimento de Descrição Mínima (MDL), que equilibra a complexidade do modelo e o ajuste aos dados ao minimizar o comprimento do código.

2. Levantamento da Literatura de QI Específica para RS

Os autores pesquisaram 18 artigos relevantes (11 Bayesianos, 4 não-Bayesianos, 3 de seleção de modelo) de periódicos revisados por pares, conferências e preprints.

Abordagens Bayesianas em RS

• Sequential Monte Carlo (SMC): Uma série de trabalhos (Bomarito et al., Leser et al.) integra SMC em Programação Genética (GP) para RS. Eles propõem uma reformulação probabilística da otimização e seleção locais. O método estima a Log-Verossimilhança Marginal Normalizada (NMLL) para comparar modelos. Utiliza SMC para aproximar integrais sobre parâmetros, lidando melhor com posteriors multimodais do que aproximações de Laplace. Trabalhos recentes estendem isso para marginalizar diretamente sobre estruturas de modelos discretos, tratando a população de modelos simbólicos como uma posterior ponderada.
• Priors Estruturais: Guimera et al. e Bartlett et al. introduzem priors informativos sobre estruturas de modelos. Guimera et al. utilizam frequências de operadores de um corpus (Wikipedia) para definir priors, enquanto Bartlett et al. utilizam modelos de linguagem (n-grams) para modelar probabilidades de nós condicionais a ancestrais, visando capturar o contexto em árvores de expressão.
• Incerteza no Eixo-X: Bartlett e Desmond formulam verossimilhanças que incorporam erros de medição em variáveis independentes ($x$), marginalizando os valores reais para derivar uma função de verossimilhança modificada.
• Métodos de Ensemble: Agapitos et al. propõem a Média de Modelos Bayesianos (BMA) sobre uma população de modelos diversos para considerar a incerteza de aproximação.
• Florestas Bayesianas Lineares: Roy et al. propõem o HierBOSSS (uma floresta de árvores simbólicas combinadas linearmente) e o VaSST (usando inferência variacional com árvores simbólicas suaves). Essas abordagens exploram a conjugação para coeficientes lineares, mas dependem de aproximações de campo médio para estruturas de árvore. Os autores observam limitações quanto à suposição de linearidade e potenciais inconsistências na replicação experimental.
• MCMC Post-hoc: Zhao e Zhao aplicam MCMC ao modelo final encontrado por RS para calcular intervalos de credibilidade para coeficientes e predições.

Abordagens Não-Bayesianas

• Regressão Quantílica: Hoekstra e Hengst substituem a função de aptidão (fitness) da RS pela perda pinball para estimar quantis condicionais, gerando efetivamente intervalos de predição.
• Verossimilhança de Perfil (Profile Likelihood): de Franca e Kronberger utilizam a verossimilhança de perfil para calcular intervalos de confiança assimétricos para parâmetros e predições, capturando dependências entre parâmetros que aproximações do método delta perdem.
• Bootstrapping: Manzi e Vasile aplicam bootstrapping para gerar múltiplas amostras, ajustar modelos de RS e visualizar distribuições de parâmetros via histogramas para avaliar a incerteza estrutural e paramétrica.
• Símbolos Terminais para Ruído: Schmidt e Lipson introduzem um símbolo terminal aleatório para modelar relações de ruído não lineares diretamente dentro da expressão, otimizando o alcance dos intervalos de predição.
• Predição Conforme em RS: Thuong et al. integram CP seja post-hoc no melhor modelo ou incorporando a largura do intervalo na função de aptidão, encontrando que a aplicação post-hoc produziu melhores resultados.

Seleção de Modelo

• MDL em RS: Iba et al. e Nikolaev aplicam MDL a modelos polinomiais (STROGANOFF) e buscas exaustivas, utilizando o comprimento do código para penalizar a complexidade. Bartlett et al. propõem uma métrica de DL detalhada para expressões enumeradas que considera a complexidade funcional e a precisão dos parâmetros via discretização.

Principais Resultados e Descobertas

• Recência: Apenas 3 dos 18 artigos pesquisados foram publicados antes de 2020, indicando que a QI em RS é um campo em rápida ascensão.
• Diversidade Metodológica: Embora métodos tradicionais de QI (como ICs) existam, sua aplicação direta à RS é rara. A maioria dos trabalhos pesquisados (aprox. 60%) utiliza abordagens Bayesianas, aproveitando métodos de amostragem (MCMC, SMC) para fornecer inerentemente QI.
• SMC vs. Laplace: Métodos baseados em SMC para RS (Bomarito et al.) demonstram capacidade superior de capturar posteriors multimodais em comparação com aproximações de Laplace, embora com um custo computacional mais elevado.
• Priors Estruturais: A incorporação de priors estruturais (ex: baseados em modelos de linguagem ou frequências de operadores) ajuda na seleção de modelos e reduz o sobreajuste, embora possam restringir a exploração de expressões novas não presentes no corpus de treinamento.
• Limitações dos Métodos Atuais:
  • Muitos métodos de RS Bayesianos (ex: VaSST) dependem de aproximações de campo médio que ignoram dependências entre nós, podendo levar a estruturas globais subótimas.
  • Florestas Bayesianas lineares são limitadas a modelos lineares em seus parâmetros.
  • Alguns métodos propostos (ex: HierBOSSS, VaSST) enfrentam desafios de replicação experimental e consistência de código.
  • Abordagens frequentistas lutam com a RS porque modelos de RS flexíveis podem facilmente sofrer overfitting, tornando-os inadequados como estimadores não enviesados necessários para certas variações de cálculos de variância.

Significância e Alegações

O artigo afirma ser o primeiro levantamento a abordar claramente a questão da QI em Regressão Simbólica. Sua principal significância reside em:

1. Preencher a Lacuna: Conecta conceitos estabelecidos de QI estatística (frequentista e bayesiana) com os desafios específicos da RS, como a natureza discreta das estruturas de modelos e espaços de busca multimodais.
2. Categorização: Organiza a literatura fragmentada em três direções de pesquisa coerentes: frequentista, bayesiana e seleção de modelo.
3. Destacar Áreas Subexploradas: Os autores concluem que a QI em RS permanece amplamente subexplorada e que sua importância é sistematicamente subestimada.
4. Direção Futura: O artigo argumenta que o trabalho futuro deve adotar métodos estabelecidos de QI para RS, aliados a uma análise cuidadosa de dados e ruído, para desenvolver modelos confiáveis para a tomada de decisão no mundo real. Enfatiza que, embora a QI possa vir "de graça" em abordagens de amostragem, as implementações atuais possuem limitações significativas quanto ao custo computacional, priors estruturais e tratamento da multimodalidade.