Resumo Técnico: Regressão Simbólica de Inferência Variacional Profunda (DVISR)

Declaração do Problema

A Regressão Simbólica (SR) visa descobrir relações matemáticas explícitas e interpretáveis entre variáveis independentes e dependentes, sem assumir uma forma funcional a priori. Embora métodos tradicionais como Programação Genética (GP) e Regressão Simbólica Profunda (DSR) identifiquem com sucesso expressões únicas de melhor ajuste, eles carecem da capacidade de inferir uma distribuição de probabilidade sobre modelos candidatos. Essa limitação impede a quantificação da incerteza, o que é crítico ao lidar com dados reais ruidosos ou limitados.

Abordagens bayesianas existentes, como a Cadeia de Markov Monte Carlo (MCMC), podem amostrar com precisão a partir da distribuição posterior, mas lutam com a escalabilidade em espaços de alta dimensão e são computacionalmente mais lentas que os métodos variacionais. Por outro lado, a Inferência Variacional (VI) oferece alternativas mais rápidas e escaláveis, mas teve aplicação limitada em SR. Tentativas anteriores de SR variacional foram restritas a redes neurais polinomiais ou subconjuntos do espaço de expressões devido à intratabilidade computacional. Há uma necessidade de uma abordagem bayesiana variacional escalável que infira posteriors sobre árvores de expressão e suas constantes associadas.

Metodologia

Os autores propõem a Regressão Simbólica de Inferência Variacional Profunda (DVISR), uma extensão bayesiana variacional do algoritmo de Regressão Simbólica Profunda (DSR). A DVISR utiliza uma Rede Neural Recorrente (RNN) para gerar expressões simbólicas e emprega o método de gradiente de política REINFORCE para otimização.

Modificações Arquiteturais e Algorítmicas Chave

1. Distribuição sobre Constantes: Diferentemente do DSR, que otimiza constantes a jusante por meio de procedimentos separados, a DVISR estende a saída da RNN para incluir parâmetros (média e variância) para distribuições normais sobre valores constantes. Quando um token constante é amostrado, seu valor é extraído dessa distribuição aprendida.
2. Contexto de Entrada Aprimorado: Para auxiliar a RNN na amostragem, a rede recebe o token anterior, os tokens pai e irmão (se existirem) como entradas, juntamente com os valores das constantes previamente amostradas. Isso aborda limitações no DSR onde a rede pode não "ver" todos os tokens anteriores.
3. Função de Recompensa e Objetivo:
   • DSR: Maximiza uma recompensa baseada no Erro Quadrático Médio Normalizado (NRMSE) limitado por uma função de compressão para encontrar um único modelo de melhor ajuste.
   • DVISR: Substitui a recompensa NRMSE pelo integrando do Limite Inferior da Evidência (ELBO). A função de recompensa é definida como:
     $$R(f) = \log \mathcal{L}_\theta(f|X, y) + \log p(f) - \log q_\phi(f)$$
     Onde $\mathcal{L}_\theta$ é a verossimilhança, $p(f)$ é o prior e $q_\phi(f)$ é a distribuição variacional.
   • Ao maximizar essa recompensa via REINFORCE, a DVISR minimiza indiretamente a divergência de Kullback-Leibler (KL) entre a distribuição variacional $q_\phi(f)$ e o posterior verdadeiro $p(f|X, y)$.
4. Cálculo da Verossimilhança: A verossimilhança de uma expressão $f$ é calculada como o produto das verossimilhanças de seus tokens e constantes, condicionada a todos os tokens e constantes previamente amostrados.

Contribuições Chave

1. Algoritmo Inovador: Introdução da DVISR, o primeiro algoritmo a realizar inferência variacional sobre todo o espaço de regressão simbólica, incluindo tanto árvores de expressão quanto parâmetros constantes contínuos.
2. Recuperação do Posterior: Demonstração de que a DVISR pode convergir corretamente para o posterior verdadeiro em configurações simples, tanto com quanto sem tokens constantes.
3. Análise de Escalabilidade: Um exame de como o desempenho da DVISR degrada à medida que o tamanho do espaço de expressões aumenta, identificando os limites da arquitetura atual.

Resultados Experimentais

Os autores conduziram experimentos para validar a convergência e a escalabilidade da DVISR.

1. Convergência para o Posterior Verdadeiro (Sem Constantes)

Em experimentos simples usando dados gerados a partir de $y=x_0^2$, $y=x_0$ e $y=0.5$ com uma biblioteca de tokens restrita, o espaço de modelos era pequeno e finito.

• Resultados: O ELBO convergiu para o logaritmo da evidência, e a divergência KL aproximou-se de zero.
• Validação: A Tabela 1 mostra que as probabilidades variacionais medianas corresponderam aos valores do posterior verdadeiro até oito casas decimais em 10 execuções.

2. Convergência com Constantes

Os experimentos incluíram um token constante ($c$) na biblioteca, permitindo expressões como $x_0 \cdot c$.

• Método: O posterior verdadeiro foi calculado marginalizando as constantes usando um integrador numérico.
• Resultados: A Tabela 2 demonstra que a distribuição variacional sobre árvores de expressão convergiu para o posterior verdadeiro exato (marginalizada sobre constantes) até oito casas decimais.

3. Escalabilidade

Os autores variaram o tamanho máximo da expressão de 1 a 12 tokens para testar a escalabilidade.

• Descobertas: À medida que o tamanho máximo da expressão aumentava, a divergência KL estimada entre o posterior verdadeiro e a distribuição variacional aumentava.
• Limitação: Experimentos além do tamanho 12 não foram realizados devido à dificuldade computacional de calcular a evidência nessa escala. Isso indica que, embora a DVISR funcione para espaços pequenos, o desempenho degrada à medida que o espaço de busca se expande.

Significado e Alegações

O artigo posiciona a DVISR como um passo significativo em direção à regressão simbólica bayesiana escalável que fornece quantificação de incerteza sobre modelos simbólicos completos.

• Interpretabilidade e Incerteza: Ao inferir uma distribuição posterior em vez de uma estimativa pontual única, a DVISR aborda a natureza de "caixa preta" de alguns modelos de regressão e leva em conta o ruído e as limitações dos dados.
• Avanço sobre MCMC: Oferece uma alternativa mais rápida ao MCMC para SR bayesiana, que é tipicamente lenta e luta com altas dimensões.
• Escopo Moderado: Os autores reconhecem limitações atuais, incluindo tamanhos pequenos de expressões, baixos números de variáveis independentes e a ausência de conjuntos de dados do mundo real. Eles não afirmam superioridade imediata em problemas complexos do mundo real, mas argumentam que a DVISR estabelece uma estrutura fundamental.
• Direções Futuras: O artigo sugere que trabalhos futuros poderiam melhorar a escalabilidade por meio de varreduras de hiperparâmetros, arquiteturas avançadas (por exemplo, Transformers) ou algoritmos de aprendizado por reforço mais sofisticados (por exemplo, PPO).