Resumo Técnico: Regressão Simbólica Bayesiana com Aprendizado por Reforço Entrópico (ERRLESS)

Definição do Problema

A Regressão Simbólica (SR) visa descobrir uma expressão algébrica que mapeia entradas para saídas, tipicamente representada por uma árvore de sintaxe abstrata (AST) construída a partir de uma biblioteca de operadores. Embora os algoritmos de SR padrão foquem em encontrar uma única expressão de "melhor ajuste" (frequentemente trocando complexidade por ajuste), essa estimativa pontual falha em capturar a incerteza epistêmica. Em cenários científicos caracterizados por dados limitados e ruidosos, uma única expressão pode ser pouco confiável, e a incerteza decorrente da escassez de dados é obscurecida.

Abordagens Bayesianas existentes para SR tentam modelar essa incerteza definindo uma priori sobre estruturas de expressões e parâmetros, induzindo uma distribuição posterior dado os dados. No entanto, os métodos tradicionais que dependem de Markov Chain Monte Carlo (MCMC) de Salto Reversível (Reversible-Jump) ou Monte Carlo Sequencial (SMC) frequentemente dependem de distribuições de proposta criadas manualmente e são computacionalmente caros para escalar.

Metodologia: ERRLESS

Os autores propõem o ERRLESS (Entropy-Regularized Reinforcement Learning for Expression Structure Sampling), um framework escalável que amortiza o processo de amostragem usando uma política neural treinada via aprendizado por reforço (RL) de entropia máxima.

1. Ambiente de Geração Bottom-Up

Ao contrário da maioria dos métodos de SR profundos que usam geração top-down (amostrando operadores antes dos operandos), o ERRLESS emprega um processo de geração bottom-up (postorder).

• Tomada de Decisão Sequencial: Uma árvore de expressão é gerada como uma sequência de tokens (Notação Polonesa Reversa). A política amostra os tokens um a um.
• Imposição de Restrições: Esta abordagem bottom-up permite a imposição imediata de restrições. À medida que os operandos (folhas) são especificados primeiro, novos operadores podem ser verificados quanto à validade dimensional (compatibilidade de unidades físicas) e validade estrutural (por exemplo, evitando composições redundantes como $\sqrt{x^2}$ ou o aninhamento de funções trigonométricas) antes que o operador seja adicionado.
• Espaço de Estados: O ambiente rastreia a sequência parcial atual, garantindo que apenas continuações válidas sejam amostradas, efetivamente podando o espaço de busca.

2. Aprendizado por Reforço de Entropia Máxima

A inovação central é formular a tarefa de SR Bayesiana como um problema de RL onde o objetivo é amostrar da distribuição posterior $p(T, \theta, \sigma | D)$.

• Função de Recompensa: A recompensa $R(T, \theta, \sigma)$ é definida como o log-posterior não normalizado:
  $$R(T, \theta, \sigma) = \log P(T) + \log p(\theta, \sigma | T) + \sum_{i=1}^N \log \mathcal{N}(y_i; f_{T,\theta}(x_i), \sigma^2)$$
• Objetivo: A política $\pi_\phi$ é treinada para maximizar o objetivo regularizado pela entropia:
  $$\max_\phi \left( \mathbb{E}_{(T,\theta,\sigma) \sim \pi_\phi}[R(T, \theta, \sigma)] + H[\pi_\phi] \right)$$
  Maximizar este objetivo minimiza a divergência de Kullback-Leibler entre a política aprendida e a verdadeira posterior.
• Algoritmo de Treinamento: Os autores utilizam o objetivo de Equilíbrio de Trajetória (Trajectory Balance - TB), uma função de perda central para Redes de Fluxo Generativo (GFlowNets). Isso permite o treinamento off-policy, onde a política aprende a partir de um buffer de replay de trajetórias geradas por uma política de comportamento, otimizando a consistência do caminho entre o estado inicial e a recompensa terminal.

3. Arquitetura da Política

A política é parametrizada por uma arquitetura baseada em Transformer:

• Entrada: A sequência de tokens gerados até o momento.
• Cabeças (Heads): A rede produz três distribuições distintas:
  1. Cabeça de Ação: Logits para o próximo token (operador, variável, constante ou terminação).
  2. Cabeça de Constante: Parâmetros para um Modelo de Mistura Gaussiana (GMM) para amostrar constantes de valor real $\theta$.
  3. Cabeça de Ruído: Parâmetros para uma mistura Log-Normal para amostrar a variância do ruído $\sigma$.

Principais Contribuições

1. Processo de Geração Inovador: Um ambiente bottom-up para SR que integra análise dimensional e restrições estruturais diretamente no processo de geração, reduzindo significativamente o espaço de busca.
2. Formulação Bayesiana End-to-End: A primeira formulação de SR Bayesiana (incluindo inferência de parâmetros escalares) como um único problema de aprendizado de política usando RL de entropia máxima, evitando o ajuste explícito de constantes por candidato.
3. Amostragem de Posterior Escalável: Um método capaz de amostrar eficientemente da posterior sobre expressões e parâmetros, permitindo a quantificação de incerteza.

Resultados Experimentais

Os autores avaliaram o ERRLESS em três benchmarks: um conjunto de dados sintético, o Banco de Dados de Regressão Simbólica de Feynman e um benchmark Blackbox.

• Precisão de Modelagem de Posterior (Dados Sintéticos): Comparado ao PySIPS (um baseline de SMC), o ERRLESS produziu uma média preditiva da posterior com um coeficiente de determinação ($R^2$) significativamente maior. O PySIPS frequentemente falhou na média da posterior porque uma cauda de amostras divergentes dominou a média, enquanto o ERRLESS produziu amostras da posterior finitas e bem comportadas.
• Benchmark Feynman: O ERRLESS alcançou um escore de Área Sob a Curva (AUC) competitivo de 0,924, superando outros métodos baseados em RL como o DSR (0,873) e o PhySO (0,893), bem como o baseline Bayesiano BSR (0,702). Demonstrou robustez superior em vários níveis de ruído ($\gamma \in \{0.001, 0.01, 0.1\}$).
• Complexidade vs. Precisão: Embora métodos evolutivos de ponta tenham alcançado altos escores de ajuste, eles frequentemente produziam expressões excessivamente complexas. O ERRLESS manteve um trade-off favorável, produzindo expressões curtas e interpretáveis.
• Eficiência: O ERRLESS foi uma ordem de magnitude mais rápido que a maioria dos competidores baseados em aprendizado. Este aumento de velocidade é atribuído à amortização da otimização de parâmetros; a política neural aprende a amostrar parâmetros diretamente, eliminando a necessidade de um loop de otimização interno (ex: ajuste de mínimos quadrados) exigido por outros métodos.

Significância e Alegações

O artigo afirma que o ERRLESS consegue, com sucesso, unir a interpretabilidade da regressão simbólica com a quantificação de incerteza da inferência Bayesiana. Ao utilizar RL de entropia máxima, o método evita os gargalos computacionais das abordagens tradicionais de MCMC/SMC, ao mesmo tempo em que fornece uma distribuição posterior completa em vez de uma única estimativa pontual.

Os autores enfatizam que a perspectiva Bayesiana é particularmente valiosa em configurações com dados escassos e ruidosos, onde a média preditiva da posterior do ERRLESS supera as estimativas de ponto único. O trabalho demonstra que é possível aprender uma política que amostra estruturas de expressão e seus parâmetros simultaneamente, oferecendo um caminho escalável para a descoberta científica automatizada onde a incerteza é explicitamente modelada.

Limitações observadas pelos autores: O desempenho pode degradar em expressões alvo altamente complexas. Sugere-se que trabalhos futuros condicionem o amostrador em parâmetros de temperatura para melhor equilibrar complexidade e precisão, e estendam a abordagem para amortizar sobre conjuntos de dados ou descobrir bibliotecas de operadores.