Learned variable-support priors accelerate symbolic regression of physical laws

Resumo Técnico: Priores de Suporte Aprendidos para Regressão Simbólica

Definição do Problema
A regressão simbólica (RS) visa descobrir leis físicas interpretáveis ao pesquisar o espaço de expressões matemáticas para encontrar uma fórmula compacta que se ajuste aos dados observados. Embora a RS ofereça vantagens sobre os preditores de caixa-preta — como consistência dimensional e capacidade de extrapolação — ela enfrenta um obstáculo combinatório fundamental. O número de árvores de expressão candidatas cresce exponencialmente com o número de variáveis de entrada e operadores disponíveis. Em aplicações físicas, as leis governantes tipicamente utilizam apenas um pequeno subconjunto de variáveis medidas e um conjunto limitado de operadores, mas os resolvedores padrão devem explorar um vasto espaço de busca contendo muitos ramos irrelevantes. Essa ineficiência leva a uma baixa escalabilidade, especialmente quando os conjuntos de dados contêm numerosas colunas "distratoras" (variáveis irrelevantes), fazendo com que os resolvedores ou falhem em encontrar a lei verdadeira ou convirjam para expressões espúrias e sobreajustadas (overfitted).

Metodologia: DenoisedSR
Os autores propõem o DenoisedSR, um front-end aprendido e agnóstico ao resolvedor, projetado para acelerar a RS ao prever um "prior de suporte" — um subconjunto de variáveis de entrada (e, opcionalmente, operadores) que provavelmente participam da lei governante. Em vez de tentar decodificar a equação completa diretamente (o que frequentemente leva a erros estruturais), o DenoisedSR estreita o espaço de busca antes que o backend do resolvedor comece.

A arquitetura do sistema consiste em:

1. Preditor de Ensemble: Uma combinação de um modelo de Rede de Atenção em Grafo (GAT) e um Random Forest (RF).
   • O GAT opera em um grafo onde os nós representam colunas de entrada. As características dos nós incluem momentos estatísticos, correlação com o alvo, monotonicidade e descritores dimensionais. As arestas codificam um prior de coocorrência aprendido de um grafo de conhecimento de leis físicas, permitindo que o modelo raciocine sobre quais variáveis suportam conjuntamente uma lei plausível.
   • O RF pontua as colunas com base em estatísticas por coluna.
   • A pontuação final é uma soma ponderada: $s(col) = RF(col) + \sigma(GAT(col))$.
2. Limiarização (Thresholding): As variáveis são retidas se sua pontuação exceder um limiar baixo ($\tau = 0.10$), priorizando o alto recall para garantir que a lei verdadeira permaneça alcançável.
3. Prior de Operador (Opcional): Um modelo GAT análogo prevê um subconjunto de operadores relevantes com base nos nomes das variáveis físicas (por exemplo, associando $\theta$ a funções trigonométricas).
4. Integração: O conjunto de suporte previsto é passado para um backend de RS convencional (por exemplo, PySR, gplearn ou enumeração baseada em GPU), que realiza a busca final sobre o conjunto reduzido de variáveis e operadores.

Principais Contribuições

• Aceleração Agnóstica ao Solver: O método atua como uma camada de pré-processamento que melhora qualquer backend de busca em árvore ou enumeração sem modificar a lógica interna do solver.
• Filtragem de Alto Recall: O modelo atinge um recall de $\ge 0.96$ em benchmarks de física externos, garantindo efetivamente que as variáveis verdadeiras raramente sejam descartadas, enquanto reduz significativamente o número de colunas candidatas.
• Distinção da Redução de Dimensionalidade: Os autores demonstram que o ganho de desempenho provém de um direcionamento de busca aprendido em vez de mera redução de dimensionalidade, validado por controles usando conjuntos de suporte aleatórios do mesmo tamanho.

Resultados
O artigo avalia o DenoisedSR através de quatro benchmarks externos (AI-Feynman, Strogatz, Nguyen e SRSD-Feynman) e três backends estruturalmente distintos (PySR, gplearn e PSE).

• Recuperação de Variáveis: No benchmark AI-Feynman (118 equações), o ensemble atinge recall perfeito (1.000), recuperando todas as variáveis verdadeiras. Ele supera cinco seletores de características clássicos (Correlação de Pearson/Spearman, Informação Mútua, Importância de Random Forest, Lasso), que perdem variáveis verdadeiras em 30–80% dos casos, mesmo com conhecimento órfão do número de variáveis. O modelo permanece robusto ao ruído de rótulo até 30% de ruído Gaussiano relativo.
• Desempenho do Backend (PySR): Sob um orçamento fixo de 10 segundos, fornecer o prior de variáveis ao PySR aumenta a taxa de recuperação da lei exata de $42 \pm 13\%$ para um valor estável de semente de $60 \pm 0\%$. O $R^2$ médio de teste melhora de $0.906$ para $0.980$. O conjunto de colunas candidatas é reduzido em 85% (de ~23 para ~3.4 colunas) e o vocabulário de busca é reduzido pela metade.
• Escalabilidade com Distratores: A lacuna de desempenho entre a busca guiada e a não guiada aumenta monotonicamente conforme o número de colunas distratoras aumenta (de 5 para 30). Enquanto a recuperação total do PySR cai significamente com mais distratores, o DenoisedSR mantém uma taxa de recuperação estável de ~61–62%.
• Tempo para Solução: Ao podar ramos irrelevantes, o DenoisedSR acelera o tempo para solução em até 6$\times$ para fórmulas não triviais, com uma aceleração mediana de ~1.5$\times$. A inferência do front-end adiciona apenas ~40 ms por tarefa.
• Generalização para Outros Backends:
  • gplearn (GP Clássico): A recuperação exata melhora de 3.3% para 17.8%.
  • PSE (Enumeração Paralela em GPU): A recuperação exata salta de 0% para 40%, pois o prior garante que o amostrador extraia subconjuntos informativos de variáveis.
• Dados Black-Box: Em 24 tarefas black-box PMLB/SRBench, o DenoisedSR melhora o $R^2$ médio de teste significativamente em comparação com a busca total, enquanto um controle de suporte aleatório degrada o desempenho, confirmando o valor do direcionamento condicionado à observação.
• Limitações em Regimes Específicos: No benchmark SRSD-Feynman, que contém poucas variáveis fictícias fisicamente plausíveis, o prior é amplamente neutro. Isso confirma que o método é mais eficaz quando a razão entre variáveis distratoras e verdadeiras é alta.

Significância e Alegações
O artigo afirma que os priors de suporte aprendidos representam uma "intervenção de alto impacto e baixo risco" para a regressão simbólica. Ao desacoplar a tarefa difícil de seleção de variáveis do processo de descoberta de equações, o DenoisedSR permite que os solvers existentes operem de forma mais eficiente e confiável. Os autores enfatizam que, embora o front-end neural ainda não consiga atribuir variáveis a posições específicas em uma expressão (o "gap de atribuição"), ele identifica com sucesso quais quantidades importam. Esta abordagem complementa os existentes priors conscientes da física e a análise dimensional, oferecendo um caminho prático para a descoberta mais rápida e robusta de leis físicas sem exigir a geração de equações neurais de ponta a ponta. O método é apresentado como imediatamente útil para aprimorar os solvers atuais, com um modo de falha que é empiricamente seguro (o alto recall garante que a lei verdadeira não seja excluída).