Resumo Técnico: Um Modelo de Fundação Livre de Busca para Regressão Simbólica de Leis Físicas

1. Definição do Problema

A Regressão Simbólica (RS) visa recuperar leis matemáticas interpretáveis e em forma fechada a partir de dados observacionais. Embora central para a descoberta científica, os métodos existentes enfrentam um compromisso fundamental entre precisão e velocidade:

• Métodos baseados em busca (ex: Algoritmos Genéticos, enumeração paralela em GPU) são precisos em dados limpos e de baixa dimensão, mas sofrem com altos custos computacionais, fragilidade em dados reais ruidosos e a necessidade de reexplorar o espaço combinatório de expressões para cada novo problema.
• Métodos de aprendizado profundo de ponta a ponta (ex: transformers) oferecem velocidade, mas tipicamente tratam a RS como uma tarefa de tradução de sequência. Eles aprendem a modelar a distribuição dos dados, em vez do espaço subjacente de fórmulas, carecendo de priors explícitos sobre a estrutura das leis físicas. Consequentemente, têm dificuldade com o espaço discreto, não suave e super-exponencialmente crescente de expressões exigido para a descoberta física real.

O artigo postula que os algoritmos atuais baseados em dados falham em raciocinar sobre as relações estruturadas da física real porque não codificam um modelo do "espaço de fórmulas" que eles preveem.

2. Metodologia: PISR (Regressão Simbólica Informada pela Física)

Os autores propõem o PISR, um modelo de fundação livre de busca que reformula a regressão simbólica como um problema de geração dentro de um manifold fórmula-dados pré-treinado e contrastivamente alinhado. A hipótese central é que as leis físicas reais ocupam um sub-manifold estruturado e de baixa complexidade dentro do vasto espaço de todas as expressões possíveis, moldado pela consistência dimensional e motivos composicionais recorrentes.

Arquitetura e Treinamento

• Manifold Latente Compartilhado: O PISR utiliza dois encoders alinhados via um objetivo contrastivo InfoNCE simétrico (estilo CLIP):
  1. Encoder de Dados ($E_d$): Um encoder invariante à permutação (pooling de atenção multi-cabeça com 16 tokens de semente aprendidos) que mapeia nuvens de pontos $\{(x_i, y_i)\}$ para um vetor latente $z_d$.
  2. Encoder de Fórmula ($E_f$): Um encoder de rede neural de grafos que mapeia a árvore de sintaxe abstrata (AST) de uma expressão para um vetor latente $z_f$.
  • Alinhamento: Durante o treinamento, uma fórmula e os dados que ela gera são atraídos para pontos próximos no espaço latente ($\mathbb{R}^{640}$), tornando a proximidade um proxy para a relação funcional.
• Supervisão Estrutural: O modelo é treinado em um grande corpus de física/matemática (33,6 milhões de expressões) aumentado com um grafo de conhecimento físico. Um termo de perda estrutural ($L_{struct}$) impõe um prior informado pela física sobre a estrutura da expressão, utilizando leis ancestrais, precondições e arestas de DAG de derivação.
• Escala do Modelo: O modelo completo compreende aproximadamente 0,4 bilhão de parâmetros, incluindo os encoders, um campo de correspondência de fluxo (flow-matching) e um decoder.

Pipeline de Inferência (Livre de Busca)

O PISR opera em uma única passagem direta amortizada sem busca simbólica por instância:

1. Geração Latente: Um campo de correspondência de fluxo (estilo DiT) transporta o latente de dados $z_d$ em direção aos latentes de fórmulas candidatas.
2. Recuperação: Uma biblioteca de 400.000 latentes de fórmulas reais é indexada. Os $k$-vizinhos mais próximos de $z_d$ são recuperados para fornecer um complemento não paramétrico aos candidatos gerados.
3. Decodificação Condicionada: Um decoder autorregressivo renderiza tanto os latentes gerados pelo fluxo quanto os recuperados em esqueletos de expressão (tokens tipados), condicionados à representação dos dados.
4. Seleção: As constantes livres das expressões candidatas são ajustadas via mínimos quadrados não lineares. Os candidatos são classificados apenas pelo erro preditivo de validação (nenhum penalidade de complexidade é aplicada, pois leis físicas podem ser estruturalmente complexas). A expressão de melhor desempenho é retornada.

3. Principais Contribuições e Descobertas

A Hipótese do Manifold de Fórmulas

O artigo fornece evidência empírica de que as fórmulas físicas reais são linearmente separáveis de expressões aleatórias no espaço latente aprendido.

• Separabilidade: Um probe linear alcança um ROC-AUC de 94,4% ao distinguir leis físicas reais de expressões aleatórias com estrutura correspondente (controlando a frequência de operadores e comprimento).
• Geometria: As leis reais formam uma estrutura rica e estendida (razão de participação 21,5) distinta de expressões aleatórias (10,5), confirmando que a "região da lei" é definida por gramática composicional e não meramente por ser um subconjunto menor.
• Análise Dimensional: Esta separabilidade é fundamentada no teorema de Buckingham-$\pi$, que restringe leis válidas a grupos adimensionais, podando efetivamente a vasta maioria das expressões sintaticamente válidas, mas fisicamente impossíveis.

Desempenho em Benchmarks

O PISR foi avaliado em três benchmarks contra quatro baselines: Programação Genética (PySR), enumeração paralela em GPU (PSE), um transformer especializado no domínio (PhyE2E) e regressão simbólica generativa latente (GenSR).

• Benchmark de Física Real (797 tarefas): O PISR alcançou 51,32% de acurácia estrutural, superando o próximo melhor modelo (PySR) em 7,66 pontos percentuais.
• Generalização Cross-Domain (270 tarefas): O PISR alcançou 71,11% de acurácia, excedendo o PySR em 15,93 pontos. Isso sugere que o modelo aprendeu a estrutura de fórmulas do tipo lei, em vez de apenas a distribuição da física, permitindo a transferência para finanças, economia e biologia.
• Equações de Feynman (119 tarefas): O PISR atingiu 39,50% de acurácia, liderando a baseline de enumeração por GPU em 6,73 pontos.
• Eficiência: O PSR é aproximadamente 2,4× mais rápido que a programação genética e 2,5× mais rápido que a enumeração em GPU, exigindo apenas uma única passagem direta (~12,25s por tarefa) em comparação com a busca iterativa das baselines.

Recuperação de Leis Complexas

O PISR recuperou unicamente leis nomeadas a partir de dados brutos onde todas as baselines falharam, particularmente em casos envolvendo:

• Funções transcendentais: Identificação correta de formas exponenciais ou logarítmicas onde as baselines substituíram por aproximadores algébricos (ex: potências aninhadas ou aproximações racionais).
• Expoentes variáveis: Recuperação de formas com expoentes variáveis (ex: $x^n$) onde os transformers substituíram por expoentes fixos.
• Domínios Específicos: Recuperação bem-sucedida da lei de Kolmogorov de dois terços de turbulência, da relação de Stefan-Boltzmann de catálogos estelares e do fechamento de tensão de Reynolds (alcançando $R^2 \approx 0,99$ onde modelos clássicos falharam).

4. Significância e Alegações

O artigo afirma que o PISR representa uma mudança de paradigma da "busca" por leis para a "geração" delas dentro de um manifold informado pela física.

• Viés Indutivo: Ao especializar-se no manifold de fórmulas do tipo lei, o modelo alcança acurácia de estado da arte em dados científicos reais enquanto evita a região "livre de estrutura" de espaços de expressões abstratas onde seu desempenho é inferior (uma característica, não um erro, de seu design).
• Generalização: O modelo demonstra que um único modelo de fundação treinado em física pode generalizar para domínios científicos não físicos (ex: economia, biologia) porque esses domínios compartilham a mesma "gramática composicional" de leis científicas.
• Escalabilidade: A arquitetura livre de busca torna computacionalmente viável tentar a geração e validação de hipóteses em larga escala para problemas de fechamento abertos (ex: modelagem de turbulência), movendo o campo da recuperação de leis conhecidas para a proposição de novas leis.

Os autores enfatizam que o sucesso do modelo reside na hipótese de que as leis científicas não são elementos arbitrários do espaço de expressões, mas ocupam um sub-manifold estruturado definido pela consistência dimensional e motivos físicos. Este prior é decisivo para lidar com os dados ruidosos e dimensionalmente estruturados característicos da ciência do mundo real.