⚛️ lattice

Symbolic Density Estimators for Unnormalized Distributions

Este artigo apresenta uma estrutura que combina modelos generativos profundos com regressão simbólica para estimar formas simbólicas interpretáveis de distribuições de probabilidade não normalizadas a partir de amostras observadas, demonstrando sua eficácia em dados de brinquedo multivariados e sistemas complexos de física computacional, como o modelo XY e a teoria $\phi^4$ .

Autores originais: Vikas Kanaujia, Riyansha Singh, Shashank Sharma, Vipul Arora

Publicado 2026-10-09

📖 6 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Vikas Kanaujia, Riyansha Singh, Shashank Sharma, Vipul Arora

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Nas ciências físicas, compreender como o mundo funciona muitas vezes resume-se a descrever como as coisas tendem a se comportar. Imagine um sistema composto por incontáveis partes minúsculas, como átomos em um sólido ou spins em um material magnético. Essas partes não se movem aleatoriamente; elas seguem regras que tornam certos arranjos do sistema muito mais prováveis do que outros. Os cientistas descrevem essas probabilidades usando um mapa matemático chamado distribuição de probabilidade. Dentro desse mapa, existe uma paisagem oculta de energia, onde o sistema naturalmente se estabelece nos vales mais baixos. Essa paisagem de energia, frequentemente chamada de Hamiltoniano, é a chave para prever como o sistema reagirá ao calor, à pressão ou ao tempo. Durante décadas, os físicos confiaram em sua própria intuição e profundo conhecimento teórico para escrever as equações que descrevem essas paisagens de energia. Eles supunham a forma da equação e depois ajustavam os números para se adequarem aos dados observados. Embora essa abordagem tenha funcionado bem, ela é lenta, trabalhosa e inteiramente dependente da expertise humana. Se as regras subjacentes forem complexas demais ou se o sistema se comportar de maneiras que desafiem suposições simples, o método tradicional encontra um obstáculo.

Uma equipe de pesquisadores do IIT Kanpur e da KU Leuven desenvolveu uma nova maneira de contornar esse gargalo humano. Eles criaram um framework que permite que um computador analise dados brutos de um sistema complexo e escreva automaticamente a equação matemática que descreve sua energia. Isso não é apenas sobre encontrar uma curva que se ajuste aos pontos; trata-se de descobrir a linguagem simbólica da própria física. Os pesquisadores combinaram dois tipos poderosos de inteligência artificial. Primeiro, utilizaram modelos generativos profundos, que são excelentes em aprender a forma de nuvens de dados complexas e dizer quão provável é qualquer arranjo específico de partículas. Segundo, utilizaram a regressão simbólica, uma técnica que busca fórmulas matemáticas simples e legíveis, em vez de apenas previsões de "caixa-preta". Ao alimentar os insights da primeira IA na segunda, o sistema consegue traduzir os dados desordenados e de alta dimensão de um sistema físico em uma equação limpa e interpretável.

Os pesquisadores testaram este método em vários cenários desafiadores, variando de distribuições simples de brinquedo a modelos complexos usados na física computacional. Em um conjunto de experimentos, analisaram sistemas com muitos "poços", ou vales de energia profundos, que são notoriamente difíceis de mapear porque os dados estão espalhados por muitos estados diferentes. Eles também examinaram o modelo XY, um problema clássico da física que descreve como spins em uma grade interagem, e a teoria $\phi^4$ , que é usada para estudar como campos se comportam na física de partículas. Em todos os casos, o framework recuperou com sucesso as equações de energia subjacentes diretamente dos dados. Para os sistemas mais simples, o computador encontrou aproximações simbólicas das fórmulas que especialistas humanos teriam escrito, mas sem a necessidade de qualquer conhecimento prévio sobre como essas fórmulas deveriam ser. O sistema identificou corretamente as relações entre as variáveis e os números específicos que as governam, mesmo quando os dados eram de alta dimensão e ruidosos, embora os resultados sejam melhor compreendidos como aproximações simbólicas compactas em vez de identidades exatas.

O que torna este trabalho particularmente significativo é como ele lida com a parte mais difícil do problema: o enorme número de variáveis. Em sistemas com milhares de partes interagentes, o espaço de busca para uma fórmula matemática torna-se impossivelmente vasto. Para resolver isso, os pesquisadores introduziram uma estratégia de decompor o sistema em pequenos blocos locais. Em vez de tentar encontrar uma única equação gigante para todo o sistema, a IA observa pequenas vizinhanças de partes interagentes, encontra a regra para aquele pequeno pedaço e, em seguida, costura essas regras. Essa abordagem, combinada com uma técnica que adiciona ruído controlado aos dados para garantir que a IA veja estados de alta energia, porém raros e importantes, permitiu que o sistema funcionasse de forma eficaz mesmo em configurações de alta dimensão onde outros métodos falham. Os resultados mostraram que o framework proposto podia estimar aproximações simbólicas compactas da função de energia que não eram apenas precisas, mas também fisicamente significativas.

A equipe também aplicou seu método a um problema conhecido como renormalização, que é semelhante a dar um zoom para fora em um mapa para ver o quadro geral enquanto ignora os detalhes minúsculos. Na física, isso envolve pegar um sistema de grão fino e criar uma versão efetiva mais simples que se comporte da mesma forma em uma escala maior. Tradicionalmente, derivar a equação para essa versão de maior escala é um desafio analítico massivo, muitas vezes impossível de resolver manualmente em regimes não perturbativos complexos. Os pesquisadores alimentaram seu framework com dados de uma rede de grão grosso e pediram que ele encontrasse a nova equação de energia. O sistema produziu com sucesso expressões simbólicas que correspondiam ao comportamento do sistema original em diferentes escalas. Essas expressões foram consistentes com a física conhecida e reproduziram as propriedades estatísticas corretas do sistema, demonstrando que o framework pode descobrir leis efetivas da natureza diretamente a partir de dados, mesmo quando a derivação subjacente é complexa demais para os métodos analíticos tradicionais.

O estudo excluiu explicitamente a ideia de que isso seja meramente um exercício de ajuste de curvas. Os pesquisadores compararam sua abordagem com métodos existentes que tentam adivinhar a forma de uma equação baseando-se em um conjunto fixo de blocos de construção. Esses métodos antigos frequentemente falhavam em convergir ou produziam equações com coeficientes incorretos e termos espúrios extras que não pertenciam ao sistema. Em contraste, o novo framework, ao integrar o aprendizado profundo com a busca simbólica e usar a fatoração local, encontrou consistentemente a estrutura correta. Os pesquisadores observaram que, embora o método dependa de algum conhecimento prévio, como saber quais tipos de funções matemáticas são fisicamente relevantes, ele não precisa conhecer a resposta final antecipadamente. Os resultados foram robustos em múltiplos testes aleatórios, mostrando que o framework descobre de forma confiável as interações corretas e suprime as irrelevantes.

Em última análise, este trabalho oferece um novo caminho para a descoberta científica. Ele sugere que podemos ir além das limitações da intuição humana quando se trata de formular as leis que governam sistemas complexos. Ao automatizar o processo de encontrar a linguagem matemática da natureza, o framework permite que os cientistas aproveitem o poder do aprendizado de máquina para analisar vastos conjuntos de dados, mantendo ainda a clareza e o insight de uma equação legível por humanos. Os pesquisadores demonstraram que esta abordagem funciona para uma grande variedade de sistemas, desde distribuições estatísticas simples até as intrincadas redes da física de partículas, fornecendo uma ferramenta que pode estimar as funções de energia de sistemas que antes eram difíceis demais para serem modelados analiticamente. Os achados indicam que, com a combinação certa de aprendizado profundo e raciocínio simbólico, podemos descobrir as regras ocultas do universo diretamente dos dados que ele deixa para trás.

Resumo Técnico: Estimadores de Densidade Simbólica para Distribuições Não Normalizadas

Enunciado do Problema
Estimar a forma simbólica ou analítica de funções de densidade de probabilidade (PDFs) a partir de amostras observadas é um desafio fundamental em modelagem estatística e computacional. Embora modelos generativos profundos (como fluxos de normalização e modelos baseados em score) se destaquem na amostragem de distribuições complexas, eles funcionam como estimadores de "caixa preta" que não fornecem expressões analíticas interpretáveis para as funções de energia ou Hamiltonianos subjacentes ( $H(x)$ ). Por outro lado, métodos tradicionais de Regressão Simbólica (SR) têm dificuldade em escalar para dados de alta dimensão e frequentemente falham quando a distribuição é não normalizada ou quando o espaço de busca é muito amplo. O problema central abordado é a inferência automática de uma representação simbólica analítica de uma distribuição não normalizada diretamente a partir de dados observados, sem depender fortemente da expertise manual do domínio para selecionar formas funcionais.

Metodologia
Os autores propõem um framework de dois estágios que integra modelagem generativa profunda com regressão simbólica para converter um problema de estimativa de densidade não supervisionada em um problema de regressão simbólica supervisionada.

Estágio de Modelagem Generativa: O framework primeiro treina um modelo generativo profundo nas amostras observadas. Os autores utilizam dois tipos de modelos:
- Modelos baseados em verossimilhança (Fluxos de Normalização): Estes fornecem a log-verossimilhança negativa ( $-\log p_\theta(x)$ ), que serve como o alvo para a função de energia até uma constante.
- Modelos baseados em score: Estes estimam a função de score $s(x) = \nabla_x \log p(x)$ . Para lidar com os desafios de integração com scores simbólicos complexos, os autores propõem modelar a função de energia $H_\theta(x)$ diretamente via uma rede neural e obter o score via diferenciação automática ( $s_\theta(x) = -\nabla_x H_\theta(x)$ ). O denoising score matching é empregado para melhorar a estimativa em regiões de baixa densidade.
Aumento de Dados (Data Augmentation): Para garantir uma estimativa simbólica robusta, o framework aumenta as amostras originais de alta densidade com perturbações ruidosas ( $x' = x + \epsilon$ ). Isso garante que o modelo de SR veja amostras tanto de regiões de alta quanto de baixa densidade, o que é crítico para uma estimativa estável.
Estágio de Regressão Simbólica (SR): Os outputs do modelo generativo (log-verossimilhanças ou campos de score) servem como rótulos para um algoritmo de SR. A tarefa de SR é encontrar uma expressão fechada concisa $\hat{H}(x)$ que aproxime esses rótulos. O framework utiliza dois backends de SR:
- PySR: Um algoritmo baseado em programação genética.
- EQL (Equation Learner): Uma abordagem baseada em redes neurais profundas com regularização esparsa.
Principais Vieses Indutivos: Para tornar o problema tratável para sistemas de alta dimensão (ex: modelos de rede/lattice), o framework incorpora três estratégias específicas:
- Fatoração Local: Aproveitando a localidade espacial de sistemas físicos, o Hamiltoniano global é fatorado em patches locais (ex: $2\times2$ ou $3\times3$ ). A SR estima a função de energia local $\hat{h}(x_p)$ sobre um pequeno número de variáveis, que é então somada para reconstruir a energia global.
- Primitivas Específicas da Tarefa: O espaço de busca é restringido pela inclusão de funções primitivas específicas do domínio (ex: funções trigonométricas para o modelo XY, polinômios para a teoria $\phi^4$ ).
- Perturbação Multi-escala: Como observado, adicionar ruído às amostras melhora a cobertura do espaço de estados.

Contribuições Principais

Integração de Framework: O artigo introduz um framework modular que faz a ponte entre modelos generativos profundos e SR, permitindo a descoberta de funções de energia interpretáveis para distribuições não normalizadas sem assumir uma forma paramétrica a priori.
Escalabilidade via Fatoração: Ao empregar a fatoração local do Hamiltoniano, o método reduz efetivamente a dimensionalidade do espaço de busca simbólica, permitindo a estimativa de funções de energia para sistemas de rede de alta dimensão (até $d=64$ e além em contextos de renormalização) onde a SR padrão falha.
Lidando com Regimes Não Perturbativos: O framework estima com sucesso Hamiltonianos efetivos para sistemas fortemente acoplados (especificamente a renormalização da teoria $\phi^4$ ) onde derivações analíticas ou perturbativas tradicionais são desafiadoras ou intratáveis.
Robustez à Especificação Incorreta: Experimentos demonstram que mesmo quando a biblioteca de primitivas é mal especificada (ex: removendo operadores trigonométricos para o modelo XY), o framework ainda consegue recuperar aproximações polinomiais significativas das interações subjacentes.

Resultados Experimentais
O framework foi avaliado em diversos conjuntos de dados, variando de distribuições de brinquedo (toy distributions) de baixa dimensão a modelos de física de rede de alta dimensão:

Distribuições de Brinquedo: Para Gaussianas multivariadas e distribuições de múltiplos poços, o framework alcançou uma recuperação quase perfeita do Hamiltoniano real ( $R^2 \approx 1.0$ , MSE $\approx 0$ ) em dimensões de $d=2$ a $d=64$ . O PySR geralmente exigiu menos amostras ( $10^3$ ) do que o EQL ( $10^5$ ) para atingir resultados comparáveis.
Modelo XY: Em uma rede de $8\times8$ ( $d=64$ ), o framework recuperou com sucesso os termos de interação baseados em cosseno. Modelos baseados em fluxo combinados com PySR superaram métodos baseados em score e o EQL, alcançando alta precisão e recall sem termos espúrios.
Teoria Escalar $\phi^4$ : O método estimou com precisão o Hamiltoniano local para regimes de acoplamento fraco e forte. Notavelmente, o PySR identificou consistentemente as interações de vizinho mais próximo corretas, mesmo quando tamanhos de patch maiores (introduzindo mais variáveis) foram utilizados, suprimindo efetivamente dependências de longo alcance irrelevantes.
Renormalização: Em um cenário não perturbativo, o framework estimou Hamiltonianos efetivos para redes de escala reduzida (coarse-grained) de $32\times32$ para $8\times8$ . Os Hamiltonianos estimados reproduziram observáveis físicos (magnetização, suscetibilidade) com alta fidelidade (sobreposição de histograma $>98\%$ ), validando a capacidade do método de capturar a dinâmica de escala reduzida sem derivação analítica.
Comparação: O método proposto superou significativamente o baseline MeSSY, que teve dificuldade em convergir em dimensões $d>2$ e frequentemente produziu expressões com termos espúrios.

Significância e Alegações
Os autores posicionam este trabalho não como um novo algoritmo de SR, mas como um framework prático para a descoberta científica. A principal significância reside na capacidade de automatizar a derivação de funções de energia interpretáveis para sistemas complexos de alta dimensão diretamente a partir de dados. O artigo afirma que esta abordagem oferece uma alternativa viável à formulação de modelos baseada em expertise e laboriosa, particularmente em regimes não perturbativos onde soluções analíticas não estão disponíveis.

Os autores observam modestamente que o framework depende de vieses indutivos motivados fisicamente (tamanho do patch, bibliotecas de primitivas) e que as expressões estimadas são "aproximações simbólicas compactas e interpretáveis", em vez de representações exatas da dinâmica subjacente. Eles reconhecem que a escalabilidade é atualmente limitada pela capacidade do componente de SR em lidar com um número muito grande de variáveis, o que limita a descoberta de interações de longo alcance ou não locais em sistemas que exigem patches muito grandes. Sugere-se trabalhos futuros para abordar comportamentos de cobertura de modo (mode-covering) em modelos generativos e para estender o framework para sistemas fora do equilíbrio.

Mais como este