⚛️ lattice

Symbolic Density Estimators for Unnormalized Distributions

Este artículo presenta un marco que combina modelos generativos profundos con regresión simbólica para estimar formas simbólicas interpretables de distribuciones de probabilidad no normalizadas a partir de muestras observadas, demostrando su eficacia en datos de juguete multivariantes y sistemas de física computacional compleja como el modelo XY y la teoría $\phi^4$ .

Autores originales: Vikas Kanaujia, Riyansha Singh, Shashank Sharma, Vipul Arora

Publicado 2026-10-09

📖 6 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Vikas Kanaujia, Riyansha Singh, Shashank Sharma, Vipul Arora

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

En las ciencias físicas, comprender cómo funciona el mundo a menudo se reduce a describir cómo es probable que se comporten las cosas. Imagine un sistema compuesto por innumerables partes diminutas, como átomos en un sólido o espines en un material magnético. Estas partes no se mueven de forma aleatoria; siguen reglas que hacen que algunas disposiciones del sistema sean mucho más probables que otras. Los científicos describen estas probabilidades utilizando un mapa matemático llamado distribución de probabilidad. Dentro de este mapa, existe un paisaje oculto de energía, donde el sistema se establece naturalmente en los valles más bajos. Este paisaje de energía, a menudo llamado Hamiltoniano, es la clave para predecir cómo reaccionará el sistema al calor, la presión o el tiempo. Durante décadas, los físicos han dependido de su propia intuición y profundo conocimiento teórico para escribir las ecuaciones que describen estos paisajes de energía. Ellos suponían la forma de la ecuación y luego ajustaban los números para que se adaptaran a los datos observados. Si bien este enfoque ha funcionado bien, es lento, laborioso y depende enteramente de la pericia humana. Si las reglas subyacentes son demasiado complejas o si el sistema se comporta de maneras que desafían las suposiciones simples, el método tradicional choca contra un muro.

Un equipo de investigadores del IIT Kanpur y la KU Leuven ha desarrollado una nueva forma de sortear este cuello de botella humano. Crearon un marco que permite a una computadora observar datos brutos de un sistema complejo y escribir automáticamente la ecuación matemática que describe su energía. Esto no es solo encontrar una curva que se ajuste a los puntos; se trata de descubrir el lenguaje simbólico de la física misma. Los investigadores combinaron dos tipos poderosos de inteligencia artificial. Primero, utilizaron modelos generativos profundos, que son excelentes para aprender la forma de nubes de datos complejas y decirnos qué tan probable es cualquier disposición específica de partículas. Segundo, utilizaron la regresión simbólica, una técnica que busca fórmulas matemáticas simples y legibles en lugar de solo predicciones de "caja negra". Al alimentar las percepciones de la primera IA en la segunda, el sistema puede traducir los datos desordenados y de alta dimensión de un sistema físico en una ecuación limpia e interpretable.

Los investigadores probaron este método en varios escenarios desafiantes, que van desde distribuciones de juguete simples hasta modelos complejos utilizados en la física computacional. En un conjunto de experimentos, observaron sistemas con muchos "pozos", o valles de energía profundos, que son notoriamente difíciles de mapear porque los datos están dispersos en muchos estados diferentes. También examinaron el modelo XY, un problema clásico en física que describe cómo interactúan los espines en una red, y la teoría $\phi^4$ , que se utiliza para estudiar cómo se comportan los campos en la física de partículas. En cada caso, el marco recuperó con éxito las ecuaciones de energía subyacentes directamente de los datos. Para los sistemas más simples, la computadora encontró aproximaciones simbólicas de las fórmulas que los expertos humanos habrían escrito, pero sin necesidad de ningún conocimiento previo sobre cómo deberían ser esas fórmulas. Identificó correctamente las relaciones entre las variables y los números específicos que las gobiernan, incluso cuando los datos eran de alta dimensión y ruidosos, aunque los resultados se entienden mejor como aproximaciones simbólicas compactas en lugar de identidades exactas.

Lo que hace que este trabajo sea particularmente significativo es cómo maneja la parte más difícil del problema: la enorme cantidad de variables. En sistemas con miles de partes que interactúan, el espacio de búsqueda para una fórmula matemática se vuelve imposiblemente grande. Para resolver esto, los investigadores introdujeron una estrategia de descomponer el sistema en pequeños parches locales. En lugar de intentar encontrar una ecuación gigante para todo el sistema, la IA observa vecindarios pequeños de partes que interactúan, encuentra la regla para esa pequeña pieza y luego une esas reglas. Este enfoque, combinado con una técnica que añade ruido controlado a los datos para asegurar que la IA vea estados de alta energía, raros pero importantes, permitió que el sistema funcionara eficazmente incluso en entornos de alta dimensión donde otros métodos fallan. Los resultados mostraron que el marco propuesto podía estimar aproximaciones simbólicas compactas de la función de energía que no solo eran precisas, sino también físicamente significativas.

El equipo también aplicó su método a un problema conocido como renormalización, que es similar a alejarse de un mapa para ver el panorama general ignorando los detalles diminutos. En física, esto implica tomar un sistema de grano fino y crear una versión efectiva más simple que se comporte de la misma manera a una escala mayor. Tradicionalmente, derivar la ecuación para esta versión de mayor escala es un desafío analítico masivo, a menudo imposible de resolver a mano en regímenes no perturbativos complejos. Los investigadores alimentaron su marco con datos de una red de grano grueso y le pidieron que encontrara la nueva ecuación de energía. El sistema produjo con éxito expresiones simbólicas que coincidían con el comportamiento del sistema original a través de diferentes escalas. Estas expresiones fueron consistentes con la física conocida y reprodujeron las propiedades estadísticas correctas del sistema, demostrando que el marco puede descubrir leyes efectivas de la naturaleza directamente a partir de los datos, incluso cuando la derivación subyacente es demasiado compleja para los métodos analíticos tradicionales.

El estudio descartó explícitamente la idea de que esto es simplemente un ejercicio de ajuste de curvas. Los investigadores compararon su enfoque con métodos existentes que intentan adivinar la forma de una ecuación basándose en un conjunto fijo de bloques de construcción. Esos métodos más antiguos a menudo fallaban en la convergencia o producían ecuaciones con coeficientes incorrectos y términos espurios adicionales que no pertenecían. En contraste, el nuevo marco, al integrar el aprendizaje profundo con la búsqueda simbólica y el uso de la factorización local, encontró consistentemente la estructura correcta. Los investigadores señalaron que, si bien el método depende de cierto conocimiento previo, como saber qué tipos de funciones matemáticas son físicamente relevantes, no necesita conocer la respuesta final de antemano. Los resultados fueron robustos en múltiples ensayos aleatorios, mostrando que el marco descubre de manera confiable las interacciones correctas y suprime las irrelevantes.

En última instancia, este trabajo ofrece un nuevo camino para el descubrimiento científico. Sugiere que podemos ir más allá de las limitaciones de la intuición humana cuando se trata de formular las leyes que gobiernan sistemas complejos. Al automatizar el proceso de encontrar el lenguaje matemático de la naturaleza, el marco permite a los científicos aprovechar el poder del aprendizaje automático para analizar vastos conjuntos de datos mientras conservan la claridad y la visión de una ecuación legible por humanos. Los investigadores demostraron que este enfoque funciona para una gran variedad de sistemas, desde distribuciones estadísticas simples hasta las intrincadas redes de la física de partículas, proporcionando una herramienta que puede estimar las funciones de energía de sistemas que anteriormente eran demasiado difíciles de modelar analíticamente. Los hallazgos indican que, con la combinación adecuada de aprendizaje profundo y razonamiento simbólico, podemos descubrir las reglas ocultas del universo directamente de los datos que este deja atrás.

Resumen Técnico: Estimadores de Densidad Simbólica para Distribuciones No Normalizadas

Planteamiento del Problema
La estimación de la forma simbólica o analítica de las funciones de densidad de probabilidad (PDF) a partir de muestras observadas es un desafío fundamental en el modelado estadístico y computacional. Mientras que los modelos generativos profundos (como los flujos de normalización y los modelos basados en el score) sobresalen en el muestreo de distribuciones complejas, funcionan como estimadores de "caja negra" que no proporcionan expresiones analíticas interpretables de las funciones de energía o Hamiltonianos ( $H(x)$ ) subyacentes. Por el contrario, los métodos tradicionales de Regresión Simbólica (SR) tienen dificultades para escalar a datos de alta dimensión y suelen fallar cuando la distribución no está normalizada o cuando el espacio de búsqueda es demasiado grande. El problema central abordado es la inferencia automática de una representación simbólica y analítica de una distribución no normalizada directamente a partir de datos observados, sin depender excesivamente de la experiencia manual del dominio para seleccionar las formas funcionales.

Metodología
Los autores proponen un marco de dos etapas que integra el modelado generativo profundo con la regresión simbólica para convertir un problema de estimación de densidad no supervisado en un problema de regresión simbólica supervisada.

Etapa de Modelado Generativo: El marco primero entrena un modelo generativo profundo sobre las muestras observadas. Los autores utilizan dos tipos de modelos:
- Modelos basados en la verosimilitud (Flujos de Normalización): Estos proporcionan la log-verosimilitud negativa ( $-\log p_\theta(x)$ ), la cual sirve como el objetivo para la función de energía salvo por una constante.
- Modelos basados en el score: Estos estiman la función de score $s(x) = \nabla_x \log p(x)$ . Para abordar los desafíos de integración con scores simbólicos complejos, los autores proponen modelar la función de energía $H_\theta(x)$ directamente mediante una red neuronal y obtener el score vía diferenciación automática ( $s_\theta(x) = -\nabla_x H_\theta(x)$ ). Se emplea el emparejamiento de score con eliminación de ruido (denoising score matching) para mejorar la estimación en regiones de baja densidad.
Aumento de Datos: Para asegurar una estimación simbólica robusta, el marco aumenta las muestras originales de alta densidad con perturbaciones ruidosas ( $x' = x + \epsilon$ ). Esto garantiza que el modelo de SR vea muestras tanto de regiones de alta como de baja densidad, lo cual es crítico para una estimación estable.
Etapa de Regresión Simbólica (SR): Las salidas del modelo generativo (log-verosimilitudes o campos de score) sirven como etiquetas para un algoritmo de SR. La tarea de la SR es encontrar una expresión concisa de forma cerrada $\hat{H}(x)$ que aproxime estas etiquetas. El marco emplea dos backends de SR:
- PySR: Un algoritmo basado en programación genética.
- EQL (Equation Learner): Un enfoque basado en redes neuronales profundas con regularización dispersa (sparse regularization).
Sesgos Inductivos Clave: Para hacer que el problema sea tratable para sistemas de alta dimensión (por ejemplo, modelos de red o lattice models), el marco incorpora tres estrategias específicas:
- Factorización Local: Aprovechando la localidad espacial de los sistemas físicos, el Hamiltoniano global se factoriza en parches locales (por ejemplo, $2\times2$ o $3\times3$ ). La SR estima la función de energía local $\hat{h}(x_p)$ sobre un número pequeño de variables, que luego se suma para reconstruir la energía global.
- Primitivas Específicas de la Tarea: El espacio de búsqueda se restringe mediante la inclusión de funciones primitivas específicas del dominio (por ejemplo, funciones trigonométricas para el modelo XY, polinomios para la teoría $\phi^4$ ).
- Perturbación Multi-escala: Como se señaló, añadir ruido a las muestras mejora la cobertura del espacio de estados.

Contribuciones Clave

Integración del Marco: El artículo introduce un marco modular que une los modelos generativos profundos con la SR, permitiendo el descubrimiento de funciones de energía interpretables de distribuciones no normalizadas sin asumir una forma paramétrica a priori.
Escalabilidad mediante Factorización: Al emplear la factorización local del Hamiltoniano, el método reduce efectivamente la dimensionalidad del espacio de búsqueda simbólica, permitiendo la estimación de funciones de energía para sistemas de red de alta dimensión (hasta $d=64$ y más allá en contextos de renormalización) donde la SR estándar falla.
Manejo de Regímenes No Perturbativos: El marco estima con éxito Hamiltonianos efectivos para sistemas fuertemente acoplados (específicamente la renormalización de la teoría $\phi^4$ ) donde las derivaciones analíticas o perturbativas tradicionales son desafiantes o intratables.
Robustez a la Especificación Incorrecta: Los experimentos demuestran que incluso cuando la librería de primitivas está mal especificada (por ejemplo, eliminando operadores trigonométricos para el modelo XY), el marco aún puede recuperar aproximaciones polinómicas significativas de las interacciones subyacentes.

Resultados Experimentales
El marco fue evaluado en varios conjuntos de datos que van desde distribuciones de juguete de baja dimensión hasta modelos de física de red de alta dimensión:

Distribuciones de Juguete: Para Gaussianas multivariantes y distribuciones de múltiples pozos, el marco logró una recuperación casi perfecta del Hamiltoniano real ( $R^2 \approx 1.0$ , MSE $\approx 0$ ) a través de dimensiones $d=2$ a $d=64$ . PySR generalmente requirió menos muestras ( $10^3$ ) que EQL ( $10^5$ ) para lograr resultados comparables.
Modelo XY: En una red de $8\times8$ ( $d=64$ ), el marco recuperó con éxito los términos de interacción basados en el coseno. Los modelos basados en flujos combinados con PySR superaron a los métodos basados en score y a EQL, logrando alta precisión y exhaustividad (recall) sin términos espurios.
Teoría Escalar $\phi^4$ : El método estimó con precisión el Hamiltoniano local tanto para regímenes de acoplamiento débil como fuerte. Notablemente, PySR identificó consistentemente las interacciones de vecino más cercano correctas incluso cuando se utilizaron tamaños de parche más grandes (introduciendo más variables), suprimiendo eficazmente las dependencias de largo alcance irrelevantes.
Renormalización: En un entorno no perturbativo, el marco estimó Hamiltonianos efectivos para redes de escala gruesa (coarse-grained) de $32\times32$ a $8\times8$ . Los Hamiltonianos estimados reprodujeron observables físicos (magnetización, susceptibilidad) con alta fidelidad (solapamiento de histogramas $>98\%$ ), validando la capacidad del método para capturar la dinámica de escala gruesa sin derivación analítica.
Comparación: El método propuesto superó significativamente al baseline MeSSY, el cual tuvo dificultades para converger en dimensiones $d>2$ y a menudo produjo expresiones con términos espurios.

Significancia y Reivindicaciones
Los autores posicionan este trabajo no como un nuevo algoritmo de SR, sino como un marco práctico para el descubrimiento científico. La principal significancia radica en la capacidad de automatizar la derivación de funciones de energía interpretables para sistemas complejos y de alta dimensión directamente desde los datos. El artículo afirma que este enfoque ofrece una alternativa viable a la formulación de modelos laboriosa y dirigida por expertos, particularmente en regímenes no perturbativos donde las soluciones analíticas no están disponibles.

Los autores señalan modestamente que el marco depende de sesgos inductivos motivados físicamente (tamaño de parche, librerías de primitivas) y que las expresiones estimadas son "aproximaciones simbólicas compactas e interpretables" en lugar de representaciones exactas de la dinámica subyacente. Reconocen que la escalabilidad está actualmente limitada por la capacidad del componente de SR para manejar un número muy grande de variables, lo que limita el descubrimiento de interacciones de largo alcance o no locales en sistemas que requieren parches muy grandes. Se sugiere como trabajo futuro abordar los comportamientos de cobertura de modos en los modelos generativos y extender el marco a sistemas fuera del equilibrio.

Más como este