⚛️ lattice

Symbolic Density Estimators for Unnormalized Distributions

Cet article présente un cadre qui combine des modèles génératifs profonds avec la régression symbolique pour estimer des formes symboliques interprétables de distributions de probabilité non normalisées à partir d'échantillons observés, démontrant son efficacité sur des données de test multivariées et sur des systèmes de physique computationnelle complexes tels que le modèle XY et la théorie $\phi^4$ .

Auteurs originaux : Vikas Kanaujia, Riyansha Singh, Shashank Sharma, Vipul Arora

Publié 2026-10-09

📖 7 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Vikas Kanaujia, Riyansha Singh, Shashank Sharma, Vipul Arora

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Dans les sciences physiques, comprendre comment le monde fonctionne revient souvent à décrire la manière dont les choses sont susceptibles de se comporter. Imaginez un système composé d'innombrables parties minuscules, comme des atomes dans un solide ou des spins dans un matériau magnétique. Ces parties ne se déplacent pas de manière aléatoire ; elles suivent des règles qui rendent certains arrangements du système beaucoup plus probables que d'autres. Les scientifiques décrivent ces probabilités à l'aide d'une carte mathématique appelée distribution de probabilité. Au sein de cette carte, il existe un paysage d'énergie caché, où le système s'installe naturellement dans les vallées les plus basses. Ce paysage énergétique, souvent appelé Hamiltonien, est la clé pour prédire comment le système réagira à la chaleur, à la pression ou au temps. Pendant des décennies, les physiciens se sont appuyés sur leur propre intuition et sur une connaissance théorique approfondie pour écrire les équations qui décrivent ces paysages énergétiques. Ils devinaient la forme de l'équation, puis ajustaient les nombres pour qu'ils correspondent aux données observées. Bien que cette approche ait bien fonctionné, elle est lente, laborieuse et entièrement dépendante de l'expertise humaine. Si les règles sous-jacentes sont trop complexes ou si le système se comporte de manières qui défient les hypothèses simples, la méthode traditionnelle se heurte à un mur.

Une équipe de chercheurs de l'IIT Kanpur et de la KU Leuven a développé une nouvelle façon de contourner ce goulot d'étranglement humain. Ils ont créé un cadre qui permet à un ordinateur d'examiner les données brutes d'un système complexe et d'écrire automatiquement l'équation mathématique qui décrit son énergie. Il ne s'agit pas seulement de trouver une courbe qui s'ajuste aux points ; il s'agit de découvrir le langage symbolique de la physique elle-même. Les chercheurs ont combiné deux types puissants d'intelligence artificielle. Premièrement, ils ont utilisé des modèles génératifs profonds, qui sont excellents pour apprendre la forme de nuages de données complexes et nous dire quelle est la probabilité de tout arrangement spécifique de particules. Deuxièmement, ils ont utilisé la régression symbolique, une technique qui recherche des formules mathématiques simples et lisibles plutôt que de simples prédictions de type « boîte noire ». En injectant les informations issues de la première IA dans la seconde, le système peut traduire les données désordonnées et de haute dimension d'un système physique en une équation propre et interprétable.

Les chercheurs ont testé cette méthode sur plusieurs scénarios exigeants, allant de distributions simples de type « jouet » à des modèles complexes utilisés en physique computationnelle. Dans une série d'expériences, ils ont étudié des systèmes présentant de nombreux « puits », ou vallées d'énergie profondes, qui sont notoirement difficiles à cartographier car les données sont dispersées à travers de nombreux états différents. Ils ont également examiné le modèle XY, un problème classique en physique qui décrit comment les spins sur une grille interagissent, et la théorie $\phi^4$ , utilisée pour étudier le comportement des champs en physique des particules. Dans chaque cas, le cadre a réussi à récupérer les équations d'énergie sous-jacentes directement à partir des données. Pour les systèmes plus simples, l'ordinateur a trouvé des approximations symboliques des formules que les experts humains auraient écrites, mais sans avoir besoin de connaissances préalables sur ce que ces formules devraient être. Il a correctement identifié les relations entre les variables et les nombres spécifiques qui les régissent, même lorsque les données étaient de haute dimension et bruitées, bien que les résultats soient mieux compris comme des approximations symboliques compactes plutôt que comme des identités exactes.

Ce qui rend ce travail particulièrement significatif est la manière dont il gère la partie la plus difficile du problème : le nombre considérable de variables. Dans des systèmes comprenant des milliers de parties en interaction, l'espace de recherche pour une formule mathématique devient impossiblement vaste. Pour résoudre cela, les chercheurs ont introduit une stratégie consistant à décomposer le système en petits patchs locaux. Au lieu d'essayer de trouver une seule équation géante pour l'ensemble du système, l'IA examine de petits voisinages de parties en interaction, trouve la règle pour cette petite portion, puis assemble ces règles. Cette approche, combinée à une technique ajoutant un bruit contrôlé aux données pour s'assurer que l'IA perçoive les états de haute énergie, bien que rares, mais importants, a permis au système de fonctionner efficacement même dans des contextes de haute dimension où d'autres méthodes échouent. Les résultats ont montré que le cadre proposé pouvait estimer des approximations symboliques compactes de la fonction d'énergie qui étaient non seulement précises, mais aussi physiquement significatives.

L'équipe a également appliqué sa méthode à un problème connu sous le nom de renormalisation, qui s'apparente à un zoom arrière sur une carte pour voir l'image globale tout en ignorant les détails minuscules. En physique, cela consiste à prendre un système à grain fin et à créer une version simplifiée et effective qui se comporte de la même manière à une échelle plus grande. Traditionnellement, dériver l'équation de cette version à plus grande échelle est un défi analytique massif, souvent impossible à résoudre à la main dans des régimes non perturbatifs complexes. Les chercheurs ont injecté dans leur cadre des données provenant d'un réseau à grain grossier et lui ont demandé de trouver la nouvelle équation d'énergie. Le système a produit avec succès des expressions symboliques qui correspondaient au comportement du système d'origine à travers différentes échelles. Ces expressions étaient cohérentes avec la physique connue et reproduisaient les propriétés statistiques du système, démontant que le cadre peut découvrir des lois effectives de la nature directement à partir des données, même lorsque la dérivation sous-jacente est trop complexe pour les méthodes analytiques traditionnelles.

L'étude a explicitement écarté l'idée qu'il s'agit simplement d'un exercice d'ajustement de courbe (curve-fitting). Les chercheurs ont comparé leur approche à des méthodes existantes qui tentent de deviner la forme d'une équation sur la base d'un ensemble fixe de blocs de construction. Ces anciennes méthodes échouaient souvent à converger ou produisaient des équations avec des coefficients incorrects et des termes superflus qui n'avaient pas leur place. En revanche, le nouveau cadre, en intégrant l'apprentissage profond à la recherche symbolique et en utilisant la factorisation locale, a systématiquement trouvé la structure correcte. Les chercheurs ont noté que, bien que la méthode repose sur certaines connaissances préalables, comme savoir quels types de fonctions mathématiques sont physiquement pertinents, elle n'a pas besoin de connaître la réponse finale à l'avance. Les résultats ont été robustes à travers de multiples essais aléatoires, montrant que le cadre découvre de manière fiable les interactions correctes et supprime les interactions non pertinentes.

En fin de compte, ce travail offre une nouvelle voie pour la découverte scientifique. Il suggère que nous pouvons dépasser les limites de l'intuition humaine lorsqu'il s'agit de formuler les lois qui régissent les systèmes complexes. En automatisant le processus de recherche du langage mathématique de la nature, le cadre permet aux scientifiques de tirer parti de la puissance de l'apprentissage automatique pour analyser de vastes ensembles de données, tout en conservant la clarté et l'aperçu d'une équation lisible par l'homme. Les chercheurs ont démontré que cette approche fonctionne pour une grande variété de systèmes, des distributions statistiques simples aux réseaux complexes de la physique des particules, fournissant un outil capable d'estimer les fonctions d'énergie de systèmes qui étaient auparavant trop difficiles à modéliser analytiquement. Les conclusions indiquent qu'avec la bonne combinaison d'apprentissage profond et de raisonnement symbolique, nous pouvons découvrir les règles cachées de l'univers directement à partir des données qu'il laisse derrière lui.

Résumé Technique : Estimateurs de Densité Symbolique pour les Distributions Non Normalisées

Énoncé du Problème
L'estimation de la forme symbolique ou analytique des fonctions de densité de probabilité (PDF) à partir d'échantillons observés est un défi fondamental en modélisation statistique et computationnelle. Bien que les modèles génératifs profonds (tels que les flux de normalisation et les modèles basés sur le score) excellent dans l'échantillonnage de distributions complexes, ils fonctionnent comme des estimateurs de type « boîte noire » qui ne fournissent pas d'expressions analytiques interprétables des fonctions d'énergie ou des hamiltoniens ( $H(x)$ ) sous-jacents. À l'inverse, les méthodes traditionnelles de régression symbolique (SR) peinent à passer à l'échelle pour les données de haute dimension et échouent souvent lorsque la distribution est non normalisée ou lorsque l'espace de recherche est trop vaste. Le problème central abordé est l'inférence automatique d'une représentation symbolique et analytique d'une distribution non normalisée directement à partir de données observées, sans dépendre lourdement de l'expertise manuelle du domaine pour la sélection des formes fonctionnelles.

Méthodologie
Les auteurs proposent un cadre en deux étapes qui intègre la modélisation générative profonde et la régression symbolique pour convertir un problème d'estimation de densité non supervisé en un problème de régression symbolique supervisée.

Étape de Modélisation Générative : Le cadre entraîne d'abord un modèle génératif profond sur les échantillons observés. Les auteurs utilisent deux types de modèles :
- Modèles basés sur la vraisemblance (Flux de Normalisation) : Ils fournissent la log-vraisemblance négative ( $-\log p_\theta(x)$ ), qui sert de cible pour la fonction d'énergie à une constante près.
- Modèles basés sur le score : Ils estiment la fonction de score $s(x) = \nabla_x \log p(x)$ . Pour pallier les difficultés d'intégration avec des scores symboliques complexes, les auteurs proposent de modéliser directement la fonction d'énergie $H_\theta(x)$ via un réseau de neurones et d'obtenir le score par différenciation automatique ( $s_\theta(x) = -\nabla_x H_\theta(x)$ ). L'appariement de score par débruitage (denoising score matching) est employé pour améliorer l'estimation dans les régions de faible densité.
Augmentation de Données : Pour garantir une estimation symbolique robuste, le cadre augmente les échantillons de haute densité originaux par des perturbations bruitées ( $x' = x + \epsilon$ ). Cela garantit que le modèle de SR voit des échantillons provenant à la fois de régions de haute et de basse densité, ce qui est crucial pour une estimation stable.
Étape de Régression Symbolique (SR) : Les sorties du modèle génératif (log-vraisemblances ou champs de score) servent d'étiquettes pour un algorithme de SR. La tâche de la SR consiste à trouver une expression concise de forme fermée $\hat{H}(x)$ qui approxime ces étiquettes. Le cadre utilise deux backends de SR :
- PySR : Un algorithme basé sur la programmation génétique.
- EQL (Equation Learner) : Une approche basée sur les réseaux de neurones profonds avec une régularisation parcimonieuse.
Biais Inductifs Clés : Pour rendre le problème traitable pour les systèmes de haute dimension (par exemple, les modèles de réseau), le cadre incorpore trois stratégies spécifiques :
- Factorisation Locale : Exploitant la localité spatiale des systèmes physiques, l'Hamiltonien global est factorisé en patchs locaux (par exemple, $2\times2$ ou $3\times3$ ). La SR estime la fonction d'énergie locale $\hat{h}(x_p)$ sur un petit nombre de variables, qui est ensuite sommée pour reconstruire l'énergie globale.
- Primitives Spécifiques à la Tâche : L'espace de recherche est contraint par l'inclusion de fonctions primitives spécifiques au domaine (par exemple, fonctions trigonométriques pour le modèle XY, polynômes pour la théorie $\phi^4$ ).
- Perturbation Multi-échelle : Comme mentionné précédemment, l'ajout de bruit aux échantillons améliore la couverture de l'espace d'états.

Contributions Clés

Intégration de Cadre : L'article introduit un cadre modulaire qui fait le pont entre les modèles génératifs profonds et la SR, permettant la découverte de fonctions d'énergie interprétables pour des distributions non normalisées sans assumer une forme paramétrique a priori.
Passage à l'Échelle via la Factorisation : En employant la factorisation locale de l'Hamiltonien, la méthode réduit efficacement la dimensionnalité de l'espace de recherche symbolique, permettant l'estimation de fonctions d'énergie pour des systèmes de réseaux de haute dimension (jusqu'à $d=64$ et au-delà dans les contextes de renormalisation) là où la SR standard échoue.
Gestion des Régimes Non-Perturbatifs : Le cadre estime avec succès les Hamiltoniens effectifs pour des systèmes fortement couplés (spécifiquement la renormalisation de la théorie $\phi^4$ ) où les dérivations analytiques ou perturbatives traditionnelles sont difficiles ou intraitables.
Robustesse à la Spécification Erronée : Les expériences démontrent que même lorsque la bibliothèque de primitives est mal spécifiée (par exemple, en supprimant les opérateurs trigonométriques pour le modèle XY), le cadre peut toujours récupérer des approximations polynomiales significatives des interactions sous-jacentes.

Résultats Expérimentaux
Le cadre a été évalué sur plusieurs jeux de données allant de distributions de jouets de faible dimension à des modèles de physique de réseaux de haute dimension :

Distributions de Jouets : Pour les Gaussiennes multivariées et les distributions à plusieurs puits, le cadre a obtenu une récupération quasi parfaite de l'Hamiltonien réel ( $R^2 \approx 1,0$ , MSE $\approx 0$ ) à travers les dimensions $d=2$ à $d=64$ . PySR a généralement nécessité moins d'échantillons ( $10^3$ ) que EQL ( $10^5$ ) pour obtenir des résultats comparables.
Modèle XY : Sur un réseau $8\times8$ ( $d=64$ ), le cadre a réussi à récupérer les termes d'interaction basés sur le cosinus. Les modèles basés sur le flux combinés avec PySR ont surpassé les méthodes basées sur le score et EQL, atteignant une précision et un rappel élevés sans termes parasites.
Théorie Scalaire $\phi^4$ : La méthode a estimé avec précision l'Hamiltonien local pour les régimes faiblement et fortement couplés. Notamment, PySR a identifié de manière cohérente les interactions de type plus proche voisin, même lorsque des tailles de patch plus grandes (introduisant plus de variables) étaient utilisées, supprimant efficacement les dépendances à longue portée non pertinentes.
Renormalisation : Dans un contexte non-perturbatif, le cadre a estimé les Hamiltoniens effectifs pour des réseaux de grossissement (de $32\times32$ à $8\times8$ ). Les Hamiltoniens estimés ont reproduit les observables physiques (magnétisation, susceptibilité) avec une grande fidélité (chevauchement d'histogramme $>98\%$ ), validant la capacité de la méthode à capturer la dynamique de grossissement sans dérivation analytique.
Comparaison : La méthode proposée a nettement surpassé la ligne de base MeSSY, qui peinait à converger dans les dimensions $d>2$ et produisait souvent des expressions avec des termes parasites.

Signification et Revendications
Les auteurs positionnent ce travail non pas comme un nouvel algorithme de SR, mais comme un cadre pratique pour la découverte scientifique. La principale signification réside dans la capacité d'automatiser la dérivation de fonctions d'énergie interprétables pour des systèmes complexes et de haute dimension directement à partir de données. L'article affirme que cette approche offre une alternative viable à la formulation de modèles laborieuse et dirigée par des experts, particulièrement dans les régimes non-perturbatifs où les solutions analytiques sont indisponibles.

Les auteurs notent modestement que le cadre repose sur des biais inductifs motivés par la physique (taille de patch, bibliothèques de primitives) et que les expressions estimées sont des « approximations symboliques compactes et interprétables » plutôt que des représentations exactes de la dynamique sous-jacente. Ils reconnaissent que la scalabilité est actuellement contrainte par la capacité de la composante SR à gérer un très grand nombre de variables, limitant la découverte d'interactions à longue portée ou non locales dans les systèmes nécessitant de très grands patchs. Des travaux futurs sont suggérés pour traiter les comportements de couverture de mode des modèles génératifs et pour étendre le cadre aux systèmes hors équilibre.

Articles similaires