📊 statistics

Probabilistic Symbolic Regression for Equation Discovery via Operator-induced and Regularized Symbolic Forests

Cet article introduit un cadre de régression symbolique probabiliste qui utilise des forêts symboliques induites par des opérateurs et régularisées pour atteindre simultanément une haute précision prédictive, une complexité d'expression optimale et une quantification robuste de l'incertitude, tout en fournissant des garanties théoriques de concentration du postérieur sous des conditions symboliques exactes et de spécification erronée.

Auteurs originaux : Somjit Roy, Pritam Dey, Bani K. Mallick, Debdeep Pati

Publié 2026-07-28

📖 3 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Somjit Roy, Pritam Dey, Bani K. Mallick, Debdeep Pati

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous soyez un détective tentant de résoudre un mystère, mais qu'au lieu de chercher des empreintes digitales ou des empreintes de pas, vous cherchiez les règles mathématiques cachées qui régissent l'univers. C'est le monde de l'apprentissage automatique scientifique (scientific machine learning), un domaine où les ordinateurs tentent d'apprendre à partir de données non seulement pour faire des prédictions (comme deviner la météo de demain), mais pour découvrir les équations réelles qui expliquent comment les choses fonctionnent. Habituellement, les ordinateurs sont excellents pour trouver des motifs, mais ils nous donnent souvent des réponses qui ressemblent à une pelote de laine emmêlée — extrêmement précises mais impossibles à lire ou à comprendre pour un humain. La régression symbolique est l'outil spécial que les scientifiques utilisent pour démêler cette pelote. Elle recherche des formules simples et épurées (comme $F=ma$) qui s'ajustent aux données, plutôt que des modèles informatiques complexes et opaques. Le grand défi, cependant, est qu'il existe tellement de formules possibles que trouver la bonne revient à chercher une seule aiguille dans une botte de foin de la taille d'une galaxie, et il est facile de se faire piéger par le « bruit » (les erreurs aléatoires dans les données) en croyant qu'une fausse formule est la bonne.

Entrez en scène BayeSymX, une nouvelle méthode introduite par Somjit Roy et son équipe qui agit comme un détective super intelligent et prudent pour trouver ces lois mathématiques. Au lieu de simplement deviner une réponse et espérer qu'elle soit correcte, BayeSymX traite la recherche comme un jeu probabiliste. Imaginez une forêt où chaque arbre représente une équation différente. BayeSymX ne se contente pas de choisir l'arbre le plus haut ; elle fait pousser toute une forêt d'équations candidates, évalue la probabilité que chacune soit vraie en fonction des données, et utilise une règle spéciale de « l'Occam's Razor » (le rasoir d'Ockham) pour élaguer les plus compliquées. Les chercheurs ont découvert que cette approche est incroyablement efficace : elle ne se contente pas de prédire les données mieux que les autres méthodes de pointe, mais elle récupère aussi la structure simple et correcte d'équations physiques célèbres (comme celles des cours de Feynman), même lorsque les données sont bruitées. Dans un test en conditions réelles impliquant de nouveaux matériaux pour des catalyseurs d'énergie propre, BayeSymX a réussi à identifier des « descripteurs » compacts et scientifiquement significatifs que d'autres méthodes avaient manqués ou enfouis sous des couches de complexité inutile. L'équipe a prouvé mathématiquement que leur méthode est fiable, montrant qu'à mesure que de nouvelles données arrivent, la confiance de la méthode dans la bonne équation croît rapidement, se concentrant efficacement sur la vérité même quand la formule parfaite n'est pas immédiatement évidente.

Résumé Technique : Régression Symbolique Probabiliste pour la Découverte d'Équations via des Forêts Symboliques Régularisées et Induites par Opérateurs

1. Énoncé du Problème

La régression symbolique (SR) vise à découvrir des expressions analytiques interprétables qui régissent les relations entrées-sorties directement à partir de données, une tâche centrale en apprentissage automatique scientifique. Bien que les méthodes de SR existantes (par exemple, la programmation génétique, la régression symbolique profonde et les approches de compression de signal) aient montré des promesses, elles font face à des défis statistiques et computationnels importants :

Dépendance aux Heuristiques : De nombreuses méthodes reposent sur des heuristiques de recherche stochastiques qui peinent à équilibrer la précision prédictive et la complexité de l'expression, particulièrement dans les jeux de données scientifiques bruités et de petits échantillons.
Caractérisation de l'Incertitude : Les approches actuelles offrent une caractérisation limitée de l'incertitude symbolique, retournant souvent une expression unique « optimale » sans quantifier la plausibilité d'explications structurelles alternatives.
Lacunes Théoriques : Il existe une rareté de traitements théoriques concernant les taux de concentration a posteriori pour la régression symbolique, particulièrement dans des conditions de spécification erronée ou de non-identifiabilité (où des expressions algébriquement distinctes produisent des prédictions identiques).

L'article traite ces lacunes en proposant un cadre probabiliste unifié qui traite les expressions symboliques comme des ensembles d'arbres, permettant une propagation complète de l'incertitude et des garanties théoriques rigoureuses.

2. Méthodologie : Le Cadre BayeSymX

Les auteurs introduisent BayeSymX (Bayesian Symbolic regression forests for eXpression discovery), un cadre probabiliste qui modélise la surface de régression inconnue $f$ comme une combinaison affine d'arbres symboliques (une « forêt symbolique »).

2.1 Structure du Modèle

Le modèle suppose que les observations $y_i = f(x_i) + \epsilon_i$ , où :
$y_i = \beta_0 + \sum_{j=1}^K g(x_i; T_j)\beta_j + \epsilon_i$
Ici, $g(x; T_j)$ représente l'évaluation du $j$ -ème arbre symbolique $T_j$ , et $\beta$ sont les coefficients de régression extérieurs. Les arbres sont construits de manière récursive à partir d'une bibliothèque de caractéristiques primaires et d'opérateurs mathématiques (unaires et binaires).

2.2 Spécifications des Priors

Le cadre emploie une spécification bayésienne hiérarchique conçue pour régulariser la complexité et apprendre des préférences adaptatives aux données :

Prior de Topologie d'Arbre : Une probabilité de division dépendante de la profondeur $p_m = \alpha_0(1+m)^{-\delta_0}$ pénalise les arbres profonds, imposant une forme de rasoir d'Occam qui favorise les représentations plus simples.
Priors d'Opérateurs et de Caractéristiques : Contrairement aux approches à poids fixes, BayeSymX utilise des priors de Dirichlet sur les poids d'assignation des opérateurs et des caractéristiques spécifiques à chaque arbre. Cela permet au modèle d'apprendre de manière adaptative quels opérateurs et caractéristiques sont pertinents pour des arbres spécifiques.
Coefficients de Régression : Des priors conjugués Normaux-Inverse-Gamma (NIG) sont placés sur les coefficients $\beta$ et la variance du bruit $\sigma^2$ , assurant une propagation complète de l'incertitude à travers tous les paramètres du modèle.

2.3 Inférence A Posteriori

Marginalisation : Les paramètres continus $(\beta, \sigma^2)$ sont marginalisés analytiquement via la conjugaison NIG, produisant une distribution a posteriori marginale jointe (JMP) sur l'espace discret des forêts symboliques.
Échantillonnage : Un échantillonneur de type Metropolis-au-sein-d'un Gibbs partiellement effondré est utilisé pour explorer l'espace des expressions symboliques. L'échantillonneur emploie sept mouvements d'arbres locaux (croissance, élagage, remplacement de sous-arbre, suppression, insertion, changement de caractéristique, changement d'opérateur) pour naviguer dans l'espace discret.
Sélection de Modèle (Fenêtre d'Occam) : Au lieu de sélectionner un seul meilleur arbre, BayeSymX utilise une approche de fenêtre d'Occam. Elle conserve un ensemble de forêts à haute probabilité a posteriori ( $J_r$ ) pour capturer l'incertitude à travers plusieurs modèles symboliques plausibles.
Raffinement : Une étape de raffinement post-MCMC utilise le critère d'information bayésien (BIC) pour élaguer les arbres redondants et simplifier algébriquement les expressions finales.

3. Contributions Clés

3.1 Garanties Théoriques

L'article établit de nouveaux résultats de concentration a posteriori pour la régression symbolique, un domaine manquant jusqu'alors de traitement théorique rigoureux :

Réalisabilité Approchée : Sous des hypothèses de régularité modérées, les auteurs prouvent que le postérieur se concentre autour de la fonction génératrice de données réelle $f_0$ à un taux régi par l'échange entre l'erreur d'approximation empirique et une nouvelle échelle de complexité symbolique ( $\mathfrak{C}_{K,S,n}$ ) dérivée.
Taux Quasi-Paramétriques : Dans le cas d'une représentabilité symbolique finie exacte, le cadre atteint un taux de concentration quasi-paramétrique de $O(n^{-1/2}(\log n \log \log n)^{1/2})$ .
Spécification Erronée et Inégalités d'Oracle : Sous spécification symbolique erronée (où $f_0$ n'est pas dans la classe du modèle), l'article établit un résultat de concentration d'oracle précis. Le postérieur se concentre autour de l'erreur d'approximation de la population optimale sans nécessiter l'existence d'un ensemble fini de minimiseurs de Kullback-Leibler ou de conditions de test spécialisées typiquement requises dans la théorie classique de la spécification erronée.
Gestion de la Non-Identifiabilité : Les garanties sont formulées au niveau des fonctions prédictives, reconnaissant que de multiples structures symboliques distinctes peuvent représenter la même fonction.

3.2 Innovations Méthodologiques

Forêts Induites par Opérateurs : L'utilisation de forêts (ensembles) plutôt que d'arbres uniques permet des structures scientifiques additives tout en maintenant l'interprétabilité.
Apprentissage Adaptatif aux Données : Les priors de Dirichlet sur les poids d'opérateurs/caractéristiques permettent au modèle d'apprendre les préférences structurelles de manière adaptative, évitant les contraintes rigides des priors à poids fixes trouvés dans les méthodes de SR bayésiennes précédentes (ex: BSR).
Synthèse Sensible à l'Incertitude : La stratégie de la fenêtre d'Occam fournit un moyen principled pour rapporter plusieurs hypothèses scientifiques concurrentes plutôt qu'une estimation ponctuelle unique.

4. Résultats Empiriques

Les auteurs évaluent BayeSymX par rapport aux concurrents de pointe (incluant gplearn, operon, PySR, DSR, QLattice, SISSO++, BMS et BSR) sur deux benchmarks distincts :

4.1 Équations de Feynman (SRBench)

Configuration : Récupération de 5 lois physiques issues des cours de Feynman sous différents niveaux de bruit et complexités structurelles.
Résultats : BayeSymX a systématiquement atteint un équilibre supérieur entre précision prédictive (RMSE de test le plus bas), parcimonie symbolique (expressions compactes) et récupération structurelle exacte. Les méthodes concurrentes ont souvent soit échoué à récupérer la structure correcte, soit produit des expressions trop complexes pour atteindre une précision similaire. BayeSymX a démontré une robustesse face à l'augmentation des niveaux de bruit là où les autres méthodes se sont dégradées de manière significative.

4.2 Découverte de Catalyseurs de Perovskite d'Oxyde

Configuration : Découverte de « gènes de matériaux » (descripteurs) reliant la composition du catalyseur à l'activité de la réaction d'évolution de l'oxygène (OER).
Résultats : BayeSymX a identifié des expressions de descripteurs compactes et scientifiquement interprétables (26–40 nœuds) qui ont récupéré des relations structure-activité connues (impliquant par exemple le facteur de tolérance $\mu$ , les électronégativités $\chi_A, \chi_B$ ). En revanche, des concurrents à haute précision comme operon ont produit des expressions lourdes (90–104 nœuds), tandis que des méthodes compactes comme PySR présentaient une performance prédictive plus faible. BayeSymX occupait la frontière de Pareto du compromis précision-complexité.

5. Signification et Revendications

L'article affirme que BayeSymX représente une avancée significative dans la régression symbolique probabiliste en :

Unifiant Structure et Incertitude : Fournissant un cadre qui apprend conjointement la structure symbolique, contrôle la complexité via la régularisation et quantifie l'incertitude à travers plusieurs modèles plausibles.
Rigueur Théorique : Offrant les premiers garanties de concentration a posteriori pour la régression symbolique qui gèrent à la fois la représentabilité exacte et la spécification erronée, établissant des taux quasi-paramétriques et des inégalités d'oracle précises.
Utilité Scientifique : Démontrant que les approches probabilistes peuvent surpasser les méthodes heuristiques et basées sur le deep learning pour récupérer des lois scientifiques interprétables, particulièrement dans les régimes de faibles échantillons et de bruit typiques de la découverte de matériaux et de la physique.

Les auteurs concluent que le cadre est particulièrement adapté aux contextes de découverte scientifique où la connaissance du domaine guide la sélection des caractéristiques, mais où la forme fonctionnelle sous-jacente reste inconnue et nécessite une gestion robuste de l'incertitude structurelle.