VaSST: Variational Inference for Symbolic Regression using Soft Symbolic Trees

Each language version is independently generated for its own context, not a direct translation.

Imaginez que vous êtes un détective scientifique. Votre mission ? Découvrir les règles secrètes qui régissent l'univers en regardant simplement des données (comme la trajectoire d'une planète ou la température d'un métal). Le but n'est pas seulement de prédire l'avenir, mais de trouver la formule mathématique élégante (comme $E=mc^2$ ) qui explique pourquoi les choses se comportent ainsi.

C'est ce qu'on appelle la régression symbolique. Mais trouver ces formules est comme chercher une aiguille dans une botte de foin... une botte de foin qui contient des milliards d'aiguilles, et où chaque aiguille est une formule mathématique différente.

Voici comment l'article présente VaSST, une nouvelle méthode pour résoudre ce casse-tête, expliquée simplement.

1. Le Problème : Chercher dans le noir

Jusqu'à présent, les scientifiques utilisaient deux approches principales pour trouver ces formules :

L'approche "Évolutionniste" (comme un jardinier fou) : Ils laissaient des algorithmes générer des millions de formules au hasard, gardaient les meilleures, les mélangeaient et recommençaient. C'est lent, coûteux en énergie, et souvent, cela produit des formules trop compliquées et illisibles.
L'approche "Bayésienne" (comme un explorateur prudent) : Ils utilisaient des méthodes probabilistes pour explorer l'espace des formules. Mais c'était comme essayer de traverser une montagne avec des yeux bandés, en ne faisant que de petits pas. L'exploration était si lente qu'on ne trouvait jamais le sommet (la meilleure formule) à temps.

De plus, aucune de ces méthodes ne disait vraiment : "Je suis sûr à 90 % que c'est la bonne formule". Elles donnaient une réponse, mais pas un niveau de confiance.

2. La Solution VaSST : La "Pâte à Modeler" Mathématique

Les auteurs (Roy, Dey et Mallick) ont inventé VaSST. Pour comprendre leur idée, imaginons une pâte à modeler.

Dans les méthodes classiques, une formule est faite de blocs rigides : un signe "plus" ici, une variable "x" là. Pour changer la formule, il faut casser un bloc et en mettre un autre. C'est dur et discret.

VaSST, lui, utilise une pâte à modeler molle (ce qu'ils appellent des "arbres symboliques doux").

Au lieu d'avoir un signe "plus" fixe, ils ont une pâte qui est un mélange de "plus", "moins", "fois", etc.
Au début, la pâte est très fluide : c'est un mélange de toutes les possibilités.
L'algorithme "pousse" et "étire" cette pâte pour trouver la forme qui correspond le mieux aux données. C'est comme sculpter une statue à partir d'un bloc de glace mou : on peut faire glisser la matière partout très facilement grâce à des calculs de gradient (comme faire glisser un objet sur une pente).

3. Le Tour de Magie : De la Pâte à la Statue

Une fois que la pâte a trouvé la forme idéale (la formule la plus probable), VaSST la laisse "durcir".

Il transforme cette pâte molle en une statue rigide (une vraie formule mathématique avec des signes précis).
Le génie de la méthode, c'est qu'en observant comment la pâte a durci, on peut dire : "Tiens, il y avait 80 % de chances que ce soit un 'plus' et 20 % de chances que ce soit un 'fois'."

Cela permet de quantifier l'incertitude. Contrairement aux autres méthodes qui vous donnent une seule réponse, VaSST vous dit : "Voici la meilleure formule, mais voici aussi les 5 autres possibilités probables, et voici à quel point nous sommes sûrs."

4. Pourquoi c'est mieux ? (L'analogie du GPS)

Imaginez que vous cherchez une adresse dans une ville immense :

Les anciennes méthodes sont comme un randonneur qui marche au hasard ou un drone qui tourne lentement en boucle. Ils finissent par trouver, mais ça prend des heures et ils peuvent se perdre dans des impasses (des formules trop complexes).
VaSST est comme un GPS intelligent. Il utilise la "pâte molle" pour voir le terrain de manière continue. Il glisse directement vers la destination (la formule simple et précise) en suivant la pente la plus logique.
- Il est plus rapide (il trouve la formule en quelques secondes là où les autres mettent des minutes ou des heures).
- Il est plus précis (il évite les formules compliquées inutiles, respectant le principe du "rasoir d'Occam" : la solution la plus simple est souvent la bonne).
- Il vous donne un degré de confiance (il vous dit si la route est sûre ou s'il y a des brouillards).

En résumé

VaSST est un nouvel outil pour les scientifiques qui veulent découvrir les lois de l'univers. Au lieu de chercher frénétiquement dans un désert de formules, il utilise une astuce mathématique (la relaxation continue) pour "glisser" doucement vers la bonne réponse, tout en gardant une trace de toutes les possibilités pour ne jamais être aveugle face à l'incertitude.

C'est une façon plus intelligente, plus rapide et plus honnête de faire parler les données pour révéler les secrets de la nature.

Each language version is independently generated for its own context, not a direct translation.

1. Problématique

La régression symbolique (SR) vise à découvrir des expressions mathématiques explicites et fermées à partir de données, révélant ainsi les lois physiques sous-jacentes. Bien que cruciale pour la découverte scientifique (SciML), les méthodes existantes souffrent de limitations majeures :

Approches heuristiques : Les algorithmes génétiques (comme le Genetic Programming) souffrent d'une complexité computationnelle élevée, d'une sensibilité à l'initialisation et ont tendance à générer des formules excessivement complexes.
Approches bayésiennes existantes : Les méthodes basées sur les chaînes de Markov (MCMC), comme la Bayesian Machine Scientist (BMS) ou la Bayesian Symbolic Regression (BSR), peinent à explorer efficacement l'espace combinatoire hautement multimodal des expressions symboliques. Elles convergent lentement et manquent souvent d'efficacité.
Absence d'incertitude : La plupart des méthodes actuelles ne fournissent pas de quantification rigoureuse de l'incertitude sur la structure de l'équation découverte.
Dépendance aux données : Les méthodes basées sur l'apprentissage profond nécessitent souvent de grands volumes de données et des régimes à faible bruit.

L'objectif est de développer un cadre probabiliste complet, évolutif (scalable) et capable de fournir une quantification d'incertitude pour la régression symbolique.

2. Méthodologie : Le cadre VaSST

Les auteurs proposent VaSST (Variational Inference for Symbolic Regression using Soft Symbolic Trees), un cadre d'inférence variationnelle qui transforme le problème de recherche discrète en un problème d'optimisation continue.

A. Représentation par Arbres Symboliques Doux (Soft Symbolic Trees)

Au lieu de rechercher directement dans l'espace discret des arbres (opérateurs et variables), VaSST introduit une relaxation continue :

Arbre squelette : Chaque expression est encodée dans un arbre binaire complet de profondeur maximale fixe $D$ .
Variables latentes : Pour chaque nœud de l'arbre, trois variables discrètes sont définies :
1. $e_{j\zeta}$ : Indicateur d'expansion (nœud interne ou feuille).
2. $o_{j\zeta}$ : Opérateur assigné (si nœud interne).
3. $h_{j\zeta}$ : Variable/feature assignée (si feuille).
Relaxation continue : Ces variables discrètes sont remplacées par des distributions continues via :
- Binary Concrete pour l'indicateur d'expansion.
- Gumbel-Softmax pour les attributions d'opérateurs et de variables.
Évaluation douce : L'évaluation de l'arbre se fait par une interpolation pondérée (mélange convexe) de toutes les combinaisons possibles d'opérateurs et de variables, rendant le processus différentiable.

B. Inférence Variationnelle Noire (Black-Box Variational Inference)

Le modèle suppose que les réponses $y$ sont générées par un ensemble de $K$ arbres symboliques avec des coefficients de régression linéaire $\beta$ et un bruit $\sigma^2$ .

Postériorité : Le but est d'approximer la distribution postérieure sur la structure de l'arbre $\Theta$ et les paramètres.
Optimisation : Au lieu d'utiliser MCMC, VaSST maximise la borne inférieure de la vraisemblance (ELBO) en utilisant la rétropropagation du gradient (via l'auto-différentiation).
Planification de température (Annealing) : Les paramètres de température des relaxations (Concrete/Gumbel-Softmax) sont progressivement réduits au cours de l'entraînement, passant d'une exploration lisse à une convergence vers des structures quasi-discrètes.

C. Quantification de l'Incertitude et Sélection de Modèle

Une fois les paramètres variationnels optimaux $\phi^*$ appris, l'algorithme échantillonne des arbres symboliques durs (discrets) à partir des distributions apprises.
Une procédure de pruning déterministe convertit les arbres "doux" en arbres valides.
Les expressions candidates sont classées par leur erreur quadratique moyenne (RMSE) sur les données d'entraînement, permettant de sélectionner la structure la plus probable tout en conservant une distribution sur les structures alternatives.

D. Régularisation et Occam's Razor

Une probabilité de division dépendante de la profondeur est intégrée dans l'a priori. Elle pénalise les arbres profonds et complexes, favorisant ainsi la parcimonie structurelle (principe du rasoir d'Occam) et évitant le surajustement.

3. Contributions Clés

Premier cadre variationnel évolutif pour la SR : VaSST est la première méthode à appliquer l'inférence variationnelle avec relaxation continue à la régression symbolique, permettant une optimisation par gradient efficace.
Quantification d'incertitude rigoureuse : Contrairement aux méthodes heuristiques, VaSST fournit une distribution postérieure sur les structures d'arbres, permettant d'évaluer la confiance dans les équations découvertes.
Gestion de la complexité : L'utilisation de priors dépendants de la profondeur permet de découvrir des équations parcimonieuses sans avoir besoin de post-traitement agressif.
Performance computationnelle : La méthode est significativement plus rapide que les approches bayésiennes basées sur MCMC (comme BMS et BSR) tout en maintenant une haute précision.

4. Résultats Expérimentaux

Les auteurs ont évalué VaSST sur des simulations et la base de données Feynman Symbolic Regression Database (plus de 100 équations de physique), en le comparant à l'état de l'art (QLattice, gplearn, DEAP, BMS, BSR).

Précision Structurelle : VaSST a réussi à retrouver les expressions exactes (ground truth) pour la majorité des équations de Feynman, y compris dans des régimes bruyants ( $\sigma^2 = 0.12, 0.22$ ). Il a surpassé les autres méthodes, notamment BMS (qui a échoué sur certaines équations complexes comme la loi de Fourier) et les méthodes génétiques (qui produisaient des formules trop complexes).
Précision Prédictive : VaSST a atteint les RMSE (Root Mean Square Error) les plus bas ou compétitifs sur les ensembles de test, démontrant une excellente capacité de généralisation.
Robustesse au bruit : La méthode a maintenu sa stabilité structurelle même avec un bruit d'observation élevé, là où d'autres méthodes ont dégénéré en formules complexes et inexploitables.
Efficacité Computationnelle : VaSST est plus rapide que les méthodes bayésiennes concurrentes (BMS, BSR). Par exemple, sur les équations de Feynman, VaSST a nécessité environ 85-120 secondes par exécution, contre 130-215 secondes pour BMS et BSR.
Interprétabilité : Les expressions découvertes sont concises et physiquement interprétables, respectant le principe de parcimonie.

5. Signification et Impact

Ce travail représente une avancée significative dans le domaine de la Science Machine Learning (SciML) :

Changement de paradigme : Il déplace la régression symbolique de la recherche heuristique ou MCMC coûteuse vers l'optimisation par gradient, rendant le processus scalable pour des problèmes plus complexes.
Fiabilité scientifique : En fournissant une quantification d'incertitude, VaSST répond à un besoin critique de la découverte scientifique : ne pas seulement trouver une équation, mais comprendre la confiance associée à cette découverte.
Accessibilité : La méthode est implémentée en Python et disponible publiquement, facilitant son adoption par la communauté scientifique pour l'extraction de lois physiques à partir de données expérimentales.

En résumé, VaSST combine la rigueur probabiliste de l'inférence bayésienne avec l'efficacité computationnelle de l'apprentissage profond, offrant un outil puissant pour la découverte de lois scientifiques explicites.