🤖 machine learning

Deep Variational Inference Symbolic Regression

Ce papier présente la Régression Symbolique Variationnelle Inférentielle Profonde (DVISR), une extension bayésienne variationnelle de la Régression Symbolique Profonde qui infère des distributions a posteriori sur les arbres d'expressions et leurs constantes afin de permettre une régression symbolique évolutive et consciente des incertitudes.

Auteurs originaux : James Butterworth, Gevik Grigorian, Alejandro DiazDelaO

Publié 2026-05-05

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : James Butterworth, Gevik Grigorian, Alejandro DiazDelaO

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous êtes un détective tentant de résoudre une énigme : vous avez une pile de indices (points de données), et votre objectif est de trouver la formule mathématique exacte qui explique comment ces indices s'assemblent.

La Régression Symbolique est le nom de ce jeu de détective. Contrairement à la régression standard, qui vous force à deviner une forme spécifique pour la formule (comme « cela doit être une ligne droite » ou « cela doit être une courbe »), la régression symbolique dit : « Nous ne connaissons pas encore la forme. Essayons n'importe quelle combinaison de symboles mathématiques (plus, moins, fois, sin, log) jusqu'à ce que nous trouvions celle qui correspond parfaitement aux indices. »

Le Problème avec les Anciens Détectives

L'article discute de deux principales méthodes que les gens ont utilisées jusqu'à présent pour résoudre ce jeu :

Le Détective du « Meilleur Essai » (Régression Symbolique Profonde ou DSR) : Cette méthode utilise une IA intelligente (un réseau de neurones) pour générer des formules. Elle en essaie des milliers et sélectionne la seule « meilleure » qui correspond aux données.
- Le Défaut : Elle ne vous donne qu'une seule réponse. Si les données sont bruyantes ou désordonnées, le détective peut choisir la mauvaise formule et en être 100 % certain, même s'il a tort. Il ne vous indique pas son degré d'incertitude.
Le Détective « Lent et Régulier » (MCMC) : Il s'agit d'une méthode bayésienne traditionnelle. Au lieu de choisir un seul gagnant, elle tente de cartographier la probabilité que chaque formule possible soit la bonne. Elle vous offre une image complète de l'incertitude.
- Le Défaut : Elle est incroyablement lente. À mesure que le nombre de formules possibles augmente (ce qui arrive rapidement), ce détective reste bloqué dans les embouteillages et ne peut pas terminer le travail.

La Nouvelle Solution : DVISR

Les auteurs présentent DVISR (Régression Symbolique par Inférence Variationnelle Profonde). Imaginez cela comme un détective surpuissant et accéléré qui combine la rapidité de l'IA avec la vérification de l'incertitude de la méthode bayésienne.

Voici comment cela fonctionne, en utilisant une analogie créative :

1. La « Bibliothèque Infinie » de Formules

Imaginez une bibliothèque contenant chaque formule mathématique possible que vous pourriez jamais écrire. La plupart de ces formules sont absurdes (comme sin(x) + 999). Quelques-unes sont brillantes.

L'ancien DSR entre dans la bibliothèque, saisit un livre, vérifie s'il correspond, et s'il est le meilleur jusqu'à présent, il garde ce seul livre et jette le reste.
DVISR entre et tente de construire une carte mentale de toute la bibliothèque. Il ne se contente pas de choisir un livre ; il apprend quels livres sont susceptibles d'être la réponse et lesquels ne le sont pas.

2. La « Boussole Magique » (Le Système de Récompense)

Dans l'ancienne méthode d'IA, l'ordinateur était récompensé simplement pour être « proche » des données.
Dans DVISR, l'ordinateur reçoit une nouvelle boussole, plus complexe, appelée ELBO (Limite Inférieure de la Preuve).

Au lieu de simplement dire : « Cette formule correspond bien », la boussole dit : « Cette formule correspond bien, ET elle n'est pas trop compliquée, ET elle est cohérente avec ce que nous croyons déjà. »
En suivant cette boussole, l'IA apprend à approximer la carte entière des possibilités, et non pas seulement le seul pic optimal.

3. Les « Constantes Métamorphiques »

Dans les formules mathématiques, vous avez souvent des nombres (constantes) qui doivent être ajustés, comme le 2 dans 2x.

L'ancien DSR traite ces nombres comme des cadrans fixes. Il trouve une formule, puis passe du temps supplémentaire à tourner les cadrans pour obtenir le nombre parfait.
DVISR traite ces nombres comme des nuages. Au lieu de deviner un nombre spécifique (par exemple : « C'est exactement 2,5 »), l'IA devine une distribution (par exemple : « C'est probablement entre 2,4 et 2,6 »). Elle apprend la forme du nuage pour chaque nombre de la formule simultanément.

Qu'ont-ils Démontré ?

Les auteurs ont mené des expériences pour voir si leur nouveau détective fonctionne réellement :

Cas Simples : Ils ont donné à l'IA des énigmes simples (comme y = x au carré).
- Résultat : L'IA a réussi à construire une carte correspondant parfaitement à la réponse « vraie ». Elle n'a pas seulement trouvé la bonne formule ; elle a correctement calculé la probabilité que la formule soit juste, correspondant exactement aux mathématiques théoriques.
Le Test de la « Grande Bibliothèque » : Ils ont rendu la bibliothèque de formules possibles de plus en plus grande.
- Résultat : À mesure que la bibliothèque devenait immense, la carte de l'IA devenait légèrement moins parfaite (elle ne pouvait pas capturer chaque détail minuscule), mais elle fonctionnait encore raisonnablement bien pour les problèmes plus petits.
- La Limite : L'article admet que si les formules deviennent trop longues et complexes, l'IA commence à avoir du mal, tout comme l'ancien détective lent.

La Conclusion

Cet article présente un nouvel outil permettant aux ordinateurs non seulement de trouver la meilleure équation mathématique pour un ensemble de données, mais aussi de quantifier leur propre incertitude.

Au lieu de dire : « La réponse est définitivement y = x^2 », DVISR peut dire : « La réponse est probablement y = x^2, mais il y a une petite chance que ce soit y = x^2 + 0,1, et nous sommes sûrs à 95 % que le nombre 0,1 se situe entre 0 et 0,2. »

Les auteurs concluent que, bien que cela représente une avancée significative pour rendre l'IA plus transparente et fiable, elle doit encore devenir plus rapide et gérer des problèmes beaucoup plus vastes et réels avant de pouvoir être utilisée partout. Ils ont construit le moteur ; maintenant, ils doivent le faire rouler sur l'autoroute.

Résumé technique : Régression symbolique par inférence variationnelle profonde (DVISR)

Énoncé du problème

La régression symbolique (SR) vise à découvrir des relations mathématiques explicites et interprétables entre des variables indépendantes et dépendantes, sans supposer a priori une forme fonctionnelle. Bien que les méthodes traditionnelles comme la programmation génétique (PG) et la régression symbolique profonde (DSR) parviennent à identifier des expressions uniques offrant le meilleur ajustement, elles ne possèdent pas la capacité d'inférer une distribution de probabilité sur les modèles candidats. Cette limitation empêche la quantification de l'incertitude, ce qui est crucial lorsqu'on traite de données réelles bruitées ou limitées.

Les approches bayésiennes existantes, telles que les chaînes de Markov-Monte Carlo (MCMC), peuvent échantillonner avec précision à partir de la distribution a posteriori, mais elles peinent à s'adapter à l'échelle dans les espaces de grande dimension et sont computationnellement plus lentes que les méthodes variationnelles. À l'inverse, l'inférence variationnelle (VI) offre des alternatives plus rapides et évolutives, mais son application à la SR reste limitée. Les tentatives antérieures de régression symbolique variationnelle ont été restreintes aux réseaux de neurones polynomiaux ou à des sous-ensembles de l'espace des expressions en raison de l'ingérabilité computationnelle. Il existe un besoin pour une approche bayésienne variationnelle évolutive qui infère des distributions a posteriori sur les arbres d'expressions et leurs constantes associées.

Méthodologie

Les auteurs proposent la régression symbolique par inférence variationnelle profonde (DVISR), une extension bayésienne variationnelle de l'algorithme de régression symbolique profonde (DSR). DVISR utilise un réseau de neurones récurrent (RNN) pour générer des expressions symboliques et emploie la méthode de gradient de politique REINFORCE pour l'optimisation.

Modifications architecturales et algorithmiques clés

Distribution sur les constantes : Contrairement à DSR, qui optimise les constantes en aval via des procédures séparées, DVISR étend la sortie du RNN pour inclure des paramètres (moyenne et variance) de distributions normales sur les valeurs constantes. Lorsqu'un jeton constant est échantillonné, sa valeur est tirée de cette distribution apprise.
Contexte d'entrée amélioré : Pour aider le RNN dans l'échantillonnage, le réseau reçoit le jeton précédent, le jeton parent et les jetons frères (s'ils existent) en tant qu'entrées, ainsi que les valeurs des constantes précédemment échantillonnées. Cela comble les limitations de DSR où le réseau pourrait ne pas « voir » tous les jetons précédents.
Fonction de récompense et objectif :
- DSR : Maximise une récompense basée sur l'erreur quadratique moyenne normalisée (NRMSE), bornée par une fonction de compression, pour trouver un seul meilleur modèle.
- DVISR : Remplace la récompense NRMSE par l'intégrande de la borne inférieure de l'évidence (ELBO). La fonction de récompense est définie comme suit :
  $R(f) = \log \mathcal{L}_\theta(f|X, y) + \log p(f) - \log q_\phi(f)$
  Où $\mathcal{L}_\theta$ est la vraisemblance, $p(f)$ est l'a priori, et $q_\phi(f)$ est la distribution variationnelle.
- En maximisant cette récompense via REINFORCE, DVISR minimise indirectement la divergence de Kullback-Leibler (KL) entre la distribution variationnelle $q_\phi(f)$ et la vraie distribution a posteriori $p(f|X, y)$ .
Calcul de la vraisemblance : La vraisemblance d'une expression $f$ est calculée comme le produit des vraisemblances de ses jetons et constantes, conditionnée par tous les jetons et constantes précédemment échantillonnés.

Contributions clés

Algorithme novateur : Introduction de DVISR, le premier algorithme à effectuer une inférence variationnelle sur l'espace complet de la régression symbolique, incluant à la fois les arbres d'expressions et les paramètres constants continus.
Récupération de l'a posteriori : Démonstration que DVISR peut converger correctement vers la vraie distribution a posteriori dans des configurations simples, avec et sans jetons constants.
Analyse d'évolutivité : Un examen de la manière dont les performances de DVISR se dégradent à mesure que la taille de l'espace des expressions augmente, identifiant les limites de l'architecture actuelle.

Résultats expérimentaux

Les auteurs ont mené des expériences pour valider la convergence et l'évolutivité de DVISR.

1. Convergence vers la vraie distribution a posteriori (sans constantes)

Dans des expériences simples utilisant des données générées à partir de $y=x_0^2$ , $y=x_0$ et $y=0.5$ avec une bibliothèque de jetons restreinte, l'espace des modèles était petit et fini.

Résultats : L'ELBO a convergé vers le logarithme de l'évidence, et la divergence KL a tendu vers zéro.
Validation : Le tableau 1 montre que les probabilités variationnelles médianes correspondaient aux valeurs de la vraie distribution a posteriori à huit décimales près sur 10 exécutions.

2. Convergence avec constantes

Les expériences ont inclus un jeton constant ( $c$ ) dans la bibliothèque, permettant des expressions telles que $x_0 \cdot c$ .

Méthode : La vraie distribution a posteriori a été calculée en marginalisant les constantes à l'aide d'un intégrateur numérique.
Résultats : Le tableau 2 démontre que la distribution variationnelle sur les arbres d'expressions a convergé vers la vraie distribution a posteriori exacte (marginalisée sur les constantes) à huit décimales près.

3. Évolutivité

Les auteurs ont fait varier la taille maximale des expressions de 1 à 12 jetons pour tester l'évolutivité.

Constats : À mesure que la taille maximale des expressions augmentait, la divergence KL estimée entre la vraie distribution a posteriori et la distribution variationnelle augmentait.
Limitation : Les expériences au-delà de la taille 12 n'ont pas été réalisées en raison de la difficulté computationnelle du calcul de l'évidence à cette échelle. Cela indique que, bien que DVISR fonctionne pour de petits espaces, les performances se dégradent à mesure que l'espace de recherche s'étend.

Importance et affirmations

L'article présente DVISR comme une étape significative vers la régression symbolique bayésienne évolutive fournissant une quantification de l'incertitude sur des modèles symboliques complets.

Interprétabilité et incertitude : En inférant une distribution a posteriori plutôt qu'une estimation ponctuelle unique, DVISR adresse le caractère « boîte noire » de certains modèles de régression et prend en compte le bruit et les limitations des données.
Avancée par rapport aux MCMC : Il offre une alternative plus rapide aux MCMC pour la régression symbolique bayésienne, qui est généralement lente et peine avec les hautes dimensions.
Portée modeste : Les auteurs reconnaissent les limitations actuelles, notamment les petites tailles d'expressions, le faible nombre de variables indépendantes et l'absence de jeux de données réels. Ils ne revendiquent pas une supériorité immédiate sur des problèmes complexes du monde réel, mais soutiennent que DVISR établit un cadre fondamental.
Perspectives futures : L'article suggère que des travaux futurs pourraient améliorer l'évolutivité grâce à des balayages d'hyperparamètres, des architectures avancées (par exemple, les Transformers) ou des algorithmes d'apprentissage par renforcement plus sophistiqués (par exemple, PPO).