🤖 machine learning

Are you sure? A Comprehensive and Comprehensible Survey of Uncertainty Quantification in Symbolic Regression

Cette étude traite de la lacune critique en matière de quantification de l'incertitude (UQ) pour la régression symbolique en introduisant des concepts essentiels, en passant en revue la littérature existante à travers les approches fréquentistes, bayésiennes et de sélection de modèles, et en soulignant la nécessité de recherches supplémentaires pour permettre une prise de décision fiable dans le monde réel.

Auteurs originaux : Julia Reuter, Fabricio Olivetti de Franca

Publié 2026-06-08

📖 7 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Julia Reuter, Fabricio Olivetti de Franca

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous êtes un détective essayant de résoudre un mystère en utilisant un ensemble d'indices (données). Votre objectif est de trouver la « règle » ou la « formule » parfaite qui explique comment ces indices s'assemblent. C'est ce que fait la Régression Symbolique (RS) : elle fouille dans une immense bibliothèque de fonctions mathématiques pour trouver celle qui décrit le mieux vos données.

Cependant, dans le monde réel, les indices sont rarement parfaits. Ils peuvent être tachés, mesurés d'une main tremblante, ou simplement intrinsèquement aléatoires. C'est là qu'intervient la Quantification de l'Incertitude (QI). Voyez la QI comme le « compteur de confiance » du détective. Au lieu de simplement dire : « La règle est $y = 2x$ », un bon détective doté de la QI dira : « La règle est probablement $y = 2x$ , mais je n'en suis sûr qu'à 95 %, et la vraie réponse pourrait se situer n'importe où entre $1,8x$ et $2,2x$ . »

Cet article est une enquête exhaustive (une grande revue) sur la manière dont les chercheurs tentent actuellement de construire ces « compteurs de confiance » pour la Régression Symbolique. Les auteurs soutiennent que, bien que la RS s'améliore pour trouver des règles, elle est encore très mauvaise pour nous dire à quel point nous devrions avoir confiance en ces règles.

Voici une décomposition des idées principales de l'article en utilisant des analogies simples :

1. Les deux types de « doute »

L'article explique qu'il y a deux raisons principales pour lesquelles un détective pourrait être incertain :

Les « indices désordonnés » (Incertitude Aléatoire) : Imaginez que vous essayiez de mesurer la hauteur d'une balle qui rebondit. Peu importe le nombre de fois où vous la mesurez, elle rebondira différemment à chaque fois. C'est un bruit que vous ne pouvez pas éliminer, même avec plus de données. La QI vous aide à réaliser : « Hé, la balle est juste chaotique ; je ne peux pas prédire le rebond exact, seulement la moyenne. »
La « connaissance manquante » (Incertitude Épistémique) : Imaginez que vous essayez de deviner un code secret, mais que vous n'avez que trois indices. Vous ne connaissez pas la règle parce que vous n'avez pas vu assez d'exemples encore. C'est un manque de connaissances. Si vous obtenez plus d'indices, vous pouvez réduire ce doute. La QI vous aide à réaliser : « Je devine ici parce que je n'ai pas vu assez de données. »

2. Les trois façons de mesurer la confiance

L'article organise les méthodes actuelles en trois « écoles de pensée » sur la façon de calculer ce compteur de confiance :

A. L'approche Frequentiste (Le club « Répéter l'expérience »)

L'analogie : Imaginez que vous cuisez un gâteau et qu'il est parfait. Pour savoir s'il est vraiment parfait ou s'il a juste eu de la chance, vous le cuisez 100 fois. S'il est excellent 95 fois, vous êtes confiant.
Comment cela fonctionne : Ces méthodes supposent qu'il existe une règle « vraie » quelque part, mais que nos données sont bruitées. Elles utilisent les mathématiques (comme l'Information de Fisher) pour observer la forme de la « colline » où se trouve la meilleure réponse.
- Pic acéré : Si la colline est un pic aigu, vous savez exactement où se trouve le sommet (haute confiance).
- Plateau plat : Si la colline est une table plate, vous pourriez vous tenir n'importe où dessus et être toujours « correct » (basse confiance).
Outils : Ils utilisent des Intervalles de Confiance (une plage pour les nombres de la règle) et des Intervalles de Prédiction (une plage pour les prédictions futures). Ils utilisent également la Prédiction Conforme, qui est comme un filet de sécurité qui garantit que votre supposition sera correcte un certain pourcentage de temps, sans avoir besoin de supposer que les données suivent un schéma spécifique.

B. L'approche Bayésienne (Le club « Mise à jour des croyances »)

L'analogie : Imaginez que vous commencez avec une intuition (une croyance a priori) sur ce que pourrait être la règle. À mesure que vous recevez de nouveaux indices, vous mettez à jour votre intuition. Vous ne cherchez pas seulement une meilleure règle ; vous gardez tout un « nuage » de règles possibles dans votre tête, chacune ayant une probabilité d'être vraie.
Comment cela fonctionne : Au lieu de trouver une seule réponse, ces méthodes tentent de cartographier l'ensemble du « nuage » de possibilités.
- Intervalles de Crédibilité : C'est la version bayésienne de l'intervalle de confiance. Cela dit : « Il y a 90 % de chances que la vraie règle soit à l'intérieur de cette boîte. »
- Le Défi : Calculer ce « nuage » est difficile. L'article discute de méthodes comme le MCMC (Markov Chain Monte Carlo), qui est comme une marche d'ivrogne qui finit par cartographier tout le territoire, et le SMC (Sequential Monte Carlo), qui utilise un essaim de particules pour explorer le territoire plus efficacement.
Innovation : Certains chercheurs essaient d'utiliser ces méthodes non seulement pour trouver les chiffres dans la règle, mais aussi pour trouver la forme de la règle (par exemple, est-ce une ligne ? une courbe ? un arbre ?).

C. Sélection de Modèle (Le club « Choisir le meilleur détective »)

L'analogie : Vous avez 10 théories différentes sur le mystère. Certaines sont simples (un seul suspect), d'autres sont complexes (un complot impliquant 50 personnes). Comment choisir la bonne sans tomber dans une théorie du complot qui correspond trop parfaitement aux données (surapprentissage/overfitting) ?
Comment cela fonctionne : Cette section examine des méthodes comme la MDL (Longueur de Description Minimale). Voyez cela comme un jeu de « compression ». La meilleure règle est celle qui explique les données en utilisant le moins de mots (bits). Si une règle est trop complexe, c'est comme essayer de compresser un livre en une seule phrase — elle perd son sens. Ces méthodes pénalisent les règles trop complexes pour s'assurer que le détective n'est pas trompé par le bruit aléatoire.

3. Ce que l'enquête a révélé

Les auteurs ont examiné de nombreux articles de recherche et ont trouvé quelques points clés :

C'est une nouvelle frontière : Seule une poignée d'articles (principalement de ces dernières années) traite réellement de ce sujet. La plupart des recherches en Régression Symbolique se concentrent uniquement sur la recherche de la « meilleure » réponse, ignorant à quel point nous sommes incertains.
Le Bayésien est populaire : Comme la Régression Symbolique est très flexible, il est difficile d'utiliser les mathématiques « fréquentistes » (qui supposent des règles simples et stables). Ainsi, la plupart des nouvelles recherches utilisent des méthodes bayésiennes pour gérer la complexité.
Le problème de la « Structure » : Il est facile de calculer l'incertitude pour les nombres d'une formule (comme le « 2 » dans $2x$ ). Il est beaucoup, beaucoup plus difficile de calculer l'incertitude pour la forme de la formule (est-ce $x^2$ ou $x^3$ ?). L'article souligne que, bien que certains chercheurs tentent de résoudre cela, cela reste un défi majeur.
Le problème du « Bruit » : Parfois, les données elles-mêmes sont désordonnées (l'axe des x comporte des erreurs, pas seulement l'axe des y). La plupart des méthodes standards ignorent cela, mais quelques articles avancés commencent à le corriger.

L'essentiel

L'article conclut que la Régression Symbolique est actuellement « aveugle » à sa propre incertitude. C'est comme un GPS qui vous dit de tourner à gauche mais ne vous dit pas si la route est fermée ou si la carte est obsolète.

Les auteurs appellent la communauté scientifique à ne plus seulement chercher la « meilleure » règle mathématique, mais à commencer à construire des outils qui nous disent à quel point nous pouvons faire confiance à cette règle. Ils estiment que sans ce « compteur de confiance », nous ne pouvons pas utiliser ces puissants outils d'IA en toute sécurité pour des décisions réelles où les erreurs coûtent cher.

Résumé Technique : Une Étude Exhaustive et Compréhensible de la Quantification de l'Incertitude dans la Régression Symbolique

Énoncé du Problème

La régression symbolique (RS) est une classe d'algorithmes de recherche conçus pour découvrir des fonctions mathématiques qui capturent avec précision les relations sous-jacentes dans des ensembles de données. Malgré des progrès récents, l'adoption de la RS dans les processus de prise de décision du monde réel est limitée par un manque de support pour la Quantification de l'Incertitude (QU). Dans l'analyse de régression, la QU est cruciale pour évaluer la fiabilité des modèles, prévenir le surapprentissage en tenant compte du bruit des données (incertitude aléatoire), et fournir des informations pour la prise de décision.

La RS est confrontée à deux sources principales d'incertitude :

Incertitude Aléatoire : Aléas intrinsèques ou imprécision de mesure dans le processus de génération des données. Elle est irréductible mais peut être quantifiée pour estimer la borne inférieure d'erreur induite par le bruit.
Incertitude Épistémique : Un manque de connaissances concernant le modèle réel. Cela inclut :
* Incertitude du Modèle : Le risque que le véritable modèle $h^*$ ne soit pas présent dans l'espace d'hypothèses $\mathcal{H}$ .
* Incertitude d'Approximation : L'incertitude quant à savoir si une hypothèse $h$ spécifique est la meilleure au sein de $\mathcal{H}$ , souvent décomposée en incertitude des paramètres (incertitude des paramètres ajustables $\theta$ ) et incertitude structurelle.

Alors que la littérature traditionnelle sur la RS se concentre sur le parcours efficace de l'espace de recherche multimodal, les incertitudes ne sont souvent pas explicitement traitées. Cette étude vise à introduire les concepts essentiels de la QU et à passer en revue la littérature actuelle pour sensibiliser et promouvoir des avancées dans les méthodes de QU fiables pour la RS.

Méthodologie et Fondements Théoriques

L'article structure sa revue autour de trois directions de recherche : Fréquentiste, Bayésienne et Sélection de Modèles. Il établit un fondement théorique utilisant les fonctions de vraisemblance et l'information de Fisher.

1. Fondements Statistiques

Vraisemblance et Information de Fisher : L'étude définit la fonction de vraisemblance $L_N(\theta)$ et sa transformation logarithmique. Elle utilise la matrice Hessienne du log-vraisemblance pour estimer la certitude des paramètres. La matrice Hessienne négative correspond à l'information de Fisher observée, où de faibles valeurs d'information indiquent des surfaces de vraisemblance plates (haute incertitude) et des pics aigus indiquent une estimation précise.
Approches Fréquentistes : Elles traitent les paramètres comme fixes mais inconnus. La QU est réalisée via des Intervalles de Confiance (IC) pour les paramètres et des Intervalles de Prédiction (IP) pour les sorties. L'article détaille le calcul des erreurs types à l'aide de l'inverse de la Hessienne et discute de la Prédiction Conforme (PC) comme une méthode sans distribution qui garantit la couverture pour les données échangeables, contrastant avec les IP traditionnels qui reposent sur des hypothèses gaussiennes.
Méthodes Bayésiennes : Elles traitent les paramètres comme des variables aléatoires dotées de distributions. La QU est réalisée via des Intervalles de Crédibilité (ICr) dérivés de la distribution postérieure $p(h|D) \propto p(h)p(D|h)$ . L'article traite de Markov Chain Monte Carlo (MCMC) et de Sequential Monte Carlo (SMC) comme méthodes pour approximer les postérieures intraitables. Il couvre également la Moyenne de Modèles Bayésiens (BMA) pour gérer l'incertitude d'approximation.
Sélection de Modèles : L'étude passe en revue des principes tels que le Facteur de Bayes, le Facteur de Bayes Fractionnaire (FBF) (pour gérer les priors impropres), et le principe de la Longueur de Description Minimale (MDL), qui équilibre la complexité du modèle et l'ajustement aux données en minimisant la longueur du code.

2. Étude de la Littérature de la QU spécifique à la RS

Les auteurs ont recensé 18 articles pertinents (11 bayésiens, 4 non-bayésiens, 3 de sélection de modèles) provenant de revues à comité de lecture, de conférences et de prépublications.

Approches Bayésiennes en RS

Sequential Monte Carlo (SMC) : Une série de travaux (Bomarito et al., Leser et al.) intègre la SMC dans la Programmation Génétique (PG) pour la RS. Ils proposent une reformulation probabiliste de l'optimisation locale et de la sélection. La méthode estime la Log-Vraisemblance Marginale Normalisée (NMLL) pour comparer les modèles. Elle utilise la SMC pour approximer les intégrales sur les paramètres, gérant mieux les postérieures multimodales que les approximations de Laplace. Des travaux récents étendent cela pour marginaliser directement les structures de modèles discrètes, traitant la population de modèles symboliques comme une postérieure pondérée.
Priors Structurels : Guimera et al. et Bartlett et al. introduisent des priors informatifs sur les structures de modèles. Guimera et al. utilisent les fréquences d'opérateurs d'un corpus (Wikipedia) pour définir des priors, tandis que Bartlett et al. utilisent des modèles de langage (n-grammes) pour modéliser les probabilités des nœuds conditionnellement à leurs ancêtres, visant à capturer le contexte dans les arbres d'expression.
Incertitude de l'axe X : Bartlett et Desmond formulent des vraisemblances qui incorporent les erreurs de mesure dans les variables indépendantes ( $x$ ), marginalisant les valeurs réelles pour dériver une fonction de vraisemblance modifiée.
Méthodes d'Ensemble : Agapitos et al. proposent une Moyenne de Modèles Bayésiens (BMA) sur une population de modèles diversifiés pour tenir compte de l'incertitude d'approximation.
Forêts Bayésiennes Linéaires : Roy et al. proposent HierBOSSS (une forêt d'arbres symboliques combinés linéairement) et VaSST (utilisant l'inférence variationnelle avec des arbres symboliques "mous"). Ces approches exploitent la conjugaison pour les coefficients linéaires mais reposent sur des approximations de champ moyen pour les structures d'arbres. Les auteurs notent des limitations concernant l'hypothèse de linéarité et des incohérences potentielles dans la réplication expérimentale.
MCMC Post-hoc : Zhao et Zhao appliquent le MCMC au modèle final trouvé par la RS pour calculer les intervalles de crédibilité pour les coefficients et les prédictions.

Approches Non-Bayésiennes

Régression Quantile : Hoekstra et Hengst remplacent la fonction de fitness de la RS par une perte "pinball" pour estimer les quantiles conditionnels, générant ainsi des intervalles de prédiction.
Vraisemblance de Profil : de Franca et Kronberger utilisent la vraisemblance de profil pour calculer des intervalles de confiance asymétriques pour les paramètres et les prédictions, capturant les dépendances entre paramètres que les approximations de la méthode delta manquent.
Bootstrapping : Manzi et Vasile appliquent le bootstrapping pour générer plusieurs échantillons, ajuster des modèles de RS et visualiser les distributions de paramètres via des histogrammes pour évaluer l'incertitude structurelle et paramétrique.
Symboles Terminaux pour le Bruit : Schmidt et Lipson introduisent un symbole terminal aléatoire pour modéliser directement les relations de bruit non linéaires dans l'expression, optimisant la plage des intervalles de prédiction.
Prédiction Conforme en RS : Thuong et al. intègrent la PC soit post-hoc sur le meilleur modèle, soit en incorporant la largeur de l'intervalle dans la fonction de fitness, constatant que l'application post-hoc donnait de meilleurs résultats.

Sélection de Modèles

MDL en RS : Iba et al. et Nikolaev appliquent le MDL à des modèles polynomiaux (STROGANOFF) et des recherches exhaustives, utilisant la longueur du code pour pénaliser la complexité. Bartlett et al. proposent une métrique DL détaillée pour les expressions énumérées qui tient compte de la complexité fonctionnelle et de la précision des paramètres via la discrétisation.

Résultats Clés et Constats

Récence : Seuls 3 des 18 articles recensés ont été publiés avant 2020, indiquant que la QU en RS est un domaine en pleine émergence.
Diversité Méthodologique : Bien que les méthodes de QU traditionnelles (comme les IC) existent, leur application directe à la RS est rare. La plupart des travaux recensés (environ 60 %) utilisent des approches bayésiennes, exploitant les méthodes d'échantillonnage (MCMC, SMC) pour fournir intrinsèquement la QU.
SMC vs Laplace : Les méthodes basées sur la SMC pour la RS (Bomarito et al.) démontrent une capacité supérieure à capturer les postérieures multimodales par rapport aux approximations de Laplace, bien qu'au prix d'un coût computationnel plus élevé.
Priors Structurels : L'incorporation de priors structurels (par exemple, basés sur des modèles de langage ou des fréquences d'opérateurs) aide à la sélection de modèles et réduit le surapprentissage, bien qu'ils puissent restreindre l'exploration d'expressions novatrices non présentes dans le corpus d'entraînement.
Limitations des Méthodes Actuelles :
- De nombreuses méthodes de RS bayésienne (ex: VaSST) reposent sur des approximations de champ moyen qui ignorent les dépendances entre les nœuds, pouvant mener à des structures globales sous-optimales.
- Les forêts bayésiennes linéaires sont limitées aux modèles linéaires en leurs paramètres.
- Certaines méthodes proposées (ex: HierBOSSS, VaSST) font face à des défis de réplication expérimentale et de cohérence du code.
- Les approches fréquentistes peinent avec la RS car les modèles de RS flexibles peuvent facilement faire du surapprentissage, ce qui les rend inadaptés en tant qu'estimateurs non biaisés requis pour certains calculs de variance.

Signification et Revendications

L'article affirme être la première étude à traiter clairement la question de la QU dans la régression symbolique. Sa principale signification réside dans :

Combler le fossé : Il connecte les concepts établis de la QU statistique (fréquentiste et bayésienne) avec les défis spécifiques de la RS, tels que la nature discrète des structures de modèles et les espaces de recherche multimodaux.
Catégorisation : Il organise la littérature fragmentée en trois directions de recherche cohérentes : fréquentiste, bayésienne et sélection de modèles.
Mise en évidence des domaines sous-explorés : Les auteurs concluent que la QU en RS est largement sous-explorée et que son importance est systématiquement sous-estimée.
Direction Future : L'article soutient que les travaux futurs doivent adopter des méthodes de QU établies pour la RS, couplées à une analyse minutieuse des données et du bruit, afin de développer des modèles fiables pour la prise de décision réelle. Il souligne que si la QU peut venir "gratuitement" dans les approches basées sur l'échantillonnage, les implémentations actuelles présentent des limitations significatives concernant le coût computationnel, les priors structurels et la gestion de la multimodalité.