🤖 machine learning

A Comparative Study of Model Selection Criteria for Symbolic Regression

Cet article présente une comparaison empirique systématique des critères de sélection de modèles pour la régression symbolique sur sept jeux de données synthétiques, révélant que la Longueur Minimale de Description (MDL) et le Critère d'Information Bayésien (BIC) sont les méthodes les plus efficaces pour identifier les expressions de vérité terrain et minimiser l'erreur de test.

Auteurs originaux : Ali Soltani, Gabriel Kronberger, Fabricio Olivetti de Franca, Mattia Billa, Alessandro Lucantonio

Publié 2026-05-13

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Ali Soltani, Gabriel Kronberger, Fabricio Olivetti de Franca, Mattia Billa, Alessandro Lucantonio

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous êtes un détective tentant de résoudre un mystère. Vous avez un tas d'indices (des données) qui sont un peu désordonnés et bruyants — peut-être que certaines empreintes sont boueuses, ou que certaines déclarations de témoins contiennent quelques fautes de frappe. Votre objectif est de reconstituer la séquence exacte des événements (la « vérité terrain ») qui s'est produite.

Dans le monde de l'informatique, cela s'appelle la Régression Symbolique. Au lieu d'empreintes, l'ordinateur cherche une formule mathématique qui explique les données. L'ordinateur génère des milliers de formules possibles, allant de formules simples comme « y = x + 1 » à des enchevêtrements incroyablement complexes qui ressemblent à un bol de spaghetti.

Le problème ? L'ordinateur est très bon pour mémoriser les indices désordonnés. Il pourrait créer une formule qui s'adapte parfaitement aux empreintes boueuses, mais si vous lui montriez un nouvel ensemble d'empreintes, cette formule échouerait lamentablement. C'est ce qu'on appelle le surapprentissage (overfitting). C'est comme un étudiant qui mémorise les réponses d'un test d'entraînement mais échoue à l'examen réel parce qu'il n'a pas compris les concepts.

Alors, comment choisir la meilleure formule parmi les milliers que l'ordinateur a générées ? Vous avez besoin d'un « Critère de Sélection de Modèle » — un règlement ou un juge pour décider quelle formule est la gagnante.

Les Concurrents

Les auteurs de cet article ont organisé un concours pour voir quel « juge » fonctionne le mieux. Ils ont créé sept scénarios de mystère différents (jeux de données synthétiques) avec des réponses connues et y ont ajouté du bruit. Ensuite, ils ont demandé à l'ordinateur de générer un tas de formules candidates, y compris certaines intentionnellement trop complexes (surajustées).

Ils ont testé cinq juges différents (critères) pour voir lequel pouvait choisir la formule correcte et simple parmi le tas de formules désordonnées :

MSE (Erreur d'Entraînement) : Ce juge regarde uniquement à quel point la formule s'adapte aux indices bruyants actuels. C'est comme un étudiant qui n'étudie que le test d'entraînement. Il a tendance à choisir les formules les plus complexes et surajustées.
AIC (Critère d'Information d'Akaike) : Un juge classique qui tente d'équilibrer précision et simplicité. Il attribue une petite « pénalité » pour chaque élément supplémentaire dans la formule.
AICc : Une version corrigée de l'AIC, conçue pour être un peu plus stricte lorsqu'il n'y a pas beaucoup de données.
BIC (Critère d'Information Bayésien) : Un juge plus strict que l'AIC. Il pénalise davantage la complexité, surtout à mesure que la quantité de données augmente. Il déteste vraiment les parties inutiles.
MDL (Longueur Minimale de Description) : Ce juge utilise une métaphore ingénieuse : « Quelle est la façon la plus courte d'envoyer un message décrivant à la fois la formule et les données ? » Si une formule est trop complexe, le message devient trop long. Le MDL recherche la « compression » la plus efficace de la vérité.
Errin (Estimation par Bootstrap) : C'est le juge le plus coûteux en calculs. Il simule l'expérience des centaines de fois en ajoutant du bruit aléatoire aux données pour voir à quel point la formule oscille. C'est comme exécuter l'expérience dans un univers parallèle 200 fois pour être sûr.

Les Résultats

L'article a fait s'affronter ces juges et a trouvé des gagnants et des perdants clairs :

Le Perdant : La simple « Erreur d'Entraînement » (MSE) était terrible. Elle choisissait systématiquement les formules les plus complexes et surajustées, qui échouaient à se généraliser.
Les Poids Lourds : MDL et BIC étaient les champions.
- MDL était le plus constant. Il trouvait presque toujours les formules les plus simples et les plus précises. Il était le meilleur pour ignorer le « bruit » et trouver le vrai signal.
- BIC était un deuxième très proche, faisant également un excellent travail pour trouver les formules correctes et simples.
Le Milieu de Terrain : L'AIC et l'AICc ont fait le nécessaire, mais ils étaient un peu plus indulgents envers la complexité que le MDL et le BIC.
Le Surperformant (qui s'est épuisé) : Errin était intéressant. Parfois, il excellait, mais souvent il choisissait des formules trop grandes et compliquées. De plus, il était incroyablement lent — comme un juge qui prend une semaine pour décider d'une affaire qui pourrait être résolue en une minute.

La Grande Conclusion

Si vous construisez un système pour trouver des formules mathématiques à partir de données, ne choisissez pas simplement celle qui s'adapte le mieux à vos données actuelles. C'est un piège.

Au lieu de cela, utilisez MDL (Longueur Minimale de Description) comme choix par défaut. C'est comme avoir un éditeur sage qui coupe tout le superflu et vous laisse avec l'histoire la plus concise et précise. Si le MDL semble trop strict pour votre problème spécifique, le BIC est une excellente option de secours.

L'article conclut que bien qu'aucun juge unique ne soit parfait pour chaque scénario, le MDL et le BIC sont les outils les plus fiables pour trouver des formules qui sont non seulement précises, mais aussi suffisamment simples pour être comprises et utiles dans le monde réel. Ils trouvent le meilleur équilibre entre « s'adapter aux données » et « ne pas mémoriser le bruit ».

Résumé Technique : Étude Comparative des Critères de Sélection de Modèles pour la Régression Symbolique

Énoncé du Problème
La Régression Symbolique (RS), généralement résolue via la Programmation Génétique (PG), vise à découvrir des expressions mathématiques qui équilibrent précision et complexité. Bien que les implémentations modernes de PG génèrent un front de Pareto de solutions candidates, la sélection automatique d'un modèle unique généralisant bien à des données non vues reste un défi ouvert. La littérature existante propose diverses approches informationnelles et bayésiennes, mais les comparaisons empiriques complètes de leurs performances à travers différents régimes de données sont limitées. Il manque des orientations pratiques sur le critère de sélection à privilégier dans des conditions spécifiques pour éviter le surajustement tout en maintenant l'interprétabilité.

Méthodologie
Les auteurs ont mené une comparaison empirique systématique de six critères de sélection de modèles largement utilisés :

Critère d'Information d'Akaike (AIC)
AIC corrigé (AICc)
Critère d'Information Bayésien (BIC)
Longueur de Description Minimale (MDL)
Estimation de l'erreur in-sample basée sur le bootstrap d'Efron ( $Err_{in}$ )
Erreur Quadratique Moyenne d'Entraînement ( $MSE_{train}$ ) utilisée comme référence.

Configuration Expérimentale :

Ensembles de Données : Sept fonctions de référence synthétiques (courantes dans la littérature PG) ont été utilisées. Les données d'entraînement comprenaient 100 points avec du bruit gaussien ajouté ( $\epsilon \sim N(0, (0.1\sigma(y))^2)$ ), tandis que les données de test comprenaient 10 000 points sans bruit.
Génération de Candidats : Pour découpler l'évaluation des algorithmes de RS spécifiques, un pool contrôlé d'expressions candidates a été généré en perturbant les fonctions de vérité terrain. Une procédure de mutation a remplacé des nœuds aléatoires dans les arbres de vérité terrain par des sous-arbres aléatoires. Ces candidats ont été ajustés aux données d'entraînement en utilisant l'optimisation BFGS (répétée 100 fois pour éviter les optima locaux). Le processus a généré 100 modèles surajustés par référence (ceux ayant une MSE d'entraînement inférieure à la vérité terrain) pour tester la capacité des critères à retrouver le modèle vrai parmi un ensemble d'alternatives surajustées.
Métriques d'Évaluation :
- $MSE_{test}$ Moyenne : Performance des modèles classés dans le top- $k$ .
- Précision à $k$ : La fraction des modèles sélectionnés dans le top- $k$ qui appartiennent au vrai top- $k$ basée sur l'erreur de test.
- Taille Moyenne de l'Expression : Complexité structurelle moyenne (nombre de nœuds) des modèles sélectionnés.
- Hit de Vérité Terrain : Le rang minimal $k$ auquel l'expression de vérité terrain exacte est retrouvée.

Contributions et Résultats Clés
L'étude fournit un classement détaillé des critères de sélection basé sur les quatre métriques ci-dessus :

MDL (Longueur de Description Minimale) : Est ressorti de manière constante comme le critère le plus robuste. Il a identifié des modèles avec l'erreur de test la plus faible pour de petits $k$ dans six des sept références et a produit les expressions les plus parcimonieuses (les plus petites). MDL et BIC ont démontré la plus grande efficacité pour retrouver l'expression de vérité terrain, avec des rangs moyens de premier hit de 5,14 et 6,00 respectivement.
BIC : A performé de manière similaire à MDL en termes de récupération de la vérité terrain et a fourni des résultats stables et intermédiaires à travers les références, produisant souvent des formules concises.
AIC et AICc : Généralement classés plus bas que MDL et BIC en ce qui concerne la généralisation. Bien que l'AICc ait montré de légères améliorations par rapport à l'AIC standard pour des fonctions spécifiques ( $f_1, f_2$ ), les deux ont tendance à sélectionner des modèles plus complexes que MDL.
$Err_{in}$ (Erreur In-Sample Bootstrap) : A montré des résultats mitigés. Bien qu'elle ait atteint une bonne précision et généralisation pour certains ensembles de données ( $f_1, f_2, f_3, f_6, f_7$ ), elle a mal performé sur d'autres ( $f_4, f_5$ ), sélectionnant souvent des expressions plus grandes et échouant à retrouver la vérité terrain efficacement (rang moyen 31,71). Les auteurs attribuent cette incohérence à la dépendance aux estimations de variance de bruit par Random Forest.
$MSE_{train}$ : A constamment performé le pire, confirmant que l'erreur d'entraînement non régularisée conduit à un surajustement sévère et à une mauvaise généralisation.

Complexité Computationsnelle
L'article analyse la surcharge computationnelle de ces critères :

AIC, AICc, BIC : Les plus efficaces ( $O(n)$ ), ne nécessitant qu'un seul passage sur les données après l'estimation des paramètres.
MDL : Légèrement plus coûteux ( $O(n \cdot p)$ ) en raison du calcul de la matrice d'information de Fisher, mais reste efficace pour les tailles d'expressions RS typiques.
$Err_{in}$ : De loin le plus intensif computationnellement, nécessitant $B$ itérations de bootstrap (typiquement 200) et des réajustements répétés des paramètres, ce qui le rend potentiellement peu pratique pour les processus de recherche évolutionniste itératifs.

Importance et Revendications
Les auteurs affirment que leurs résultats offrent des orientations pratiques pour les pipelines de RS. Ils concluent que MDL est un choix par défaut solide pour une sélection précoce robuste et des modèles compacts, avec BIC comme option secondaire. Ils suggèrent que AIC/AICc peuvent être préférables uniquement lorsque des modèles légèrement plus grands sont acceptables et que la pénalité de MDL est jugée trop conservatrice. À l'inverse, ils ne recommandent pas $Err_{in}$ en raison de son coût computationnel élevé et de ses performances incohérentes dans leurs expériences.

L'étude note explicitement des limitations, notamment l'utilisation d'un seul niveau de bruit pour la génération de données et le fait que les critères ont été évalués sur un pool de candidats a posteriori plutôt que d'être intégrés directement dans la boucle de recherche PG. Les auteurs déclarent que les travaux futurs devraient investiguer les intensités de bruit variables et l'intégration de ces critères dans le processus de recherche évolutionniste.

Les Concurrents

Les Résultats

La Grande Conclusion

Résumé Technique : Étude Comparative des Critères de Sélection de Modèles pour la Régression Symbolique

Articles similaires