Smooth multi-function evolutionary algorithm

Dans le monde de l'informatique, il existe un défi persistant connu sous le nom de régression symbolique. Imaginez un scientifique qui a collecté une vaste quantité de points de données — peut-être des mesures de la vitesse du vent, des comptes de pollen ou des salaires de professeurs — et qui souhaite trouver une phrase mathématique unique qui explique comment ces nombres sont liés les uns aux autres. L'objectif est de découvrir la règle cachée, l'équation, qui transforme les données d'entrée en la sortie correcte. Pour ce faire, les ordinateurs utilisent souvent une méthode inspirée de la sélection naturelle, où ils génèrent des milliers de phrases mathématiques aléatoires, testent leur capacité à s'adapter aux données, puis mélangent et mutent les meilleures d'entre elles pour créer des versions encore meilleures. Cependant, ce processus est souvent maladroit. L'ordinateur traite les blocs de construction de ces phrases — comme l'addition, la soustraction ou la multiplication — comme des outils rigides et distincts. Passer d'un outil à un autre est comme un saut soudain dans le paysage des possibilités, ce qui rend difficile pour l'ordinateur de trouver le chemin fluide vers la réponse parfaite. C'est un peu comme essayer de grimper une montagne où le terrain change soudainement d'une pente douce à une falaise verticale ; le grimpeur peine à trouver la bonne direction.

Les chercheurs Peter Michalicek et Tomas Brandejsky, de l'Université de Pardubice en République tchèque, ont proposé une nouvelle façon de lisser ce paysage accidenté. Ils ont développé un système où l'ordinateur n'a pas à choisir entre différents outils mathématiques comme s'il s'agissait d'options distinctes et séparées. Au lieu de cela, ils ont créé un outil unique et flexible qui peut se transformer de manière fluide d'une opération à une autre. Dans leur nouvelle approche, l'ordinateur utilise une variable de contrôle spéciale, un cadran unique qui peut être tourné pour modifier progressivement le comportement de la fonction. Si le cadran est réglé sur une position, l'outil agit comme une addition ; s'il est tourné vers une autre, il agit comme une multiplication ; et au milieu, il effectue un mélange des deux. Cela permet à l'ordinateur de glisser continuellement entre différents comportements mathématiques plutôt que de faire des sauts brusques et saccadés. En faisant cela, les chercheurs ont transformé une recherche difficile d'une structure complexe en forme d'arbre en une tâche plus simple consistant à ajuster un ensemble de nombres, rendant le processus évolutif plus efficace et moins susceptible de rester bloqué dans des impasses.

Les chercheurs ont testé cette idée en construisant un système qu'ils appellent un « algorithme évolutif à multifonction lisse ». Au lieu de laisser l'ordinateur assembler aléatoirement un arbre de différentes opérations mathématiques, ils l'ont contraint à utiliser un arbre parfait et symétrique où chaque nœud interne est ce même outil flexible et changeant de forme. Les seules choses qui changent au cours du processus d'apprentissage sont les valeurs des cadrans de contrôle à chaque nœud et les nombres ou variables spécifiques au bas de l'arbre. Cette conception simplifie considérablement le problème. Parce que la structure de l'arbre est fixe et que les transitions entre les opérations sont fluides, l'ordinateur peut utiliser des techniques d'optimisation standard pour trouver les meilleurs réglages, plutôt que de dépendre des méthodes généralement plus chaotiques et imprévisibles requises pour ce type de problème. Les chercheurs ont constaté que cette approche permettait de représenter des relations complexes à l'aide d'une seule variable de contrôle pour un nombre quelconque de fonctions de base, réduisant ainsi la complexité de l'espace de recherche.

Pour voir si cette méthode fonctionnait réellement, l'équipe a testé son algorithme sur un certain nombre de jeux de données standards utilisés pour tester la régression symbolique, incluant des données sur les modèles de vent, les comptes de pollen et les salaires des professeurs d'université. Ils ont comparé leurs résultats à plusieurs autres méthodes bien connues, y compris des systèmes qui utilisent la programmation génétique traditionnelle et ceux qui combinent l'évolution avec d'autres techniques d'optimisation. Les résultats ont montré que, bien que leur méthode soit parfois plus longue à exécuter sur un processeur informatique standard, elle était très efficace pour trouver des modèles précis. Dans certains cas, particulièrement lorsqu'on lui laissait suffisamment de temps pour passer par de nombreuses générations de tests, leur algorithme trouvait des solutions aussi bonnes, voire meilleures, que les méthodes établies. Par exemple, sur un jeu de données impliquant les salaires des professeurs, leur méthode a atteint un haut niveau de précision qui égalait les meilleurs performeurs. Sur un autre jeu de données concernant les données de vent, elle a produit des résultats comparables aux meilleurs outils existants.

L'une des découvertes les plus significatives concernait la capacité des modèles à se généraliser à de nouvelles données non vues. En apprentissage automatique, un problème courant est le surapprentissage (overfitting), où un modèle mémorise si parfaitement les données d'entraînement qu'il échoue à faire des prédictions précises sur de nouvelles informations. Les chercheurs ont mesuré cela en comparant le taux d'erreur sur les données d'entraînement par rapport au taux d'erreur sur les données de test. Leur approche de multifonction lisse a montré une augmentation très faible de l'erreur lors du passage de l'entraînement au test, suggérant que les modèles créés étaient stables et robustes. Cela indique que les transitions fluides entre les opérations mathématiques ont aidé l'algorithme à trouver des solutions qui capturent les véritables schémas sous-jacents des données, plutôt que de simplement s'ajuster au bruit. Les chercheurs ont noté que leur implémentation actuelle avait été écrite de manière qui n'était pas totalement optimisée pour la vitesse, ce qui limitait le nombre de tests qu'ils pouvaient effectuer dans un laps de temps fixe. Ils ont suggécu que si le code était réécrit pour fonctionner plus rapidement, peut-être en utilisant du matériel informatique spécialisé, la performance pourrait encore s'améliorer.

L'étude conclut qu'en remplaçant les transitions rigides et par sauts des algorithmes évolutifs traditionnels par des transitions fluides et continues, il est possible de rendre la recherche de modèles mathématiques plus efficace et plus fiable. Les chercheurs ont démontré qu'une seule variable de contrôle pouvait gérer efficacement la transition entre plusieurs fonctions mathématiques différentes, réduisant la complexité du problème sans sacrifier la précision. Bien que la méthode ne soit pas une solution miracle qui résout tout instantanément, elle offre une alternative prometteuse pour trouver les règles cachées dans les données. Ce travail suggère que la façon dont nous représentons les blocs de construction de nos modèles compte tout autant que les algorithmes que nous utilisons pour les rechercher. En lissant le paysage, les chercheurs ont fourni un chemin plus clair à suivre pour les ordinateurs, menant potentiellement à des modèles plus précis et plus fiables dans des domaines allant des sciences environnementales à l'économie. Le code et les résultats de cette étude sont disponibles pour que d'autres puissent les examiner et s'appuyer dessus, invitant à une exploration plus approfondie de cette manière plus fluide de faire évoluer les solutions mathématiques.