🤖 AI

GESR: A Genetic Programming-Based Symbolic Regression Method with Gene Editing

Cet article propose GESR, une méthode de régression symbolique qui améliore la programmation génétique traditionnelle en utilisant deux modèles BERT pour guider intelligemment la mutation et le croisement des gènes, améliorant ainsi considérablement l'efficacité computationnelle et les performances globales.

Auteurs originaux : Yanjie Li, Liping Zhang, Min Wu, Weijun Li, Lina Yu, Jingyi Liu, Yusong Deng, Mingzhu Wan, Xin Ning

Publié 2026-05-12

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Yanjie Li, Liping Zhang, Min Wu, Weijun Li, Lina Yu, Jingyi Liu, Yusong Deng, Mingzhu Wan, Xin Ning

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

La vue d'ensemble : Trouver la « recette secrète »

Imaginez que vous êtes un chef essayant de déterminer la recette exacte d'une soupe délicieuse, mais que vous n'avez pas la carte de la recette. Vous n'avez qu'un bol de soupe et une liste d'ingrédients (les données). Votre objectif est d'écrire la formule mathématique (la recette) qui explique exactement comment ces ingrédients se mélangent pour créer ce goût.

Dans le monde de la science et de l'intelligence artificielle, cela s'appelle la régression symbolique. Le défi est qu'il existe des milliards de recettes possibles (formules). La plupart sont terribles (trop salées, sans saveur), et seules quelques-unes sont parfaites.

L'ancienne méthode : Le « Chef aléatoire » (Programmation génétique traditionnelle)

Pendant longtemps, les ordinateurs ont essayé de trouver ces recettes en utilisant une méthode appelée Programmation génétique (PG). Imaginez cela comme une cuisine où un « Chef aléatoire » essaie de cuisiner.

Le processus : Le chef commence avec un tas de recettes aléatoires.
La mutation : Pour améliorer une recette, le chef échange aveuglément un ingrédient. Peut-être remplace-t-il le « sel » par du « sucre » ou l'« oignon » par du « chocolat ».
Le croisement : Il prend deux recettes et échange une section entière de l'une contre une section de l'autre.
Le problème : Parce que le chef est totalement aléatoire, il fait beaucoup d'erreurs. Il pourrait remplacer le sel par du sable. La plupart de ces changements rendent la soupe moins bonne. Le chef doit essayer des millions de combinaisons aléatoires avant de tomber par hasard sur une bonne. C'est lent, gaspilleur et frustrant.

La nouvelle idée : Les « Mains de Dieu » (GESR)

Les auteurs de ce document se sont posé une question : Et si nous avions un « Dieu » capable de regarder une recette, de prédire exactement quel échange d'ingrédient la rendrait meilleure, puis d'effectuer ce changement spécifique ?

Ils appellent cela l'« Édition de gènes ». Au lieu de deviner au hasard, ils ont construit un système avec deux « Mains de Dieu » (qui sont en réalité deux modèles d'IA avancés appelés BERT).

Main n°1 : Le guide de mutation (Le « Réparateur d'ingrédients »)

Comment ça marche : Imaginez que la recette est écrite comme une phrase : « Ajouter du sel, puis faire bouillir, puis ajouter du poivre. »
Le travail de l'IA : L'IA examine la phrase et cache le mot « poivre » (ce qu'on appelle le « masquage »). Elle regarde ensuite les données (le goût de la soupe) et demande : « Quel mot convient le mieux ici pour que la soupe ait le bon goût ? »
Le résultat : Au lieu de deviner au hasard « chocolat », l'IA dit avec assurance : « Ajouter du cumin ». Elle guide l'ordinateur pour qu'il effectue des changements susceptibles de fonctionner, en sautant les millions de mauvaises suppositions.

Main n°2 : Le guide de croisement (Le « Échangeur de recettes »)

Comment ça marche : Parfois, il faut échanger tout un paragraphe d'une recette (comme la section « méthode de cuisson ») entre deux recettes différentes.
Le travail de l'IA : Avec l'ancienne méthode aléatoire, le chef coupait simplement les recettes au milieu d'une phrase, ruinant la grammaire. L'IA examine deux recettes et les données de la soupe, puis indique l'endroit exact où échanger une section serait sûr et bénéfique.
Le résultat : Elle garantit que lorsque les recettes sont mélangées, les nouvelles recettes « descendants » restent grammaticalement correctes et susceptibles d'avoir bon goût.

Les résultats : Plus rapide, plus intelligent et plus simple

Le document a testé cette nouvelle méthode d'« Édition de gènes » (appelée GESR) contre les anciennes méthodes de « Chef aléatoire » sur de nombreux problèmes mathématiques différents (comme prédire le mouvement des planètes ou la réaction des produits chimiques).

Voici ce qu'ils ont découvert :

Vitesse : GESR a trouvé les formules correctes beaucoup plus rapidement. Il ne perdait pas de temps à essayer de mauvaises recettes car les « Mains de Dieu » l'ont guidé loin d'elles.
Précision : Il a trouvé des formules qui prédisaient les données aussi bien, voire mieux, que les anciennes méthodes.
Simplicité : Les formules trouvées par GESR étaient souvent plus courtes et plus claires. Les anciennes méthodes aléatoires avaient tendance à créer des recettes « gonflées » avec des ingrédients inutiles (comme ajouter du sel, puis du sucre, puis plus de sel). GESR a trouvé la solution élégante et simple.

La métaphore du « Dieu »

Le document utilise la métaphore d'un « Dieu » non pas dans un sens religieux, mais comme une métaphore de la prescience parfaite. Dans la nature, l'évolution est aléatoire ; les mutations se produisent par hasard, et la plupart sont mauvaises. Les auteurs ont réalisé que si nous pouvions utiliser l'IA pour agir comme un « Dieu » qui sait quelles mutations sont bonnes avant qu'elles ne se produisent, nous pourrions accélérer considérablement la découverte de lois scientifiques.

Résumé

Imaginez l'ancienne méthode comme un singe tapant sur un clavier, espérant écrire une pièce de Shakespeare par accident. Cela prendrait une éternité.
La nouvelle méthode (GESR) est comme avoir un éditeur intelligent assis à côté du singe, disant : « Ne tape pas « banane » ici ; tape « le » ». Elle guide le processus, rendant la recherche de la formule mathématique parfaite beaucoup plus rapide, plus efficace et plus susceptible de réussir.

Note : Le document se concentre strictement sur l'amélioration de la façon dont les ordinateurs trouvent des formules mathématiques à partir de données. Il ne prétend pas utiliser cela pour le diagnostic médical, les traitements cliniques ou des applications futures spécifiques au-delà du domaine de la découverte scientifique et de l'analyse de données.

Résumé Technique : GESR – Une Méthode de Régression Symbolique Basée sur la Programmation Génétique avec Édition de Gènes

1. Énoncé du Problème

La régression symbolique vise à découvrir automatiquement des expressions mathématiques à partir de données observationnelles, afin d'atteindre à la fois une haute précision prédictive et une forte interprétabilité. Bien que la Programmation Génétique (PG) soit une approche classique et largement adoptée pour cette tâche, elle repose fortement sur des opérateurs génétiques aléatoires (mutation et croisement) pour faire évoluer les structures d'expressions. Les auteurs soutiennent que ce hasard, bien qu'il imite l'évolution naturelle, génère inévitablement un grand nombre de variations inefficaces ou néfastes. Ce manque de contrôlabilité réduit l'efficacité de la recherche, ralentit la convergence et augmente les coûts computationnels. Les méthodes existantes qui tentent de guider la PG (par exemple, en utilisant des LSTM pour l'initialisation ou un calcul inverse pour la prédiction de sous-arbres) souffrent souvent d'une surcharge computationnelle élevée ou échouent à guider efficacement les processus de mutation et de croisement durant la recherche évolutive.

2. Méthodologie

L'article propose GESR (Régression Symbolique par Édition de Gènes), un cadre qui intègre des modèles BERT multimodaux dans la boucle évolutive de la PG pour effectuer une « édition de gènes ». Cette approche remplace les opérateurs génétiques purement aléatoires par des opérations guidées conditionnées par les données. Le cadre se compose de deux composants principaux, métaphoriquement décrits comme les « Mains de Dieu » :

2.1 Mutation Guidée par Modélisation du Langage Masqué

Représentation : Les expressions symboliques sont représentées sous forme d'arbres binaires et linéarisées en séquences de parcours préordre.
Mécanisme : Un modèle BERT multimodal est entraîné pour guider la mutation. Durant la phase de mutation, des tokens d'opérateurs ou d'opérandes spécifiques dans une séquence d'expression sont masqués aléatoirement.
Entrée : La séquence masquée est fournie au modèle BERT conjointement avec le jeu de données de régression $(X, Y)$ . Les données sont encodées à l'aide d'un SetTransformer pour garantir l'invariance par permutation et fusionnées avec des embeddings de tokens symboliques.
Sortie : Le modèle prédit le symbole de remplacement le plus approprié pour la position masquée, basé sur la distribution de probabilité conditionnelle dérivée de la distribution des données. Cela transforme la mutation d'une perturbation aléatoire en une édition ciblée visant à améliorer l'aptitude de régression (par exemple, $R^2$ ).

2.2 Croisement Guidé par Prédiction de Sous-arbres

Mécanisme : Un deuxième modèle BERT multimodal guide l'opération de croisement.
Entrée : Deux séquences d'expressions candidates sont concaténées à l'aide d'un token spécial [SEP], ainsi que le jeu de données $(X, Y)$ .
Sortie : Le modèle prédit les nœuds racines des sous-arbres dans les deux expressions parentes qui sont les plus adaptés à l'échange.
Stratégie : Au lieu de sélectionner aléatoirement des points de croisement, le modèle identifie des fragments structurels qui, lorsqu'ils sont échangés, sont susceptibles d'améliorer l'aptitude de la descendance sous les contraintes de données données.

2.3 Construction des Données d'Entraînement

Les auteurs ont conçu des pipelines spécifiques pour construire des données d'entraînement de haute qualité pour les modèles BERT :

Pour la Mutation : Le pipeline génère des paires d'expressions où l'une est une version « meilleure » de l'autre. Il implique la génération d'une expression cible, l'échantillonnage de données, la création d'une expression initiale aléatoire, l'application de fonctions de mutation différentiables, l'optimisation des paramètres via BFGS, et la discrétisation du résultat. Si l'expression mutée améliore l'ajustement ( $R^2$ ), l'expression originale est masquée, et les symboles améliorés servent de cible.
Pour le Croisement : Les données d'entraînement sont collectées en ligne durant le processus d'évolution de la PG. Des paires d'expressions parentes sont croisées (en utilisant la PG standard ou la mutation guidée en premier), et la descendance est évaluée. Si la descendance surpasse les parents, la paire de parents et les nœuds de croisement spécifiques utilisés sont enregistrés comme un échantillon d'entraînement. Cela garantit que le modèle apprend les points de croisement qui mènent à des améliorations d'aptitude.

2.4 Boucle Évolutive

Le cadre GESR itère à travers les générations :

Mutation : La population subit une mutation guidée utilisant le BERT de mutation.
Croisement : Un croisement guidé est effectué en utilisant le BERT de croisement.
Optimisation : Les constantes dans les expressions résultantes sont affinées en utilisant BFGS.
Sélection : Les individus sont évalués sur la base de $R^2$ , et les $N$ meilleurs sont sélectionnés pour la génération suivante.

3. Contributions Clés

L'article expose quatre contributions principales :

Un Cadre d'Édition de Gènes : Propose un cadre de régression symbolique permettant un guidage ciblé des mutations et croisements génétiques, améliorant substantiellement l'efficacité évolutive.
Modèles « Mains de Dieu » Duels : Entraîne deux modèles BERT multimodaux pour effectuer l'édition de gènes, qui peuvent servir de module plug-and-play pour d'autres algorithmes de régression symbolique basés sur la PG.
Méthode de Construction de Données : Conçoit une fonction de mutation et une méthode pour construire des données d'entraînement d'édition de gènes de haute qualité basées sur l'amélioration de l'aptitude.
Intégration Conceptuelle : Introduit le concept d'« édition de gènes » dans le domaine du calcul évolutionnaire, en exploitant les modèles de langage profonds pour guider la recherche.

4. Résultats Expérimentaux

Les auteurs ont évalué GESR sur 13 jeux de données, incluant des benchmarks standards (Nguyen, Keijzer, Korns, etc.) et la suite SRBench (Feynman, Strogatz, Boîte noire).

Performance d'Ajustement : GESR a obtenu des scores $R^2$ supérieurs ou comparables par rapport aux références de l'état de l'art (PySR, NGGP, SNIP, GPlearn). En moyenne, GESR a atteint un $R^2$ de 0,9903, surpassant PySR (0,9876) et NGGP (0,9784).
Complexité (Interprétabilité) : GESR a produit des expressions plus compactes. Le nombre moyen de nœuds pour GESR était de 22,0, nettement inférieur à PySR (26,9), NGGP (28,1) et GPlearn (35,8).
Efficacité : GESR a démontré des temps d'inférence significativement plus rapides. Le temps moyen pour atteindre $R^2 > 0,999$ était de 117,2 secondes pour GESR, contre 176,1 secondes pour la base de référence PG non guidée et 124,4 secondes pour une variante avec seulement un guidage de mutation.
Études d'Ablation : La suppression de l'un ou l'autre des modules de guidage de mutation ou de croisement a entraîné une dégradation des performances en termes de précision, de complexité et de temps de recherche, confirmant que les deux composants contribuent au succès de la méthode.
Systèmes Chaotiques : Dans les tests sur 16 systèmes dynamiques chaotiques (par exemple, Lorenz, Duffing), GESR a montré une précision d'ajustement de champ vectoriel plus élevée et une meilleure cohérence des simulations à court terme par rapport aux références.
Transférabilité : Lorsqu'intégré dans le cadre NGGP, la stratégie d'édition de gènes guidée par BERT a amélioré les performances de NGGP, démontrant que l'approche n'est pas limitée à l'architecture spécifique de GESR.

5. Signification et Revendications

L'article revendique que l'intégration de modèles de langage profonds pour une édition de gènes intelligente fournit une direction de recherche nouvelle et efficace pour la régression symbolique. En remplaçant l'exploration aléatoire non guidée par une optimisation dirigée et pilotée par les données, GESR :

Réduit la Recherche Inefficace : Réduit considérablement le nombre de mutations et de croisements néfastes.
Améliore la Convergence : Atteint des vitesses de convergence plus rapides et une plus grande stabilité de recherche.
Renforce l'Interprétabilité : Génère des formules mathématiques plus compactes et interprétables par l'humain.

Les auteurs reconnaissent des limites, notant que la méthode dépend de la qualité des modèles BERT préentraînés et fait face à des défis de mise à l'échelle lorsque la dimensionnalité des données de test dépasse la plage supportée durant le préentraînement. Ils suggèrent que les travaux futurs devraient se concentrer sur le développement de modèles plus légers et plus transférables, ainsi que de cadres évolutifs pour les entrées de haute dimension.

En résumé, l'article postule que la « métaphore divine » de l'édition de gènes — réalisée par des modèles BERT multimodaux — peut substantiellement améliorer l'efficacité de la régression symbolique évolutive en apprenant à prédire des changements structurels bénéfiques basés sur la distribution des données, transformant ainsi le processus de recherche d'une exploration aveugle en une optimisation guidée.