Résumé Technique : EditSR – Améliorer la régression symbolique neuronale via la rectification par édition

1. Énoncé du Problème

Les modèles de régression symbolique neuronale, particulièrement ceux utilisant des architectures Transformer et le pré-entraînement (par exemple, NeSymReS), ont amélioré l'efficacité de l'inférence en déplaçant la charge de la recherche structurelle vers la phase de pré-entraînement. Cependant, ces modèles reposent sur un décodage autorégressif en un seul passage, qui est sujet à l'accumulation d'erreurs. Dans la régression symbolique, où les expressions sont des structures d'arbres régies par des contraintes d'arité strictes, une erreur précoce (par exemple, générer un opérateur binaire au lieu d'un opérateur unaire) déforme le contexte syntaxique pour tous les jetons suivants. Cela conduit souvent à des expressions structurellement incorrectes qui ne peuvent pas s'autocorriger.

Les stratégies de rectification post-hoc existantes tentent d'atténuer cela, mais reposent souvent sur le redémarrage d'une recherche globale (par exemple, via la recherche arborescente Monte Carlo) ou sur l'exécution d'une optimisation dans l'espace latent pendant l'inférence. Ces approches entraînent une surcharge de calcul substantielle, annulant de fait les gains d'efficacité initialement obtenus grâce au pré-entraînement. De plus, de nombreuses méthodes existantes restent sensibles à l'accumulation d'erreurs car elles conditionnent souvent les décisions sur l'historique complet plutôt que sur l'état actuel.

2. Méthodologie : Le cadre EditSR

Les auteurs proposent EditSR, un cadre à deux couches conçu pour réaliser une prédiction et une rectification efficace par édition sans redémarrer la recherche globale.

2.1. Architecture

• Couche 1 (Prédicteur Neural) : Un modèle de régression symbolique neuronale standard (instancié comme NeSymReS) qui mappe directement les jeux de données vers des squelettes d'expressions via un décodage autorégressif en un seul passage.
• Couche 2 (Le Rectificateur) : Un module qui effectue une rectification par édition multi-étapes sur les prédictions incorrectes de la Couche 1. Il se compose de deux sous-composants :
  • Le Tagger (Étiqueteur) : Détermine la position d'édition optimale et le type d'action d'édition.
  • L'Editor (Éditeur) : Prédit le contenu pour l'action d'édition sélectionnée.

2.2. Actions d'Édition et Contraintes Syntaxiques

Le Rectificateur opère au niveau du sous-arbre plutôt qu'au niveau du jeton pour garantir la validité syntaxique. Les actions d'édition définies sont :

• Keep (Garder) : Laisse le jeton/sous-arbre inchangé.
• Replace (Remplacer) : Remplace un jeton tout en préservant son arité.
• Delete (Supprimer) : Réduit un sous-arbre interne en une feuille.
• Rewrite (Réécrire) : Régénère un sous-arbre interne.
• Insert (Insérer) : Développe une feuille en un nouveau sous-arbre interne.

Pour maintenir la validité syntaxique, le cadre impose des contraintes strictes lors du décodage. Le « compte de déficit » (le nombre de nœuds enfants en attente requis pour compléter l'expression) est suivi. Une édition n'est autorisée que si l'état résultant permet une complétion valide dans le budget de jetons restant.

2.3. Entraînement et Transition d'État

L'innovation centrale consiste à formuler la rectification comme une chaîne de transition d'état étape par étape plutôt que comme une recherche globale.

• Construction des Données : Les états initiaux $f^{(0)}$ sont générés en appliquant des corruptions aléatoires aux expressions cibles $f^*$.
• Construction de la Chaîne Déterministe : Un algorithme de transition d'état mappe $f^{(0)}$ vers $f^*$ en déterminant la séquence optimale d'actions d'édition. Cet algorithme aligne l'état actuel avec la cible, calcule une fonction de coût basée sur les différences de sous-arbres, et sélectionne l'édition au coût le plus bas (position et action) pour passer à l'état suivant $f^{(t+1)}$.
• Objectif d'Entraînement : Le Rectificateur est entraîné sur ces transitions supervisées d'un pas ($f^{(t)} \to f^{(t+1)}$). Le Tagger apprend à prédire la position et l'action, tandis que l'Editor apprend à générer le contenu.
• Inférence : Lors de l'inférence, le Rectificateur applique une sélection gloutonne d'éditions basée sur l'état actuel $f^{(t)}$. Parce que les décisions sont conditionnées par l'état actuel plutôt que par l'historique complet, les erreurs commises lors des étapes précédentes peuvent être corrigées par des éditions ultérieures, atténuant ainsi l'accumulation d'erreurs.

3. Contributions Clés

1. Réexamen de l'Accumulation d'Erreurs : L'article identifie que les prédictions incorrectes dans la régression symbolique neuronale conservent souvent des composants structurels réutilisables (variables, constantes, sous-arbres) et propose que ceux-ci puissent être rectifiés via des éditions locales plutôt qu'en redémarrant la recherche.
2. Cadre EditSR : Un nouveau cadre à deux couches combinant un prédicteur neural avec un Rectificateur basé sur l'édition et contraint par la syntaxe. Il préserve l'efficacité de l'inférence des modèles neuronaux tout en corrigeant les erreurs structurelles sans rouvrir la recherche globale.
3. Transition d'État Itérative : Le processus de rectification est modélisé comme une chaîne de transition d'état itérative où chaque étape est conditionnée par l'état actuel. Cette conception supprime l'accumulation d'erreurs et permet de corriger les erreurs antérieures.
4. Validation Empirique : Des expériences approfondies démontrent qu'EditSR améliore considérablement la récupération de la structure symbolique, particulièrement pour les expressions complexes où le décodage en un seul passage échoue, avec un coût de calcul supplémentaire limité.

4. Résultats Expérimentaux

Les auteurs ont évalué EditSR sur des benchmarks standards (Constant, Koza, Nguyen, etc.), SRBench 1.0 (Feynman, ODE-Strogatz) et SRBench 2.0 (Black-box, Phenomenological).

• Performance : EditSR atteint systématiquement des taux élevés de solutions de précision ($R^2 \ge 0,999$) et de solutions symboliques (correctitude structurelle). Il surpasse ou égale les bases de référence comme uDSR, SR4MDL et TPSR, particulièrement sur les expressions complexes.
• Complexité vs Précision : Contrairement à certaines bases de référence qui sacrifient la précision au profit de la complexité, EditSR maintient un équilibre favorable, générant des expressions plus simples tout en atteignant un $R^2$ élevé.
• Efficacité : EditSR démontre le temps de test le plus bas parmi les modèles comparés (17,03s contre 174,24s pour TPSR sur les benchmarks standards). Cela confirme que le déplacement de l'effort de rectification vers le pré-entraînement évite le coût élevé de la recherche en ligne.
• Robustesse :
  • Bruit : EditSR maintient une performance élevée sous des niveaux de bruit gaussien (jusqu'à 0,1), surpassant de nombreuses bases de référence dans les benchmarks Feynman et ODE-Strogatz.
  • Distracteurs : En présence de variables non pertinentes, EditSR maintient un taux élevé de solutions symboliques tout en utilisant nettement moins de distracteurs que les bases de référence, indiquant une meilleure récupération structurelle plutôt qu'un simple ajustement numérique.
• Études d'Ablation :
  • Nécessité du Rectificateur : L'ajout du Rectificateur booste significativement les performances, surtout sur les expressions de haute complexité où le modèle de base (NeSymReS) échoue souvent.
  • Affinage (Fine-tuning) : Bien que le pré-entraînement sur des chaînes artificielles fournisse une base solide, l'affinage du Rectificateur sur les schémas d'erreur spécifiques du premier couche apporte des gains supplémentaires.
  • Étapes d'Édition : Les rectifications réussies nécessitent généralement seulement 4 à 6 étapes d'édition, ce qui soutient l'hypothèse que les prédictions initiales sont souvent structurellement proches de la cible.

5. Signification et Revendications

L'article affirme qu'EditSR offre une solution pratique au compromis entre capacité de recherche et efficacité de calcul dans la régression symbolique neuronale. En reformulant la rectification post-hoc comme un processus de transition d'état appris et basé sur l'édition, la méthode :

• Préserve l'Efficacité : Elle évite la pénalité de calcul liée au redémarrage de la recherche globale ou à l'optimisation coûteuse dans l'espace latent pendant l'inférence.
• Atténue l'Accumulation d'Erreurs : En conditionnant les éditions sur l'état actuel, elle permet la correction d'erreurs antérieures, une caractéristique absente du décodage autorégressif standard.
• Améliore la Récupération Structurelle : L'objectif est dirigé vers la structure symbolique cible, menant à des taux plus élevés de récupération structurelle exacte par rapport aux méthodes qui optimisent uniquement l'erreur numérique.

Les auteurs reconnaissent des limites, notant que la robustesse du Rectificateur dépend de la qualité de la prédiction initiale de la première couche et que les problèmes extrêmement complexes où la prédiction initiale est structurellement éloignée de la cible peuvent encore rester non résolus. Cependant, le cadre est présenté comme une étape significative vers la création d'une régression symbolique neuronale à la fois efficace et fiable pour les tâches de découverte scientifique complexes.