Résumé Technique : Une approche de régression symbolique sans données pour la résolution d'équations

Énoncé du Problème

De nombreuses équations en science et en ingénierie, particulièrement celles impliquant des termes transcendants ou des opérateurs différentiels complexes, ne peuvent être résolues par les techniques analytiques existantes. Par conséquent, elles sont généralement traitées à l'aide de méthodes numériques qui produisent des solutions approximatives sans expressions symboliques explicites. Bien que les solutions numériques soient quantitativement précises, elles occultent souvent les dépendances fonctionnelles sous-jacentes, les symétries et les comportements qualitatifs du système.

Les approches existantes pour récupérer des solutions explicites font face à un compromis :

1. Solveurs Analytiques : Peuvent dériver des solutions symboliques exactes mais sont limités à des structures d'équations spécifiques (par exemple, des systèmes polynomiaux ou des classes restreintes d'EDO).
2. Régression Symbolique : Peut découvrir des expressions interprétables mais repose fondamentalement sur des données d'entrée-sortie supervisées appariées, qui sont souvent indisponibles lorsque seules l'équation directrice et les conditions aux limites sont connues.
3. Méthodes Neurales Basées sur le Résiduel (ex: PINNs) : Opèrent directement à partir des équations directrices et des contraintes sans avoir besoin de données étiquetées. Cependant, elles produisent des solutions encodées dans les paramètres de réseaux de neurones (approximations numériques) plutôt que sous une forme symbolique explicite, ce qui limite l'utilité analytique ultérieure.

Il existe une lacune dans la littérature pour une méthode qui opère directement à partir des équations directrices et des contraintes auxiliaires, évite le besoin de données d'entrée-sortie supervisées, et récupère la solution sous une forme symbolique explicite.

Méthodologie : Solveur d'Équations Symboliques (SES)

Les auteurs proposent le Symbolic Equation Solver (SES), un cadre qui formule la résolution d'équations comme un problème d'optimisation sur des modèles symboliques différentiables. Contra à la régression symbolique traditionnelle, le SES ne cherche pas à ajuster un modèle à des données ; il optimise une expression symbolique pour satisfaire l'équation directrice et ses contraintes.

Architecture Centrale

• Classe de Modèle Symbolique : Le SES utilise un réseau symbolique différentiable basé sur la formulation de l'Equation Learner (EQL). Dans cette architecture, les fonctions d'activation conventionnelles des réseaux de neurones sont remplacées par une bibliothèque d'opérateurs symboliques (ex: identité, constantes, mise au carré, exponentielle, tangente hyperbolique, multiplication).
• Différentiabilité : Le réseau est entièrement différentiable, permettant aux gradients de se propager à travers les opérateurs symboliques. Cela permet l'utilisation de méthodes d'optimisation du premier ordre standard (Adam) pour optimiser les poids du réseau, lesquels correspondent aux coefficients de l'expression symbolique.
• Fonction d'Objectif : Le signal d'entraînement est dérivé entièrement des résidus de l'équation. Étant donné une équation directrice $F_k(x, u, \nabla u, \dots) = 0$ et des conditions auxiliaires $B_j(x, u, \nabla u, \dots) = 0$, le SES minimise une fonction de perte composée des carrés des résidus évalués en des points de collocation échantillonnés :
  $$L(\theta) = \frac{1}{N_F}\sum |F_k|^2 + \frac{1}{N_B}\sum |B_j|^2$$
  Pour les équations non différentielles, une variable auxiliaire est introduite pour générer des points de collocation, traitant la solution comme une fonction constante de cette variable.

Stratégie d'Optimisation

Le processus d'entraînement comprend trois phases distinctes pour assurer la convergence vers une solution parcimonieuse et interprétable :

1. Minimisation du Résiduel : Le modèle est entraîné pendant 50 000 époques en utilisant uniquement l'objectif de résidu pour satisfaire l'équation.
2. Induction de Parcimonie : L'entraînement se poursuit pendant 200 000 époques avec l'ajout d'une pénalité $\ell_1$ sur les poids internes. Durant cette phase, un mécanisme d'élagage supprime périodiquement les 25 % des poids ayant la plus faible contribution à la perte, encourageant une structure symbolique compacte.
3. Affinage (Fine-Tuning) : La pénalité $\ell_1$ est supprimée, et les poids restants sont affinés pendant 20 000 époques en utilisant uniquement l'objectif de résidu.
4. Extraction : L'expression symbolique finale est extraite en parcourant le graphe de calcul élagué et en arrondissant les poids appris à cinq décimales.

Contributions Clés

1. Récupération Symbolique Sans Données : Le SES démontre que des solutions symboliques explicites peuvent être récupérées sans aucune donnée d'entraînement d'entrée-sortie appariée, en s'appuyant uniquement sur la structure mathématique des équations directrices et des contraintes.
2. Cadre Unifié : Cette approche unifie le principe d'optimisation piloté par l'équation des solveurs neuraux basés sur le résidu (comme les PINNs) avec l'interprétabilité de la régression symbolique. Elle s'applique à la fois aux équations algébriques et différentielles au sein d'une formulation unique.
3. Optimisation Conjointe pour les Systèmes : Le cadre s'étend naturellement aux systèmes comportant plusieurs quantités inconnues, en optimisant ces dernières conjointement sous un objectif partagé.

Résultats Expérimentaux

Les auteurs ont évalué le SES sur un ensemble diversifié de problèmes, comparant les expressions symboliques récupérées aux solutions analytiques connues :

• Systèmes Linéaires : A récupéré avec succès des solutions constantes exactes ($x=2, y=1$) pour un système d'équations linéaires.
• Équations Transcendantes : A récupéré la solution $x=1$ pour l'équation $e^x + x^3 = e + 1$, un problème nécessitant typiquement des méthodes numériques car l'isolement symbolique standard est impossible.
• Équations Différentielles Ordinaires (EDO) :
  • A récupéré $y(t) = \tanh(t)$ pour l'EDO non linéaire $dy/dt = 1 - y^2$.
  • A récupéré la solution de transport quadratique $u(x,t) = (x-t)^2$ pour une équation de transport linéaire, préservant la forme fonctionnelle correcte malgré des valeurs de coefficients approximatives.
• Équations aux Dérivées Partielles (EDP) :
  • A résolu avec succès une équation de Poisson 2D avec des conditions aux limites mixtes, récupérant la structure polynomiale exacte $u(x,y) = x^2 + y^2 + xy^2$.
  • A récupéré la solution pour un second ensemble de conditions aux limites pour la même EDP, démontrant la robustesse à différentes configurations de contraintes.

Dans tous les cas, le SES a produit des expressions symboliques compactes qui correspondaient aux solutions analytiques, révélant souvent les dépendances fonctionnelles et les symétries correctes.

Signification et Revendications

L'article pose que la résolution d'équations peut être reformulée non pas simplement comme une dérivation analytique ou une approximation numérique, mais comme une optimisation dans l'espace des fonctions symboliques. La portée du SES réside dans sa capacité à combler le fossé entre les formulations basées sur les équations et la récupération symbolique.

• Interprétabilité et Découverte : En récupérant des solutions sous forme d'expressions symboliques explicites, le SES expose les dépendances structurelles et les relations fonctionnelles qui sont difficiles à inférer à partir de simples approximations numériques. Les auteurs suggèrent que cette capacité pourrait servir de mécanisme de génération et de découverte d'hypothèses scientifiques, fournissant des formes analytiques et des invariances candidates.
• Apprentissage Automatique Scientifique : Le SES représente une étape vers l'intégration du raisonnement symbolique de manière plus directe dans l'apprentissage automatique scientifique, offrant une voie vers des modèles qui sont à la fois prédictifs et structurellement fondés.
• Limites et Travaux Futurs : Les auteurs notent modestement que les résultats actuels sont des preuves de concept sur des problèmes aux solutions analytiques connues et aux structures relativement concises. Ils reconnaissent que l'extension du cadre à des EDP plus complexes, des systèmes de haute dimension et des dynamiques chaotiques nécessitera des architectures plus expressives, des bibliothèques d'opérateurs plus riches et des stratégies d'optimisation plus robustes.