Résumé Technique : OrthoReg pour les Systèmes Dynamiques Hybrides Symboliques-Neuraux

1. Énoncé du Problème

La modélisation des systèmes dynamiques fait face à un compromis fondamental entre interprétabilité et expressivité. Les modèles mécanistes (symboliques) prescrits manuellement sont interprétables mais souvent mal spécifiés ou trop simplistes pour les phénomènes naturels complexes. À l'inverse, les méthodes neuronales fondées sur les données et flexibles excellent dans l'ajustement des données, mais manquent de compréhension physique. La modélisation hybride tente de combler ce fossé en combinant une composante physique prescrite ou symbolique ($f_{phy}$) avec un résidu neural flexible ($f_{aug}$).

Un défi critique surgit lorsque la composante symbolique n'est pas fixée a priori mais est découverte à partir des données via des méthodes basées sur des bibliothèques éparses (par exemple, des approches de type SINDy). Dans ce régime, les approches hybrides standard échouent souvent à maintenir une division claire du travail. Plus précisément, l'augmentation neurale peut « réapprendre » ou chevaucher la structure symbolique, conduisant à des modèles redondants et ininterprétables.

L'article identifie que les méthodes existantes reposant sur une régularisation $L_2$ standard (telle que le cadre APHYNITY) s'appuient sur un argument de projection qui suppose un sous-espace symbolique fixe. Lorsque la composante symbolique est apprise conjointement avec des contraintes de parcimonie (par exemple, une régularisation $L_1$), la réduction des coefficients laisse une structure résiduelle à l'intérieur de l'étendue de la bibliothèque symbolique. Par conséquent, l'augmentation neurale peut chevaucher la partie symbolique même si la norme totale est faible, brisant ainsi la garantie d'orthogonalité que la régularisation $L_2$ fournit dans les contextes de classes fixes.

2. Méthodologie : OrthoReg

Les auteurs proposent OrthoReg (Régularisation Orthogonale), une méthode conçue pour imposer une décomposition complémentaire entre les composantes symboliques et neurales lors de l'entraînement conjoint.

Objectif Central

OrthoReg modifie l'objectif d'entraînement pour pénaliser explicitement le chevauchement empirique entre l'augmentation neurale et la bibliothèque symbolique. Étant donné un ensemble de données $D = \{x_i\}_{i=1}^N$, une bibliothèque symbolique fixe $\{\phi_j\}_{j=1}^M$, et une augmentation neurale $\hat{f}_{aug}(\cdot; \vartheta)$, l'objectif est :

$$\min_{w, \vartheta} \mathcal{L}_{fit}(w, \vartheta) + \mu \|w\|_1 + \lambda \sum_{j=1}^M \langle \hat{f}_{aug}(\cdot; \vartheta), \phi_j \rangle_D^2$$

Où :

• $\mathcal{L}_{fit}$ est la perte d'ajustement des données (régression de champ de vecteurs ou prédiction à une étape).
• $\mu \|w\|_1$ impose la parcimonie sur les coefficients symboliques $w$.
• Le troisième terme est la Pénalité d'Orthogonalité, où $\langle \cdot, \cdot \rangle_D$ désigne le produit scalaire empirique sur les états observés.
• $\lambda$ contrôle la force de la contrainte d'orthogonalité.

Mécanisme Théorique

Contrairement à la régularisation $L_2$, qui pénalise la norme totale de l'augmentation ($\|\hat{f}_{aug}\|_D^2$), OrthoReg pénalise les produits scalaires au carré de l'augmentation avec chaque fonction de la bibliothèque.

• Garantie Théorique : Les auteurs prouvent que lorsque $\lambda \to \infty$, les violations d'orthogonalité empirique convergent vers zéro.
• Décomposition de l'Erreur : Sous le produit scalaire empirique, l'imposition de l'orthogonalité produit une décomposition d'erreur propre :
  $$\|f - (\hat{f}_{phy} + \hat{f}_{aug})\|_D^2 = \|P_D^{F_{phy}}(f) - \hat{f}_{phy}\|_D^2 + \|f - P_D^{F_{phy}}(f) - \hat{f}_{aug}\|_D^2$$
  Cela garantit que la partie symbolique capture ce que la bibliothèque peut exprimer (la projection dans la bibliothèque), tandis que la partie neurale capture le complément orthogonal (le résidu).

3. Contributions Clés

1. Analyse Théorique du Chevauchement : L'article démontre que la régularisation $L_2$ échoue à empêcher le chevauchement symbolique-neural lorsque la composante symbolique est apprise via une découverte parcimonieuse (Théorème A.2). Un contre-exemple montre que la parcimonie force le résidu à rester dans l'étendue symbolique, permettant au réseau de neurones de réapprendre des directions symboliques.
2. Algorithme OrthoReg : Les auteurs introduisent une solution algorithmique qui intègre une pénalité d'orthogonalité directement dans l'objectif de découverte parcimonieuse conjointe, garantissant que le résidu neural reste orthogonal à la bibliothèque symbolique sous le produit scalaire empirique.
3. Validation Empirique : Des expériences approfondies sur des systèmes dynamiques de référence (Pendule amorti, Lotka-Volterra, SIR, Oscillateur de Duffing) montrent qu'OrthoReg améliore la récupération symbolique (scores F1 plus élevés, moins de termes) et la généralisation hors distribution (OOD) par rapport aux bases purement symboliques, purement neurales et hybrides régularisées par $L_2$.

4. Résultats Expérimentaux

L'évaluation se concentre sur des systèmes présentant un décalage partiel de bibliothèque (partial library mismatch), où la dynamique réelle contient des termes absents du dictionnaire symbolique.

• Récupération Symbolique : OrthoReg atteint systématiquement les scores F1 les plus élevés pour la récupération du support symbolique correct et le plus petit nombre de termes, indiquant un modèle plus propre et plus interprétable. Par exemple, sur le Pendule amorti, OrthoReg a obtenu un F1 de $0.93 \pm 0.15$ contre $0.61$ pour la base $L_2$.
• Généralisation Hors Distribution (OOD) : OrthoReg réduit considérablement les erreurs de dérivée OOD, particulièrement dans les régimes de décalage de bibliothèque modéré. Sur le Pendule amorti, l'erreur de dérivée OOD a chuté de plus de deux ordres de grandeur par rapport à la base $L_2$.
• Compromis : La méthode accepte une légère augmentation de l'erreur quadratique moyenne (MSE) des états en distribution (ID) en échange d'un meilleur comportement OOD et d'une meilleure séparation symbolique. Cela est cohérent avec la vue théorique selon laquelle l'imposition d'une séparation orthogonique stricte sacrifie une partie de l'ajustement brut pour préserver l'intégrité structurelle.
• Robustesse : Les bénéfices persistent sous un échantillonnage irrégulier mais diminuent sous un bruit d'observation important ou lorsque les dynamiques manquantes sont fortement entrelacées avec les caractéristiques de la bibliothèque.

5. Signification et Revendications

L'article affirme qu'OrthoReg traite une fragilité spécifique de la modélisation hybride : la perte d'interprétabilité lorsque la composante symbolique est apprise plutôt que fixée. En rendant la complémentarité entre les composantes symboliques et neurales explicite par la régularisation d'orthogonalité, la méthode garantit que :

• La composante symbolique capture toutes les dynamiques exprimables par la bibliothèque.
• La composante neurale capture uniquement les résidus structurés que la bibliothèque ne peut exprimer.

Les auteurs positionnent OrthoReg non pas comme un amplificateur d'exactitude universel, mais comme un régularisateur de décomposition. Sa valeur principale réside dans la préservation d'une explication symbolique significative tout en assignant les effets non-symboliques au résidu, permettant ainsi l'existence de modèles scientifiques hybrides où des vocabulaires mécanistes approximatifs et des résidus flexibles peuvent coexister sans effacer l'explication symbolique.

Limites Reconnues :

• Les garanties théoriques sont actuellement limitées au produit scalaire empirique et aux modèles additifs avec des bibliothèques différentiables fixes.
• Les garanties au niveau de la population nécessitent des arguments de convergence uniforme sur la classe d'hypothèses d'augmentation, ce qui est laissé pour des travaux futurs.
• La méthode ne récupère pas les lois régissantes absentes de la bibliothèque ; elle ne fait que séparer les dynamiques exprimables par la bibliothèque du reste.
• Les performances se dégradent sous des niveaux de bruit élevés où l'estimation des dérivées devient peu fiable.