Sharpness-Aware Hybrid Model Learning for Architecture-Agnostic Parameter Estimation

Résumé technique : Apprentissage de modèles hybrides par recherche de l'aplatissement pour l'estimation de paramètres indépendante de l'architecture

1. Énoncé du problème

La modélisation hybride, qui combine des modèles mathématiques scientifiques (mécanistes/fondés sur la physique) avec des modèles d'apprentissage automatique (ML), offre une voie prometteuse pour obtenir des prédictions flexibles, robustes et partiellement interprétables. Cependant, un défi critique surgit lorsque la composante ML est nettement plus flexible que le modèle scientifique. Dans de tels scénarios, la partie ML peut absorber toutes les variations des données, rendant ainsi les paramètres inconnus du modèle scientifique inidentifiables. Ce phénomène, souvent appelé « l'inidentifiabilité » des paramètres scientifiques, se produit parce que le processus d'optimisation minimise l'erreur de prédiction en ajustant uniquement les paramètres du ML ($\phi$), laissant les paramètres scientifiques ($\theta$) arbitraires.

Les solutions existantes reposent généralement sur des termes de régularisation conçus pour supprimer la flexibilité de la composante ML. Cependant, la formulation de ces régulariseurs est fortement dépendante de l'architecture. Pour des modèles additifs simples ($y = f(x) + g(x)$), on pourrait pénaliser la norme de $g$. Pourtant, pour des compositions imbriquées complexes ($y = g(x, f(x))$ ou des chaînes fonctionnelles plus profondes), concevoir un régularisateur générique et efficace qui ne nécessite pas de connaissances spécifiques au domaine ou d'hypothèses architecturales est non trivial.

2. Méthodologie

L'article propose une méthode indépendante de l'architecture pour estimer les paramètres scientifiques en exploitant l'aplatissement des minima de perte, fondé sur le principe du rasoir d'Occam. L'hypothèse centrale est qu'un paramètre scientifique $\theta$ « correct » laisse une tâche résiduelle « simple » pour la composante ML $g_\phi$. Dans le contexte des paysages de perte, un modèle simple correspond à un minimum plat, tandis qu'un modèle dépendant d'une configuration ML spécifique et finement ajustée pour compenser un $\theta$ erroné correspond à un minimum aigu (sharp).

Fondement théorique :
Les auteurs relient l'apprentissage de modèles hybrides au concept d'énergie libre (ou inférence variationnelle). Ils définissent un objectif de perte $\bar{J}(\theta)$ qui minimise la perte attendue sur une distribution de paramètres ML $q(\phi)$, régularisée par la divergence de Kullback-Leibler (KL) par rapport à une distribution a priori $p(\phi)$ :
$$\bar{J}(\theta) := \min_{q} \left( \mathbb{E}_{\phi \sim q} L(\theta, \phi) + \text{KL}(q(\phi) \| p(\phi)) \right)$$
Minimiser cet objectif favorise les valeurs de $\theta$ où la perte $L(\theta, \phi)$ reste faible sur une large plage de $\phi$ (c'est-à-dire une région plate), plutôt que de nécessiter un $\phi$ spécifique et aigu pour obtenir une perte faible.

Implémentation algorithmique (SAM pour les modèles hybrides) :
L'optimisation directe de l'énergie libre est numériquement intractale en raison de la constante de normalisation. À la place, les auteurs adaptent la méthode Sharpness-Aware Minimization (SAM) [15].

• SAM standard : Minimise la perte dans le pire des cas au sein d'un voisinage des paramètres : $\min_w \max_{\|\epsilon\| \le \rho} L(w + \epsilon)$.
• Modification proposée : Les auteurs modifient SAM pour perturber uniquement les paramètres ML ($\phi$) tout en laissant les paramètres scientifiques ($\theta$) non perturbés lors de l'étape d'ascension.
  • Raisonnement : L'objectif est de trouver un $\theta$ tel que la perte soit plate le long de l'axe $\phi$. L'aplatissement le long de l'axe $\theta$ n'est pas souhaité, car cela impliquerait que différents $\theta$ produisent des pertes similaires, rendant $\theta$ inidentifiable.
• Algorithme 1 : À chaque étape d'entraînement, l'algorithme calcule la direction d'ascension $\epsilon^*_\phi$ basée sur le gradient de la perte par rapport à $\phi$, perturbe $\phi$, calcule le gradient au point perturbé, et met à jour $\theta$ et $\phi$ en utilisant ce gradient.

3. Contributions clés

1. Estimation de paramètres indépendante de l'architecture : L'article introduit une méthode qui ne nécessite pas la conception de régulariseurs spécifiques pour différentes architectures de modèles hybrides (par exemple, compositions additives vs imbriquées).
2. Connexion théorique : Il établit un lien entre l'aplatissement de la perte (généralement associé à la généralisation) et l'identifiabilité des paramètres scientifiques dans les modèles hybrides. Il postule que les minima plats dans l'espace des paramètres ML correspondent à des paramètres scientifiquement significatifs.
3. Algorithme SAM modifié : Les auteurs proposent une variante spécifique de SAM qui perturbe uniquement les paramètres ML, ce qui est théoriquement justifié par la nécessité d'imposer la simplicité dans la tâche résiduelle de la composante ML.
4. Validation empirique : La méthode est validée sur divers ensembles de données synthétiques et réels, démontrant son efficacité là où les méthodes de régularisation traditionnelles échouent ou nécessitent un réglage spécifique à l'architecture.

4. Résultats expérimentaux

Les auteurs ont évalué les méthodes basées sur SAM (SAM, Adaptive SAM, Fisher SAM) par rapport aux lignes de base : la minimisation du risque empirique (ERM), la régularisation de paramètres ($L_2$ sur $\phi$) et la régularisation fonctionnelle (pénalités spécifiques à l'architecture).

• Tâches : Les expériences comprenaient quatre tâches synthétiques (Série temporelle du pendule amorti, Réaction-diffusion, Oscillateur de Duffing, Images de pendule) et deux tâches réelles (Prédiction de pression en soufflerie, Prédiction d'image de tunnel de lumière).
• Performance :
  • Estimation des paramètres (erreur $\theta$) : Les méthodes basées sur SAM ont systématiquement obtenu des erreurs d'estimation plus faibles pour les paramètres scientifiques par rapport à l'ERM. Dans de nombreux cas non additifs (ex: Soufflerie, Tunnel de lumière, Images de pendule), les méthodes de régularisation de base (p-reg, f-reg) ont mal performé ou ont nécessité un réglage minutieux, tandis que les méthodes SAM ont fourni une estimation robuste sans conception spécifique à l'architecture.
  • Précision de prédiction (erreur $y$) : Les méthodes SAM ont obtenu des erreurs de prédiction comparables ou légèrement supérieures aux meilleures lignes de base. Les auteurs notent que si nécessaire, $\phi$ peut être ré-entraîné ou affiné après avoir fixé $\theta$ pour récupérer toute perte mineure de prédiction.
  • Constatations spécifiques :
    • Dans la tâche de l'Oscillateur de Duffing (additive), la régularisation fonctionnelle a échoué à estimer correctement $\theta$, tandis que SAM a réussi.
    • Dans les tâches non additives (ex: Tunnel de lumière), la méthode proposée a nettement surpassé les lignes de base qui peinaient à définir des régulariseurs appropriés.
    • Sensibilité aux hyperparamètres : La méthode s'est révélée relativement robuste au rayon de perturbation $\rho$ dans les plages standards, bien qu'une régularisation trop forte puisse dégrader les performances de prédiction.
    • Étendue de la perturbation : Les expériences comparant le SAM modifié (perturbant uniquement $\phi$) au SAM ordinaire (perturbant tous les paramètres) ont montré que la modification améliorait ou maintenait généralement la précision de l'estimation de $\theta$, particerlement dans les tâches avec moins de paramètres scientifiques.

5. Signification et affirmations

L'article affirme ouvrir une nouvelle voie pour l'estimation de paramètres indépendante de l'architecture dans les modèles hybrides. En déplaçant l'attention de la conception de régulariseurs complexes et spécifiques à l'architecture vers l'exploitation des propriétés géométriques du paysage de perte (l'aplatissement), la méthode offre un outil polyvalent pour l'identification de paramètres scientifiques.

Modestie et limites :
Les auteurs déclarent explicitement que leur méthode ne garantit pas l'identification du paramètre scientifique « correct » dans tous les cas. Comme pour les méthodes existantes, la « correction » de $\theta$ dépend des hypothèses sous-jacentes sur le processus de génération des données et les principes de sélection de modèle. Le papier reconnaît que sans hypothèses spécifiques sur la distribution des données ou l'architecture du modèle, la méthode proposée ne peut garantir universellement la récupération des paramètres de vérité terrain. Il positionne ce travail comme une étape pratique vers la résolution du problème de l'inidentifiabilité dans les contextes hybrides généraux, tout en notant que l'établissement d'une théorie rigoureuse et universelle de l'identification pour les modèles hybrides généraux reste un défi ouvert.