Active Learning with Adaptive Non-Stationary Kernel for Continuous-Fidelity Surrogate Models

Résumé Technique : Apprentissage Actif avec Noyau Non Stationnaire Adaptatif pour les Modèles Substituts à Fidélité Continue

Énoncé du Problème
Les simulations informatiques de processus physiques complexes, particulièrement celles utilisant la Méthode des Éléments Finis (MEF), sont souvent extrêmement coûteuses en ressources de calcul. Les simulations de haute fidélité offrent une grande précision mais nécessitent des ressources substantielles, tandis que les simulations de faible fidélité sont moins coûteuses mais moins précises. Les modèles de substitution multi-fidélité traditionnels reposent souvent sur des niveaux de fidélité discrets ou des hypothèses de Processus Gaussien (GP) stationnaires. Cependant, dans de nombreuses applications de MEF, la fidélité est déterminée par des paramètres continus (par exemple, la densité du maillage ou la taille du pas de temps) qui contrôlent la précision numérique. Les méthodes existantes peinent à intégrer efficacement ces paramètres de fidélité continus dans un cadre statistique qui rend compte du comportement de convergence spécifique des erreurs numériques (où l'erreur s'annule lorsque le paramètre de fidélité tend vers zéro) et des structures de corrélation variables des incréments de simulation à travers l'espace de fidélité. De plus, les plans d'expériences statiques « en une seule étape » (one-shot) ne parviennent pas à optimiser le compromis entre le gain d'information et le coût de calcul par rapport aux stratégies séquentielles.

Méthodologie
Les auteurs proposent un cadre combinant un nouveau modèle de substitution avec une stratégie d'apprentissage actif (conception séquentielle).

1. Modèle de Substitution GP Non Stationnaire :
   Le cadre modélise la sortie informatique $y(x, t)$ comme la somme d'une solution exacte $\phi(x)$ et d'une fonction d'erreur $\delta(x, t)$, où $x$ représente les paramètres d'entrée physiques et $t$ représente un vecteur de paramètre de fidélité continu. Les deux composantes sont modélisées comme des Processus Gaussiens.

• Noyau Adaptatif : L'innovation centrale est une nouvelle fonction de noyau non stationnaire adaptative, $K_\gamma(t_1, t_2)$, inspirée du mouvement brownien fractionnaire et du modèle de krigeage de Lifted Brownian (LB). Ce noyau est conçu pour capturer le taux de convergence de la fonction d'erreur lorsque $t \to 0$. Il introduit un paramètre $\gamma \in (0, 1)$ pour contrôler le comportement à courte portée et la corrélation des incréments le long de l'espace du paramètre de fidélité. Cela permet au modèle de s'adapter à divers comportements de trajectoires (par exemple, incréments positivement corrélés, négativement corrélés ou non corrélés) observés dans différentes simulations MEF.
• Inférence : Les hyperparamètres sont estimés par l'Estimation du Maximum de Vraisemblance (MLE) avec une approche par injection (plug-in), offrant une alternative plus efficace sur le plan computationnel aux méthodes entièrement bayésiennes. Le modèle permet l'extrapolation vers la solution exacte à $t=0$.

2. Stratégie d'Apprentissage Actif :
   Les auteurs développent une stratégie de conception séquentielle basée sur l'Erreur de Prédiction Moyenne Intégrée (IMSPE).

• Critère Ajusté au Coût : Pour gérer les budgets de calcul, la sélection du prochain point de conception $(x_{n+1}, t_{n+1})$ maximise le ratio de réduction de l'IMSPE par rapport au coût de calcul $C(t)$.
• Optimisation en Forme Fermée : Une contribution technique clé est la dérivation d'une expression en forme fermée pour la réduction de l'IMSPE et ses dérivées. Cela permet une optimisation numérique efficace (utilisant la descente de gradient avec multi-départs) sur l'espace de fidélité continu, évitant ainsi les approximations de Monte Carlo coûteuses ou les grilles discrètes pré-définies utilisées dans les travaux précédents.
• Conceptions Initiales : L'étude examine l'impact des conceptions initiales (par exemple, MaxPro, Multi-Mesh Experimental Design) sur l'estimation des hyperparamètres et la performance subséquente de l'apprentissage actif.

Contributions Clés

• Nouvelle Fonction de Noyau : Introduction d'un noyau non stationnaire adaptatif qui généralise les modèles précédents (y compris le modèle de Tuo et al., 2014) et reflète mieux le comportement des sorties de simulation informatique à travers des paramètres de fidélité continus, en accommodant spécifiquement les structures de corrélation variables des incréments.
• Apprentissage Actif Efficace : Développement d'un cadre d'apprentissage actif utilisant un critère IMSPE en forme fermée. Cela permet l'optimisation des points de conception sur un domaine de fidélité continu, une capacité absente des méthodes d'apprentissage actif par lots ou à niveaux discrets existantes.
• Évaluation Complète : La méthodologie est validée par des expériences numériques et trois études de cas MEF réels : l'équation de Poisson, l'analyse de contrainte d'une aube de turbine de moteur à réaction, et une équation d'onde dépendante du temps.

Résultats

• Études Numériques : La méthode d'Apprentissage Actif (AL) proposée avec le noyau Lifted Brownian (LBM) a systématiquement surpassé les modèles à fidélité unique et les conceptions « one-shot » (OS) à travers diverses configurations de paramètres. Le noyau LBM a montré une supériorité particulière lorsque les incréments de simulation étaient positivement corrélés ($\gamma = 0.95$).
• Études de Cas :
  • Équation de Poisson : Le noyau LBM a nettement surpassé les autres méthodes pour la réponse « Moyenne » (où les incréments sont positivement corrélés) et est resté très compétitif pour la réponse « Maximum ». Les méthodes AL ont systématiquement produit des RMSE plus faibles que les conceptions one-shot.
  • Aube de Turbine de Moteur à Réaction : L'approche multi-fidélité avec AL et le noyau LBM a fourni des performances prédictives robustes sans nécessiter la sélection d'une taille de maillage fin unique, potentiellement sous-optimale. Elle a surpassé les modèles à fidélité unique et les méthodes de conception par empilement (stacking).
  • Équation d'Onde : La méthode AL a démontré un avantage marqué sur les conceptions one-shot en sélectionnant stratégiquement des points de fidélité à faible coût qui maximisent l'amélioration prédictive, atteignant des RMSE plus faibles pour un même budget de calcul.
• Sensibilité de la Conception Initiale : Bien que le choix de la conception initiale affecte significativement la robustesse de l'estimation des hyperparamètres, la performance prédictive finale de la méthode d'apprentissage actif s'est révélée relativement insensible au choix spécifique de la conception initiale, pourvu qu'un budget raisonnable soit alloué.

Signification
L'article affirme que ce cadre comble des lacunes critiques dans la conception expérimentale multi-fidélité pour les paramètres de fidélité continus. En intégrant un noyau adaptatif qui s'aligne sur les taux de convergence de l'analyse numérique et un critère d'apprentissage actif efficace, la méthode offre une alternative beaucoup moins coûteuse en calcul que les simulations MEF lourdes. La capacité d'extrapoler vers la solution exacte ($t=0$) tout en fournissant une quantification de l'incertitude distingue cette approche des modèles multi-fidélité autorégressifs. Les auteurs positionnent leur travail comme une étape vers une quantification de l'incertitude plus efficace dans les simulations complexes, notant que bien que leur méthode améliore la performance prédictive, des travaux futurs sont nécessaires pour traiter les sorties multidimensionnelles et les coûts de transition entre les configurations de maillage. Un package R (MuFiMeshGP) implémentant la méthodologie est fourni pour faciliter la reproductibilité.