Résumé technique : Émulateurs pour les expériences informatiques à grande échelle avec entrées quantitatives et qualitatives

Énoncé du problème

Les expériences informatiques impliquant des entrées mixtes — comprenant à la fois des variables quantitatives et des facteurs qualitatifs — sont de plus en plus courantes dans les domaines scientifiques et de l'ingénierie, allant de la combustion et la biologie des systèmes à l'ingénierie structurelle. Bien que les modèles de substitution statistiques (émulateurs) comme les processus gausiens (GP) soient des outils standards pour ces expériences, la construction d'émulateurs précis et informatiquement efficaces à grande échelle reste un défi important.

Deux obstacles majeurs existent :

1. Gestion des entrées mixtes : Les méthodes existantes pour les entrées mixtes, telles que les GP faciles à interpréter (EzGP) et les GP à variables latentes (LvGP), nécessitent souvent un espace métrique pour les variables qualitatives. À mesure que le nombre de facteurs qualitatifs ou de leurs niveaux augmente, le nombre de paramètres de covariance croît rapidement, entraînant une sur-paramétrisation et une intraitabilité computationnelle.
2. Scalabilité : Les approches conventionnelles basées sur les GP passent à une complexité de $O(n^3)$ pour le calcul et $O(n^2)$ pour la mémoire, ce qui les rend prohibitives pour les grands ensembles de données ($n$). Bien que des approximations scalables comme l'approximation de Vecchia et les GP localisés (ex: laGP, TwinGP) existent pour les entrées quantitatives, elles n'ont pas été étendues efficacement pour gérer les entrées mixtes sans sacrifier la flexibilité ou la précision du modèle.

Méthodologie

Les auteurs proposent un nouveau cadre de travail scalable nommé SVA (Scaled Vecchia Approximation) qui intègre une nouvelle fonction de covariance avec l'approximation de Vecchia pour gérer efficacement les entrées mixtes.

1. Une nouvelle fonction de covariance (SEzGP)

Le cœur de la méthode proposée est une fonction de covariance modifiée, SEzGP, qui étend le cadre EzGP.

• Structure : Le modèle suppose une structure additive où la sortie $Y(x, z)$ est la somme d'un GP global avec des entrées quantitatives et de GP locaux conditionnés par les niveaux qualitatifs.
• Innovation : Contrairement au standard EzGP ou EEzGP, qui assignent des paramètres de corrélation distincts pour chaque combinaison de facteurs quantitatifs et de niveaux qualitatifs (entraînant une haute dimensionnalité), le modèle SEzGP suppose que les paramètres de corrélation pour les entrées quantitatives sont invariants par rapport aux variables qualitatives.
• Formulation :
  $$K(w_i, w_j) = \sigma^2_0 \exp\left\{-\sum_{k=1}^p \theta^{(0)}_k (x_{ik} - x_{jk})^2\right\} + \sum_{h=1}^q \sum_{l_h=1}^{m_h} \mathbb{1}(z_{ih} = z_{jh} \equiv l_h) \sigma^2_h \exp\left\{-\sum_{k=1}^p \theta_k (x_{ik} - x_{jk})^2\right\}$$
  Ici, les paramètres de corrélation $\theta_k$ pour les entrées quantitatives sont partagés à travers tous les niveaux qualitatifs, réduisant considérablement le nombre de paramètres à $2 + 2p + q$.

2. Approximation de Vecchia scalée (SVA)

Pour atteindre la scalabilité, les auteurs adaptent l'approximation de Vecchia scalée (Katzfuss et al., 2022) au modèle SEzGP.

• Mise à l'échelle (Scaling) : Les entrées quantitatives sont mises à l'échelle par la racine carrée de leurs paramètres de corrélation ($\sqrt{\theta_k}$), transformant ainsi l'espace d'entrée pour tenir compte de la pertinence de chaque dimension.
• Approximation : La vraisemblance jointe est approximée par un produit de distributions conditionnelles de faible dimension utilisant un ensemble de conditionnement soigneusement sélectionné (voisins les plus proches dans l'espace scalé). Cela réduit la complexité computationnelle de $O(n^3)$ à environ $O(nm^2)$, où $m \ll n$.
• Estimation : Les paramètres sont estimés à l'aide de l'algorithme de Fisher scoring pour maximiser la vraisemblance de Vecchia.

3. Extensions des méthodes de référence

Pour fournir une comparaison complète, les auteurs étendent deux méthodes de GP à grande échelle proéminentes pour gérer les entrées mixtes en utilisant la covariance SEzGP :

• La (laGP étendue) : Adapte le critère Active Learning Cohn (ALC) pour sélectionner séquentiellement des points de conception locaux pour les entrées mixtes.
• Twin (TwinGP étendue) : Adapte l'approche de "Twinning", sélectionnant des points globaux indépendants de l'emplacement de la prédiction et des points locaux via les plus proches voisins, en utilisant un encodage one-hot pour les variables qualitatives lors de la sélection des points.

Contributions clés

1. Structure de covariance novatrice : Introduction de la fonction de covariance SEzGP, qui équilibre la flexibilité du modèle et la parcimonie des paramètres en partageant les paramètres de corrélation quantitatifs entre les niveaux qualitatifs.
2. Cadre scalable : Intégration réussie de SEzGP avec l'approximation de Vecchia scalée (SVA), permettant une prédiction efficace et une quantification complète de l'incertitude pour des ensembles de données massifs avec des entrées mixtes.
3. Extensions de référence : Implémentation de versions à entrées mixtes de laGP et TwinGP pour servir de bases de comparaison rigoureuses.
4. Validation empirique : Études numériques approfondies et une application réelle démontrant la supériorité de l'approche proposée.

Résultats

L'article évalue la méthode SVA proposée par rapport aux concurrents (Twin, La, LEzGP, VA, et NN) à travers quatre exemples numériques et une application réelle.

Expériences numériques

Deux scénarios ont été testés :

• Scénario 1 : Nombre suffisant de points de données par combinaison de niveaux qualitatifs.
• Scénario 2 : Grand nombre de combinaisons de niveaux avec des données éparses par combinaison.

Résultats :

• Précision : SVA a systématiquement obtenu l'erreur quadratique moyenne (RMSE) la plus faible dans la plupart des scénarios, démontrant une précision prédictive supérieure par rapport aux méthodes non scalées (VA), aux méthodes localisées (La, LE) et aux approches de plus proches voisins (NN).
• Efficacité : Bien que la méthode des plus proches voisins (NN) soit la plus rapide, elle souffre d'une précision nettement inférieure. SVA offre un compromis supérieur, maintenant des temps de calcul compétitifs (souvent comparables à NN) tout en délivrant des performances prédictives sensiblement meilleures.
• Scalabilité : Dans les scénarios de données éparses (Scénario 2), SVA a maintenu des performances robustes là où les autres méthodes peinaient, soit en précision, soit en coût computationnel.

Application réelle

Une étude de cas sur la déflexion de poutres en ingénierie structurelle a été menée en utilisant des données synthétisées de la base de données de l'American Institute of Steel Construction (AISC).

• Configuration : Le modèle prédit la déflexion maximale basée sur des entrées continues (profondeur de la poutre, section, portée, position de la charge) et des entrées qualitatives (type de matériau, forme de la section transversale).
• Résultat : SVA a surpassé toutes les méthodes concurrentes (La, Twin, NN, VA) tant en précision prédictive (log-RMSE) qu'en efficacité computationnelle, validant son utilité dans des problèmes d'ingénierie complexes basés sur la physique.

Signification et affirmations

L'article affirme que le cadre SVA proposé comble efficacement le fossé entre les techniques d'approximation scalables et la modélisation d'expériences informatiques à entrées mixtes. En introduisant une fonction de covariance qui réduit la complexité des paramètres sans ignorer les effets qualitatifs, et en la couplant avec l'approximation de Vecchia, les auteurs démontrent que :

1. Les expériences informatiques à grande échelle avec des entrées mixtes peuvent être émulées avec une grande précision et une faisabilité informatique.
2. Le mécanisme de mise à l'échelle inhérent à SVA est crucial pour capturer efficacement l'influence des facteurs quantitatifs et qualitatifs.
3. La méthode offre une solution pratique pour la quantification de l'incertitude dans des contextes à grande échelle où les GP traditionnels échouent en raison de contraintes de mémoire et de temps.

Les auteurs notent modestement que bien que leurs extensions de laGP et TwinGP n'aient pas égalé les performances de SVA dans ces contextes spécifiques d'entrées mixtes, des extensions plus sophistiquées de ces méthodes pourraient encore révéler un potentiel. Ils identifient également des directions de recherche futures, incluant l'application de la fonction de covariance proposée à l'optimisation globale et l'estimation de contours.