Profile Bayesian Optimization for Expensive Computer Experiments

Résumé technique : Optimisation Bayésienne de Profil pour les expériences informatiques coûteuses

Énoncé du problème
L'article traite du défi de l'optimisation d'expériences informatiques déterministes, coûteuses et de type "boîte noire", où l'objectif est d'identifier des « optima de profil » plutôt qu'un simple optimum global. Dans ces scénarios, les entrées sont divisées en un seul paramètre de contrôle ($x^\star$) et plusieurs paramètres de nuisance ($x_{-\star}$). L'objectif est d'estimer la fonction $T(x^\star) = \min_{x_{-\star}} f(x^\star, x_{-\star})$ sur toute la plage plausible de $x^\star$.

L'optimisation bayésienne (BO) standard est mal adaptée à cette tâche car elle cible généralement un minimum global unique, négligeant souvent l'exploration de toute la plage du paramètre de contrôle. Les méthodes d'optimisation de profil existantes, telles que le Profile Expected Improvement (PEI) proposé par Ginsbourger et al. (2014), souffrent de deux limitations principales :

1. Intraitabilité computationnelle : Elles reposent sur des grilles denses pour la sélection des candidats, ce qui devient irréalisable dans des dimensions supérieures à deux.
2. Déséquilibre exploration-exploitation : Comme l'Expected Improvement (EI) traditionnel, le PEI a tendance à trop exploiter les régions proches du minimum global, échouant ainsi à explorer de manière adéquate toute la plage du paramètre de contrôle.

Les auteurs sont motivés par une application d'ingénierie spécifique : la conception d'un diffuseur pour un combusteur à détonation rotative (RDC). La simulation est coûteuse en termes de calcul (de 10 minutes à plusieurs heures par exécution) et est non stationnaire en raison de la dynamique de combustion. L'objectif est de cartographier la perte d'énergie minimale (perte de pression) en fonction de la longueur du diffuseur ($x^\star$), en optimisant sur cinq paramètres de nuisance (points de courbure et emplacement de la dérivation) afin d'éclairer les compromis de conception entre efficacité et contraintes physiques.

Méthodologie
Les auteurs proposent une nouvelle procédure d'Optimisation Bayésienne de Profil (PBO) qui intègre la modélisation par substitut avec une stratégie d'acquisition à deux étapes.

1. Modélisation par substitut (Surrogate Modeling) :

   • La méthode utilise soit des substituts de type Processus Gaussien (GP), soit de Processus Gaussien Profond (DGP). Les DGP sont mis en avant pour leur capacité à gérer les surfaces de réponse non stationnaires courantes dans les simulations physiques.
   • Pour estimer $T(x^\star)$, les auteurs génèrent des échantillons de la distribution postérieure jointe à partir du substitut. Pour chaque échantillon, ils identifient la valeur de réponse minimale pour chaque $x^\star$ unique. La distribution empirique de ces minimums fournit une estimation $\hat{T}(x^\star)$ accompagnée d'une quantification de l'incertitude (UQ) via des intervalles de crédibilité.
   • Pour gérer les coûts de calcul dans les hautes dimensions, l'approximation de Vecchia est employée pour un échantillonnage efficace de la distribution postérieure jointe.

2. Tricands Modifiés (Génération de candidats) :

   • Pour éviter le goulot d'étranglement computationnel des grilles denses, les auteurs adaptent l'approche des « tricands » (candidats de triangulation) de Gramacy et al. (2022).
   • Au lieu d'une grille complète, les candidats sont générés à l'aide d'une triangulation de Delaunay des paramètres de nuisance observés ($X_{-\star}$). Des « candidats internes » sont placés aux centres géométriques des composantes de la triangulation, et des « candidats de frange » sont placés près des limites.
   • Une grille 1D semi-dense est créée pour le paramètre de contrôle $x^\star$. L'ensemble final de candidats ($X_{tri+}$) est le produit cartésien de la grille $x^\star$ et des tricands des paramètres de nuisance. Cela permet une estimation efficace des minimums sans évaluer des milliards de points.

3. Schéma d'acquisition à deux étapes :
   La sélection du point d'évaluation suivant $x_{n+1} = \{x^\star_{n+1}, x_{-\star, n+1}\}$ se déroule en deux étapes distinctes :

   • Étape 1 (Exploration de $x^\star$) : L'algorithme sélectionne la valeur du paramètre de contrôle $x^\star_{n+1}$ qui présente la plus grande incertitude (largeur de l'intervalle de crédibilité la plus élevée) dans l'estimation actuelle de $\hat{T}(x^\star)$. Cette étape est inspirée du critère de MacKay pour l'apprentissage actif et garantit que toute la plage du paramètre de contrôle est explorée.
   • Étape 2 (Exploitation de $x_{-\star}$) : Une fois $x^\star_{n+1}$ fixé, l'algorithme sélectionne les paramètres de nuisance $x_{-\star, n+1}$ en maximisant le Profile Expected Improvement (PEI) le long de cette tranche spécifique. Cela concentre la recherche sur la découverte de la configuration de nuisance optimale pour le paramètre de contrôle choisi.

Résultats Clés
Les auteurs valident la procédure PBO à travers des tests de référence synthétiques et l'application motrice RDC :

• Tests de référence synthétiques :

  • Fonctions stationnaires (Branin 2D, Kyger 3D) : La PBO a surpassé la BO standard, l'échantillonnage de Latin Hypercube (LHS) aléatoire et la méthode PEI originale. La PBO a obtenu une erreur quadratique moyenne (RMSE) plus faible et des intervalles de crédibilité plus étroits tout en maintenant une couverture proche de 95 %. Crucialement, la PBO a exploré avec succès toute la plage de $x^\star$, alors que le PEI et la BO standard ont regroupé les acquisitions près des minima globaux, laissant des parties du profil inexplorées.
  • Fonction non stationnaire (Squiggle 4D) : En utilisant des substituts DGP, la PBO a démontré une précision supérieure aux substituts GP. Bien que les prédictions DGP montrent une couverture légèrement inférieure (indiquant un excès de confiance), elles ont produit des RMSE et des écarts absolaux maximaux (MaxAD) nettement inférieurs aux méthodes basées sur le GP.

• Application motrice (Diffuseur RDC) :

  • Appliquée à une simulation en 6D (1 contrôle, 5 nuisances), la PBO avec des substituts DGP a été exécutée pour 150 évaluations.
  • L'estimation du profil résultante a fourni une quantification de l'incertitude sur toute la plage des longueurs de diffuseur.
  • Comparée à un optimiseur évolutif multi-objectif de pointe (CADO) tourné sur le même budget (113 évaluations), la PBO a identifié des conceptions présentant des pertes de pression plus faibles que le front de Pareto trouvé par CADO. De plus, la PBO a fourni un profil continu d'optima, là où CADO n'a fourni qu'un ensemble discret de points de compromis.

Signification et Revendications
L'article affirme que l'Optimisation Bayésienne de Profil offre un cadre robuste pour estimer les optima de profil dans les expériences informatiques coûteuses où la plage du paramètre de contrôle est d'un intérêt primordial.

• Nouveauté : La principale contribution est le schéma d'acquisition à deux étapes qui sépare explicitement l'exploration du paramètre de contrôle de l'exploitation des paramètres de nuisance. Cela empêche l'« excès d'exploitation » commun à la BO et au PEI traditionnels.
• Scalabilité : En combinant les tricands modifiés avec l'approximation de Vecchia, la méthode étend l'optimisation de profil à des dimensions plus élevées (démontré jusqu'à 6D) là où les méthodes précédentes basées sur des grilles échouaient.
• Flexibilité : La procédure est compatible avec des substituts tant stationnaires (GP) que non stationnaires (DGP), la rendant applicable aux simulations physiques complexes avec des changements de régime.
• Impact pratique : Dans l'application RDC, la méthode a permis une prise de décision éclairée en quantifiant le compromis entre la longueur du diffuseur et la perte d'énergie, identifiant des conceptions qui surpassent les approches d'optimisation multi-objectifs existantes.

Les auteurs notent modestement des limitations, notamment l'hypothèse d'optima de profil uniques pour chaque tranche de $x^\star$ et le coût computationnel de la génération d'un nombre suffisant d'échantillons de la distribution postérieure pour la couverture DGP dans les hautes dimensions. Ils suggèrent que les travaux futurs pourraient impliquer des substituts enrichis par le gradient et le calibrage bayésien avec des données physiques.