Sequential Experimental Designs for Kriging Model

Résumé Technique : Plans Expérimentaux Séquentiels pour les Modèles de Krigeage

Énoncé du Problème
Les expériences informatiques reposent souvent sur des modèles de Krigeage (processus gaussiens) en tant que modèles de substitution pour approximer des systèmes physiques et d'ingénierie complexes. L'objectif principal est de minimiser l'écart entre le modèle de substitution et le modèle réel sur l'ensemble du domaine expérimental. Bien que les plans de remplissage d'espace à étape unique soient courants, ils reposent sur des hypothèses a priori et peuvent échouer à couvrir les régions critiques, entraînant un gaspillage de ressources. Les conceptions séquentielles offrent une alternative dynamique en ajoutant itérativement des points basés sur les données accumulées. Cependant, les méthodes séquentielles existantes font face à deux limitations significatives :

1. Les conceptions séquentielles par lots basées sur l'observation sont sous-étudiées. Dans de nombreux scénarios pratiques (par exemple, les simulations aérospatiales de haute fidélité), les coûts fixes de mise en place d'une expérience (calibration, initialisation) sont élevés, tandis que le coût marginal de l'ajout de plusieurs points au sein d'un même cycle est négligeable. Les méthodes actuelles traitent rarement ce scénario de « lot » (batch) de manière efficace.
2. L'inefficacité des conceptions séquentielles à un seul point. Les approches traditionnelles à un seul point nécessitent de nombreux cycles itératifs pour accumuler suffisamment de données, ce qui entraîne des cycles expérimentaux prolongés et une utilisation inefficace des ressources. De plus, la sélection par lots naïve entraîne souvent un regroupement de points autour d'un seul emplacement optimal, échouant ainsi à explorer efficacement l'espace de conception.

Méthodologie
Le document propose un cadre complet pour combler ces lacunes, comprenant deux nouveaux critères de sélection et un algorithme de conception séquentielle par lots généralisé.

1. Nouveaux Critères de Sélection :

   • Critère basé sur le gradient ($\phi_{gra}$) : Motivé par l'observation selon laquelle les régions présentant de fortes amplitudes de gradient nécessitent souvent un échantillonnage plus dense pour réduire l'erreur d'ajustement, ce critère sélectionne des points qui maximisent l'amplitude attendue du gradient de la fonction réelle, $\|\nabla f(x)\|$, tout en maintenant une distance par rapport aux points existants. Il incorpore un terme pour la variabilité de la réponse locale ($|\hat{y}_X(x) - f(x^*)|$) pour garantir que les points sont sélectionnés là où la fonction varie réellement. Théoriquement, ce critère approxime la borne supérieure de l'erreur de prédiction.
   • Critère basé sur la variance ($\phi_{var}$) : Ce critère vise à minimiser l'erreur d'ajustement maximale en sélectionnant des points qui maximisent une fonction dérivée de la variance de prédiction et de la variance de l'estimation du gradient. Il est fondé sur des limites théoriques montrant que l'erreur d'estimation est régulée à la fois par la variance de prédiction et la variance du gradient.

2. Cadre de Conception Séquentielle par Lots Basé sur le Clustering (Top-$b$) :
   Pour étendre tout critère séquentiel à un point vers un contexte de lots (où $b > 1$ points sont ajoutés par itération), les auteurs proposent un algorithme de clustering (Algorithme 2).

   • Mécanisme : Au lieu de simplement sélectionner les $b$ meilleurs points qui maximisent le critère $\phi(x)$ (ce qui entraînerait un regroupement près d'un maximum global unique), l'algorithme discrétise l'espace de conception et trie les points candidats par leurs valeurs $\phi$.
   • Logique de Clustering : Les points sont assignés à des clusters basés sur la proximité spatiale et des règles de densité (contrôlées par les paramètres $\alpha$ et $\beta$). L'algorithme identifie des maxima locaux distincts (clusters) et sélectionne le point représentatif des $b$ meilleurs clusters.
   • Objectif : Cette approche empêche le regroupement de points, assure une exploration diversifiée des régions de haute valeur et permet d'adapter n'importe quel critère unitaire existant à des scénarios de lots.

Contributions Clés

• Deux Nouveaux Critères : L'introduction des critères basés sur le gradient et sur la variance, qui offrent des perspectives théoriques distinctes sur la minimisation de l'erreur d'ajustement globale (erreur moyenne vs erreur maximale).
• Cadre de Lot Généralisé : Un nouveau cadre de « top-$b$ par clustering » qui résout le problème inhérent de regroupement de points de la sélection par lots naïve, permettant l'extension efficace de n'importe quel critère séquentiel aux scénarios de lots.
• Justification Théorique : Le document fournit des lemmes et des théorèmes établissant que les critères proposés sont liés aux bornes supérieures des erreurs de prédiction et des variances de gradient, offrant une base théorique à leurs stratégies de sélection.

Résultats
Les auteurs ont évalué les méthodes proposées par rapport aux critères existants (incluant les variantes d'Expected Improvement, la minimisation de la variance et la divergence de mélange) en utilisant sept fonctions de test (Branin, Hartman, Ackley, Zakharov, Rosenbrock, etc.) avec des dimensions variables.

• Performance à un Point : En termes d'erreur quadratique moyenne (RMSE), le critère basé sur le gradient a généralement surpassé les méthodes existantes. Pour l'erreur absolue maximale (MAE), le critère basé sur la variance a démontré une performance supérieure.
• Performance par Lots : Les conceptions par lots basées sur le clustering utilisant les nouveaux critères ont systématiquement surpassé les conceptions par lots basées sur les critères existants et le modèle de référence de conception uniforme séquentielle.
• Efficacité : Les conceptions par lots ont atteint des performances comparables, et dans certains cas meilleures, à leurs homologues à un point, tout en réduisant considérablement le nombre de cycles expérimentaux (itérations).

Signification et Revendications
Le document affirme que les méthodes proposées répondent à des limitations critiques de la littérature actuelle sur la conception séquentielle, spécifiquement le manque de conceptions par lots basées sur l'observation efficaces et l'inefficacité des approches à un seul point. En démontrant que le critère basé sur le gradient minimise l'erreur moyenne et que le critère basé sur la variance minimise l'erreur maximale, les auteurs fournissent aux praticiens des outils ciblés pour des objectifs d'optimisation spécifiques. De plus, le cadre de lot proposé est présenté comme une solution polyvalente qui améliore l'efficacité des ressources en réduisant les cycles expérimentaux sans sacrifier la précision de l'ajustement, ce qui le rend particulièrement adapté aux expériences informatiques gourmandes en ressources. Les auteurs concluent que leurs critères et leur cadre surpassent généralement les approches existantes en termes de précision d'ajustement.