Résumé Technique : MAST – Un Modèle de Substitution Augmenté Multi-fidélité via Pondération Spatiale de Confiance

Énoncé du Problème

En conception ingénierie et en calcul scientifique, il existe un compromis fondamental entre la précision prédictive et le coût computationnel. Les simulations haute fidélité (HF) fournissent des prédictions précises mais sont souvent trop coûteuses pour un échantillonnage dense, tandis que les approximations basse fidélité (LF) sont abondantes et peu coûteuses mais souffrent d'erreurs systématiques. Les modèles de Processus Gaussiens Multi-fidélité (MFGP) tentent de combler ce fossé en exploitant les corrélations statistiques entre les niveaux de fidélité.

Cependant, les méthodes multi-fidélité existantes reposent généralement sur des hypothèses de corrélation globale (par exemple, des relations autorégressives linéaires ou des structures de covariance globale partagées). Ces hypothèses échouent souvent en pratique lorsque les relations inter-fidélité varient spatialement sur le domaine d'entrée. Lorsque la relation entre les fidélités est non stationnaire, les modèles globaux peuvent souffrir d'une mauvaise spécification du modèle, entraînant de faibles performances prédictives et un comportement instable, en particulier sous des budgets computationnels serrés où les données sont rares. De plus, de nombreuses approches multi-fidélité avancées non linéaires ou profondes nécessitent un réglage extensif des hyperparamètres et de grands ensembles de données, qui sont souvent indisponibles dans des scénarios contraints par le budget.

Méthodologie : Le Cadre MAST

Les auteurs introduisent MAST (Modèle de Substitution Augmenté Multi-fidélité avec Pondération Spatiale de Confiance), une méthode qui remplace l'apprentissage classique de corrélation globale par un biais inductif géométrique. L'idée centrale est que la fiabilité des informations basse fidélité corrigées doit dépendre de leur proximité spatiale avec les données de calibration haute fidélité.

Le cadre fonctionne en trois étapes :

1. Modélisation de Base Indépendante :
   Des Processus Gaussiens (GP) indépendants sont entraînés sur l'ensemble de données de chaque niveau de fidélité pour capturer les caractéristiques intrinsèques et estimer les niveaux de bruit d'observation.

2. Modélisation de la Discrepancy et Augmentation Pondérée Spatialement :
   Pour chaque niveau de fidélité inférieur $m < M$, la méthode construit un ensemble de données augmenté $\tilde{D}_m$ en corrigeant les observations LF et en les mélangeant avec les prédictions HF :

   • Modélisation de la Discrepancy : Un GP de discrepancy ($GP_{\delta_m}$) est entraîné sur les résidus entre les observations HF et les prédictions LF aux emplacements HF. Crucialement, ce GP de discrepancy est conditionné par des entrées augmentées $z = [x, \mu_m(x), \sigma^2_m(x)]$, incorporant la moyenne et la variance a posteriori LF pour informer la prédiction de la discrepancy.
   • Pondération Spatiale de Confiance : Pour chaque point LF, une région de confiance est définie basée sur la distance à l'échantillon HF le plus proche. Un poids $W^{(i)}_m$ est calculé en fonction de la proximité du point LF aux échantillons HF dans cette région. Le poids décroît avec la distance et est modulé par le ratio de coût de fidélité ($\alpha_m = \log_{10}(C_M/C_m)/2$), établissant une hiérarchie économique où les données HF coûteuses exercent une influence spatiale plus grande.
   • Mélange : La valeur LF corrigée est mélangée avec la prédiction a posteriori HF :
     $$\tilde{y}^{(m)}_i = W^{(i)}_m (y^{(m)}_i + \mu_{\delta_m}(z^{(m)}_i)) + (1 - W^{(i)}_m) \mu_M(x^{(m)}_i)$$
   • Propagation de la Variance : L'incertitude du point mélangé est dérivée analytiquement en propageant les variances de l'observation LF brute, du GP de discrepancy et du GP HF, pondérées par les poids de confiance. Cela résulte en un terme de bruit hétéroscédastique fixe pour chaque point augmenté.

3. Fusion de GP Hétéroscédastique :
   Un GP unique final est entraîné sur l'ensemble de données combiné des observations HF originales et des observations LF augmentées. Les variances de bruit par point sont fixées aux valeurs calculées à l'étape 2, plutôt que d'être apprises comme hyperparamètres. Cela permet au substitut final de pondérer naturellement les données augmentées incertaines tout en faisant confiance aux observations HF fiables. Pour gérer la non-stationnarité, les entrées sont déformées à l'aide d'une CDF de Kumaraswamy par dimension avant l'évaluation du noyau.

Contributions Clés

1. Biais Inductif Géométrique : Un schéma de fusion qui adapte localement les relations inter-fidélité en fonction de la proximité spatiale aux données HF, éliminant le besoin d'hypothèses de corrélation globale paramétriques.
2. Pondération de Confiance Consciente du Coût : Incorporation explicite des coûts d'évaluation dans le mécanisme de pondération, créant une hiérarchie économique qui régit la fusion d'informations.
3. Propagation de Variance sous Forme Close : Une dérivation analytique de l'incertitude qui permet un entraînement GP unique efficace avec un bruit hétéroscédastique fixe, évitant les instabilités d'optimisation courantes dans les modèles hétéroscédastiques appris.
4. Performances Robustes : Précision et calibration d'incertitude de l'état de l'art démontrées à travers des allocations de budget variables, des échelles de budget totales et des niveaux de corrélation inter-fidélité.

Résultats Expérimentaux

Les auteurs ont évalué MAST contre une suite complète de bases de référence, incluant le co-krigeage autorégressif (AR1), le co-krigeage récursif, des méthodes basées sur la fusion, des GP Autorégressifs Non Linéaires (NARGP), des GP Multi-fidélité Profonds (MF-DGP) et des méthodes de noyaux spécialisées.

• Benchmarks Synthétiques : À travers 10 fonctions de test synthétiques (allant de 2D à 20D) et 3 ensembles de données d'ingénierie réels (Béton, DrivAerNet, HOIP), MAST a obtenu la meilleure Erreur Quadratique Moyenne (RMSE) sur 6 des 12 benchmarks à deux fidélités et la meilleure Densité Prédictive Moyenne (Mean PDF) sur 7 des 12.
• Robustesse : MAST a maintenu des performances robustes à travers des allocations de budget variables (fraction HF de 0,1 à 1,0) et des échelles de budget totales (0,25x à 3,0x). En revanche, des méthodes concurrentes comme AR1 ont montré un comportement erratique, et les méthodes d'apprentissage profond (NARGP, MF-DGP) ont systématiquement sous-performé, en particulier dans les régimes à rareté de données.
• Sensibilité à la Discrepancy : MAST est resté robuste alors que la discrepancy inter-fidélité augmentait (simulant une corrélation plus faible), tandis que les méthodes reposant sur des hypothèses linéaires globales se sont dégradées de manière significative.
• Extension à Trois Fidélités : La méthode s'est étendue efficacement à trois niveaux de fidélité sans accumulation d'erreurs, surpassant les bases hiérarchiques qui peinent avec les niveaux de fidélité intermédiaires.

Importance et Revendications

L'article revendique que MAST fournit un cadre spatialement adaptatif pour la modélisation multi-fidélité qui est particulièrement efficace lorsque les données haute fidélité sont rares et que les relations inter-fidélité varient à travers l'espace d'entrée. En s'appuyant sur la proximité géométrique plutôt que sur des corrélations globales apprises, MAST réduit la dépendance à l'extrapolation à longue distance à partir d'observations HF rares.

Les auteurs positionnent MAST comme une voie pratique vers une construction de substitut fiable dans des contextes contraints par le budget. Ils notent que le mécanisme sous-jacent de confiance spatiale est agnostique au substitut, et ils démontrent une extension préliminaire (MAST-ICL) utilisant TabPFN (un modèle d'apprentissage en contexte basé sur transformateur) comme apprenant de base, suggérant que le cadre peut évoluer vers des ensembles de données plus grands où l'entraînement GP standard devient computationnellement prohibitif.

L'article conclut que la pondération spatiale de confiance est un principe de conception utile pour la modélisation de substituts multi-fidélité, offrant une alternative stable aux structures de corrélation globale qui peuvent être trompeuses dans les régimes à données rares.