Technische Samenvatting: MAST – Een Multi-fidelity Augmented Surrogate Model via Ruimtelijke Trust-weighting

Probleemstelling

In engineering design en wetenschappelijk rekenen bestaat er een fundamentele afweging tussen voorspellende nauwkeurigheid en rekenkosten. High-fidelity (HF) simulaties leveren accurate voorspellingen, maar zijn vaak te duur om dicht te bemonsteren, terwijl low-fidelity (LF) benaderingen overvloedig en goedkoop zijn, maar last hebben van systematische fouten. Multi-fidelity Gaussian Process (MFGP) modellen proberen deze kloof te overbruggen door statistische correlaties tussen fideliteitsniveaus te benutten.

Bestaande multi-fidelity methoden vertrouwen echter doorgaans op globale correlatie-aannames (bijvoorbeeld lineaire autoregressieve relaties of gedeelde globale covariantiestructuren). Deze aannames falen vaak in de praktijk wanneer inter-fidelity relaties ruimtelijk variëren over het invoer domein. Wanneer de relatie tussen fideliteiten niet-stationair is, kunnen globale modellen lijden aan modelmisspecificatie, wat leidt tot slechte voorspellende prestaties en instabiel gedrag, vooral onder krappe rekenbudgetten waar data schaars is. Bovendien vereisen veel geavanceerde niet-lineaire of diepe multi-fidelity benaderingen uitgebreide hyperparameter-tuning en grote datasets, die vaak niet beschikbaar zijn in budget-beperkte scenario's.

Methodologie: Het MAST Kader

De auteurs introduceren MAST (Multi-fidelity Augmented Surrogate model met Ruimtelijke Trust-weighting), een methode die klassiek globaal correlatieleren vervangt door een geometrische inductieve bias. De kerninzicht is dat de betrouwbaarheid van gecorrigeerde low-fidelity informatie moet afhangen van de ruimtelijke nabijheid tot high-fidelity kalibratiegegevens.

Het kader werkt in drie fasen:

1. Onafhankelijke Basismodelering:
   Onafhankelijke Gaussian Processes (GPs) worden getraind op de dataset van elk fideliteitsniveau om intrinsieke kenmerken vast te leggen en waarnemingsruisniveaus te schatten.

2. Discrepantiemodeling en Ruimtelijk Gewogen Augmentatie:
   Voor elk lager fideliteitsniveau $m < M$ construeert de methode een verrijkte dataset $\tilde{D}_m$ door LF-waarnemingen te corrigeren en te mengen met HF-voorspellingen:

   • Discrepantiemodeling: Een discrepantie-GP ($GP_{\delta_m}$) wordt getraind op de residuen tussen HF-waarnemingen en LF-voorspellingen op HF-locaties. Cruciaal wordt deze discrepantie-GP geconditioneerd op verrijkte invoer $z = [x, \mu_m(x), \sigma^2_m(x)]$, waarbij het LF-posteriemiddelpunt en de variantie worden opgenomen om de discrepantievoorspelling te informeren.
   • Ruimtelijke Trust-weighting: Voor elk LF-punt wordt een vertrouwensgebied gedefinieerd op basis van de afstand tot het dichtstbijzijnde HF-staal. Een gewicht $W^{(i)}_m$ wordt berekend op basis van de nabijheid van het LF-punt tot HF-stalen binnen dit gebied. Het gewicht neemt af met de afstand en wordt gemoduleerd door de fideliteitskostenverhouding ($\alpha_m = \log_{10}(C_M/C_m)/2$), waarmee een economische hiërarchie wordt vastgesteld waarbij dure HF-data meer ruimtelijke invloed uitoefent.
   • Mengen: De gecorrigeerde LF-waarde wordt gemengd met de HF-posterivoorspelling:
     $$\tilde{y}^{(m)}_i = W^{(i)}_m (y^{(m)}_i + \mu_{\delta_m}(z^{(m)}_i)) + (1 - W^{(i)}_m) \mu_M(x^{(m)}_i)$$
   • Variantiepropagatie: De onzekerheid van het gemengde punt wordt analytisch afgeleid door de varianties van de ruwe LF-waarneming, de discrepantie-GP en de HF-GP te propageren, gewogen door de trust-weights. Dit resulteert in een vaste, heteroscedastische ruis term voor elk verrijkt punt.

3. Heteroscedastische GP Fusie:
   Een laatste enkele GP wordt getraind op de gecombineerde dataset van originele HF-waarnemingen en de verrijkte LF-waarnemingen. De per-punt ruisvarianties worden vastgezet op de waarden berekend in Fase 2, in plaats van te worden geleerd als hyperparameters. Dit laat toe dat het finale surrogate-model onzekere verrijkte data op natuurlijke wijze minder zwaar weegt, terwijl betrouwbare HF-waarnemingen worden vertrouwd. Om niet-stationariteit te hanteren, worden de invoer vervormd met een per-dimensie Kumaraswamy CDF voorafgaand aan de kernel-evaluatie.

Belangrijkste Bijdragen

1. Geometrische Inductieve Bias: Een fusieschema dat inter-fidelity relaties lokaal aanpast op basis van ruimtelijke nabijheid tot HF-data, waardoor de noodzaak voor parametrische globale correlatie-aannames wordt geëlimineerd.
2. Kostenbewuste Trust-weighting: Expliciete integratie van evaluatiekosten in het wegingsmechanisme, waardoor een economische hiërarchie ontstaat die informatiefusie reguleert.
3. Gesloten-vorm Variantiepropagatie: Een analytische afleiding van onzekerheid die efficiënte training met één GP mogelijk maakt met vaste heteroscedastische ruis, waardoor optimalisatie-instabiliteiten die gebruikelijk zijn bij geleerde heteroscedastische modellen worden vermeden.
4. Robuuste Prestaties: Aangetoonde state-of-the-art nauwkeurigheid en onzekerheidskalibratie over variërende budgettoewijzingen, totale budgetschalen en inter-fidelity correlatieniveaus.

Experimentele Resultaten

De auteurs evalueerden MAST tegen een uitgebreide reeks baselines, waaronder autoregressieve co-kriging (AR1), recursieve co-kriging, op fusie gebaseerde methoden, Niet-lineaire Autoregressieve GPs (NARGP), Deep Multi-fidelity GPs (MF-DGP) en gespecialiseerde kernel-methoden.

• Synthetische Benchmarks: Over 10 synthetische testfuncties (variërend van 2D tot 20D) en 3 real-world engineering datasets (Concrete, DrivAerNet, HOIP) behaalde MAST de beste Root Mean Square Error (RMSE) op 6 van de 12 twee-fidelity benchmarks en de beste Mean Predictive Density (Mean PDF) op 7 van de 12.
• Robuustheid: MAST behield robuuste prestaties over variërende budgettoewijzingen (HF-fractie van 0,1 tot 1,0) en totale budgetschalen (0,25x tot 3,0x). In tegenstelling hiermee vertoonden concurrerende methoden zoals AR1 grillig gedrag, en presteerden deep learning methoden (NARGP, MF-DGP) consequent slechter, vooral in regimes met schaarste aan data.
• Sensitiviteit voor Discrepantie: MAST bleef robuust naarmate de inter-fidelity discrepantie toenam (wat lagere correlatie simuleert), terwijl methoden die vertrouwen op globale lineaire aannames significant degradeerden.
• Extensie naar Drie Fideliteiten: De methode werd effectief uitgebreid naar drie fideliteitsniveaus zonder cumulatieve fouten, en presteerde beter dan hiërarchische baselines die moeite hebben met intermediate fideliteitsniveaus.

Betekenis en Claims

Het artikel claimt dat MAST een ruimtelijk adaptief kader biedt voor multi-fidelity modellering dat bijzonder effectief is wanneer high-fidelity data schaars is en inter-fidelity relaties variëren over het invoerruimte. Door te vertrouwen op geometrische nabijheid in plaats van geleerde globale correlaties, reduceert MAST de afhankelijkheid van langdurige extrapolatie vanuit schaarse HF-waarnemingen.

De auteurs positioneren MAST als een praktische route naar betrouwbare surrogate-construktie onder budget-beperkte omstandigheden. Zij merken op dat het onderliggende ruimtelijke trust-mechanisme surrogate-agnostisch is, en zij demonstreren een voorlopige extensie (MAST-ICL) waarbij TabPFN (een transformer-gebaseerd in-context learning model) wordt gebruikt als basisleerder, wat suggereert dat het kader kan schalen naar grotere datasets waar standaard GP-training computationeel onhaalbaar wordt.

Het artikel concludeert dat ruimtelijke trust-weighting een nuttig ontwerpprincipe is voor multi-fidelity surrogate-modellering, en een stabiel alternatief biedt voor globale correlatiestructuren die misleidend kunnen zijn in regimes met schaarse data.