Active Learning with Adaptive Non-Stationary Kernel for Continuous-Fidelity Surrogate Models

Technische Samenvatting: Actief Leren met een Adaptieve Niet-Stationaire Kernel voor Continu-Fidelity Surrogaatmodellen

Probleemstelling
Computersimulaties van complexe fysische processen, met name die gebruikmaken van de Eindige Elementen Methode (FEM), zijn vaak computationeel prohibitief. High-fidelity simulaties bieden nauwkeurigheid maar vereisen aanzienlijke middelen, terwijl low-fidelity simulaties goedkoper zijn maar minder accuraat. Traditionele multi-fidelity surrogaatmodellering leunt vaak op discrete fidelity-niveaus of stationaire Gaussische Proces (GP) aannames. Bestaande methoden hebben moeite om de efficiënte integratie van deze continue fidelity-parameters in een statistisch kader te realiseren, waarbij rekening wordt gehouden met het specifieke convergentiegedrag van numerieke fouten (waarbij de fout verdwijnt naarmate de fidelity-parameter naar nul nadert) en de variërende correlatiestructuren van simulatie-incrementen over de fidelity-ruimte. Bovendien falen statische "one-shot" experimentele ontwerpen vaak in het optimaliseren van de afweging tussen informatiewinst en computationele kosten in vergelijster met sequentiële strategieën.

Methodologie
De auteurs stellen een raamwerk voor dat een nieuw surrogaatmodel combineert met een actieve leerstrategie (sequentiële design).

1. Niet-Stationair GP Surrogaatmodel:
   Het raamwerk modelleert de computeroutput $y(x, t)$ als de som van een exacte oplossing $\phi(x)$ en een foutfunctie $\delta(x, t)$, waarbij $x$ de fysieke invoerparameters vertegenwoordigt en $t$ een continue fidelity-parametervector is. Beide componenten worden gemodelleerd als Gaussische Processen.

• Adaptieve Kernel: De kerninnovatie is een nieuwe adaptieve niet-stationaire kernelfunctie, $K_\gamma(t_1, t_2)$, geïnspireerd door fractionaire Brownse beweging en het Lifted Brownian (LB) kriging-model. Deze kernel is ontworpen om het convergentiesnelheid van de foutfunctie als $t \to 0$ te vangen. Het introduceert een parameter $\gamma \in (0, 1)$ om het kortetermijngedrag en de correlatie van incrementen langs de fidelity-parameterruimte te controleren. Hierdoor kan het model zich aanpassen aan diverse sample pad gedragingen (bijv. positief gecorreleerde, negatief gecorreleerde of ongecorreleerde incrementen) die worden waargenomen in verschillende FEM-simulaties.
• Inferentie: Hyperparameters worden geschat met behulp van Maximum Likelihood Estimation (MLE) met een plug-in benadering, wat een computationeel efficiënt alternatief biedt voor volledig Bayesiaanse methoden. Het model ondersteunt extrapolatie naar de exacte oplossing bij $t=0$.

2. Actieve Leerstrategie:
   De auteurs ontwikkelen een sequentiële designstrategie gebaseerd op de Integrated Mean Squared Prediction Error (IMSPE).

• Kosten-gecorrigeerd Criterium: Om computationele budgetten te beheren, maximaliseert de selectie van het volgende designpunt $(x_{n+1}, t_{n+1})$ de ratio van de IMSPE-reductie tot de computationele kosten $C(t)$.
• Closed-Form Optimalisatie: Een belangrijke technische bijdrage is de afleiding van een closed-form expressie voor de IMSPE-reductie en de bijbehorende afgeleiden. Dit maakt efficiënte numerieke optimalisatie mogelijk (met behulp van gradiëntafdaling met multi-starts) over de continue fidelity-ruimte, waardoor de noodzaak voor dure Monte Carlo-benaderingen of vooraf gedefinieerde discrete roosters die in eerdere werken werden gebruikt, wordt vermeden.
• Initiële Designs: De studie onderzoekt de impact van initiële designs (bijv. MaxPro, Multi-Mesh Experimental Design) op de hyperparameter schatting en de daaropvolgende actieve leerprestaties.

Belangrijkste Bijdragen

• Nieuwe Kernelfunctie: Introductie van een adaptieve niet-stationaire kernel die eerdere modellen (inclusief het model van Tuo et al., 2014) generaliseert en beter reflecteert hoe de outputs van computersimulaties zich gedragen over continue fidelity-parameters, specifiek door rekening te houden met variërende correlatiestructuren van incrementen.
• Efficiënt Sequentieel Design: Ontwikkeling van een actief leerraamwerk dat een closed-form IMSPE-criterium gebruikt. Dit maakt de optimalisatie van designpunten over een continue fidelity-domein mogelijk, een capaciteit die niet aanwezig is in bestaande batch of discrete-level actieve leermethoden.
• Uitgebreide Evaluatie: De methodologie wordt gevalideerd via numerieke experimenten en drie real-world FEM casestudies: Poisson's vergelijking, spanningsanalyse van een turbineblad van een straalmotor, en een tijdafhankelijke golfvergelijking.

Resultaten

• Numerieke Studies: De voorgestelde Actieve Leer (AL) methode met de Lifted Brownian (LBM) kernel presteerde consistent beter dan single-fidelity modellen en one-shot (OS) designs over verschillende parameterinstellingen. De LBM kernel toonde met name superieur gedrag wanneer simulatie-incrementen positief gecorreleerd waren ($\gamma = 0.95$).
• Casestudies:
  • Poisson's Vergelijking: De LBM kernel presteerde aanzienlijk beter dan andere methoden voor de "Average" respons (waar incrementen positief gecorreleerd zijn) en bleef zeer competitief voor de "Maximum" respons. AL-methoden leverden consistent lagere Root Mean Squared Error (RMSE) op dan one-shot designs.
  • Turbineblad van een Straalmotor: De multi-fidelity benadering met AL en de LBM kernel bood robuuste voorspellende prestaties zonder dat de selectie van één enkele, potentieel suboptimale, fijne mesh-grootte vereist was. Het presteerde beter dan zowel single-fidelity modellen als stacking design methoden.
  • Golfvergelijking: De AL-methode toonde een uitgesproken voordeel ten opzien van one-shot designs door strategisch low-cost fidelity punten te selecteren die de voorspellende verbetering maximaliseerden, waardoor een lagere RMSE werd bereikt binnen hetzelfde computationele budget.
• Gevoeligheid voor Initiële Design: Hoewel de keuze van het initiële design aanzienlijk invloed had op de robuustheid van de hyperparameter schatting, werd de uiteindelijke voorspellende prestatie van de actieve leer methode als relatief ongevoelig beschouwd voor de specifieke keuze van het initiële design, mits er een redelijk budget werd toegewezen.

Betekenis
Het artikel stelt dat dit raamwerk kritieke hiaten adresseert in multi-fidelity experimenteel design voor continue fidelity-parameters. Door een adaptieve kernel te integreren die aansluit bij de convergentiesnelheden van numerieke analyse en een efficiënt actief leercriterium, biedt de methode een computationeel goedkoop alternatief voor kostbare FEM-simulaties. Het vermogen om te extrapoleren naar de exacte oplossing ($t=0$) terwijl het ook onzekerheidskwantificering biedt, onderscheidt deze aanpak van auto-regressieve multi-fidelity modellen. De auteurs positioneren hun werk als een stap naar efficiëntere onzekerheidskwantificering in complexe simulaties, waarbij zij opmerken dat hoewel hun methode de voorspellende prestaties verbetert, toekomstig werk nodig is om multidimensionale outputs en transitiekosten tussen mesh-configuraties aan te pakken. Een R-package (MuFiMeshGP) die de methodologie implementeert, is beschikbaar gesteld om reproduceerbaarheid te faciliteren.