Active Learning with Adaptive Non-Stationary Kernel for Continuous-Fidelity Surrogate Models

Technische Zusammenfassung: Aktives Lernen mit adaptivem nicht-stationärem Kernel für kontinuierliche Fidelity-Surrogatmodelle

Problemstellung
Computersimulationen komplexer physikalischer Prozesse, insbesondere solcher, die die Finite-Elemente-Methode (FEM) nutzen, sind oft rechentechnisch zu aufwendig. Hochtreue-Simulationen (High-Fidelity) bieten Genauigkeit, erfordern jedoch erhebliche Ressourcen, während Niedrigtreue-Simulationen (Low-Fidelity) kostengünstiger, aber weniger präzise sind. Traditionelle Multi-Fidelity-Surrogatmodellierung stützt sich häufig auf diskrete Fidelity-Stufen oder stationäre Gauß-Prozess-Annahmen (GP). In vielen FEM-Anwendungen wird die Fidelity jedoch durch kontinuierliche Parameter (z. B. Netzdichte oder Zeitschrittgröße) bestimmt, welche die numerische Genauigkeit steuern. Bestehende Methoden haben Schwierigkeiten, diese kontinuierlichen Fidelity-Parameter effizient in einen statistischen Rahmen zu integrieren, der das Konvergenzverhalten numerischer Fehler (wobei der Fehler gegen Null geht, wenn der Fidelity-Parameter gegen Null strebt) und die variierenden Korrelationsstrukturen von Simulationsinkrementen über den Fidelity-Raum hinweg berücksichtigt. Zudem scheitern statische „One-Shot“-Versuchsdesigns oft daran, den Kompromiss zwischen Informationsgewinn und Rechenkosten im Vergleich zu sequentiellen Strategien zu optimieren.

Methodik
Die Autoren schlagen ein Framework vor, das ein neuartiges Surrogatmodell mit einer aktiven Lernstrategie (sequentielles Design) komb kombiniert.

1. Nicht-stationäres GP-Surrogatmodell:
   Das Framework modelliert den Computer-Output $y(x, t)$ als Summe einer exakten Lösung $\phi(x)$ und einer Fehlerfunktion $\delta(x, t)$, wobei $x$ die physikalischen Eingangsparameter und $t$ einen kontinuierlichen Fidelity-Parametervektor darstellt. Beide Komponenten werden als Gauß-Prozesse modelliert.

• Adaptiver Kernel: Die Kerninnovation ist eine neuartige adaptive nicht-stationäre Kernelfunktion, $K_\gamma(t_1, t_2)$, die von der fraktalen Brownschen Bewegung und dem Lifted Brownian (LB) Kriging-Modell inspiriert ist. Dieser Kernel ist darauf ausgelegt, die Konvergenzrate der Fehlerfunktion für $t \to 0$ zu erfassen. Er führt einen Parameter $\gamma \in (0, 1)$ ein, um das Kurzstreckenverhalten und die Korrelation von Inkrementen entlang des Fidelity-Parameterraums zu steuern. Dies ermöglicht es dem Modell, sich an diverse Pfadverhaltensweisen (z. B. positiv korrelierte, negativ korrelierte oder unkorrelierte Inkremente) anzupassen, die in verschiedenen FEM-Simulationen beobachtet werden.
• Inferenz: Hyperparameter werden mittels Maximum-Likelihood-Schätzung (MLE) mit einem Plug-in-Ansatz geschätzt, was eine recheneffiziente Alternative zu voll-Bayesianischen Methoden darstellt. Das Modell unterstützt die Extrapolation auf die exakte Lösung bei $t=0$.

2. Aktive Lernstrategie:
   Die Autoren entwickeln eine sequentielle Designstrategie basierend auf dem integrierten mittleren quadratischen Vorhersagefehlern (Integrated Mean Squared Prediction Error, IMSPE).

• Kostenbereinigtes Kriterium: Um die Rechenbudgets zu verwalten, maximiert die Auswahl des nächsten Designpunkts $(x_{n+1}, t_{n+1})$ das Verhältnis zwischen der IMSPE-Reduktion und den Rechenkosten $C(t)$.
• Geschlossene Form der Optimierung: Ein wesentlicher technischer Beitrag ist die Ableitung eines geschlossenen Ausdrucks für die IMSPE-Reduktion und deren Ableitungen. Dies ermöglicht eine effiziente numerische Optimierung (unter Verwendung von Gradientenabstieg mit Multi-Starts) über den kontinuierlichen Fidelity-Raum und vermeidet so teure Monte-Carlo-Approximationen oder vordefinierte diskrete Gitter, wie sie in früheren Arbeiten verwendet wurden.
• Initialdesigns: Die Studie untersucht den Einfluss von Initialdesigns (z. B. MaxPro, Multi-Mesh Experimental Design) auf die Schätzung der Hyperparameter und die anschließende Leistung des aktiven Lernens.

Wesentliche Beiträge

• Neuartige Kernelfunktion: Einführung einer adaptiven nicht-stationären Kernelfunktion, die vorangegangene Modelle (einschließlich des Modells von Tuo et al., 2014) generalisiert und das Verhalten von Computersimulationsoutputs über kontinuierliche Fidelity-Parameter hinweg besser widerspiegelt, insbesondere durch Berücksichtigung variierender Korrelationsstrukturen von Inkrementen.
• Effizientes sequentielles Design: Entwicklung eines aktiven Lernframeworks, das ein IMSPE-Kriterium in geschlossener Form nutzt. Dies ermöglicht die Optimierung von Designpunkten über einen kontinuierlichen Fidelity-Bereich, eine Fähigkeit, die in bestehenden Batch- oder diskreten aktiven Lernmethoden nicht vorhanden ist.
• Umfassende Evaluierung: Die Methodik wird durch numerische Experimente und drei reale FEM-Fallstudien validiert: Poisson-Gleichung, Spannungsanalyse einer Strahlturbine eines Triebwerks und eine zeitabhängige Wellengleichung.

Ergebnisse

• Numerische Studien: Die vorgeschlagene Active Learning (AL) Methode mit dem Lifted Brownian (LBM) Kernel übertraf konsistent Single-Fidelity-Modelle und One-Shot (OS) Designs über verschiedene Parametereinstellungen hinweg. Der LBM-Kernel zeigte eine besondere Überlegenheit, wenn die Simulationsinkremente positiv korreliert waren ($\gamma = 0,95$).
• Fallstudien:
  • Poisson-Gleichung: Der LBM-Kernel übertraf andere Methoden signifikant für die „Durchschnitts“-Antwort (wo Inkremente positiv korreliert sind) und blieb für die „Maximum“-Antwort äußerst wettbewerbsfähig. AL-Methoden lieferten konsistent niedrigere Root Mean Squared Errors (RMSE) als One-Shot-Designs.
  • Strahlturbine eines Triebwerks: Der Multi-Fidelity-Ansatz mit AL und dem LBM-Kernel bot eine robuste Vorhersageleistung, ohne dass die Auswahl einer einzelnen, potenziell suboptimalen Feinmaschengröße erforderlich war. Er übertraf sowohl Single-Fidelity-Modelle als auch Stacking-Design-Methoden.
  • Wellengleichung: Die AL-Methode demonstrierte einen ausgeprägten Vorteil gegenüber One-Shot-Designs, indem sie strategisch kostengünstige Fidelity-Punkte auswählte, die die Vorhersageverbesserung maximierten, wodurch innerhalb desselben Rechenbudgets ein niedrigerer RMSE erreicht wurde.
• Sensitivität des Initialdesigns: Während die Wahl des Initialdesigns die Robustheit der Hyperparameterschätzung signifikant beeinflusste, wurde festgestellt, dass die endgültige Vorhersageleistung der aktiven Lernmethode relativ unempfindlich gegenüber der spezifischen Wahl des Initialdesigns war, sofern ein angemessener Budgetanteil zugewiesen wurde.

Bedeutung
Das Paper behauptt, dass dieses Framework kritische Lücken in der Multi-Fidelity-Versuchsdurchführung für kontinuierliche Fidelity-Parameter adressiert. Durch die Integration eines adaptiven Kernels, der mit den Konvergenzraten der numerischen Analyse übereinstimmt, und eines effizienten aktiven Lernkriteriums bietet die Methode eine rechentechnisch kostengünstige Alternative zu aufwendigen FEM-Simulationen. Die Fähigkeit zur Extrapolation auf die exakte Lösung ($t=0$) bei gleichzeitiger Bereitstellung von Unsicherheitsquantifizierung unterscheidet diesen Ansatz von autoregressiven Multi-Fidelity-Modellen. Die Autoren positionieren ihre Arbeit als einen Schritt hin zu einer effizienteren Unsicherheitsquantifizierung in komplexen Simulationen und merken an, dass zukünftige Arbeiten notwendig sind, um mehrdimensionale Outputs zu adressieren und Übergangskosten zwischen Mesh-Konfigurationen zu behandeln. Ein R-Paket (MuFiMeshGP), das die Methodik implementiert, wird zur Erleichterung der Reproduzierbarkeit bereitgestellt.