📊 statistics

Bayesian Surrogate Training on Multiple Data Sources: A Hybrid Modeling Strategy

Dieser Artikel schlägt zwei neuartige hybride Modellierungsstrategien vor, die während des Trainings von Surrogatmodellen reale Messdaten mit Simulationsdaten unter Verwendung eines quellenneutralen Gewichtungsschemas integrieren und dadurch die Vorhersagegenauigkeit, die Abdeckung sowie die Fähigkeit zur Diagnose von Mängeln in Simulationsmodellen verbessern.

Ursprüngliche Autoren: Philipp Reiser, Paul-Christian Bürkner, Anneli Guthke

Veröffentlicht 2026-05-13

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Philipp Reiser, Paul-Christian Bürkner, Anneli Guthke

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, das Wetter vorherzusagen. Sie haben zwei Informationsquellen:

Der Supercomputer: Eine massive, komplexe physikalische Simulation, die alle Gesetze der Thermodynamik kennt. Sie ist unglaublich klug darin, wie sich Luft bewegt, aber etwas starr. Sie geht von einer perfekten Welt aus und könnte einen plötzlichen, seltsamen lokalen Sturm übersehen, weil sie zu sehr damit beschäftigt ist, das große Ganze zu berechnen.
Der lokale Beobachter: Eine Person, die draußen mit einem Thermometer steht. Sie weiß genau, was gerade jetzt in ihrer spezifischen Nachbarschaft passiert. Sie ist für heute sehr genau, kennt aber die physikalischen Gesetze nicht und kann daher nicht vorhersagen, was nächste Woche passieren wird, wenn sich das Wetter drastisch ändert.

Das Problem:
Normalerweise bauen Wissenschaftler ein „Surrogatmodell" (eine schnelle, einfache KI), um den langsamen Supercomputer zu ersetzen. Sie trainieren diese KI ausschließlich mit den Daten des Supercomputers. Das Problem ist: Wenn der Supercomputer in Bezug auf die Realität leicht falsch liegt (vielleicht hat er eine bestimmte Wolkensorte nicht berücksichtigt), lernt die KI diesen Fehler ebenfalls. Sie wird zu einem schnellen, selbstbewussten Lügner.

Wenn sie die KI nur mit den Daten des lokalen Beobachters trainieren, lernt sie die Wahrheit für heute, hat aber keine Ahnung, wie sie die Zukunft vorhersagen soll, da sie die zugrunde liegenden Regeln nicht versteht.

Die Lösung:
Dieser Papier schlägt eine neue Methode vor, um diese KI-Modelle zu trainieren, indem beide Informationsquellen gemischt werden. Die Autoren schlagen zwei verschiedene „Rezepte" vor, um die Weisheit des Supercomputers mit der Realität des lokalen Beobachters zu vermischen. Sie nennen dies Hybrid Modeling.

Rezept 1: Die „Ausschussabstimmung" (Posterior Predictive Weighting)

Stellen Sie sich vor, Sie bitten zwei Experten, einen Bericht über das Wetter zu schreiben.

Experte A schreibt einen Bericht, der ausschließlich auf dem Supercomputer basiert.
Experte B schreibt einen Bericht, der ausschließlich auf dem lokalen Beobachter basiert.

Anstatt sie zu zwingen, sich auf einen einzigen Bericht zu einigen, nehmen Sie beide Berichte und erstellen eine endgültige Zusammenfassung, indem Sie sie mitteln.

Wenn Sie dem Supercomputer mehr vertrauen, geben Sie dem Bericht von Experte A ein Gewicht von 80 %.
Wenn Sie dem lokalen Beobachter mehr vertrauen, geben Sie dem Bericht von Experte B ein Gewicht von 80 %.

Der Vorteil: Dies ist hervorragend für die Diagnose. Wenn Experte A sagt: „Es wird sonnig", und Experte B sagt: „Es wird regnen", und Sie eine große Lücke zwischen ihren Vorhersagen sehen, wissen Sie sofort: „Hey, dem Supercomputer fehlt etwas Wichtiges!" Es hebt hervor, wo Ihr physikalisches Modell defekt ist.

Rezept 2: Der „Meisterkoch" (Power-Scaling)

Stellen Sie sich vor, Sie kochen einen Eintopf. Sie haben ein Rezept von einem berühmten Koch (dem Supercomputer) und einen Geschmack von Ihrer Großmutter (dem lokalen Beobachter).
Anstatt zwei separate Eintöpfe zu kochen und die Schüsseln zu mischen, kochen Sie einen einzigen Topf.

Sie fügen die Zutaten des Kochs hinzu, drehen aber die Hitze für sie herunter (wodurch ihr Einfluss schwächer wird).
Sie fügen den Geschmack Ihrer Großmutter hinzu, drehen aber die Hitze dafür hoch (wodurch ihr Einfluss stärker wird).
Sie rühren sie während des Kochens zusammen. Die Geschmäcker vermischen sich zu einem einzigen, neuen Gericht, das versucht, sowohl das Rezept als auch den Geschmack zu befriedigen.

Der Vorteil: Dies schafft ein einziges, einheitliches Modell, das oft besser darin ist, die Zukunft vorherzusagen (insbesondere in Situationen, die es noch nicht gesehen hat), weil es die Regeln vom Koch gelernt hat, aber seine Fehler mit dem Geschmack der Großmutter korrigiert hat. Es wirkt wie ein „Regularisierer" und verhindert, dass das Modell verrückt wird, wenn es versucht, die Zukunft zu erraten.

Was die Autoren herausfanden

Die Forscher testeten diese beiden Rezepte in zwei Szenarien:

Eine fake Welt: Sie schufen ein Computerspiel, bei dem sie die „wahre" Antwort kannten. Sie brachen absichtlich die Regeln des Supercomputers, um zu sehen, ob die neuen Methoden dies beheben könnten.
- Ergebnis: Der „Meisterkoch" (Rezept 2) war besser darin, die wahre Antwort zu erraten. Die „Ausschussabstimmung" (Rezept 1) war besser darin zu zeigen, wo der Supercomputer verwirrt war.
Das echte Leben (Epidemien): Sie nutzten diese Methoden, um die Ausbreitung von COVID-19 in Italien vorherzusagen.
- Ergebnis: Der Ansatz „Meisterkoch" fand einen goldenen Mittelweg (etwa 45 % Vertrauen in die Simulation, 55 % in die echten Daten), der die zukünftigen Infektionszahlen besser vorhersagte als die Verwendung einer einzigen Quelle.

Das Fazit

Das Papier behauptet nicht, dass diese Methoden Krankheiten heilen oder den Klimawandel allein lösen werden. Stattdessen bietet es Wissenschaftlern ein Werkzeugset.

Wenn Sie Ihre Simulation korrigieren möchten, nutzen Sie die „Ausschussabstimmung", um zu sehen, wo die beiden Quellen nicht übereinstimmen.
Wenn Sie die bestmögliche Vorhersage für die Zukunft wollen, nutzen Sie den „Meisterkoch", um die Daten zu einem starken Modell zu verschmelzen.

Die Kernidee ist einfach: Wählen Sie nicht zwischen der „perfekten Theorie" und der „unordentlichen Realität". Nutzen Sie ein Gewichtungssystem, damit sie miteinander sprechen, und schaffen Sie ein Modell, das sowohl schnell als auch klug ist.

Technische Zusammenfassung: Bayessches Surrogat-Training auf mehreren Datenquellen

Problemstellung

Surrogatmodelle werden häufig verwendet, um komplexe, rechenintensive Simulationsmodelle für Aufgaben wie Unsicherheitsquantifizierung, Sensitivitätsanalyse und die Lösung inverser Probleme zu approximieren. Es besteht jedoch eine fundamentale Einschränkung: Surrogatmodelle werden typischerweise ausschließlich auf Simulationsdaten trainiert. Da das zugrunde liegende Simulationsmodell oft eine unvollkommene Vereinfachung realer Systeme ist (fehlende Prozesse, Fehlspezifikationen oder falsche Randbedingungen), erbt das Surrogat diese Ungenauigkeiten. Umgekehrt enthalten reale Messdaten wertvolle Informationen über das wahre System, sind jedoch oft knapp, verrauscht und es fehlt die vollständige Kenntnis der Eingangsparameter (z. B. unbekannte Antriebsvariablen), die vom Simulationsmodell benötigt werden.

Bestehende Methoden zur Integration dieser Datenquellen stehen vor mehreren Herausforderungen:

Asymmetrie: Simulationsdaten haben vollständig spezifizierte Eingaben, während reale Daten oft unbekannte Eingaben aufweisen.
Homogenitätsannahmen: Viele Ansätze gehen von homogenen Datenquellen aus oder verlassen sich auf spezifische Surrogatfamilien (z. B. Gauß-Prozesse) mit vereinfachenden Annahmen.
Fehlende Gewichtungstrategien: Es gibt nur begrenzte Literatur darüber, wie heterogene Datenquellen während des Trainings angemessen gewichtet werden können, um unterschiedliche Vertrauensniveaus widerzuspiegeln.
Indirekte Integration: Einige Methoden verwenden reale Daten nicht direkt für das Surrogat-Training, sondern für eine nachträgliche Kalibrierung oder Diskrepanzmodellierung.

Der vorliegende Artikel schlägt ein allgemeines Rahmenwerk vor, um diese Probleme zu adressieren, indem Bayessche Surrogatmodelle auf mehreren Datenquellen (Simulation und Realität) unter Verwendung neuartiger Gewichtungstrategien trainiert werden, die unabhängig von der gewählten Surrogatfamilie funktionieren.

Methodik

Die Autoren schlagen ein Rahmenwerk vor, das zwei unterschiedliche Datenquellen kombiniert:

Simulationsdaten ( $D_S$ ): Generiert aus einem physikbasierten Modell $M$ mit bekannten Eingaben $x_S$ und unsicheren Parametern $\omega_S$ .
Reale Daten ( $D_R$ ): Generiert aus einem unbekannten Prozess $G$ mit bekannten Eingaben $x_R$ , aber unbekannten Parametern $\omega_R$ und Messrauschen.

Das Rahmenwerk führt zwei probabilistische Ansätze für die gewichtete Integration ein, gesteuert durch einen Gewichtungsfaktor $\beta \in [0, 1]$ :

1. Posterior Predictive Weighting (PW)

Diese Methode trainiert zwei separate Surrogatmodelle unabhängig voneinander:

Ein simulationsbasiertes Surrogat ( $f_{M_S}$ ), das auf $D_S$ trainiert wird und zur Inferenz unbekannter Parameter aus $D_R$ verwendet wird.
Ein datengetriebenes Surrogat ( $f_{M_R}$ ), das ausschließlich auf $D_R$ trainiert wird.

Die endgültige Vorhersage ist eine gewichtete Summe ihrer posterior-prädiktiven Verteilungen:
$p_{pw, \beta}(\hat{y}_R | \hat{x}_R, D_S, D_R) = \beta \cdot p(\hat{y}_R | \hat{x}_R, D_S, D_R, f_{M_S}) + (1 - \beta) \cdot p(\hat{y}_R | \hat{x}_R, D_R, f_{M_R})$
Hierbei steuert $\beta$ den relativen Einfluss des simulationsbasierten Modells. Dieser Ansatz ermöglicht die Visualisierung der Diskrepanz zwischen den beiden Quellen durch Beobachtung der Überlagerung ihrer prädiktiven Verteilungen.

2. Power-Scaling der Likelihoods (PS)

Diese Methode trainiert ein einziges Surrogatmodell, indem beide Datenquellen direkt über Power-Scaling in die Likelihood-Funktion integriert werden. Die gemeinsame Posterior-Verteilung ist definiert als:
$p_{ps}^\beta(\omega'_R, \sigma', c | D_S, D_R) \propto p(y_R | x_R, \omega'_R, \sigma', c)^{\alpha_R} \cdot p(y_S | x_S, \omega_S, \sigma', c)^{\alpha_S} \cdot p(\omega'_R, \sigma') p(c)$
Die Skalierungsfaktoren $\alpha_R$ und $\alpha_S$ werden aus $\beta$ abgeleitet, um sicherzustellen, dass, wenn $\beta$ gegen 0 oder 1 strebt, der Einfluss einer Datenquelle abnimmt, während die andere vollständig genutzt bleibt. Die Methode verwendet ein zweistufiges MCMC-Verfahren:

Gemeinsames Training: Schätzung der Surrogatkoeffizienten $c$ und intermediärer Parameter unter Verwendung der power-geskalten Likelihood.
Verfeinerte Inferenz: Erneute Schätzung der unbekannten realen Parameter $(\omega_R, \sigma_R)$ unter Verwendung ausschließlich der vollen Likelihood der realen Daten $D_R$ , konditioniert auf die Posterior-Verteilung von $c$ aus Schritt 1. Dies vermeidet ein "Doppelverwenden" der realen Daten und stellt sicher, dass Parameter auf Basis realer Evidenz inferiert werden.

Implementierung

Das Rahmenwerk ist so konzipiert, dass es surrogatagnostisch ist und auf jedes probabilistische Surrogat (z. B. Polynom-Chaos-Entwicklungen, Gauß-Prozesse, Neuronale Netze) anwendbar ist, das in probabilistischen Programmiersprachen wie Stan oder PyMC implementierbar ist. Die Autoren verwenden Hamiltonian Monte Carlo (HMC) für die Stichprobenziehung.

Hauptbeiträge

Neuartige Gewichtungstrategien: Einführung zweier unterschiedlicher Methoden (PW und PS) zur Kombination heterogener Datenquellen während des Surrogat-Trainings, die ein Kontinuum zwischen rein datengetriebenen und rein simulationsbasierten Modellen bieten.
Umgang mit Asymmetrie: Die PS-Methode adressiert spezifisch die Asymmetrie der Datenquellen (bekannte vs. unbekannte Eingaben) durch ein zweistufiges Inferenzverfahren, das das Training der Koeffizienten von der Parameterverfeinerung trennt.
Surrogatagnostizismus: Die vorgeschlagenen Gewichtungstrategien sind unabhängig von der spezifischen Surrogatfamilie und ermöglichen eine breite Anwendbarkeit in verschiedenen Modellierungskontexten.
Diagnostische Fähigkeit: Das Rahmenwerk bietet einen Mechanismus zur Diagnose struktureller Einschränkungen in Simulationsmodellen durch Visualisierung der konkurrierenden Informationen aus Simulations- und Realweltdaten.

Ergebnisse

Die Autoren bewerten die Methoden anhand zweier Fallstudien:

Fallstudie 1: Synthetisches Beispiel

Aufbau: Ein Simulationsmodell erfasst einen globalen Trend, während die "realen" Daten einen zusätzlichen periodischen Term enthalten, der in der Simulation nicht vorhanden ist.
Erkenntnisse:
- Out-of-Sample (OOS): Das datengetriebene Surrogat ( $\beta=0$ ) schneidet am besten ab, da es die lokalen Daten perfekt anpasst.
- Out-of-Distribution (OOD): Das simulationsbasierte Surrogat ( $\beta=1$ ) schneidet am besten ab aufgrund seiner Fähigkeit, basierend auf physikalischen Gesetzen zu extrapolieren.
- Hybride Leistung: Für intermediäre $\beta$ -Werte erreichte die Power-Scaling (PS)-Methode im Allgemeinen einen niedrigeren RMSE (näher an der synthetischen Wahrheit), während Posterior Predictive Weighting (PW) eine bessere ELPD (bessere Unsicherheitsmodellierung) lieferte.
- Vergleich mit KOH: Die PS-Methode schnitt im Vergleich zum Standard-Kennedy-O'Hagan (KOH)-Kalibrierungsrahmenwerk bei der Wiederherstellung der Mittelwertfunktion für bestimmte $\beta$ -Werte besser ab, obwohl KOH bei der Unsicherheitsquantifizierung überlegen war.

Fallstudie 2: Epidemiologische Modellierung (SIR-Modell)

Synthetischer Aufbau: Ein fehlspezifiziertes SIR-Modell (feste Erholungsrate) vs. reale Daten mit einer anderen Erholungsrate.
- Ergebnisse: PS zeigte in OOD-Bereichen eine überlegene Leistung, indem es Simulationsdaten als Regularisierer nutzte, um extreme Vorhersagen des datengetriebenen Modells zu verhindern. PW lieferte eine visuelle Überlagerung der konfliktreichen Trends (steilerer Abfall in den Daten vs. langsamerer Abfall in der Simulation).
Realer Aufbau: COVID-19-Daten aus Italien (erste Welle).
- Ergebnisse: Das datengetriebene Modell scheiterte an der Extrapolation (Vorhersage von Infektionsanstiegen), während das simulationsbasierte Modell eine hohe Unsicherheit zeigte und einen zu starken Abfall vorhersagte. Der Power-Scaling-Ansatz erreichte bei $\beta \approx 0,45$ eine optimale ELPD und balancierte die beiden Quellen aus. Die PW-Methode zeigte eine monotone Verbesserung mit $\beta$ , erreichte jedoch nicht die Spitzenleistung von PS.

Bedeutung und Behauptungen

Der Artikel behauptet, dass diese hybriden Modellierungsansätze eine flexible Möglichkeit bieten, die Vorhersagegenauigkeit und Abdeckung zu verbessern, insbesondere in herausfordernden Out-of-Distribution-Szenarien, bei denen das Training mit einer einzigen Quelle versagt.

Diagnostische Einsichten: Die Autoren betonen, dass die Visualisierung der posterior-prädiktiven Verteilungen (insbesondere via PW) als Diagnosewerkzeug dient. Dies ermöglicht Modellierern, fehlende Prozesse oder Fehlspezifikationen im Simulationsmodell zu identifizieren, indem sie beobachten, wo Simulation und reale Daten divergieren.
Kompromisse: Der Artikel vermerkt bescheiden, dass die optimale Methode und der Gewichtungsfaktor vom spezifischen Szenario und der Bewertungsmetrik abhängen.
- Power-Scaling wird für die Wiederherstellung der zugrunde liegenden Wahrheit und für robuste Mittelwertvorhersagen empfohlen, da es Simulationsdaten während des Trainings als Regularisierer nutzt.
- Posterior Predictive Weighting wird für diagnostische Zwecke und die intuitive Interpretation konkurrierender Informationsquellen empfohlen, kann jedoch weniger robust sein, wenn die datengetriebene Komponente schlecht eingeschränkt ist.
Zukünftige Richtungen: Die Autoren schlagen vor, dass, obwohl sie sich auf zwei Quellen konzentrierten, das Rahmenwerk auf mehrere Quellen erweitert werden kann. Sie weisen zudem darauf hin, dass die Suche nach dem optimalen $\beta$ mittels Line-Suche für PS rechenintensiv sein kann, und schlagen zukünftige Arbeiten zu Importance Sampling oder Momentenabgleich vor, um die Kosten für das Neuanpassen zu reduzieren.

Zusammenfassend präsentiert der Artikel ein Rahmenwerk, das die Surrogatmodellierung von einem bloßen "Ersatz" für teure Simulationen zu einer Komponente eines Diagnosewerkzeugs für hybride Modellierung weiterentwickelt, das sowohl mechanistisches Wissen als auch empirische Evidenz nutzen kann.