Technische Samenvatting: Bayesiaanse Surrogaattraining op Meerdere Databronnen

Probleemstelling

Surrogaatmodellen worden veel gebruikt om complexe, rekenkundig duur simulatiemodellen te benaderen voor taken zoals onzekerheidskwantificering, sensitiviteitsanalyse en het oplossen van inverse problemen. Er bestaat echter een fundamentele beperking: surrogaatmodellen worden doorgaans uitsluitend getraind op simulatiedata. Aangezien het onderliggende simulatiemodel vaak een onvolmaakte vereenvoudiging is van real-world systemen (met ontbrekende processen, last van misspecificaties, of met onjuiste randvoorwaarden), erf het surrogaat deze onnauwkeurigheden. Omgekeerd bevat real-world meetdata waardevolle informatie over het ware systeem, maar is deze vaak schaars, ruisig, en ontbreekt er volledige kennis van invoerparameters (bijv. onbekende dwingende variabelen) die door het simulatiemodel vereist worden.

Bestaande methoden voor het integreren van deze databronnen staan voor verschillende uitdagingen:

1. Asymmetrie: Simulatiedata heeft volledig gespecificeerde invoer, terwijl real-world data vaak onbekende invoer heeft.
2. Aannames over Homogeniteit: Veel benaderingen gaan uit van homogene databronnen of vertrouwen op specifieke surrogaatfamilies (bijv. Gaussische Processen) met vereenvoudigende aannames.
3. Gebrek aan Weegstrategieën: Er is beperkte literatuur over hoe heterogene databronnen tijdens training adequaat gewogen moeten worden om variërende niveaus van vertrouwen of geloofwaardigheid te reflecteren.
4. Indirecte Integratie: Sommige methoden gebruiken real-world data niet direct voor surrogaattraining, maar eerder voor post-hoc kalibratie of discrepantiemodellering.

Het artikel stelt een algemeen kader voor om deze problemen aan te pakken door Bayesiaanse surrogaatmodellen te trainen op meerdere databronnen (simulatie en real-world) met behulp van nieuwe weegstrategieën die onafhankelijk opereren van de gekozen surrogaatfamilie.

Methodologie

De auteurs stellen een kader voor dat twee distincte databronnen combineert:

• Simulatiedata ($D_S$): gegenereerd vanuit een op natuurkunde gebaseerd model $M$ met bekende invoer $x_S$ en onzekere parameters $\omega_S$.
• Real-world data ($D_R$): gegenereerd vanuit een onbekend proces $G$ met bekende invoer $x_R$ maar onbekende parameters $\omega_R$ en meetruis.

Het kader introduceert twee probabilistische benaderingen voor gewogen integratie, gecontroleerd door een weegfactor $\beta \in [0, 1]$:

1. Posterior Predictive Weighting (PW)

Deze methode traint twee aparte surrogaatmodellen onafhankelijk:

• Een op simulatie gebaseerd surrogaat ($f_{M_S}$) getraind op $D_S$ en gebruikt om onbekende parameters af te leiden uit $D_R$.
• Een datagedreven surrogaat ($f_{M_R}$) uitsluitend getraind op $D_R$.

De uiteindelijke voorspelling is een gewogen som van hun posterior predictieve verdelingen:
$$p_{pw, \beta}(\hat{y}_R | \hat{x}_R, D_S, D_R) = \beta \cdot p(\hat{y}_R | \hat{x}_R, D_S, D_R, f_{M_S}) + (1 - \beta) \cdot p(\hat{y}_R | \hat{x}_R, D_R, f_{M_R})$$
Hierbij controleert $\beta$ de relatieve invloed van het op simulatie gebaseerde model. Deze benadering maakt het mogelijk om de discrepantie tussen de twee bronnen te visualiseren door de superpositie van hun predictieve verdelingen te observeren.

2. Power-Scaling van Likelihoods (PS)

Deze methode traint een enkel surrogaatmodel door beide databronnen direct in de likelihood-functie te integreren via power-scaling. De gezamenlijke posterior wordt gedefinieerd als:
$$p_{ps}^\beta(\omega'_R, \sigma', c | D_S, D_R) \propto p(y_R | x_R, \omega'_R, \sigma', c)^{\alpha_R} \cdot p(y_S | x_S, \omega_S, \sigma', c)^{\alpha_S} \cdot p(\omega'_R, \sigma') p(c)$$
De schalingsfactoren $\alpha_R$ en $\alpha_S$ zijn afgeleid van $\beta$ om ervoor te zorgen dat naarmate $\beta$ naar 0 of 1 nadert, de invloed van de ene databron afneemt terwijl de andere volledig benut blijft. De methode hanteert een twee-staps MCMC-procedure:

1. Gezamenlijke Training: Schatting van surrogaatcoëfficiënten $c$ en intermediaire parameters met behulp van de power-geschaalde likelihood.
2. Verfijnde Inferentie: Opnieuw schatten van de onbekende real-world parameters $(\omega_R, \sigma_R)$ uitsluitend met behulp van de volledige likelihood van de real-world data $D_R$, geconditioneerd op de posterior van $c$ uit stap 1. Dit voorkomt "dubbel gebruik" van de real-data en zorgt ervoor dat parameters worden afgeleid op basis van real-world bewijs.

Implementatie

Het kader is ontworpen om surrogaat-agnostisch te zijn, toepasbaar op elke probabilistische surrogaat (bijv. Polynoom Chaos Expansies, Gaussische Processen, Neuronale Netwerken) die implementeerbaar is in probabilistische programmeertalen zoals Stan of PyMC. De auteurs maken gebruik van Hamiltonian Monte Carlo (HMC) voor sampling.

Belangrijkste Bijdragen

1. Nieuwe Weegstrategieën: Introductie van twee distincte methoden (PW en PS) voor het combineren van heterogene databronnen tijdens surrogaattraining, wat een continuüm biedt tussen puur datagedreven en puur op simulatie gebaseerde modellen.
2. Omgaan met Asymmetrie: De PS-methode adresseert specifiek de asymmetrie van databronnen (bekende versus onbekende invoer) via een twee-staps inferentieprocedure die coëfficiënttraining scheidt van parameterverfijning.
3. Surrogaat-Agnosticisme: De voorgestelde weegstrategieën zijn onafhankelijk van de specifieke surrogaatfamilie, wat brede toepasbaarheid mogelijk maakt over verschillende modelleringcontexten.
4. Diagnostische Capaciteit: Het kader biedt een mechanisme om structurele beperkingen in simulatiemodellen te diagnosticeren door de concurrerende informatie van simulatie en real-world data te visualiseren.

Resultaten

De auteurs evalueren de methoden aan de hand van twee casestudies:

Casestudy 1: Synthetisch Voorbeeld

• Opzet: Een simulatiemodel vangt een globaal trend op, terwijl de "real" data een extra periodieke term bevat die niet in de simulatie aanwezig is.
• Vondsten:
  • Out-of-Sample (OOS): Het datagedreven surrogaat ($\beta=0$) presteert het beste omdat het perfect past bij de lokale data.
  • Out-of-Distribution (OOD): Het op simulatie gebaseerde surrogaat ($\beta=1$) presteert het beste vanwege het vermogen om te extrapoleren op basis van natuurwetten.
  • Hybride Prestatie: Voor intermediaire $\beta$ bereikte de Power-Scaling (PS) methode over het algemeen een lagere RMSE (dichter bij de synthetische waarheid), terwijl Posterior Predictive Weighting (PW) een betere ELPD bood (betere onzekerheidsmodellering).
  • Vergelijking met KOH: De PS-methode presteerde beter dan het standaard Kennedy-O'Hagan (KOH) kalibratiekader bij het herstellen van de gemiddelde functie voor bepaalde $\beta$-waarden, hoewel KOH uitblonk in onzekerheidskwantificering.

Casestudy 2: Epidemiologische Modellering (SIR-model)

• Synthetische Opzet: Een gespecificeerd SIR-model (vaste herstelrate) versus real data met een andere herstelrate.
  • Resultaten: PS toonde superieure prestaties in OOD-regio's door simulatiedata te benutten als regularisator om extreme voorspellingen van het datagedreven model te voorkomen. PW bood een visuele superpositie van de conflicterende trends (steilere daling in data versus langzamere daling in simulatie).
• Real-world Opzet: COVID-19 data uit Italië (eerste golf).
  • Resultaten: Het datagedreven model faalde in extrapolatie (voorspelling van infectie-uitbreiding), terwijl het op simulatie gebaseerde model hoge onzekerheid toonde en een te sterke daling voorspelde. De Power-Scaling benadering bereikte een optimale ELPD bij $\beta \approx 0,45$, waarbij de twee bronnen in evenwicht werden gebracht. De PW-methode toonde monotoon verbetering met $\beta$, maar bereikte niet de piekprestatie van PS.

Betekenis en Claims

Het artikel stelt dat deze hybride modelleringbenaderingen een flexibele manier bieden om voorspellende nauwkeurigheid en dekking te verbeteren, met name in uitdagende out-of-distribution regimes waar training op één bron faalt.

• Diagnostische Inzichten: De auteurs benadrukken dat het visualiseren van de posterior predictieve verdelingen (met name via PW) dient als een diagnostisch instrument. Het stelt modelleurs in staat ontbrekende processen of misspecificaties in het simulatiemodel te identificeren door te observeren waar de simulatie en real-world data uit elkaar lopen.
• Trade-offs: Het artikel noteert bescheiden dat de optimale methode en weegfactor afhankelijk zijn van het specifieke scenario en het evaluatiemetaal.
  • Power-Scaling wordt aanbevolen voor het herstellen van de onderliggende waarheid en het bereiken van robuuste gemiddelde voorspellingen, aangezien het simulatiedata gebruikt als regularisator tijdens training.
  • Posterior Predictive Weighting wordt aanbevolen voor diagnostische doeleinden en intuïtieve interpretatie van concurrerende informatiebronnen, hoewel het minder robuust kan zijn als het datagedreven component slecht geconstrueerd is.
• Toekomstige Richtingen: De auteurs suggereren dat hoewel ze zich richtten op twee bronnen, het kader kan worden uitgebreid naar meerdere bronnen. Zij merken ook op dat het vinden van de optimale $\beta$ via lijnzoeken rekenkundig duur kan zijn voor PS, wat toekomstig werk suggereert over importance sampling of moment matching om de kosten van opnieuw passen te verminderen.

Kortom, het artikel presenteert een kader dat surrogaatmodellering verplaatst van een louter "vervanging" voor dure simulaties naar een component van een diagnostisch instrument voor hybride modellering, dat zowel mechanistische kennis als empirisch bewijs kan benutten.