Technische Samenvatting: Emulatoren voor grootschalige computerexperimenten met kwantitatieve en kwalitatieve inputs

Probleemstelling

Computerexperimenten met gemengde inputs — bestaande uit zowel kwantitatieve variabelen als kwalitatieve factoren — komen steeds vaker voor in wetenschappelijke en technische domeinen, variërend van verbranding en systeembiologie tot constructieleer. Hoewel statistische surrogaatmodellen (emulatoren) zoals Gaussische Processen (GP's) standaardinstrumenten zijn voor deze experimenten, blijft het construeren van nauwkeurige en computationeel efficiënte emulatoren op grote schaal een aanzienlijke uitdaging.

Er bestaan twee primaire hindernissen:

1. Omgaan met gemengde inputs: Bestaande methoden voor gemengde inputs, zoals Easy-to-Interpret GPs (EzGP) en Latent Variable GPs (LvGP), vereisen vaak een metriekruimte voor kwalitatieve variabelen. Naarmate het aantal kwalitatieve factoren of hun niveaus toeneemt, groeit het aantal covariantieparameters snel, wat leidt tot overparametrisatie en computationele onhandelbaarheid.
2. Schaalbaarheid: Conventionele GP-gebaseerde benaderingen schalen als $O(n^3)$ voor berekening en $O(n^2)$ voor geheugen, wat onhaalbaar is voor grote datasets ($n$). Hoewel schaalbare benaderingen zoals de Vecchia-benadering en gelokaliseerde GP's (bijv. laGP, TwinGP) bestaan voor kwantitatieve inputs, zijn deze nog niet effectief uitgebreid naar gemengde inputs zonder verlies van modelflexibiliteit of nauwkeurigheid.

Methodologie

De auteurs stellen een nieuw, schaalbaar framework voor genaamd SVA (Scaled Vecchia Approximation), dat een nieuwe covariantiefunctie integreert met de Vecchia-benadering om gemengde inputs efficiënt te verwerken.

1. Een nieuwe covariantiefunctie (SEzGP)

De kern van de voorgestelde methode is een aangepaste covariantiefunctie, SEzGP, die het EzGP-framework uitbreidt.

• Structuur: Het model gaat uit van een additieve structuur waarbij de output $Y(x, z)$ de som is van een globale GP met kwantitatieve inputs en lokale GP's geconditioneerd op kwalitatieve niveaus.
• Innovatie: In tegenstelling tot de standaard EzGP of EEzGP, die voor elke combinatie van kwantitatieve factoren en kwalitatieve niveaus afzonderlijke correlatieparameters toewijzen (wat leidt tot hoge dimensionaliteit), gaat het SEzGP-model ervan uit dat de correlatieparameters voor de kwantitatieve inputs invariant zijn ten opzichte van de kwalitatieve variabelen.
• Formulering:
  $$K(w_i, w_j) = \sigma^2_0 \exp\left\{-\sum_{k=1}^p \theta^{(0)}_k (x_{ik} - x_{jk})^2\right\} + \sum_{h=1}^q \sum_{l_h=1}^{m_h} \mathbb{1}(z_{ih} = z_{jh} \equiv l_h) \sigma^2_h \exp\left\{-\sum_{k=1}^p \theta_k (x_{ik} - x_{jk})^2\right\}$$
  Hierbij zijn de correlatieparameters $\theta_k$ voor de kwantitatieve inputs gedeeld over alle kwalitatieve niveaus, wat het aantal parameters aanzienlijk reduceert tot $2 + 2p + q$.

2. Scaled Vecchia Approximation (SVA)

Om schaalbaarheid te bereiken, passen de auteurs de scaled Vecchia-benadering (Katzfuss et al., 2022) aan voor het SEzGP-model.

• Scaling: De kwantitatieve inputs worden geschaald door de vierkantswortel van hun correlatieparameters ($\sqrt{\theta_k}$), waardoor de inputruimte effectief wordt getransformeerd om de relevantie van elke dimensie mee te nemen.
• Approximatie: De gezamenlijke likelihood wordt benaderd door een product van laagdimensionale conditionele distributies met behulp van een zorgvuldig gekozen conditionele set (nabijgelegen buren in de geschaalde ruimte). Dit vermindert de computationele complexiteit van $O(n^3)$ naar ongeveer $O(nm^2)$, waarbij $m \ll n$.
• Schatting: Parameters worden geschat met behulp van het Fisher scoring-algoritme om de Vecchia-likelihood te maximaliseren.

3. Uitbreidingen van Benchmark-methoden

Om een uitgebreide vergelijking mogelijk te maken, hebben de auteurs twee prominente grootschalige GP-methoden uitgebreid om gemengde inputs te verwerken met de SEzGP-covariantie:

• La (Uitgebreide laGP): Past het Active Learning Cohn (ALC) criterium aan om sequentieel lokale designpunten voor gemengde inputs te selecteren.
• Twin (Uitgebreide TwinGP): Past de "Twinning"-aanpak aan, waarbij globale punten onafhankelijk van de voorspellingslocatie worden geselecteerd en lokale punten via nabijgelegen buren, waarbij one-hot encoding voor kwalitatieve variabelen wordt gebruikt tijdens de puntselectie.

Belangrijkste Bijdragen

1. Nieuwe Covariantiestructuur: Introductie van de SEzGP-covariantiefunctie, die een balans vindt tussen modelflexibiliteit en parameterparsimonie door de kwantitatieve correlatieparameters te delen over kwalitatieve niveaus.
2. Schaalbaar Framework: De succesvolle integratie van SEzGP met de scaled Vecchia-benadering (SVA), wat efficiënte voorspelling en volledige onzekerheidskwantificatie voor massieve datasets met gemengde inputs mogelijk maakt.
3. Benchmark-uitbreidingen: Implementatie van gemengde-input versies van laGP en TwinGP om te dienen als rigoureuze baseline voor vergelijking.
4. Empirische Validatie: Uitgebreide numerieke studies en een real-world toepassing die de superioriteit van de voorgestelde aanpak aantonen.

Resultaten

Het paper evalueert de voorgestelde SVA-methode tegenover concurrenten (Twin, La, LEzGP, VA en NN) over vier numerieke voorbeelden en één real-world toepassing.

Numerieke Experimenten

Twee scenario's werden getest:

• Scenario 1: Voldoende datapunten per combinatie van kwalitatieve niveaus.
• Scenario 2: Groot aantal levelcombinaties met schaarse data per combinatie.

Bevindingen:

• Nauwkeurigheid: SVA behaalde consistent de laagste Root Mean Square Error (RMSE) in de meeste scenario's, wat een superieure voorspellende nauwkeurigheid aantoont vergeleken met niet-geschaalde Vecchia (VA), gelokaliseerde methoden (La, LE) en nearest-neighbor benaderingen (NN).
• Efficiëntie: Hoewel de Nearest Neighbor (NN) methode de snelste was, leed deze aanzienlijk onder lagere nauwkeurigheid. SVA bood een superieur evenwicht door concurrerende computationele tijden te behouden (vaak vergelijkbaar met NN) terwijl het substantieel betere voorspellende prestaties leverde.
• Schaalbaarheid: In scenario's met schaarse data (Scenario 2) behield SVA een robuuste prestatie waar andere methoden moeite hadden met ofwel nauwkeurigheid of computationele kosten.

Real-World Toepassing

Een casestudy naar balkdoorbuiging in de structurele techniek werd uitgevoerd met behulp van gesynthetiseerde data uit de American Institute of Steel Construction (AISC) database.

• Opzet: Het model voorspelde de maximale doorbuiging op basis van continue inputs (balkdiepte, oppervlakte, overspanning, belastingpositie) en kwalitatieve inputs (materiaaltype, dwarsdoorsnede-vorm).
• Resultaat: SVA presteerde beter dan alle concurrerende methoden (La, Twin, NN, VA) in zowel voorspellende nauwkeurigheid (log-RMSE) als computationele efficiëntie, wat het nut ervan valideert in complexe, natuurkundige engineeringproblemen.

Betekenis en Claims

Het paper claimt dat het voorgestelde SVA-framework effectief de kloof overbrugt tussen schaalbare benaderingstechnieken en het modelleren van computerexperimenten met gemengde inputs. Door een covariantiefunctie te introduceren die de parametercomplexiteit vermindert zonder kwalitatieve effecten te negeren, en deze te koppelen aan de Vecchia-benadering, demonstreren de auteurs dat:

1. Grootschalige computerexperimenten met gemengde inputs met hoge nauwkeurigheid en computationele haalbaarheid kunnen worden geëmuleerd.
2. Het schaalmechanisme inherent aan SVA cruciaal is voor het effectief vastleggen van de invloed van zowel kwantitatieve als kwalitatieve factoren.
3. De methode een praktische oplossing biedt voor onzekerheidskwantificatie in grootschalige settings waar traditionele GP's falen door geheugen- en tijdbeperkingen.

De auteurs merken bescheiden op dat hoewel hun uitbreidingen van laGP en TwinGP in deze specifieke gemengde-input settings de prestaties van SVA niet evenaarden, verdere geavanceerde uitbreidingen van deze methoden mogelijk nog potentieel kunnen onthullen. Ze identificeren ook toekomstige onderzoeksrichtingen, waaronder de toepassing van de voorgestelde covariantiefunctie op globale optimalisatie en contourschattingstaken.