A general framework for modeling Gaussian process with qualitative and quantitative factors

1. Probleemstelling

Computerexperimenten worden steeds vaker gebruikt om complexe systemen in wetenschap, engineering en business te modelleren. Een uitdaging bij deze experimenten is dat de invoer vaak bestaat uit een mix van kwantitatieve factoren (continue variabelen, zoals temperatuur of afstand) en kwalitatieve factoren (categorische variabelen, zoals materiaaltypes of constructiemethoden). Deze worden vaak aangeduid als QQ-inputs.

Traditionele Gaussian Process (GP) modellen zijn effectief voor kwantitatieve data, maar het modelleren van QQ-inputs vereist speciale covariantiefuncties. Bestaande methoden (zoals die van Qian et al., 2008; Deng et al., 2017; Zhang et al., 2020) hebben specifieke covariantiestructuren voorgesteld, maar er ontbreekt een algemeen raamwerk dat deze benaderingen verenigt, nieuwe structuren mogelijk maakt en een systematische manier biedt om ordinaal (geordend) gedrag in kwalitatieve variabelen te integreren.

2. Methodologie

De auteurs stellen een general latent-variable-based framework voor. De kern van de methode is het afbeelden van kwalitatieve factoren naar een continu latente ruimte.

• Het Latente Variabelen Concept:
  Elke kwalitatieve factor $v_j$ met $a_j$ niveaus wordt gemapt naar een continu latente vector $z^{(j)}_{v_j}$ in een ruimte $\mathbb{R}^{l_j}$ (waarbij $1 \le l_j \le a_j$). De respons $Y(U, V)$ wordt gemodelleerd alsof de invoer $(U, V)$ equivalent is aan $(U, Z_V)$, waarbij $Z_V$ de geconcateneerde latente vector is.
  De covariantiefunctie wordt dan gefactoreerd als:
  $$\text{Cov}\{Y(U, V), Y(U', V')\} = \sigma^2 K_U(U, U') K_Z(Z_V, Z'_V)$$
  Hierbij is $K_U$ een kernel voor kwantitatieve factoren (meestal Gaussisch) en $K_Z$ een kernel voor de latente vectoren.

• Kernel Keuzes en Structuur:
  Het framework is flexibel omdat het verschillende kernel-functies toestaat voor de latente variabelen:

  • Lineaire Kernel: Kan negatieve correlaties modelleren.
  • Gaussische Kernel: Modelleren positieve correlaties op basis van afstand.
  • Exponentiële Kernel: Alternatief voor Gaussisch.
    De auteurs tonen aan dat bestaande methoden (zoals multiplicatieve en additieve structuren) special cases zijn van dit framework.

• Identificeerbaarheid:
  Omdat verschillende latente vectoren dezelfde covariantie kunnen produceren, stellen de auteurs voorwaarden voor identificeerbaarheid (unieke parameterisatie). Ze gebruiken geometrische inzichten (isometrieën, rotaties, translaties) en reparameterisatie (bijv. via hypersferische coördinaten voor lineaire kernels) om unieke oplossingen te garanderen.

• Integratie van Ordinale Variabelen:
  Voor ordinaire variabelen (waarbij de volgorde van niveaus belangrijk is) worden ordinaal beperkingen opgelegd aan de latente vectoren.

  • Bij isotrope kernels: De latente waarden moeten monotoon toenemen ($0 = z_1 \le z_2 \le \dots$).
  • Bij lineaire kernels: De hoeken in hypersferische coördinaten worden beperkt om de volgorde te behouden.
    Dit wordt geoptimaliseerd via box-constraints of niet-negatieve incrementen, wat overfitting voorkomt en de interpretatie verbetert.

• Modelselectie en Averaging:
  Gezien de vele mogelijke kernel-combinaties, worden twee strategieën voorgesteld:

  1. Leave-One-Out Cross-Validation (LOOCV): Voor het selecteren van het beste model op basis voorspellingsfout.
  2. Bayesian Information Criterion (BIC): Voor modelselectie en model averaging (BICMAvr). Bij model averaging worden voorspellingen van meerdere modellen gewogen op basis van hun BIC-waarden, wat de robuustheid verhoogt.

3. Belangrijkste Bijdragen

1. Unificatie van Bestaande Methoden: Het framework verenigt diverse eerder gepubliceerde benaderingen (zoals die van Qian et al., Deng et al., en Zhang et al.) onder één paraplu, waarbij ze worden gezien als special cases van specifieke kernel-keuzes en latente dimensies.
2. Nieuwe Covariantiestructuren: Door het toepassen van verschillende kernels (lineair, exponentieel, Gaussisch) op de latente ruimte, worden nieuwe, flexibele covariantiestructuren mogelijk die eerder niet systematisch werden onderzocht.
3. Seamless Ordinale Integratie: Het biedt een wiskundig onderbouwde manier om ordinaal gedrag in kwalitatieve variabelen te modelleren door beperkingen op de latente ruimte, wat vaak beter presteert dan het behandelen van ordinaal data als nominaal.
4. Identificeerbaarheidstheorie: De auteurs leggen strikte voorwaarden vast voor de unieke parameterisatie van de latente vectoren, afhankelijk van de gekozen kernel, wat essentieel is voor betrouwbare schatting.
5. Robuuste Modelselectie: De introductie van een BIC-gebaseerde model-averaging strategie die voorspellingen combineert om de afhankelijkheid van één specifieke kernel-keuze te verminderen.

4. Resultaten

De methode is uitgebreid getest op zowel gesimuleerde data als real-world computerexperimenten:

• Simulatievoorbeelden: (Balkbuigen, boorgat, OTL-circuit, zuiger).

  • De voorgestelde methoden presteerden over het algemeen beter dan concurrenten zoals EzGP, EEzGP en ctGP (die interacties modelleren).
  • Het gebruik van ordinaal beperkingen leidde consistent tot lagere voorspellingsfouten (RRMSE) vergeleken met het behandelen van ordinaal data als nominaal.
  • De lineaire kernel presteerde vaak beter dan de Gaussische kernel in bepaalde scenario's, terwijl de exponentiële kernel vaak slechter presteerde.
  • De BICMAvr (model averaging) strategie bleek zeer stabiel en leverde vaak de beste resultaten op, vooral in complexe scenario's.

• 3D Coupled Finite Element Model (Dijkconstructie):

  • Toepassing op een model met 1 kwantitatieve en 3 kwalitatieve factoren.
  • Het framework kon effectief werken met beperkte data (weinig niveaus per factor) en leverde nauwkeurige voorspellingen op.
  • Het verhogen van de dimensie van de latente vector (van 1 naar 2 of 3) verbeterde de nauwkeurigheid zonder de complexiteit te sterk te laten toenemen.

• Materiaalontwerp (M2AX familie):

  • Toepassing op het voorspellen van elastische eigenschappen van materialen.
  • De additieve kernel met lineaire structuur presteerde hier het beste, wat suggereert dat sommige kwalitatieve factoren (zoals het X-atoom) weinig invloed hebben op de respons. Het framework kon deze "inactieve" factoren effectief identificeren en hanteren.

5. Betekenis en Conclusie

Dit artikel biedt een fundamentele doorbraak in het modelleren van computerexperimenten met gemengde inputtypes.

• Conceptueel: Het overbrugt de kloof tussen modellen voor puur kwantitatieve input en die voor gemengde input, waardoor technieken uit het ene domein naar het andere kunnen worden overgebracht.
• Praktisch: Het biedt een flexibele toolbox voor onderzoekers om de beste kernel-structuur te kiezen of te middelen, in plaats van afhankelijk te zijn van één specifieke aanname.
• Toekomstperspectief: Hoewel het framework zeer succesvol is, merken de auteurs op dat de keuze van de latente dimensie en de specifieke kernel cruciaal is. De integratie van ordinaal informatie via beperkingen blijkt een krachtige regularisatiemethode te zijn die overfitting voorkomt en de generalisatie verbetert.

Samenvattend stelt dit framework een gestandaardiseerde, theoretisch onderbouwde en empirisch bewezen aanpak voor het omgaan met de complexiteit van kwalitatieve en kwantitatieve factoren in Gaussian Process-modellen.