A general framework for modeling Gaussian process with qualitative and quantitative factors

1. Il Problema

Gli esperimenti computazionali sono fondamentali in scienza, ingegneria e business per modellare sistemi complessi. Tuttavia, l'elevato costo computazionale delle simulazioni richiede l'uso di modelli surrogati (emulatori). I Processi Gaussiani (GP) sono emersi come uno strumento potente per questo scopo.

La sfida principale affrontata in questo lavoro riguarda la presenza simultanea di fattori quantitativi (variabili continue) e fattori qualitativi (variabili categoriche o nominali/ordinali), definiti come input QQ. Esempi tipici includono la progettazione di argini (dove si combinano distanze continue e materiali di costruzione categorici) o la dinamica termica dei data center.
Sebbene siano stati proposti diversi approcci per gestire input QQ (come funzioni di covarianza specifiche), manca un quadro generale unificato che colleghi questi metodi, permetta di sviluppare nuovi modelli sistematicamente e gestisca in modo coerente le strutture ordinali (dove le categorie hanno un ordine intrinseco).

2. Metodologia

Gli autori propongono un quadro generale basato su variabili latenti per la modellazione GP con input QQ. L'idea centrale è mappare i fattori qualitativi discreti in uno spazio continuo latente, permettendo l'applicazione di funzioni kernel standard (tipicamente usate per variabili continue) a questi spazi latenti.

A. Il Framework Generale

Il modello assume che la risposta $Y(U, V)$, dove $U$ sono i fattori quantitativi e $V$ i fattori qualitativi, segua una distribuzione equivalente a quella di un processo con input continui $(U, Z_V)$, dove $Z_V$ è un vettore latente associato a $V$.
La funzione di covarianza è definita come:
$$\text{Cov}\{Y(U, V), Y(U', V')\} = \sigma^2 K_U(U, U') K_Z(Z_V, Z'_V)$$
Dove:

• $K_U$ è il kernel per i fattori quantitativi (es. Gaussiano).
• $K_Z$ è il kernel applicato ai vettori latenti $Z_V$ associati ai fattori qualitativi.
• Si assume una struttura fattorizzabile (moltiplicativa o additiva) tra gli effetti di $U$ e $V$.

B. Connessione con Metodi Esistenti

Il framework dimostra di includere numerosi approcci esistenti come casi speciali:

• Kernel Lineare Moltiplicativo: Corrisponde alle strutture proposte da Qian et al. (2008) e Zhou et al. (2011), dove la matrice di correlazione è decomposta in vettori latenti.
• Kernel Lineare Additivo: Corrisponde all'approccio di Deng et al. (2017).
• Kernel Gaussiano Moltiplicativo: Corrisponde al lavoro di Zhang et al. (2020).
• Codifiche Predefinite: Metodi come "one-hot encoding" o "similarity encoding" sono visti come casi particolari di variabili latenti predefinite.

C. Identificabilità e Parametrizzazione

Un contributo teorico cruciale è l'analisi delle condizioni di identificabilità. Poiché diversi vettori latenti possono produrre la stessa struttura di covarianza, gli autori definiscono condizioni per garantire l'unicità della parametrizzazione:

• Per il kernel lineare, l'equivalenza è legata alle trasformazioni ortogonali (rotazioni/riflessioni). Viene proposta una trasformazione in coordinate sferiche ipersferiche per semplificare l'ottimizzazione.
• Per i kernel isotropi (es. Gaussiano), l'equivalenza è legata alle isometrie nello spazio delle distanze (traslazioni e rotazioni).
• Vengono forniti teoremi che dimostrano come qualsiasi kernel Mercer possa essere rappresentato da un kernel lineare su uno spazio latente di dimensione sufficiente, ma che l'uso di kernel specifici (come il Gaussiano) con dimensioni ridotte ($l_j < a_j$) può ridurre la ridondanza e migliorare l'efficienza computazionale.

D. Gestione delle Variabili Ordinali

Per le variabili ordinali (dove i livelli hanno un ordine naturale), il framework impone vincoli diretti sui vettori latenti:

• Kernel Isotropo: I vettori latenti scalari devono essere ordinati ($z_1 \le z_2 \le \dots \le z_{a_j}$).
• Kernel Lineare: Gli angoli nelle coordinate sferiche devono essere ordinati.
  Questi vincoli vengono trasformati in problemi di ottimizzazione vincolata (es. incrementi non negativi) risolvibili efficientemente con algoritmi come L-BFGS-B.

E. Selezione e Mediazione del Modello

Data la varietà di kernel disponibili (Gaussiano, esponenziale, lineare) e strutture (moltiplicativa, additiva), gli autori propongono strategie per la selezione del modello:

1. LOOCV (Leave-One-Out Cross-Validation): Utilizza score basati sulla verosimiglianza negativa o sull'errore quadratico medio.
2. BIC (Bayesian Information Criterion): Penalizza la complessità del modello.
3. Mediazione del Modello (Model Averaging): Invece di scegliere un singolo modello, si combinano le previsioni di più modelli pesati in base ai loro valori BIC, aumentando la robustezza.

3. Risultati Sperimentali

I metodi sono stati valutati su quattro esempi di simulazione (bending di travi, pozzo perforato, circuito OTL, pistone), un modello agli elementi finiti 3D per argini e un esempio di design dei materiali (proprietà elastiche di composti M2AX).

• Prestazioni Generali: I metodi proposti nel framework hanno generalmente superato le tecniche concorrenti (EzGP, EEzGP, ctGP) in termini di errore quadratico medio relativo (RRMSE).
• Scelta del Kernel: Non esiste un kernel "migliore" universale.
  • Il kernel lineare ha mostrato prestazioni superiori in alcuni casi (es. bending di travi).
  • Il kernel Gaussiano è stato competitivo in altri.
  • Il kernel esponenziale ha spesso mostrato prestazioni inferiori.
• Dimensione Latente: La scelta della dimensione del vettore latente è critica. Una dimensione troppo bassa porta a sottostima, una troppo alta a sovrastima e instabilità.
• Variabili Ordinali: Incorporare esplicitamente la struttura ordinale (tramite vincoli) ha sistematicamente migliorato le prestazioni rispetto al trattare le variabili come nominali, specialmente quando i dati sono limitati o rumorosi.
• Selezione del Modello: Le strategie di selezione (BIC, LOOCV) e mediazione (BICMAvr) si sono dimostrate efficaci nel identificare o combinare i modelli migliori, con la mediazione che offre spesso la maggiore stabilità.

4. Contributi Chiave

1. Unificazione Teorica: Il lavoro fornisce un quadro unificato che collega e generalizza la maggior parte degli approcci esistenti per GP con input QQ, mostrando come essi siano casi speciali di una struttura basata su variabili latenti.
2. Flessibilità dei Kernel: Permette l'applicazione sistematica di diverse funzioni kernel (Gaussiano, esponenziale, lineare) ai fattori qualitativi, aprendo la strada a nuove strutture di covarianza.
3. Gestione Naturale dell'Ordine: Offre un metodo rigoroso e computazionalmente efficiente per incorporare informazioni ordinali tramite vincoli sui vettori latenti.
4. Strategie di Selezione Robuste: Introduce e valida procedure di selezione e mediazione del modello specifiche per questo contesto, migliorando l'affidabilità delle previsioni.
5. Condizioni di Identificabilità: Fornisce condizioni matematiche precise per garantire l'unicità della parametrizzazione dei vettori latenti per diversi kernel.

5. Significato e Implicazioni

Questo studio rappresenta un passo significativo nell'ambito degli esperimenti computazionali.

• Interpretabilità: Trasformando i fattori qualitativi in spazi continui, il framework facilita l'interpretazione delle relazioni tra livelli qualitativi (attraverso le distanze o gli angoli nei vettori latenti).
• Efficienza: La possibilità di utilizzare kernel standard e tecniche di ottimizzazione consolidate rende il metodo scalabile e applicabile a problemi reali complessi.
• Versatilità: La capacità di gestire sia variabili nominali che ordinali, e di combinare diverse strutture di kernel, rende questo approccio uno strumento versatile per ingegneri e scienziati che lavorano con dati misti.
• Impatto Pratico: I risultati dimostrano che ignorare la struttura ordinale o scegliere un kernel inappropriato può portare a errori significativi; l'uso di questo framework permette di massimizzare l'accuratezza predittiva e l'efficienza computazionale.

In sintesi, Deng e Wu offrono una soluzione metodologica completa che supera la frammentazione attuale nella modellazione GP per input misti, fornendo sia una base teorica solida che strumenti pratici per l'analisi e la previsione.