A general framework for modeling Gaussian process with qualitative and quantitative factors

A continuación presento un resumen técnico detallado del artículo "A General Framework For Modeling Gaussian Process with Qualitative and Quantitative Factors" (Un marco general para modelar Procesos Gaussianos con factores cualitativos y cuantitativos), escrito por Linsui Deng y C. F. Jeff Wu.

1. Planteamiento del Problema

Los experimentos computacionales son fundamentales en ciencia, ingeniería y negocios para modelar sistemas complejos. Sin embargo, su alto costo computacional requiere el uso de modelos sustitutos o emuladores, siendo los Procesos Gaussianos (GP) la opción más popular debido a su capacidad de aproximación precisa y eficiente.

El desafío central abordado en este trabajo es la presencia de factores mixtos: entradas que combinan variables cuantitativas (continuas) y cualitativas (categóricas o nominales). Aunque existen métodos específicos para manejar estos factores (QQ), carecen de un marco unificado que integre las diversas estructuras de covarianza propuestas, interprete sus conexiones teóricas y permita una selección sistemática de modelos, especialmente cuando las variables cualitativas tienen una estructura ordinal (niveles ordenados).

2. Metodología Propuesta

Los autores proponen un marco general basado en variables latentes que extiende el enfoque de Zhang et al. (2020). La idea central es mapear cada factor cualitativo en un espacio continuo latente y aplicar funciones de kernel estándar sobre estas variables latentes.

A. Estructura del Modelo

El modelo asume que la respuesta $Y(U, V)$ sigue una distribución equivalente a $Y(U, Z_V)$, donde:

• $U$: Factores cuantitativos.
• $V$: Factores cualitativos.
• $Z_V$: Vector latente concatenado, donde cada nivel de un factor cualitativo $v_j$ se representa por un vector $z^{(j)}_{v_j} \in \mathbb{R}^{l_j}$.

La función de covarianza se factoriza como:
$$\text{Cov}\{Y(U, V), Y(U', V')\} = \sigma^2 K_U(U, U') K_Z(Z_V, Z'_V)$$
Donde $K_U$ es un kernel para factores cuantitativos (usualmente Gaussiano) y $K_Z$ es un kernel aplicado a los vectores latentes.

B. Conexión con Métodos Existentes

El marco demuestra que muchas metodologías previas son casos especiales de esta formulación:

• Estructura Multiplicativa: Corresponde a modelos como los de Qian et al. (2008) o Zhou et al. (2011) cuando se usa un kernel lineal en el espacio latente.
• Estructura Aditiva: Se conecta con el enfoque de Deng et al. (2017).
• Codificación Predefinida: Métodos como one-hot encoding o similarity encoding se interpretan como casos donde los vectores latentes están predefinidos.

C. Kernel y Condiciones de Identificabilidad

El estudio analiza la aplicabilidad de diferentes kernels en el espacio latente:

• Kernel Lineal: Permite correlaciones negativas y es muy flexible. Requiere condiciones de identificabilidad específicas (transformación a coordenadas hipersféricas) para garantizar unicidad.
• Kernel Gaussiano/Exponencial: Solo modelan correlaciones positivas. Son invariantes bajo traslación y rotación.
• Variables Ordinales: Se incorpora la información ordinal imponiendo restricciones de orden en los vectores latentes (ej. $0 = z_1 \leq z_2 \leq \dots \leq z_a$). Para facilitar la optimización, se reparametriza usando incrementos no negativos ($\Delta \geq 0$), transformando el problema en una optimización con restricciones de caja.

D. Selección y Promedio de Modelos

Dado que la elección del kernel (Gaussiano, Exponencial, Lineal) y la dimensión latente son críticas, se proponen estrategias de selección:

1. Validación Cruzada Leave-One-Out (LOOCV): Minimiza el error de predicción.
2. Criterio de Información Bayesiano (BIC): Penaliza la complejidad del modelo.
3. Promedio de Modelos (Model Averaging): Combina las predicciones de múltiples modelos candidatos ponderadas por sus valores de BIC, aumentando la robustez.

3. Contribuciones Clave

1. Unificación Teórica: Establece un marco unificado que engloba la mayoría de los enfoques existentes para GP con factores mixtos, demostrando cómo las estructuras multiplicativas y aditivas surgen naturalmente de la elección del kernel en el espacio latente.
2. Tratamiento de Variables Ordinales: Proporciona un método sistemático y computacionalmente eficiente para incorporar la estructura ordinal mediante restricciones en los vectores latentes, superando la práctica común de tratar variables ordinales como nominales.
3. Análisis de Identificabilidad: Deriva condiciones teóricas rigurosas para garantizar que la parametrización de los vectores latentes sea única, lo cual es crucial para la inferencia estadística.
4. Estrategias de Selección Robustas: Introduce y valida el uso de BIC y LOOCV para seleccionar la estructura de kernel óptima y propone un método de promedio de modelos para mitigar la incertidumbre en la selección.

4. Resultados Empíricos

Los autores evaluaron el marco en varios ejemplos de simulación y experimentos computacionales reales:

• Ejemplos de Simulación (Bending, Borehole, OTL, Piston):

  • Los métodos propuestos superaron consistentemente a competidores de vanguardia como EzGP, EEzGP y ctGP.
  • Estructura del Kernel: El rendimiento varía según el problema; en algunos casos el kernel lineal es superior, mientras que en otros el Gaussiano es mejor. No existe un kernel "universal" óptimo.
  • Dimensión Latente: Una dimensión latente demasiado alta puede causar sobreajuste, mientras que una demasiado baja pierde información. La selección automática de la dimensión es vital.
  • Información Ordinal: Incorporar la estructura ordinal mejoró significativamente la precisión y la generalización, especialmente cuando los datos eran ruidosos o las diferencias entre niveles eran sutiles.

• Modelo de Elementos Finitos para Terraplenes (3D):

  • Demostró la capacidad del método para manejar datos reales con pocos niveles cualitativos (3 niveles por factor).
  • La selección de modelos basada en BIC y el promedio de modelos lograron los errores relativos (RRMSE) más bajos.

• Diseño de Materiales (Familia M2AX):

  • En la predicción de propiedades elásticas, el kernel aditivo lineal con dimensiones latentes adecuadas mostró un rendimiento superior.
  • El análisis de los pesos relativos ($\psi_j$) en el kernel aditivo permitió identificar qué factores cualitativos eran irrelevantes para la respuesta, ofreciendo interpretabilidad.

5. Significado e Impacto

Este trabajo es significativo porque:

• Cierra la brecha teórica entre el modelado de entradas puramente cuantitativas y mixtas, permitiendo la transferencia de técnicas de kernels avanzados al dominio de factores cualitativos.
• Ofrece flexibilidad: Al permitir la elección de diferentes kernels (lineal, Gaussiano, exponencial) y estructuras (aditiva/multiplicativa), el marco se adapta a la naturaleza subyacente de los datos sin imponer una estructura rígida.
• Mejora la interpretabilidad: La representación latente permite visualizar la similitud entre niveles de factores cualitativos, algo difícil de lograr con codificaciones one-hot tradicionales.
• Robustez práctica: La estrategia de promedio de modelos basada en BIC ofrece una solución robusta ante la incertidumbre de la selección de hiperparámetros, lo cual es crucial en aplicaciones de ingeniería donde el costo de un error de predicción puede ser alto.

En conclusión, Deng y Wu presentan una herramienta metodológica sólida y generalizable que mejora tanto la precisión predictiva como la comprensión teórica de los experimentos computacionales con factores mixtos.