A general framework for modeling Gaussian process with qualitative and quantitative factors

Resumo Técnico: Um Framework Geral para Modelagem de Processos Gaussianos com Fatores Qualitativos e Quantitativos

1. O Problema

Experimentos computacionais são amplamente utilizados em ciência, engenharia e negócios para modelar sistemas complexos. No entanto, o alto custo computacional das simulações exige o uso de modelos substitutos (emuladores). Os Processos Gaussianos (GP) são uma abordagem poderosa para essa tarefa.

O desafio central abordado neste trabalho é a modelagem de entradas que contêm simultaneamente fatores quantitativos (contínuos) e qualitativos (categóricos), conhecidos como entradas QQ. Exemplos incluem o design de sistemas de aterro (onde variáveis como taxa de construção e rigidez são qualitativas) e a dinâmica térmica de data centers.

Embora existam métodos específicos para lidar com fatores qualitativos (como matrizes de correlação pré-definidas ou codificação one-hot), falta um framework geral que unifique essas abordagens, permita o desenvolvimento sistemático de novas estruturas de covariância e integre naturalmente informações ordinais (níveis com ordem inerente).

2. Metodologia Proposta

Os autores propõem um framework geral baseado em variáveis latentes para modelagem de GP com entradas QQ. A ideia central é mapear cada fator qualitativo em um espaço contínuo latente e aplicar funções de kernel padrão (usadas para variáveis contínuas) sobre essas variáveis latentes.

Principais componentes do método:

• Mapeamento Latente: Cada nível de um fator qualitativo $v_j$ é representado por um vetor latente $z^{(j)}_{v_j} \in \mathbb{R}^{l_j}$, onde $l_j$ é a dimensão do espaço latente. O vetor concatenado de todas as variáveis qualitativas é denotado por $Z_V$.
• Estrutura de Covariância: A função de covariância do processo original $Y(U, V)$ é modelada como a covariância de um processo com entrada contínua $(U, Z_V)$. A estrutura assume uma fatoração:
  $$\text{Cov}\{Y(U, V), Y(U', V')\} = \sigma^2 K_U(U, U') K_Z(Z_V, Z'_V)$$
  Onde $K_U$ é o kernel para fatores quantitativos (ex: Gaussiano) e $K_Z$ é o kernel para os vetores latentes.
• Flexibilidade de Kernels: O framework permite o uso de diferentes kernels para $K_Z$, incluindo:
  • Linear: Captura correlações positivas e negativas.
  • Gaussiano (RBF): Captura suavidade e decaimento exponencial.
  • Exponencial: Captura não-diferenciabilidade.
  • Estruturas Aditivas vs. Multiplicativas: O framework unifica modelos que assumem que os efeitos dos fatores qualitativos se combinam aditivamente ou multiplicativamente.
• Variáveis Ordinais: Para variáveis com ordem inerente (ex: baixo, médio, alto), o framework impõe restrições de ordem nos vetores latentes (ex: $z_1 \leq z_2 \leq \dots \leq z_a$). Isso é feito reparametrizando as variáveis como incrementos não negativos, transformando o problema em uma otimização com restrições de caixa, resolvível eficientemente.
• Identificabilidade: O artigo estabelece condições teóricas para garantir a unicidade dos parâmetros latentes, demonstrando que, sob certas condições (como decomposição de Cholesky ou coordenadas hiperesféricas), diferentes parametrizações podem ser mapeadas para uma forma canônica única.

3. Contribuições Chave

1. Unificação Teórica: O framework demonstra que muitos métodos existentes na literatura (como os de Qian et al., 2008; Deng et al., 2017; Zhang et al., 2020) são casos especiais desta abordagem geral, dependendo da escolha do kernel e da estrutura (aditiva/multiplicativa).
2. Desenvolvimento de Novas Estruturas: Permite a criação sistemática de novos modelos de covariância ao combinar diferentes kernels (Gaussiano, Exponencial, Linear) com diferentes dimensões latentes e estruturas de combinação.
3. Integração de Informação Ordinal: Oferece uma abordagem natural e matematicamente rigorosa para incorporar a ordem dos níveis qualitativos diretamente na estrutura do kernel, superando a abordagem comum de tratar variáveis ordinais como nominais.
4. Estratégias de Seleção e Média de Modelos: Propõe o uso de Validação Cruzada Leave-One-Out (LOOCV) e do Critério de Informação Bayesiano (BIC) para selecionar o melhor kernel e dimensão latente. Além disso, introduz uma estratégia de Média de Modelos baseada em BIC para combinar previsões de múltiplos modelos, aumentando a robustez.
5. Análise de Identificabilidade: Fornece condições formais para a unicidade dos parâmetros latentes para kernels lineares e isotrópicos, um aspecto frequentemente negligenciado em abordagens anteriores.

4. Resultados Numéricos

Os autores avaliaram o desempenho do método em quatro exemplos de simulação (bending de vigas, poço de perfuração, circuito OTL, pistão) e dois exemplos do mundo real (modelo de elementos finitos para aterros e design de materiais).

• Desempenho Geral: Os métodos propostos dentro deste framework geralmente superaram métodos concorrentes (como EzGP, EEzGP e ctGP), especialmente em termos de Erro Quadrático Médio Relativo (RRMSE).
• Impacto do Kernel:
  • O desempenho variou dependendo do problema. Em alguns casos, o kernel Linear superou o Gaussiano; em outros, o inverso ocorreu.
  • O kernel Exponencial tendeu a ter desempenho inferior na maioria dos casos de teste.
  • A escolha entre estruturas Aditivas e Multiplicativas foi crucial. Estruturas multiplicativas geralmente performaram melhor, exceto quando variáveis qualitativas eram inativas (não influenciavam a resposta), caso em que a estrutura aditiva foi superior.
• Importância da Informação Ordinal: Incorporar a estrutura ordinal (quando presente) resultou consistentemente em melhor desempenho preditivo e maior estabilidade, evitando o sobreajuste (overfitting) comum ao tratar variáveis ordinais como nominais.
• Seleção de Modelos: As estratégias de seleção (LOOCV e BIC) e a média de modelos (BICMAvr) foram eficazes. A Média de Modelos (BICMAvr) demonstrou ser particularmente robusta, fornecendo desempenho estável em diversos cenários, muitas vezes superando a seleção de um único modelo.
• Dimensão Latente: A escolha da dimensão do vetor latente ($l_j$) é crítica. Dimensões muito baixas podem não capturar a complexidade, enquanto dimensões muito altas podem introduzir ruído e reduzir a generalização.

5. Significado e Conclusão

Este trabalho representa um avanço significativo na modelagem de experimentos computacionais com dados mistos. Ao fornecer um framework unificado, ele:

• Ponte Teórica: Conecta a modelagem de GPs puramente quantitativos com a de entradas mistas, permitindo a transferência de técnicas avançadas de kernels.
• Interpretabilidade: Oferece uma interpretação clara das relações entre níveis qualitativos através dos vetores latentes estimados.
• Praticidade: A disponibilidade de estratégias de seleção de modelos e a capacidade de lidar com variáveis ordinais tornam a metodologia pronta para aplicação em problemas complexos de engenharia e ciência de materiais.

Em resumo, os autores demonstram que a modelagem flexível baseada em variáveis latentes, combinada com uma seleção rigorosa de kernels e a incorporação de conhecimento de domínio (como ordem), oferece uma abordagem superior e robusta para a previsão em experimentos com fatores qualitativos e quantitativos.