A general framework for modeling Gaussian process with qualitative and quantitative factors

1. 연구 배경 및 문제 제기 (Problem)

• 배경: 과학, 공학, 비즈니스 분야에서 복잡한 시스템을 모델링하기 위해 컴퓨터 실험이 널리 사용되고 있습니다. 그러나 시뮬레이션의 높은 계산 비용으로 인해 대리 모델 (Surrogate models) 또는 에뮬레이터 (Emulators) 가 필수적입니다. 가우시안 프로세스 (GP) 는 이러한 목적에 매우 효과적입니다.
• 문제: 많은 컴퓨터 실험의 입력 변수는 **정량적 요인 (Quantitative factors, 예: 온도, 거리)**과 **정성적 요인 (Qualitative factors, 예: 재료 종류, 구조 유형)**이 혼합되어 있습니다 (QQ 입력).
• 현재 한계: 기존 연구들은 QQ 입력을 처리하기 위해 다양한 공분산 함수 (Covariance functions) 를 제안해 왔으나, 이를 통합하는 일반적인 프레임워크가 부재했습니다. 또한, 정성적 변수의 서열적 구조 (Ordinal structure, 예: 저/중/고) 를 자연스럽게 반영하는 방법론이 부족했습니다.

2. 제안된 방법론 (Methodology)

저자들은 Zhang et al. (2020) 의 잠재 변수 (Latent variable) 접근법을 확장하여 정성적 요인을 연속적인 잠재 공간으로 매핑하는 일반적 프레임워크를 제안합니다.

2.1 핵심 프레임워크

• 잠재 변수 매핑: 각 정성적 요인 $v_j$를 $l_j$차원의 연속적인 잠재 벡터 $z^{(j)}_{v_j}$로 변환합니다.
• 공분산 함수 구성: 원래의 이산적 입력 $(U, V)$에 대한 공분산을, 연속적인 잠재 입력 $(U, Z_V)$에 대한 공분산으로 정의합니다.
  $$\text{Cov}\{Y(U, V), Y(U', V')\} = \sigma^2 K_U(U, U') K_Z(Z_V, Z'_V)$$
  • $K_U$: 정량적 요인을 위한 커널 (일반적으로 가우시안 커널 사용).
  • $K_Z$: 잠재 벡터를 위한 커널.
• 구조적 유연성: 정성적 요인 간의 관계를 곱셈적 (Multiplicative) 또는 덧셈적 (Additive) 구조로 정의할 수 있으며, 이를 위해 다양한 커널 (가우시안, 지수, 선형 커널 등) 을 잠재 공간에 적용할 수 있습니다.

2.2 기존 방법론과의 통합

제안된 프레임워크는 기존에 제안된 여러 방법론을 특수한 경우로 포함합니다:

• Qian et al. (2008), Zhou et al. (2011): 잠재 벡터의 차원을 수준 (levels) 수와 동일하게 설정 ($l_j = a_j$) 하고 선형 커널을 사용한 경우.
• Roustant et al. (2020), Tao et al. (2021): 잠재 벡터의 차원을 수준 수보다 낮게 설정 ($l_j < a_j$) 하여 저랭크 (Low-rank) 구조를 imposed 한 경우.
• Deng et al. (2017): 정성적 요인에 대한 덧셈적 구조를 적용한 경우.
• Garrido-Merchán & Hernández-Lobato (2020): 원-핫 (One-hot) 인코딩과 같은 사전 정의된 잠재 변수를 사용하는 경우.

2.3 식별 가능성 (Identifiability) 및 정렬 변수 처리

• 식별 가능성: 동일한 공분산 구조를 생성하는 서로 다른 잠재 벡터가 존재할 수 있으므로, 고유한 파라미터화를 보장하기 위한 조건을 제시했습니다.
  • 선형 커널: 직교 변환 (회전, 반사) 하에서 불변하므로, 초구면 좌표계 (Hyperspherical coordinates) 를 사용하여 파라미터를 재표현하고 식별성을 확보합니다.
  • 등방성 커널 (가우시안 등): 거리 공간의 등거리 변환 (Isometries) 하에서 불변하며, 이동 (Translation) 불변성을 추가하여 식별성을 확보합니다.
• 정렬 변수 (Ordinal Variables) 통합: 정성적 변수가 서열을 가질 경우 (예: 1 단계, 2 단계, 3 단계), 잠재 벡터의 값이나 각도에 **순서 제약 (Order constraints)**을 부과합니다.
  • 이를 위해 비음수 증가량 (Non-negative increments) 을 도입하여 제약 최적화 문제를 상자 제약 (Box-constrained) 문제로 변환하고, L-BFGS-B 등의 알고리즘으로 효율적으로 해결합니다.

2.4 모델 선택 및 평균화

• 다양한 커널과 잠재 차원 조합에 대해 **Leave-One-Out Cross-Validation (LOOCV)**과 **베이지안 정보 기준 (BIC)**을 사용하여 최적 모델을 선택합니다.
• BIC 기반 모델 평균화 (Model Averaging): 단일 모델 선택의 불확실성을 줄이기 위해, BIC 가중치를 사용하여 여러 모델의 예측을 가중 평균하는 전략을 도입합니다.

3. 주요 기여 (Key Contributions)

1. 일반적 프레임워크 정립: 정성적 및 정량적 요인을 동시에 다루는 GP 모델링을 위한 통일된 프레임워크를 제시하여, 기존 다양한 방법론을 하나의 체계로 통합했습니다.
2. 커널 다양성 확장: 잠재 변수에 가우시안, 지수, 선형 커널 등 다양한 커널을 적용할 수 있음을 보였으며, 이에 따른 식별 가능성 조건을 수학적으로 증명했습니다.
3. 정렬 변수의 자연스러운 통합: 정성적 변수의 서열적 특성을 잠재 공간의 제약 조건으로 자연스럽게 통합하여, 기존 방법론보다 더 정확한 모델링을 가능하게 했습니다.
4. 강건한 예측 전략: 모델 선택 (LOOCV, BIC) 과 모델 평균화 전략을 제안하여, 최적의 커널 구조를 자동으로 탐색하고 예측 성능을 극대화하는 방법을 제시했습니다.

4. 실험 결과 (Results)

논문은 시뮬레이션 데이터 (Beam bending, Borehole, OTL, Piston) 와 실제 공학 데이터 (옹벽 3D 유한 요소 모델, 재료 설계 데이터) 를 통해 제안된 방법론을 검증했습니다.

• 성능 비교: 제안된 프레임워크 기반 방법들은 EzGP, EEzGP, ctGP 등 기존 경쟁 방법들보다 전반적으로 **상대적 평균 제곱 오차 (RRMSE)**가 낮았습니다.
• 커널 및 차원의 영향:
  • 데이터의 특성에 따라 최적의 커널 (선형 vs 가우시안) 과 잠재 차원이 달라졌습니다.
  • 정렬 정보 활용: 정성적 변수가 정렬된 경우, 이를 명시적으로 반영한 모델 (Ordinal models) 이 정성적 변수를 명목형 (Nominal) 으로 취급한 모델보다 일관되게 우수한 성능을 보였습니다. 이는 과적합을 방지하고 일반화 능력을 향상시킵니다.
  • 모델 평균화: BIC 기반 모델 평균화 (BICMAvr) 는 단일 모델 선택보다 더 안정적이고 강건한 예측 성능을 보여주었습니다.
• 해석 가능성: 추정된 잠재 벡터를 시각화하여 정성적 요인 수준 간의 유사성 (Similarity) 을 직관적으로 해석할 수 있음을 보였습니다.

5. 의의 및 결론 (Significance)

• 이론적 통합: 정량적 입력만 다루는 GP 기법과 QQ 입력을 다루는 기법 간의 간극을 메웠으며, 다양한 기존 접근법을 하나의 잠재 변수 프레임워크 하에서 설명할 수 있게 했습니다.
• 실용적 가치: 복잡한 컴퓨터 실험에서 정성적 변수의 서열적 특성을 고려하고, 데이터 특성에 맞는 최적의 커널 구조를 자동으로 선택할 수 있는 도구를 제공합니다.
• 미래 연구 방향: 정성적 변수 간의 상호작용을 더 정교하게 모델링하기 위한 비분리형 (Non-separable) 커널 확장 및 정렬 변수 처리의 최적 전략에 대한 추가 연구의 필요성을 제기했습니다.

이 논문은 컴퓨터 실험 설계 및 분석 분야에서 정성적 및 정량적 요인이 혼재된 복잡한 문제를 해결하기 위한 강력한 통계적 프레임워크를 제시했다는 점에서 중요한 의의를 가집니다.