기술 요약: 정량적 및 정성적 입력을 포함한 대규모 컴퓨터 실험을 위한 에뮬레이터

문제 정의

연소, 시스템 생물학, 구조 공학 등 다양한 과학 및 공학 분야에서 정량적 변수와 정성적 요인이 혼합된 입력(mixed inputs)을 포함하는 컴퓨터 실험이 점점 더 흔해지고 있습니다. 가우시안 프로세스(Gaussian Processes, GPs)와 같은 통계적 대리 모델(emulators)은 이러한 실험을 위한 표준 도구이지만, 대규모 실험에서 정확하고 계산 효율적인 에뮬레이터를 구축하는 것은 여전히 큰 과제로 남아 있습니다.

두 가지 주요 장애물이 존재합니다:

1. 혼합 입력 처리: EzGP(Easy-to-Interpret GPs)나 LvGP(Latent Variable GPs)와 같이 혼합 입력을 다루는 기존 방법들은 정성적 변수를 위한 메트릭 공간(metric space)을 필요로 합니다. 정성적 요인의 수나 수준(levels)이 증가함에 따라 공분산 파라미터의 수가 급격히 늘어나며, 이는 과적합(over-parametrization)과 계산 불가능한 복잡성을 초래합니다.
2. 확장성(Scalability): 전통적인 GP 기반 접근 방식은 계산 측면에서 $O(n^3)$, 메모리 측면에서 $O(n^2)$의 복잡도를 가지므로, 대규모 데이터셋($n$)에서는 사용이 제한됩니다. Vecchia 근사법이나 국소적 GP(예: laGP, TwinGP)와 같이 확장 가능한 근사법들이 정량적 입력에 대해서는 존재하지만, 모델의 유연성이나 정확도를 희생하지 않으면서 혼합 입력을 처리하도록 효과적으로 확장되지는 못했습니다.

방법론

저자들은 혼합 입력을 효율적으로 처리하기 위해 새로운 공분산 함수를 Vecchia 근사법과 결합한 새로운 확장 가능한 프레임워크인 **SVA (Scaled Vecchia Approximation)**를 제안합니다.

1. 새로운 공분산 함수 (SEzGP)

제안된 방법의 핵심은 EzGP 프레임워크를 확장한 수정된 공분산 함수인 SEzGP입니다.

• 구조: 이 모델은 출력 $Y(x, z)$가 정량적 입력을 가진 전역 GP(global GP)와 정성적 수준에 따라 조건화된 국소 GP(local GPs)의 합이라는 가법적(additive) 구조를 가정합니다.
• 혁신: 모든 정량적 요인과 정성적 수준의 조합에 대해 별도의 상관 파라미터를 할당하여 차원의 저주를 일으키는 표준 EzGP 또는 EEzGP와 달리, SEzGP 모델은 정량적 입력에 대한 상관 파라미터가 정성적 변수에 대해 **불변(invariant)**한다고 가정합니다.
• 정식화:
  $$K(w_i, w_j) = \sigma^2_0 \exp\left\{-\sum_{k=1}^p \theta^{(0)}_k (x_{ik} - x_{jk})^2\right\} + \sum_{h=1}^q \sum_{l_h=1}^{m_h} \mathbb{1}(z_{ih} = z_{jh} \equiv l_h) \sigma^2_h \exp\left\{-\sum_{k=1}^p \theta_k (x_{ik} - x_{jk})^2\right\}$$
  여기서 정량적 입력을 위한 상관 파라미터 $\theta_k$는 모든 정성적 수준에 걸쳐 공유되며, 이를 통해 파라미터 수를 $2 + 2p + q$로 크게 줄입니다.

2. Scaled Vecchia Approximation (SVA)

확장성을 달성하기 위해, 저자들은 SEzGP 모델에 scaled Vecchia approximation(Katzfuss et al., 2022)을 적용했습니다.

• 스케일링(Scaling): 정량적 입력은 각 차원의 중요도를 반영하기 위해 상관 파라미터의 제곱근($\sqrt{\theta_k}$)에 의해 스케일링됩니다.
• 근사(Approximation): 결합 가능도(joint likelihood)는 신중하게 선택된 조건화 세트(스케일링된 공간에서의 최근접 이웃)를 사용하여 저차원 조건부 분포의 곱으로 근사됩니다. 이를 통해 계산 복잡도를 $O(n^3)$에서 약 $O(nm^2)$ ($m \ll n$)로 줄입니다.
• 추정(Estimation): 파라미터는 Vecchia 가능도를 최대화하기 위해 Fisher scoring 알고리즘을 사용하여 추정됩니다.

3. 벤치마크 방법의 확장

포괄적인 비교를 위해, 저자들은 SEzGP 공분산을 사용하여 두 가지 저명한 대규모 GP 방법을 혼합 입력에 맞게 확장했습니다.

• La (Extended laGP): 혼합 입력을 위한 국소 설계점(local design points)을 순차적으로 선택하기 위해 ALC(Active Learning Cohn) 기준을 적응시켰습니다.
• Twin (Extended TwinGP): 예측 위치와 독립적인 전역 점(global points)을 선택하고, 점 선택 시 원-핫 인코딩(one-hot encoding)을 활용하여 최근접 이웃을 통해 국소 점(local points)을 선택하는 "Twinning" 접근 방식을 적응시켰습니다.

주요 기여

1. 새로운 공분산 구조: 정량적 상관 파라미터를 정성적 수준 간에 공유함으로써 모델의 유연성과 파라미터 절약 사이의 균형을 맞춘 SEzGP 공분산 함수의 도입.
2. 확장 가능한 프레임워크: 대규모 혼합 입력 데이터셋에 대해 효율적인 예측과 완전한 불확실성 정량화를 가능하게 하는 SVA와 SEzGP의 성공적인 통합.
3. 벤치마크 확장: 엄격한 비교를 위한 기준으로 사용될 수 있도록 laGP 및 TwinGP의 혼합 입력 버전을 구현.
4. 실증적 검증: 제안된 접근 방식의 우수성을 입증하는 종합적인 수치 연구 및 실제 응용 사례.

결과

본 논문은 네 가지 수치 예제와 한 가지 실제 응용 사례를 통해 제안된 SVA 방법을 경쟁 모델(Twin, La, LEzGP, VA, NN)과 평가합니다.

수치 실험

두 가지 시나리오가 테스트되었습니다:

• 시나리오 1: 정성적 수준 조합당 충분한 데이터 포인트가 존재하는 경우.
• 시나리오 2: 정성적 수준 조합의 수는 많으나 각 조합당 데이터가 희소한 경우.

결과:

• 정확도: SVA는 대부분의 시나리오에서 일관되게 가장 낮은 RMSE를 달성하며, 비스케일링 Vecchia(VA), 국소화 방법(La, LE), 그리고 최근접 이웃(NN) 방식보다 우수한 예측 정확도를 보여주었습니다.
• 효율성: NN 방식이 가장 빨랐으나 정확도가 현저히 낮았습니다. SVA는 NN과 유사한 수준의 경쟁력 있는 계산 시간을 유지하면서도 실질적으로 훨씬 더 나은 예측 성능을 제공하여 최적의 트레이드오프를 보여주었습니다.
• 확장성: 데이터가 희소한 시나리오(시나리오 2)에서 SVA는 다른 방법들이 정확도나 계산 비용 문제로 어려움을 겪을 때도 견고한 성능을 유지했습니다.

실제 응용 사례

미국 철강 협회(AISC) 데이터베이스에서 합성된 데이터를 사용하여 구조 공학 분야의 **보 굴곡(beam deflection)**에 대한 케이스 스터디를 수행했습니다.

• 설정: 모델은 연속적 입력(보의 깊이, 면적, 경간, 하중 위치)과 정성적 입력(재료 유형, 단면 형상)을 바탕으로 최대 굴곡을 예측합니다.
• 결과: SVA는 예측 정확도(log-RMSE)와 계산 효율성 모두에서 모든 경쟁 방법(La, Twin, NN, VA)을 능가하였으며, 이를 통해 복잡한 물리 기반 공학 문제에서의 유용성을 입증했습니다.

의의 및 주장

본 논문은 제안된 SVA 프레임워크가 확장 가능한 근사 기법과 혼합 입력 컴퓨터 실험 모델링 사이의 간극을 효과적으로 메운다고 주장합니다. 정성적 효과를 무시하지 않으면서도 파라미터 복잡성을 줄이는 공분산 함수를 도입하고, 이를 Vecchia 근사와 결합함으로써 다음을 입증했습니다:

1. 대규모 혼합 입력 컴퓨터 실험을 높은 정확도와 계산 가능성으로 에뮬레이션할 수 있습니다.
2. SVA에 내재된 스케일링 메커니즘은 정량적 및 정성적 요인의 영향을 효과적으로 포착하는 데 매우 중요합니다.
3. 이 방법은 전통적인 GP가 메모리 및 시간 제약으로 인해 실패하는 대규모 설정에서 불확실성 정량화를 위한 실질적인 솔루션을 제공합니다.

저자들은 본 연구의 확장된 laGP 및 TwinGP가 특정 혼합 입력 환경에서 SVA의 성능에 미치지 못했음을 인정하면서도, 향후 더욱 정교한 확장이 잠재력을 드러낼 수 있다고 언급했습니다. 또한, 제안된 공분산 함수를 전역 최적화 및 등고선 추정 작업에 적용하는 것을 향후 연구 방향으로 제시했습니다.