Sequential Experimental Designs for Kriging Model

기술 요약: 크리깅(Kriging) 모델을 위한 순차적 실험 설계

문제 정의
컴퓨터 실험은 종종 복잡한 물리 및 공학 시스템을 근사하기 위한 대리 모델(surrogate model)로서 크리깅(가우시안 프로세스) 모델에 의존한다. 주요 목표는 전체 실험 영역에 걸쳐 대리 모델과 실제 모델 사이의 불일치를 최소화하는 것이다. 단일 단계 공간 채움 설계(space-filling designs)가 흔히 사용되지만, 이는 사전 가정에 의존하며 중요한 영역을 포괄하지 못해 자원을 낭비할 수 있다. 순차적 설계(Sequential designs)는 축적된 데이터를 기반으로 점을 반복적으로 추가함으로써 동적인 대안을 제공한다. 그러나 기존의 순차적 방법들은 두 가지 중요한 한계점에 직면해 있다:

1. 관측 기반 배치 순차 설계(Observation-based batch sequential designs) 연구 부족: 많은 실질적인 시나리오(예: 고충실도 항공우주 시뮬레이션)에서 실험 설정(교정, 초기화)을 위한 고정 비용은 높은 반면, 단일 라운드 내에서 여러 점을 추가하는 데 드는 한계 비용은 미미하다. 현재의 방법들은 이러한 "배치(batch)" 시나리오를 효과적으로 다루는 경우가 드물다.
2. 일점(one-point) 순차 설계의 비효전성: 전통적인 일점 방식은 충분한 데이터를 축적하기 위해 수많은 반복 라운드를 필요로 하며, 이는 실험 주기를 연장시키고 자원 활용을 비효율적으로 만든다. 또한, 단순한 배치 선택은 특정 최적 위치 주변에 점들이 밀집되는 현상을 초래하여 실험 공간을 효과적으로 탐색하는 데 실패한다.

방법론
본 논문은 이러한 격차를 해소하기 위해 두 가지 새로운 선택 기준과 일반적인 배치 순차 설계 알고리즘을 포함하는 종합적인 프레임워크를 제안한다.

1. 새로운 선택 기준:

   • 기울기 기반 기준 ($\phi_{gra}$): 기울기 크기가 큰 영역이 적합 오차(fitting error)를 줄이기 위해 더 조밀한 샘플링을 필요로 한다는 관찰에 착안하였다. 이 기준은 기존 점들과의 거리를 유지하면서 실제 함수의 기울기 크기, $\|\nabla f(x)\|$를 최대화하는 점을 선택한다. 또한 함수가 실제로 변화하는 곳에서 점이 선택되도록 국소 응답 변동성($|\hat{y}_X(x) - f(x^*)|$) 항을 포함한다. 이론적으로 이 기준은 예측 오차의 상한(upper bound)을 근사한다.
   • 분산 기반 기준 ($\phi_{var}$): 이 기준은 예측 분산과 기울기 추정치의 분산으로부터 유도된 함수를 최대화하는 점을 선택함으로써 최대 적합 오차를 최소화하는 것을 목표로 한다. 이는 추정 오차가 예측 분산과 기울기 분산 모두에 의해 조절된다는 이론적 경계에 근착하고 있다.

2. 클러스터 기반 Top-$b$ 순차 설계 프레임워크:
   일점 순차 기준을 배치 설정(즉, 한 번의 반복당 $b > 1$개의 점을 추가하는 경우)으로 확장하기 위해, 저자들은 클러스터링 알고리즘(알고리즘 2)을 제안한다.

   • 메커니즘: 단순히 $\phi(x)$를 최대화하는 상위 $b$개의 점을 선택하는 대신(이는 단일 전역 최댓값 근처에 점을 밀집시킬 것임), 이 알고리즘은 설계 공간을 이산화하고 후보 점들을 $\phi$ 값에 따라 정렬한다.
   • 클러스터링 로직: 점들은 공간적 근접성 및 밀도 규칙(매개변수 $\alpha$와 $\beta$에 의해 제어됨)에 따라 클러스터에 할당된다. 알고리즘은 뚜렷한 국소 최댓값(클러스터)을 식별하고, 상위 $b$개 클러스터로부터 대표 점을 선택한다.
   • 목표: 이 접근 방식은 점의 밀집 현상을 방지하고, 고가치 영역에 대한 다양한 탐색을 보장하며, 기존의 모든 일점 기준을 배치 시나리오에 적응할 수 있게 한다.

주요 기여

• 두 가지 새로운 기준: 평균 오차와 최대 오차를 최소화한다는 서로 다른 이론적 관점을 제공하는 기울기 기반 기준과 분산 기반 기준을 도입하였다.
• 일반 배치 프레임워크: 단순 배치 선택의 고유한 점 밀집 문제를 해결하여, 모든 순차적 기준을 배치 시나리오로 효율적으로 확장할 수 있게 하는 새로운 "클러스터 기반 top-$b$" 프레임워크를 제시하였다.
• 이론적 정당성: 제안된 기준들이 예측 오차 및 기울기 분산의 상한과 어떻게 연관되는지를 입증하는 보조정리와 정리를 제공하여, 선택 전략에 대한 이론적 근거를 마련하였다.

결과
저자들은 다양한 차원의 7가지 테스트 함수(Branin, Hartman, Ackley, Zakharov, Rosenbrock 등)를 사용하여 기존 기준(Expected Improvement 변형, 분산 최소화, 혼합 불일치 포함)과 제안된 방법을 평가하였다.

• 일점 성능: RMSE 측면에서 기울기 기반 기준이 일반적으로 기존 방법들보다 우수한 성능을 보였다. MAE 측면에서는 분산 기반 기준이 탁월한 성능을 입증하였다.
• 배치 성능: 새로운 기준을 사용하여 생성된 클러스터 기반 top-$b$ 설계는 기존 기준에 기반한 배치 설계 및 벤치마크인 순차적 균등 설계를 지속적으로 능가하였다.
• 효율성: 배치 설계는 실험 라운드(반복) 수를 크게 줄이면서도 일점 대응 방식과 대등하거나 때로는 더 나은 성능을 달anim하였다.

의의 및 주장
본 논문은 제안된 방법들이 현재의 순차적 설계 문헌에 존재하는 결정적인 한계점, 즉 효과적인 관측 기반 배치 설계의 부재와 일점 방식의 비효율성을 해결한다고 주장한다. 기울기 기반 기준은 평균 오차를 최소화하고 분산 기반 기준은 최대 오차를 최소화함을 입증함으로써, 저자들은 실무자들에게 특정 최적화 목표에 따른 맞춤형 도구를 제공한다. 또한, 제안된 배치 프레임워크는 적합 정확도를 희생하지 않으면서 실험 라운드를 줄여 자원 효율성을 높이는 다각적인 솔루션으로 제시되며, 이는 자원 집약적인 컴퓨터 실험에 특히 적합하다. 저자들은 자신들의 기준과 프레임워크가 적합 정확도 측면에서 일반적으로 기존의 접근 방식보다 우수하다고 결론짓는다.