Profile Bayesian Optimization for Expensive Computer Experiments

기술 요약: 고비용 컴퓨터 실험을 위한 프로파일 베이지안 최적화 (Profile Bayesian Optimization)

문제 정의
본 논문은 단일 전역 최적점(global optimum)을 찾는 것이 아니라 '프로파일 최적점(profile optima)'을 식별하는 것이 목적인, 비용이 많이 드는 결정론적 블랙박스 컴퓨터 시뮬레이션의 최적화 문제를 다룬다. 이러한 시나리오에서 입력값은 하나의 제어 파라미터($x^\star$)와 여러 개의 넌스 파라미터(nuisance parameters, $x_{-\star}$)로 나뉜다. 목표는 $x^\star$의 가능한 전체 범위에 걸쳐 함수 $T(x^\star) = \min_{x_{-\star}} f(x^\star, x_{-\star})$를 추정하는 것이다.

표준 베이지안 최적화(BO)는 일반적으로 단일 전역 최소값을 목표로 하기 때문에 이 작업에 부적합하며, 이로 인해 제어 파라미터의 전체 영역을 탐색하는 데 소홀해지는 경향이 있다. Ginsbourger 등(2014)이 제안한 Profile Expected Improvement (PEI)와 같은 기존의 프로파일 최적화 방법들은 두 가지 주요 한계점을 가진다:

1. 계산적 불가능성(Computational Intractability): 후보군 선택을 위해 조밀한 격자(dense grids)에 의존하며, 이는 차원이 2보다 높아지면 실행 불가능해진다.
2. 탐색-착취 불균형(Exploration-Exploitation Imbalance): 전통적인 Expected Improvement (EI)와 마찬가지로, PEI는 전역 최소값 근처의 영역을 과도하게 착취(exploit)하여 제어 파라미터의 전체 범위를 충분히 탐색하지 못한다.

저자들은 특정 공학 응용 분야인 회전 폭발 연소기(Rotating Detonation Combustor, RDC)용 디퓨저 설계에 주목한다. 이 시뮬레이션은 계산 비용이 매우 높으며(1회 실행 시 10분에서 수 시간 소요), 연소 역학으로 인해 비정상성(nonstationary)을 띤다. 목표는 디퓨저 길이($x^\star$)에 따른 최소 에너지 손실(압력 손실)을 매핑하는 것이며, 효율성과 물리적 제약 사이의 설계 트레이드오프를 결정하기 위해 5개의 넌스 파라미터(곡률 지점 및 바이패스 위치)를 최적화한다.

방법론
저자들은 대리 모델(surrogate modeling)과 2단계 획득 전략(two-stage acquisition strategy)을 통합한 새로운 프로파일 베이지안 최적화(PBO) 절차를 제[]안한다.

1. 대리 모델링 (Surrogate Modeling):

   • 이 방법은 가우시안 프로세스(GP) 또는 딥 가우시안 프로세스(DGP) 대리 모델을 사용한다. DGP는 물리적 시뮬레이션에서 흔히 나타나는 비정상적 응답 표면을 처리하는 능력에 있어 강점이 있다고 강조된다.
   • $T(x^\star)$를 추정하기 위해, 저자들은 대리 모델로부터 결합 사후 샘플(joint posterior samples)을 생성한다. 각 샘플에 대해, 모든 고유한 $x^\star$에 대한 최소 응답 값을 식별한다. 이러한 최소값들의 경험적 분포는 $\hat{T}(x^\star)$의 추정치와 함께 신뢰 구간을 통한 불확실성 정량화(UQ)를 제공한다.
   • 고차원에서의 계산 비용을 관리하기 위해, 효율적인 결합 사후 샘플링을 위해 Vecchia 근사법이 채택되었다.

2. 수정된 트리캔즈 (Modified Tricands, 후보 생성):

   • 조밀한 격자로 인한 계산 병목 현상을 피하기 위해, 저자들은 Gramacy 등(2022)의 "트리캔즈(tricands, 삼각형 후보)" 접근 방식을 변형하여 적용한다.
   • 전체 격자 대신, 관측된 넌스 파라미터($X_{-\star}$)의 델로네 삼각분할(Delaunay triangulation)을 사용하여 후보를 생성한다. "내부 후보(internal candidates)"는 삼각분할 구성 요소의 기하학적 중심에 배치되며, "주변 후보(fringe candidates)"는 경계 근처에 배치된다.
   • $x^\star$에 대해서는 준조밀(semi-dense) 1D 격자가 생성된다. 최종 후보 세트($X_{tri+}$)는 $x^\star$ 격도와 넌스 파라미터 트리캔즈의 데카르트 곱(Cartesian product)이다. 이를 통해 수십억 개의 점을 평가하지 않고도 효율적인 최소값 추정이 가능하다.

3. 2단계 획득 체계 (Two-Stage Acquisition Scheme):
   다음 평가 지점 $x_{n+1} = \{x^\star_{n+1}, x_{-\star, n+1}\}$의 선택은 두 단계로 이루어진다:

   • 1단계 ( $x^\star$ 탐색): 알고리즘은 현재 $\hat{T}(x^\star)$ 추정치에서 가장 큰 불확실성(가장 넓은 신뢰 구간 폭)을 보이는 제어 파라미터 값 $x^\star_{n+1}$을 선택한다. 이는 Active Learning MacKay 기준에서 영감을 얻은 것으로, 제어 파라미터의 전체 범위를 탐색하도록 보장한다.
   • 2단계 ( $x_{-\star}$ 착취): $x^\star_{n+1}$이 고정되면, 알고리즘은 해당 슬라이스를 따라 **프로파일 기대 개선량(PEI)**을 최대화함으로써 넌스 파라미터 $x_{-\star, n+1}$를 선택한다. 이는 선택된 제어 파라미터에 대한 최적의 넌스 구성 탐색에 집중하게 한다.

주요 결과
논문은 합성 벤치마크와 동기 부여가 된 RDC 응용 사례를 통해 PBO 절차를 검증한다:

• 합성 벤치마크:

  • 정상 함수 (2D Branin, 3D Kyger): PBO는 표준 BO, 무작위 라틴 하이퍼큐브 샘플링(LHS), 그리고 기존 PEI 방식보다 우수한 성능을 보였다. PBO는 더 낮은 평균 제곱근 오차(RMSE)와 좁은 신뢰 구간을 달성하면서도 95%에 가까운 커버리지를 유지했다. 결정적으로, PBO는 PEI와 표준 BO가 전역 최소값 근처로 획득을 집중시켜 프로파일의 일부를 탐색하지 못한 것과 달리, $x^\star$의 전체 범위를 성공적으로 탐색했다.
  • 비정상 함수 (4D Squiggle): DGP 대리 모델을 사용했을 때, PBO는 GP 대리 모델에 비해 우수한 정확도를 입증했다. DGP 예측은 약간 낮은 커버리지(과신을 의미)를 보였으나, GP 기반 방식보다 현저히 낮은 RMSE와 최대 절대 편차(MaxAD)를 나타냈다.

• 동기 부여 응용 사례 (RDC 디퓨저):

  • 6차원 시뮬레이션(1 제어, 5 넌스 파라미터)에 적용되었으며, DGP 대리 모델을 사용한 PBO는 150회의 평가를 수행했다.
  • 생성된 프로파일 추정치는 디퓨저 길이 전체 범위에 대한 불확실성 정량화를 제공했다.
  • 동일한 예산(113회 평가)으로 실행된 최첨단 다목적 진화 알고리즘(CADO)과 비교했을 때, PBO는 CADO가 찾은 파레토 프런트(Pareto front)보다 더 낮은 압력 손실을 갖는 설계를 식별했다. 또한, CADO는 이산적인 트레이드오프 지점들만 제공한 반면, PBO는 연속적인 최적 프로파일을 제공했다.

의의 및 주장
본 논문은 프로파일 최적화가 제어 파라미터의 범위가 주된 관심사인 고비용 컴퓨터 실험에서 프로파일 최적점을 추정하기 위한 견고한 프레임워크를 제공한다고 주장한다.

• 독창성: 주요 기여는 제어 파라미터의 탐색과 넌스 파라미터의 착취를 명시적으로 분리하는 2단계 획득 체계이다. 이는 전통적인 BO와 PEI에서 발생하는 "과도한 착취" 문제를 방지한다.
• 확장성: 수정된 트리캔즈와 Vecchia 근사법을 결합함으로써, 이 방법은 기존의 격자 기반 방식들이 실패했던 고차원(최대 6차원까지 입증됨) 프로파일 최적화를 확장한다.
• 유연성: 이 절차는 정상(GP) 및 비정상(DGP) 대리 모델 모두와 호환되어, 레짐 변화(regime shifts)가 있는 복잡한 물리 시뮬레이션에 적용 가능하다.
• 실질적 영향: RDC 응용 사례에서, 이 방법은 디퓨저 길이와 에너지 손실 사이의 트레이드오프를 정량화함으로써 정보에 입각한 의사결정을 가능하게 했으며, 기존의 다목적 최적화 접근법보다 뛰어난 설계를 식별해 냈다.

저자들은 각 $x^\star$ 슬라이스에 대해 고유한 프로파일 최적점이 존재한다는 가정과, 고차원에서 DGP 커버리지를 위한 충분한 사후 샘플을 생성하는 데 드는 계산 비용을 포함한 한계점을 조심스럽게 언급했다. 향후 연구로는 기울기 강화 대리 모델(gradient-enhanced surrogates) 및 물리적 데이터와의 베이지안 보정(Bayesian calibration)을 제안하였다.