Surrogate modeling for Bayesian optimization beyond a single Gaussian process

기술 요약: 단일 가우시안 프로세스를 넘어선 베이지안 최적화를 위한 대리 모델링

문제 제기
베이지안 최적화 (BO) 는 하이퍼파라미터 튜닝, 신약 개발, 로봇공학 등에서 발견되는 "평가 비용이 높은" 블랙박스 함수를 최적화하기 위한 원칙적인 프레임워크입니다. 표준 BO 는 순차적으로 쿼리 지점을 선택하고 탐색과 활용을 균형 있게 조절하기 위해 통계적 대리 모델에 의존합니다. 그러나 기존 접근법은 일반적으로 사전에 선택된 커널 함수를 가진 단일 가우시안 프로세스 (GP) 에 의존합니다. 이러한 설계는 적절한 커널 유형과 하이퍼파라미터를 선택하기 위해 상당한 도메인 전문성을 요구합니다. 또한, BO 알고리즘에 대한 엄격한 수렴 보장이 종종 결여되어 있으며, 수렴 시간을 단축하기 위해 평가를 병렬화하는 경우 종종 쿼리 다양성을 보장하기 위한 추가 하이퍼파라미터나 복잡한 선택 규칙이 필요합니다. 본 논문은 튜닝 노력을 최소화하고, 병렬 작동을 지원하며, 이론적 수렴 보장을 제공하는 BO 방법의 필요성을 다룹니다.

방법론: EGP-TS
제안된 방법인 EGP-TS(Thompson Sampling 을 활용한 앙상블 가우시안 프로세스) 는 단일 GP 대리 모델을 넘어선 새로운 프레임워크를 도입합니다.

1. GP 의 앙상블 (EGP): 단일 커널 대신, 이 방법은 사전 정의된 사전 $\mathcal{K}$에서 선택된 커널 함수 $\kappa_m$을 사용하는 $M$개의 GP 로 구성된 앙상블을 활용합니다. 각 GP $m$은 목적 함수 $f(x)$에 대한 사전 분포를 이러한 GP 들의 가중치 혼합으로 모델링합니다:
   $$f(x) \sim \sum_{m=1}^M w_m^0 \mathcal{GP}(0, \kappa_m(x, x'))$$
   가중치 $w_m^t$는 베이지안 규칙을 사용하여 관측된 데이터 $D_t$에 기반하여 실시간으로 적응적으로 업데이트되며, 이는 현재 최적화 단계에 가장 적합한 대리 모델 적합을 효과적으로 선택합니다.

2. Thompson Sampling (TS) 획득 함수: 다음 쿼리 지점을 선택하기 위해, 이 방법은 Thompson Sampling 을 사용합니다. 복잡한 획득 함수를 최적화하는 대신, TS 는 사후 혼합 분포에서 함수 실현 $\tilde{f}_t(x)$를 샘플링하고 이 샘플링된 함수의 최대화자를 선택합니다. 이 접근법은 추가 설계 파라미터가 필요하지 않습니다.

3. 랜덤 특징 (RF) 을 통한 확장성: 특히 TS 에 필요한 샘플링 단계를 위해 확장성을 보장하기 위해, 이 방법은 앙상블 내의 각 GP 에 대해 랜덤 특징 기반 커널 근사를 사용합니다. 이는 비모수적 GP 학습을 모수적 학습으로 변환하여 효율적인 함수 샘플링과 모델 파라미터 (가중치 및 사후 평균/공분산) 의 재귀적 베이지안 업데이트를 가능하게 합니다.

4. 병렬화: EGP-TS 프레임워크는 동기식 및 비동기식 병렬 함수 평가를 자연스럽게 수용합니다. $K$개의 작업자가 있는 병렬 환경에서, 여러 쿼리 지점은 현재 사후 혼합 분포에서 샘플링하여 생성되며, 병렬 BO 에서 Upper Confidence Bound (UCB) 나 Expected Improvement (EI) 를 사용할 때 일반적으로 요구되는 다양성 강화를 위한 추가 하이퍼파라미터가 필요하지 않습니다.

주요 기여
본 논문은 네 가지 주요 기여를 제시합니다:

• 적응형 모델 선택: 사전에 선택된 커널을 가진 단일 GP 를, 실시간으로 GP 별 가중치를 적응적으로 조정하는 GP 앙상블로 대체하여 수동 커널 선택의 필요성을 제거합니다.
• 파라미터 없는 병렬화: 결과적인 EGP-TS 접근법은 추가 설계 파라미터를 필요로 하지 않으면서 동기식 및 비동기식 병렬 평가를 모두 지원합니다.
• 수렴 보장: 저자들은 순차적 및 병렬 설정 모두에 대해 서브선형 베이지안 후회 (regret) 한계를 유도함으로써 EGP-TS 의 전역 최적점 수렴을 입증합니다. 이 분석은 혼합 사전 분포를 가진 선형 밴딧의 기법을 BO 컨텍스트에 적응시켜 EGP 사전 분포로 인해 발생하는 문제를 해결합니다.
• 실증적 검증: 합성 함수, 로봇 작업 (로봇 밀기), 그리고 FNN, SVM, Gradient Boosting 을 위한 실제 하이퍼파라미터 튜닝 작업에 대한 광범위한 테스트는 단일 GP 기반 TS, 완전 베이지안 GP-TS, 그리고 다른 앙상블 접근법보다 우월한 방법을 입증합니다.

결과
수치 실험은 표준 합성 벤치마크 (Ackley-5d, Zakharov, DropWave, Eggholder) 와 실제 응용 분야에서 수행되었습니다.

• 합성 함수: EGP-TS 는 사전 선택된 커널 (RBF, Matérn) 을 가진 GP-TS 와 BanditBO, EXP3BO 와 같은 다른 앙상블 방법보다 일관되게 더 낮은 단순 후회 (simple regret) 를 달성했습니다. 또한 완전 베이지안 GP-TS 보다 우수한 성능을 보였습니다.
• 로봇공학: 3 차원 및 4 차원 로봇 밀기 작업에서 EGP-TS 는 모든 기준선보다 목표 위치까지의 거리를 최소화하는 데 있어 우수한 성능을 보였으며, 완전 베이지안 GP-TS 보다 훨씬 빠르게 실행되었습니다.
• 하이퍼파라미터 튜닝: Breast Cancer, Iris, Wine 과 같은 데이터셋에서 FNN, SVM, Gradient Boosting 모델을 튜닝하는 경우, EGP-TS 는 경쟁사보다 적은 함수 평가로 더 높은 검증 정확도를 달성했습니다.
• 절차적 분석 (Ablation): EGP 대리 모델과 Expected Improvement 를 결합한 EGP-EI 에 대한 초기 결과도 표준 GP-EI 보다 향상된 성능을 보여, 앙상블 모델의 이점이 Thompson Sampling 을 넘어선다는 것을 시사합니다.

의의 및 주장
본 논문은 EGP-TS 가 베이지안 최적화에서의 "설계 노력" 병목 현상에 대한 강력한 해결책을 제공한다고 주장합니다. 앙상블 접근법을 통한 커널 선택 자동화와 Thompson Sampling 활용을 통해, 이 방법은 전문가 도메인 지식에 대한 의존성을 줄입니다. 이론적 기여는 앙상블 기반 BO 알고리즘에 대한 엄격한 베이지안 후회 한계를 수립하여, 이 방법이 평균 후회가 감소하면서 전역 최적점으로 수렴함을 증명하는 데 있습니다. 저자들은 앙상블 개념이 지도 학습에서 사용되어 왔지만, 커널 선택을 위한 BO 에의 적응, 병렬 확장성, 그리고 수렴 분석이 결합된 것은 새로운 기여라고 강조합니다. 이 연구는 EGP-TS 를 앙상블 학습의 표현력과 실제 고비용 최적화 작업에 필요한 효율성 및 이론적 보장을 균형 있게 갖춘 방법으로 위치시킵니다.