A Unified Framework for Entropy Search and Expected Improvement in Bayesian Optimization

기술적 요약: 베이지안 최적화를 위한 엔트로피 탐색과 기대 개선의 통합 프레임워크

문제 제기
베이지안 최적화 (BO) 는 탐험과 활용을 균형 있게 조절하기 위해 획득 함수 (AFs) 에 의존하는 고비용 블랙박스 함수 최적화를 위한 표준 기법입니다. 두 가지 지배적인 패러다임이 존재합니다:

1. 기대 개선 (EI): 현재 관측된 최댓값에 대한 기대 개선을 최대화하는 휴리스틱 기반의 획득 함수입니다. 계산적으로 효율적이고 널리 사용되지만, 종종 정보 이론적 방법과 근본적으로 구별되는 것으로 간주됩니다.
2. 정보 이론적 획득 함수 (예: 최대값 엔트로피 탐색 - MES): 이러한 방법들은 엔트로피 기반 측정을 사용하여 전역 최적점의 위치나 값에 대한 불확실성을 줄이는 것을 목표로 합니다. 이론적으로 근거를 두고 있지만, 서로 다른 기반 철학으로 인해 EI 와는 구별되는 것으로 간주되는 경우가 많습니다.

BO 커뮤니티의 지배적인 관점은 EI 와 정보 이론적 획득 함수를 별도의 방법론으로 취급합니다. 본 논문은 이러한 관점에 도전하며, 이전에는 인식되지 않았던 두 방법론 간의 더 깊은 이론적 연결고리가 존재한다고 주장합니다.

방법론: 변분 엔트로피 탐색 (VES)
저자들은 EI 를 정보 이론적 최대값 엔트로피 탐색 (MES) 의 변분 추론 근사로 해석하는 통합 이론적 프레임워크인 **변분 엔트로피 탐색 (VES)**을 소개합니다.

• 이론적 통합: 이 프레임워크는 Barber-Agakov(BA) 경계를 사용하여 MES 획득 함수에 대한 하한을 설정합니다. 저자들은 전역 최댓값 $y^*$에 대한 조건부 밀도 $p(y^* | D_t, y_x)$를 근사하기 위한 변분 가족 $Q$를 정의함으로써 엔트로피 탐색 하한 (ESLBO) 을 유도합니다.
• EI 의 복원: 변분 가족 $Q$를 지수 분포로 제한할 때, ESLBO 최대화는 표준 기대 개선 (EI) 과 동일한 해를 산출합니다. 이는 EI 가 특정 변분 근사 하에서 MES 의 특수한 경우임을 증명합니다.
• VES-Gamma: 지수 분포가 종종 비단조적인 $p(y^* | D_t, y_x)$의 실제 구조를 포착하기에는 너무 경직되어 있다는 점을 인식하여, 저자들은 VES-Gamma를 제안합니다. 이 새로운 획득 함수는 변분 가족으로 감마 분포를 사용합니다. 감마 분포는 지수 분포를 일반화하여 밀도의 모양을 더 잘 포착할 수 있는 더 유연한 근사를 가능하게 합니다.
• 최적화: VES-Gamma 알고리즘은 기대값 - 최대화 (EM) 스타일 접근법을 사용합니다. 이는 반복적으로 다음을 수행합니다:
  1. 고정된 후보 점 $x$에 대해 ESLBO 를 최대화하는 감마 분포의 매개변수 ($k, \beta$) 를 추정합니다.
  2. 현재 매개변수를 기반으로 ESLBO 를 최대화하도록 후보 점 $x$를 업데이트합니다.
     매개변수 $k$와 $\beta$는 미분 분석과 정규화를 통해 자동으로 결정되어 목적 함수의 구성 요소를 동적으로 균형 잡습니다.

주요 기여

1. 통합 프레임워크: EI 가 MES 의 변분 근사임을 보여주는 VES 프레임워크의 도입으로, 이전까지 별개였던 두 가지 획득 함수 패러다임을 통합합니다.
2. 새로운 획득 함수: 더 유연한 감마 변분 근사를 통해 정보 이론적 원리를 통합하면서도 EI 의 성능 강점을 계승하는 VES-Gamma의 제안.
3. 종합적 평가: 저차원 및 고차원 합성 벤치마크, 가우시안 프로세스 (GP) 샘플, 그리고 실제 세계 문제에 걸친 광범위한 경험적 평가.

결과
본 논문은 다양한 벤치마크에서 EI, MES 및 기타 최신 기법 (UCB 및 LogEI 등) 과 VES-Gamma 를 평가합니다:

• 합성 벤치마크: Branin, Levy, Hartmann, Griewank 와 같은 함수에서 VES-Gamma 는 일관되게 경쟁력 있는 성능을 발휘합니다. Branin 과 Hartmann 에서 최상의 성능을 달성하며, Levy 와 Griewank 에서는 EI 와 동등하거나 약간 더 나은 성능을 보입니다.
• GP 샘플: 100 차원 GP 사전 분포를 사용한 실험에서, VES-Gamma 는 EI 와 MES 가 종종 최적하지 않은 해에 수렴하는 작은 길이 척도 ($\ell = 0.05, 0.1, 0.25$) 에서 두 방법보다 현저히 우수한 성능을 보입니다.
• 실제 세계 벤치마크: 고차원 문제 (60 차원 Rover, 124 차원 Mopta08, 180 차원 Lasso-DNA, 388 차원 SVM) 에서 VES-Gamma 는 견고한 성능을 입증합니다. SVM 벤치마크에서는 모든 다른 방법보다 현저히 우수한 성능을 보이며, Mopta08 과 Lasso-DNA 에서는 상위권 성능을 기록합니다.
• 이론적 검증: Kolmogorov-Smirnov 검정은 다양한 벤치마크에서 90% 를 초과하는 통과율을 보이며 VES-Exp(지수 변형) 와 EI 간의 경험적 동등성을 확인합니다.

의의 및 주장
본 논문은 VES 프레임워크가 다음과 같은 새로운 이론적 통찰을 제공한다고 주장합니다: 가장 인기 있는 획득 함수 (EI) 는 정보 이론적 방법과 근본적으로 구별되는 것이 아니라, 오히려 그것들의 특정 변분 근사입니다.

이러한 관점을 연결함으로써 저자들은 EI 의 성능과 단순성, 그리고 MES 의 불확실성 감소라는 강점을 효과적으로 균형 잡는 견고하고 다목적적인 획득 함수인 VES-Gamma 를 제시합니다. 결과는 VES-Gamma 가 특히 전통적인 방법들이 어려움을 겪을 수 있는 고차원 설정을 포함한 다양한 최적화 문제에 대한 강력한 후보임을 시사합니다. 저자들은 VES-Gamma 가 EI 나 MES 보다 반복당 계산 비용이 더 높지만, 실제 응용 분야에서 고비용 블랙박스 함수를 평가하는 비용에 비해 이는 종종 무시할 수 있다고 지적합니다. 향후 작업은 대체 변분 분포를 탐색하고 프레임워크를 노이즈가 있는 환경으로 확장하는 것으로 식별됩니다.