Beyond Objective-Based Improvement: Stationarity-Aware Expected Improvement for Bayesian Optimization

기술 요약: 베이지안 최적화를 위한 정상성 인식 기대 개선

문제 제기
베이지안 최적화 (BO) 는 고비용 블랙박스 함수를 최적화하기 위한 표준 프레임워크이며, 일반적으로 주요 획득 함수 (AF) 로 기대 개선 (EI) 에 의존합니다. EI 는 경험적으로 성공적이지만, 1 차 최적성 조건에 본질적으로 무관하며 오직 목적 함수 값의 개선 가능성에만 의존합니다. 결과적으로, 목적 함수가 평탄하거나 정상 상태에 가까운 영역에서 EI 신호는 소멸하여 국소 분지의 과도한 탐색을 초래하고 효과적인 탐색을 유도하지 못합니다. 실제 환경에서는 정책 경사 (제어), PDE 의 수반 민감도, 머신러닝의 하이퍼그래디언트 등 경사 정보를 거의 비용 없이 얻을 수 있음에도 불구하고, 기존 경사 향상 BO 방법들은 주로 예측 정확도를 높이기 위해 경사를 대리 모델에 통합하는 데 중점을 둡니다. 이러한 접근 방식은 함수 값과 미분 간의 교차 상관관계를 모델링함으로써 높은 계산 복잡도를 초래합니다. 반면, 획득 함수 내에서 경사 정보를 직접 활용하는 것은 아직 충분히 탐구되지 않았습니다.

방법론
저자들은 1 차 정상성을 통합하기 위해 개선 원리를 확장한 새로운 획득 함수인 **경사 노름을 통한 기대 개선 (EI-GN)**을 제안합니다.

1. 보조 목적 함수: 탐색 휴리스틱을 수정하는 대신, 이 방법은 "개선"의 정의를 일반화합니다. 원래 목적 함수 $f(x)$에 경사 노름에 대한 소프트 페널티를 추가한 보조 목적 함수 $g(x)$를 정의합니다:
   $$g(x) = f(x) - \alpha \|\nabla f(x)\|_2^2$$
   여기서 $\alpha \geq 0$는 하이퍼파라미터입니다. 이 공식은 경사 노름을 정상성으로부터의 편차에 대한 소프트 페널티로 취급하여, 성능이 높거나 정상점에 가까운 영역을 탐색이 선호하도록 유도합니다.

2. 획득 공식화: 이 방법은 보조 목적 함수에 대한 기대 개선, 즉 $EI_g$를 정의합니다. 그러나 함수 값과 경사 노름의 결합으로 인해 $EI_g$를 직접 계산하는 것은 불가능합니다. 저자들은 양의 부분 부등식 (Positive Part Inequality) 을 사용하여 계산 가능한 하한을 유도합니다:
   $$EI_g(x) \geq EI_f(x) - \alpha E I_s(x)$$
   여기서 $EI_f$는 목적 함수에 대한 표준 EI 이며, $EI_s$는 정상성 개선 (경사 노름 감소) 을 측정하는 EI 스타일 항입니다.

3. 계산 가능한 근사 (EI-GN): 방법을 실용적으로 만들기 위해 저자들은 정상성 항인 $E I_s$에 대한 계산 가능한 근사의 폐쇄형 식을 유도합니다. 목적 함수와 그 편미분에 대해 독립적인 가우시안 프로세스 (GP) 모델을 가정함으로써 (결합 모델의 $O((d+1)^3N^3)$ 복잡도를 피함), 화이트닝 변환을 사용하여 노름 기반 절단을 분리합니다. 이를 통해 기대값을 분리된 절단 모멘트를 통해 계산할 수 있게 되어 최종 획득 함수가 도출됩니다:
   $$EI\text{-}GN(x) = EI_f(x) - \alpha E I_s(x)$$
   이 공식은 목적 함수 값을 높이는 것 또는 경사 노름을 줄이는 것, 두 가지 개선 경로를 제공합니다.

주요 기여

• 새로운 획득 함수: 이 논문은 정상성 인식 보조 목적 함수에 개선 원리를 적용한 EI-GN 을 소개하여, 순수 목적 함수 값 기준을 넘어선 개선 기반 획득을 확장합니다.
• 이론적 유도: 저자들은 보조 목적 함수에 대한 기대 개선에 대한 하한을 유도하고, 가우시안 사후분포 하에서 이러한 원리를 구현하는 계산 가능한 폐쇄형 식 (EI-GN) 을 제공합니다.
• 계산 효율성: 목적 함수와 경사에 대해 독립적인 GP 모델을 활용함으로써, 복잡한 결합 대리 모델링의 계산 부담을 피하면서도 경사 정보를 활용하여 획득 지형을 재구성합니다.

실험 결과
이 논문은 여러 실험 환경에서 EI-GN 을 평가합니다:

• 합성 벤치마크: 다양한 차원을 가진 표준 함수 (Shekel, Hartmann, Griewank, Ackley) 에 대해 EI-GN 은 기준선 (EI, LogEI, UCB, CMA-ES) 보다 일관되게 우수한 성능을 보이거나 이를 맞춥니다. 특히 표준 EI 신호가 소멸하는 평탄하거나 진동하는 구조를 가진 함수에서 두드러진 이점을 보입니다.
• GP 샘플: 모델 내 (이상적) 와 모델 외 (불일치 하이퍼파라미터) 비교 모두에서 EI-GN 은 표준 EI 계열 기준선보다 강력한 성능 향상을 보여줍니다. 이는 대리 모델이 불완전할 때에도 경사 기반 신호가 최적화를 효과적으로 유도함을 확인시켜 줍니다.
• 경사 제거 분석: 경사를 대리 모델 (결합 GP) 에 통합하는 방법과 획득 함수에 통합하는 방법을 비교한 결과, 이러한 접근 방식은 직교적임이 드러났습니다. 두 가지를 결합한 (dEI-GN) 것이 가장 강력한 결과를 내어, 획득 수준과 대리 수준의 개선이 최적화 문제의 상호 보완적인 측면을 다루고 있음을 시사합니다.
• 정책 탐색: 강화 학습 작업 (Acrobot 및 CartPole) 에서 EI-GN 은 국소 경사 방법 (REINFORCE) 과 표준 EI 와 비교됩니다. EI-GN 은 더 높은 샘플 효율성과 고보상 정책으로의 더 신뢰할 수 있는 수렴을 달성하며, 특히 국소 방법이 국소 분지에 갇히는 시나리오에서 두드러집니다.

의의 및 주장
이 논문은 EI-GN 이 정상성을 향한 진전을 획득 기준에 내재시킴으로써 더 풍부하고 정보량이 많은 개선 개념을 제공한다고 주장합니다. 저자들은 이 접근 방식이 표준 EI 가 거의 신호를 제공하지 않는 영역 (예: 평탄한 영역 또는 정상점에 가까운 지점) 에서도 획득 지형이 정보적으로 유지되도록 한다고 주장합니다. 이 방법은 복잡한 결합 대리 모델링의 계산 오버헤드 없이 사용 가능한 경사 정보를 활용하는 EI 프레임워크의 원칙에 따른 확장으로 제시됩니다. 실험 결과는 EI-GN 이 기존 방법보다 일관된 이점을 제공하며, 특히 전통적인 목적 함수 값 기반 개선 기준이 불충분한 까다로운 지형에서 그 효과가 있음을 시사합니다.