Dynamic Priors in Bayesian Optimization for Hyperparameter Optimization

기술 요약: 베이지안 최적화를 위한 동적 사전 확률(Dynamic Priors)

문제 정의

베이지안 최적화(Bayesian Optimization, BO)는 하이퍼파라미터 최적화(HPO)를 위한 표준적인 접근 방식이지만, 기존 방법들은 일반적으로 초기화 단계에서만 사용자의 영향력을 허용한다는 한계가 있다. 최근 연구들이 초기 사전 확률(예: $\pi$BO)을 지정하거나 후보 평가를 거부하는 인터페이스를 도입하기도 했으나, 이러한 방식은 최적화 과정 중의 연속적이고 동적인 사용자 유도(continuous, dynamic user steering) 능력이 부족하다. 반복적인 머신러学习 워크플로우에서 실무자들은 모델이 진화함에 따라 새로운 통찰을 얻거나 우선순위를 변경할 수 있지만, 현재의 BO 프레임워크는 프로세스를 재시작하거나 크게 변경하지 않고는 이러한 진화하는 믿음을 통합할 수 없다. 또한, 기존의 사용자 사전 확률 통합 방식은 성능을 저하시킬 수 있는 오도된(misleading) 또는 기만적인(deceptive) 사용자 입력에 대한 견고성이 부족하다.

방법론: DynaBO

저자들은 실행 시간(runtime) 중에 동적 사전 확률을 통합함으로써 BO 프로세스에 대한 지속적인 사용자 제어를 가능하게 하도록 설계된 프레임워크인 DynaBO를 제안한다. 이 방법론은 세 가지 핵심 구성 요소로 이루어져 있다:

1. 동적 사전 확률 가중치 적용 획득 함수 (Dynamic Prior-Weighted Acquisition Function)

초기에만 적용되는 정적 사전 확률과 달리, DynaBO는 서로 다른 시점 $\{t^{(m)}\}$에서 제공되는 일련의 사용자 지정 사전 확률 $\{\pi^{(m)}\}_{m=1}^M$을 수용하도록 획득 함수를 일반화한다.

• 메커니즘: 표준 획득 함수 $\alpha_{\hat{f}}(\lambda)$는 감쇠하는 사전 확률 가중치의 합에 의해 증강된다:
  $$\alpha_{\hat{f}}^{dyna}(\lambda) := \alpha_{\hat{f}}(\lambda) \cdot \sum_{m=1}^{M} \pi^{(m)}(\lambda)^{\beta/(t - t^{(m)})}$$
• 감쇠(Decay): 각 사전 확률의 영향력은 시간($t \to \infty$)에 따라 감쇠하며, 이는 사전 확률의 가중치가 1로 수렴하도록 보장한다. 이는 사용자 지정 영역에 대한 일시적인 편향을 허용하면서도 바닐라(vanilla) BO의 점근적 수렴 보장성을 보존한다.
• 결합(Aggregation): 프레임워크는 여러 사전 확률을 결합하기 위해 곱셈 대신 **합산(summation)**을 사용한다. 저자들은 곱셈이 믿음의 교집합 역할을 하여 (사전 확률들이 서로 다를 경우 유효한 영역을 상쇄할 수 있음) 반면, 합산은 합집합 역할을 하여 다양한 사용자 입력에 의해 유도된 다중 모드(multi-modal) 구조를 보존한다고 주장한다.
• 후보 선택: 수정된 획득 함수를 최적화하기 위해, DynaBO는 후보 샘플링 전략을 적응시킨다. 로컬 탐색(hill climbing)을 위한 시작점을 현재의 최적해(incumbent) 근처뿐만 아니라 제공된 사전 확률을 중심으로 하는 분포로부터도 추출하여, 사용자가 제안한 영역이 명시적으로 탐색되도록 보장한다.

2. 사전 확률 거부 안전장치 (Prior Rejection Safeguard)

오도된 사전 확률이 최적화를 늦출 위험을 해결하기 위해, DynaBO는 데이터 기반 탐지 메커즘을 도입한다.

• 평가: 새로운 사전 확률 $\pi^{(m)}$을 수신하면, 시스템은 사전 확률 분포($F_{\pi^{(m)}}$)와 현재 최적해 주변의 정규 분포($N_{\hat{\lambda}}$)로부터 구성(configuration)들을 샘-플링한다.
• 비교: 이차 획득 함수 $\xi$(예: 하한 신뢰 구간, LCB)를 사용하여 이 영역들의 기대 품질을 비교한다.
• 결정: 사전 확률의 기대 품질이 최적해 영역의 기대 품질보다 임계값 $\tau$ 이상 높을 때만 수락된다:
  $$\mathbb{E}_{\lambda \sim F_{\pi^{(m)}}}[\xi_{\hat{f}}(\lambda)] - \mathbb{E}_{\lambda \sim N_{\hat{\lambda}}}[\xi_{\hat{f}}(\lambda)] \geq \tau$$
• 유연성: 만약 사전 확률이 거부되면, 시스템은 사용자에게 경고를 보낼 수 있어 "인간 참여형(human-in-the-loop)" 오버라이드를 가능하게 함으로써 협업 최적화를 촉진한다.

3. 이론적 보장 (Theoretical Guarantees)

저자들은 다음 속성에 대한 공식적인 증명을 제공한다:

• 거의 확실한 수렴(Almost Sure Convergence): 동적이고 잠재적으로 오도된 사전 확률이 있더라도, 사전 확률의 영향력이 점근적으로 사라지기 때문에 $T \to \infty$일 때 DynaBO는 확률 1로 전역 최적해에 수렴한다.
• 견고성(Robustness): 사전 확률이 기만적이더라도 DynaBO의 점근적 단순 후회(asymptotic simple regret)는 바닐라 BO와 일치한다.
• 가속화(Acceleration): 최적해를 포함하는 영역 $U_\epsilon$에 샘플링을 집중시키는 정보가 풍부한 사전 확률이 제공될 경우, DynaBO는 유효 탐색 공간과 정보 획득 요구량을 줄임으로써 유한 시간 설정에서 가속된 수렴을 달성한다.

실험 결과

저자들은 다양한 대리 모델(Random Forests 및 Gaussian Processes)과 획득 함수(EI 및 LCB)를 사용하여 다양한 HPO 벤치마크(PD1, LCBench, XGBoost 시나리오 포함)에서 DynaBO를 평가하였다.

• 비교 베이스라인: DynaBO는 Vanilla BO, $\pi$BO(정적 사전 확률), 그리고 대화형 HPO를 위한 확률적 회로(Probabilistic Circuits, PCs)와 비교되었다.
• 성능:
  • 정보가 풍부한 사전 확률: DynaBO는 Expert, Advanced, Local 사전 확률 유형 모두에서 모든 경쟁 모델을 일관되게 앞질렀으며, 최적의 구성을 찾는 데 있어 상당한 속도 향상을 입증했다.
  • 기만적인 사전 확률: 기만적인 사전 확률이 $\pi$BO와 PC의 성능을 저하시킨 반면, DynaBO의 거부 메커니즘은 대부분의 오도된 입력을 성공적으로 필터링했다. 거부가 발생한 시나리오에서도 DynaBO는 Vanilla BO와 비슷하거나 더 나은 수준으로 성능을 회복했다.
  • 견고성: 기만적인 사전 확률이 여러 번 주입되는 상황에서도 프레임워크는 Vanilla BO의 최적화 품질을 유지했다.
• 오버헤드: 거부 메커니즘의 계산 오버헤드는 미미했다(26시간 실행 중 약 12초 소요). 이는 실제 워크플로우에서 실용적임을 의미한다.

의의 및 주장

본 논문은 협업적, 인간 중심적 HPO 패러다임을 발전시킨다고 주장한다. 주요 기여는 다음과 같다:

1. 지속적 제어: 최적화 도중 언제라도 사전 확률을 주입할 수 있는 최초의 BO 프레임워크로서, 완전 자동화된 개발과 수동 제어된 모델 개발 사이의 간극을 메운다.
2. 안전성과 시너지: 오도된 입력에 대한 안전장치와 사용자 믿음 및 대리 모델의 믿음을 시너지를 내는 메커니즘을 결합함으로써, DynaBO는 BO의 이론적 보장을 훼손하지 않으면서 전문가의 직관을 통합할 수 있는 신뢰할 수 있는 방법을 제공한다.
3. 이론적 엄밀성: 본 연구는 점근적 수렴과 기만에 대한 견고성을 유지하면서 동적 사전 확률에 대한 유한 시간 가속화를 증명한 첫 번째 사례이다.

저자들은 결론적으로 DynaBO가 새로운 통찰이 생겨남에 따라 최적화 과정을 동적으로 조종할 수 있게 함으로써, 실무자들이 고급 HPO 도구에 대한 접근성을 높이는 동시에 인간의 오류 위험을 완화하고 효율적인 협업 BO를 가능하게 한다고 밝히고 있다.