기술 요약: 유도 강화 베이지안 최적화 (EA-BO)

문제 정의

베이지안 최적화 (BO) 는 고비용 블랙박스 함수를 최적화하기 위한 샘플 효율적인 프레임워크입니다. 인간 - 루프 (HITL) BO 방법은 도메인 전문성을 활용하여 비용 효율성을 높이는 것을 목표로 하지만, 기존 접근법은 전문가가 자신의 지식을 명시적으로 정량화할 수 있다고 가정합니다 (예: 사전 분포를 지정하거나 쿼리 위치를 정확히 지목). 그러나 인간의 전문성은 종종 암묵적이고 질적인 성격을 띠며, 인간은 일반적으로 정교한 수치 값을 할당하는 것보다 후보들을 순위 매기는 데 더 신뢰할 수 있습니다.

본 논문은 쌍별 비교(두 설계의 순위 매기기) 를 통해 직접적인 정량화 대신 암묵적 전문가 지식을 BO 에 통합하는 과제를 다룹니다. 핵심 문제는 다음과 같은 방법을 개발하는 것입니다:

1. 직접 함수 평가 (고비용, 고신뢰도) 와 쌍별 비교 (저비용, 저신뢰도, 노이즈 포함) 를 결합합니다.
2. 알려진 유틸리티 함수 하에서 단일 목적 및 다목적 최적화를 모두 처리합니다.
3. 두 정보 소스의 상대적 비용과 정보 제공 능력에 기반하여 고정된 예산을 동적으로 할당합니다.

방법론

1. 대리 모델: 혼합 가능도 희소 변분 GP

저자들은 목적 함수 $f$에 대한 노이즈가 있는 증거로 직접 관측치와 쌍별 비교를 모두 처리하는 가우시안 프로세스 (GP) 대리 모델을 제안합니다.

• 직접 관측치: 표준 가우시안 가능도로 모델링됩니다: $y = f(x) + \epsilon_{eval}$.
• 쌍별 비교: 프로빗 링크 함수를 사용하여 모델링됩니다. 이진 판단 $d \in \{0, 1\}$은 유틸리티 차이 $\Delta = U(f(x)) - U(f(x'))$에 기반하여 $x$가 $x'$보다 높은 순위로 매겨졌는지를 나타냅니다. 가능도는 $p(d=1) = \Phi\left(\frac{\Delta}{\sqrt{2}\sigma_{comp}}\right)$입니다.
• 추론: 이 모델은 사후 분포를 근사하기 위해 **희소 변분 추론 (SVGP)**을 사용합니다. 증거 하한 (ELBO) 은 관측치와 비교에 대한 별도의 항으로 분해됩니다.
  • 관측치 항은 폐형식 가우시안 해를 허용합니다.
  • 비교 항은 $\log \Phi(\cdot)$의 기댓값을 포함합니다. 선형 유틸리티 함수의 경우 유틸리티 차이는 가우시안이므로, 기댓값을 1 차원 가우스 - 헤르미트 구적법을 통해 계산할 수 있습니다. 비선형 유틸리티는 모멘트 매칭을 통해 처리됩니다.

2. 획득 함수: 비용 인식 정보 가치 (VoI)

이 방법은 다음 행동을 선택하기 위해 단계를 한 번만 내다보는 (myopic) 1 단계 룩어헤드 전략을 채택합니다. 행동 공간에는 직접 평가 ($x \in \mathcal{X}$) 와 쌍별 쿼리 ($(x, x') \in \mathcal{X}^2$) 가 모두 포함됩니다.

• 목표: 비용으로 정규화된 정보 가치를 최대화합니다: $\frac{\alpha(a; D)}{c(a)}$. 여기서 $\alpha$는 기대 유틸리티 증가분이고 $c(a)$는 비용입니다.
• 직접 평가 VoI ($\alpha_{eval}$): 선형 유틸리티의 경우 지식 기울기 (Knowledge Gradient) 로 축소됩니다. 판타지 포인트를 사용한 "원샷 (one-shot)" 재형성을 통해 최적화됩니다.
• 쌍별 비교 VoI ($\alpha_{comp}$): 저자들은 알려진 유틸리티를 가진 다출력 목적 함수에 대해 프로빗 가능도 하에서 폐형식 판타지 사후 업데이트를 유도합니다. 이는 쌍별 지식 기울기 (Wu and Gardner, 2026) 를 다출력 사례로 확장한 것입니다. VoI 는 비교 단계에 대한 몬테카를로 근사를 피하고 이진 결과에 대한 이산 기댓값으로 정확하게 계산됩니다.
• 최적화: 두 획득 함수 모두 원샷 재형식과 Adam 최적화기를 사용하여 후보 입력과 함께 공동으로 최적화됩니다.

주요 기여

1. 혼합 가능도 희소 변분 GP: 가우시안 관측 가능도와 프로빗 비교 가능도를 결합하여 GP 사후 분포를 갱신하는 원칙적인 방법으로, 계산 가능한 항을 가진 분해 가능한 ELBO 를 제공합니다.
2. 비용 인식 획득 규칙: 다출력 목적 함수에 대한 프로빗 비교 하에서 폐형식 사후 평균 업데이트를 유도하여, 수동 스케줄링 없이 직접 평가와 쌍별 쿼리 사이의 균형을 맞추는 비용 정규화 VoI 획득 함수를 가능하게 합니다.
3. 통합 프레임워크: 쌍별 순위를 관측 가능한 목적 함수 값에 대한 증거로 간주함으로써 단일 목적 및 다목적 최적화를 균일하게 처리하는 단일 알고리즘 (EA-BO) 입니다.

실험 결과

본 논문에서 **유도 강화 베이지안 최적화 (EA-BO)**라고 명명된 방법은 선형 및 체비셰프 유틸리티 함수를 가진 표준 단일 및 다목적 벤치마크 (Branin, Hartmann6, BraninCurrin, VLMOP2) 에서 평가되었습니다.

• 단일 소스 대비 성능: EA-BO 는 개별 정보 소스의 궤적에 대한 **볼록 껍질 (convex hull)**에 접근합니다.
  • 쌍별 비교가 저렴할 때 (예: 평가보다 5 배 저렴), EA-BO 는 초기 예산의 대부분을 비교에 할당하여 KG-Comp 와 같은 비교 전용 방법과 비교할 수 있는 빠른 초기 수렴을 달성합니다.
  • 사후 분포가 날카로워지거나 비교가 노이즈가 많아짐에 따라 EA-BO 는 직접 평가로 전환하여 KG-Eval 과 같은 평가 전용 BO 의 점근적 정확도를 회복합니다.
• HITL 기준 대비 성능: EA-BO 는 쌍별 비교를 사용하는 기존 HITL 방법 중 가장 가까운 CoExBO(Adachi et al., 2024) 를 크게 능가합니다. 보조 모델을 통해 후보 선택을 안내하기 위해 비교를 사용하는 CoExBO 와 달리, EA-BO 는 이를 직접 가능도 증거로 통합합니다.
• 민감도:
  • 비용 비율: EA-BO 는 비교가 평가보다 비쌀 때 비교를 자동으로 포기하고 비용 비율이 커짐에 따라 할당을 증가시킵니다.
  • 노이즈: 이 방법은 비교가 정보 제공이 될 때 비교를 우선시합니다. 비교 노이즈가 증가함에 따라 알고리즘은 점진적으로 직접 평가로 전환합니다. 흥미롭게도, 중간 수준의 노이즈에서는 고 노이즈 수준에서 완전히 포기하기 전에 단시점 VoI 가 여전히 노이즈가 있는 비교에 긍정적 가치를 부여하기 때문에 성능이 비단조적으로 감소하는 현상이 발생합니다.

중요성과 주장

본 논문은 EA-BO 가 BO 에서 암묵적 인간 전문성을 활용하기 위한 강력하고 적응적인 프레임워크를 제공한다고 주장합니다. 그 주요 중요성은 저렴하고 노이즈가 있는 질적 데이터 (순위) 와 고비용이며 고신뢰도인 정량적 데이터 (평가) 사이를 자동으로 균형 잡는 능력에 있습니다.

저자들은 이 방법이 다음과 같다고 명시합니다:

• 쌍별 쿼리가 평가보다 저렴할 때 샘플 효율성을 크게 향상시킵니다.
• 쌍별 쿼리가 너무 비싸거나 유용하지 않을 정도로 노이즈가 많을 때 표준 BO 의 성능을 회복합니다.
• 정보 소스 간의 수동 스케줄링 또는 휴리스틱 전환이 필요하지 않습니다.
• 알려진 유틸리티를 가진 다목적 설정으로 쌍별 지식 기울기의 원칙적인 확장을 제공합니다.

본 논문은 한계를 인정하는데, 특히 전문가의 판단이 진정한 유틸리티 함수 $U \circ f$에 의해 지배된다는 가정 (전문가의 정신 모델에서 발생할 수 있는 편차를 무시함) 과 최적화 전에 유틸리티 함수 $U$가 알려져 있어야 한다는 요구사항이 있습니다. 향후 연구는 학습 가능한 유틸리티 함수와 전문가 정신 모델과 진정한 목적 함수 간의 학습 가능한 상관관계를 다루는 것을 제안합니다.