Accelerating Multi-Objective Bayesian Optimisation via Predictive-Gradient Catalysts

기술 요약: 예측-그래디언트 촉매제를 통한 다목적 베이지안 최적화 가속화

문제 정의
다목적 베이지안 최적화(Multi-objective Bayesian Optimisation, MOBO)는 확률적 대리 모델(일반적으로 가우시안 프로세스, GP)을 통해 탐색과 활용의 균형을 맞춤으로써 비용이 많이 들거나, 노이즈가 있거나, 블랙박스 형태인 목적 함수를 최적화하는 데 사용되는 프레임워크이다. MOBO는 효과적이긴 하지만, 특히 파레토 집합(Pareto set)을 근사하기 위해 필요한 트레이드오프를 탐색할 때 평가 예산이 제한적인 경우 어려움에 직면하곤 한다. 결정론적 다목적 최적화에서는 그래디언트 기반의 정체성(stationarity) 개념이 잘 확립되어 있으나, 이를 MOBO에 통합하는 연구는 그동안 거의 탐구되지 않았다. 기존의 그래디언트 기반 가속 방법들은 주로 단일 목적 설정에 국한되거나 특정 획득 함수(acquisition function)와 밀접하게 결합되어 있어, 일반적인 적용 가능성이 제한적이다.

방법론
저자들은 가우시안 프로세스의 **예측 그래디언트(predictive gradients)**를 보조적인 "촉매(catalyst)" 신호로 활용하는 일반적인 가속 메커니즘을 제안한다. 이 프레임워크는 기존의 파레토 준수 획득 함수를 대체하는 대신, 대리 모델의 그래디언트로부터 도출된 국소 정체성 정보를 통해 이를 보강한다.

핵심 방법론은 다음과 같다:

1. 대리 모델링(Surrogate Modeling): 이 접근 방식은 목적 함수 간의 조건부 독립을 가정하여 각 목적 함수를 개별적인 GP로 모델링한다. 예측 평균($\mu_i$)과 분산($\sigma^2_i$)을 계산하며, 예측 평균의 기대 그래디언트를 해석적으로 도출한다.
2. 촉매 프레임워크(Catalytic Framework): 이 방법은 다음 평가 지점을 선택하기 위해 이중 목적 결정 문제를 공식화한다:
   • 전역 기준 ($g_1$): 표준 파레토 준수 획득 함수 $\alpha(x)$ (예: EHVI, AugTch)를 최대화한다.
   • 국소 기준 ($g_2$): 가중치가 적용된 예측 그래디언트의 크기, 즉 $\|\gamma \cdot \nabla \hat{f}(x)\|$를 최소화한다. 여기서 $\gamma$는 파레토 정체성을 위한 프리츠-존(Fritz–John, FJ) 조건을 만족하는 볼록 결합 계수를 나타낸다.
   • 스칼라화(Scalarization): 이 두 기준은 **증강 체비쇼프 스칼라화(augmented Tchebycheff scalarisation)**를 사용하여 통합된 획득 함수 $\alpha_{CAT}(x)$를 생성한다. 이는 전역 성능이나 국소 정체성 중 어느 하나라도 열등한 후보군에 대해 페널티를 부여한다.

조사된 두 가지 구체적인 촉매 인스턴스는 다음과 같다:

• MGDA 기반 촉매: 매 지점 $x$에서 가중치 벡터 $\gamma$를 적응적으로 결정하기 위해 다중 그래디언트 하강 알고리즘(Multiple Gradient Descent Algorithm, MGDA)을 사용한다. 이는 국소적으로 FJ 조건을 만족하는 그래디언트의 유클리드 노름(Euclidean norm)을 최소화하는 볼록 결합을 찾아낸다.
• 사전 정의된 가중치(W) 촉매: 사전 정의된 가중치 벡터 세트(최소-최대 정규화 후)를 사용하여 탐색 방향을 이산화한다. 이 접근 방식은 엄격한 FJ 조건 만족을 희생하는 대신, 제한된 평가 예산 하에서 유익한 집중적 탐색과 강건성을 확보한다.

주요 기여

• 촉매 프레비워크: 기존 획득 함수의 구조를 변경하지 않고도 GP 예측 그래디언트를 활용하여 MOBO 수렴을 가속화하는 새로운 프레임워크를 제시한다.
• 이중 인스턴스화: 적응형 MGDA 기반 접근 방식(파레토 정체성 이론에 근거함)과 집중적 트레이드오프 탐색을 위한 사전 정의된 가중치 접근 방식이라는 두 가지 촉매 전략을 도입한다.
• 원칙적 통합: 증강 체비쇼프 스칼라화를 통해 촉매 신호를 표준 획득 함수와 통합하는 공식적인 방법을 제시한다.
• 실험적 평가: 제안된 방법들을 기본 모델(EHVI, AugTch, tMPoI, SAF)과 비교하기 위해 DTLZ 벤치마크 세트(목적 함수 2개, 결정 변수 10개)에 대한 광범위한 실험을 수행하였다.

결과 및 분석
실험은 $30n$의 평가 예산을 사용하여 DTLZ1–DTLZ7 벤치마크 문제에 대해 수행되었다. 주요 결과는 다음과 같다:

• 대리 모델 정확도 의존성: 가속의 효과는 대리 모델의 정확도에 크게 의존한다. 대리 모델이 정확할 때(낮은 표준화 로그 손실(SLL)로 표시됨), 촉매 접근 방식은 상당한 개선을 보인다.
• 정체성 상관관계: 프레임워크는 정체성 동작(국소적 섭동이 목적 공간에서 유사한 변화를 유발하는 경우)을 보이는 문제에서 가장 잘 작동한다.
  • DTLZ2 및 DTLZ5: 이 문제들은 강한 정체성과 높은 대리 모델 정확도를 보였다. 촉매 방법은 일관되게 기본 모델보다 우수한 성능을 보였다(유의성 맵의 녹색 셀).
  • DTLZ1 및 DTLZ3: 이 문제들은 비정체성을 보였으며 대리 모델의 품질이 불일치했다. 촉매 접근 방식은 기본 모델에 비해 개선이 거의 없거나 없었다(회색 셀).
  • DTLZ4 및 DTLZ6: 혼재되거나 낮은 대리 모델 품질은 여러 사례에서 성능 저하를 초래했으며, 이는 대리 모델이 신뢰할 수 없을 때 그래디언트를 사용하는 위험성을 강조한다(빨간색 셀).
• MGDA vs. 사전 정의된 가중치: 쌍별 비교 전반에 걸쳐, 사전 정의된 가중치(W) 변형이 일반적으로 적응형 MGDA 변형보다 우수한 성능을 보였다. 저자들은 비용이 많이 드는 최적화와 제한된 예산 상황에서는, 적응형 국소 방향을 통해 전체 글로벌 파레토 집합을 미세하게 근사하려고 시도하는 것보다 유망한 코스(coarse) 및 유한한 방향 세트에 탐색을 집중하는 것이 더 효과적이라고 제안한다.

의의 및 주장
본 논문은 예측-그래디언트 촉매제가 대리 모델이 정확하고 문제가 근사적 정체성을 보이는 경우, 값비싼 다목적 최적화의 효율성을 높이는 실용적인 메커니즘을 제공한다고 주장한다. 저자들은 이 접근 방식이 기존의 획득 함수를 대체하는 것이 아니라 국소 정보를 통해 이를 강화함으로써, 글로벌 파레토 집합으로의 더 빠른 수렴을 가능하게 한다고 강조한다.

이 연구의 의의는 그래디언트 기반 정체성 이론과 MOBO 사이의 간극을 메우고, 제한된 예산 하에서도 GP 예측 그래디언트의 매끄러움(smoothness)을 활용하는 것이 표준 획득 함수만 사용하는 것보다 탐색을 더 효과적으로 안내할 수 있음을 입증했다는 점에 있다. 저자들은 현재의 평가가 2개의 목적 함수와 10차원의 DTLZ 세트로 제한되어 있지만, 프레임워크는 그래디언트의 해석적 도출과 MGDA 솔버의 계산 효율성 덕분에 고차원으로 확장 가능하도록 설계되었다고 겸허히 언급하였다. 향후 연구 과제로 제약 조건이 있는 환경, 노이즈가 있는 환경, 그리고 고차원 문제에 대한 적용을 제안하였다.