기술 요약: 다중 스케일 그레이-박스 베이지안 최적화에서의 분리 가능성 활용

문제 정의

본 논문은 결정 변수가 자연스럽게 두 개의 뚜렷한 그룹으로 나뉘는 **그레이-박스 최적화 문제(grey-box optimization problems)**를 다룹니다:

1. 블랙-박스 변수 ($x_{BB}$): 고비용의 비미분 함수 $f_{BB}$(예: 밀도 범함수 이론(DFT) 시뮬레이션 또는 복잡한 실험의 출력값)에 대한 입력값.
2. 화이트-박스 변수 ($x_{WB}$): 블랙-박스 함수의 출력에 의존하는 알려진 미분 가능한 폐형식 방정식(예: 질량/에너지 수지, 열역학 관계식)에 의해 제어되는 변수.

목표는 화이트-박스 등식 제약 조건 $f_{WB}(x_{WB}, y) = 0$과 부등식 제약 조건 $g(x_{WB}, y, x_{BB}) \leq 0$을 만족하면서 함수 $J(x_{WB}, y, x_{BB})$를 최소화하는 것입니다. 여기서 $y = f_{BB}(x_{BB})$입니다.

핵심적으로 식별된 과제는 표준 모놀리식 대리 모델 기반 최적화(전체 시스템을 하나의 블랙 박스로 취급하는 방식)가 알려진 화이트-박스 물리 법칙과 알려지지 않은 블랙-박스 구조를 동시에 학습하도록 강제한다는 점입니다. 이러한 중복성은 "차원의 저주"를 초래하여, 결합 공간 $[x_{WB}, x_{BB}]$ 전체에 대해 정확한 모델을 구축하기 위해 훨씬 더 많은 비용이 드는 평가를 요구하게 됩니다. 또한, 표준 방법들은 제약 조건을 처리하기 위해 페널티 함수나 확률 제약(chance constraints)을 사용하는데, 이는 실행 불가능한 해를 생성하거나 근사 오차를 유발할 수 있습니다.

방법론: 이층 구조 재구성 (Bilevel Reformulation)

저자들은 문제 구조의 분리 가능성을 활용하는 이층 베이지안 최적화 (bilevel Bayesian optimization, BO) 프레임워크를 제안합니다. 이 방법은 가정 1에 기반하며, 이는 임의의 고정된 블랙-박스 입력 $x_{BB}$에 대해, 결과적으로 발생하는 화이트-박스 변수 $x_{WB}$에 대한 최적화가 전역 최적해를 구할 수 있는 잘 정의된 비선형 계획법(NLP)이라는 가정을 담고 있습니다.

최적화는 다음과 같이 분해됩니다:

• 외부 루프 (Bayesian Optimization): 가우시안 프로세스(GP) 대리 모델이 오직 저차원 블랙-박스 공간 $x_{BB}$에 대해서만 구축됩니다. 이 대리 모델은 스칼라 값 함수 $x_{BB} \mapsto J(x_{WB}^*, y, x_{BB})$를 모델링하며, 여기서 $x_{WB}^*$는 내부 문제의 최적해입니다. 획득 함수(Expected Improvement)는 다음 후보 $x_{BB}$를 선택합니다.
• 내부 루프 (Global NLP Solver): 외부 루프에서 제안된 모든 후보 $x_{BB}$에 대해, 블랙-박스 함수가 평가되어 $y$를 얻습니다. 그 후, 전역 최적화 도구(구체적으로 Basin-Hopping과 SLSQP 국소 최소화 결합, 또는 멀티 스타트 SLSQP)가 화이트-박스 하위 문제를 정확하게 해결합니다:
  $$\min_{x_{WB}} J(x_{WB}, y, x_{BB}) \quad \text{s.t.} \quad f_{WB}(x_{WB}, y) = 0, \quad g(x_{WB}, y, x_{BB}) \leq 0$$
  만약 주어진 $y$에 대해 내부 문제가 실행 불가능(infeasible)할 경우, 외부 루프로 큰 페널티 값을 반환합니다.

주요 기술적 특성:

• 차원 축소: GP 대리 모델은 $\mathbb{R}^{n_{WB} + n_{BB}}$가 아닌 $\mathbb{R}^{n_{BB}}$ 공간에서 작동합니다.
• 정확한 제약 조건 충족: 내부 솔버가 실행 가능한 지점에 수렴할 때마다 화이트-박스 제약 조건이 정확히 충족되므로, 대리 모델 내에서 페널티 함수, 모멘트 근사 또는 확률 제약 조건을 사용할 필요가 없습니다.
• 스칼라 대리 모델: 중간 출력 $y$를 대리하는 방식(다중 출력 GP가 필요한 방식)과 달리, 이 방법은 최종 최적 목적 함수를 직접 대리합니다.

주요 기여

1. 이층 구조 재구성: 대리 모델의 차원을 $n_{WB} + n_{BB}$에서 $n_{BB}$로 줄이는 동시에, 페널티 함수 없이 화이트-박스 하위 문제에 대한 정확한 제약 조건 충족을 보장하는 새로운 분해 전략을 제시했습니다.
2. 벤치마크 스위트: 합성 함수부터 CSTR 설계, 열교환기, 막 분리(membrane separation)와 같은 공학적 응용에 이르기까지 13개의 분리 가능한 그레이-박스 문제로 구성된 포괄적인 스위트를 제작했습니다. 이 스위트는 25개의 총 변수와 03개의 제약 조건을 포함하며 검증된 전역 최적해를 가지고 있습니다.
3. 실증적 증거: 8,450회의 독립적인 최적화 실행(8,190회의 BO 실행, 130회의 NLP 실행, 130회의 Basin-Hopping 실행)을 통해 광범로한 테스트를 수행했습니다. 연구는 하이퍼파라미터(초기 샘플 크기, 탐색 파라미터)와 내부 솔버의 선택을 체계적으로 평가했습니다.

결과

제안된 이층 BO 전략은 표준 블랙-박스 BO 및 전역 탐색 베이스라인에 비해 상당한 성능 향상을 보여줍니다:

• 후회(Regret) 감소: 이층 BO는 13개 문제 전체에서 블랙-박스 BO보다 11배에서 108배 낮은 후회를 달성했습니다. SLSQP 내부 솔버 변형의 경우 기하 평균 개선율은 3,192배에 달했습니다.
• 효율성: 이 방법은 더 적은 블랙-박스 평가로 고품질의 해에 도달합니다. 13개 문제 중 10개에서 이층 BO는 블랙-박스 BO(250회 평가 후)의 최종 성능을 10% 미만의 평가 예산만 사용하여 달성했습니다.
• 실행 가능성: 이층 BO는 12개의 제약 조건 문제 중 8개에서 100%의 실행 가능성을 달성한 반면, 블랙-박스 BO는 실행 불가능한 쿼리에 예산의 6~72%를 낭비했습니다.
• 강건성: 이러한 이점은 서로 다른 초기화 크기와 탐색 파라미터에 걸쳐 유지되었습니다.
• 솔버 비교: 멀티 스타트 SLSQP 내부 솔버는 좁은 실행 가능 영역에서 일반적으로 더 빠르고 견고하지만, Basin-Hopping(BH) 내부 솔버는 매우 다봉적인 내부 지형(예: Rastrigin)을 가진 문제에서 우수한 성능을 제공하는 반면, 좁은 실행 가능 영역(예: Small-Feasible-Region 1)에서는 어려움을 겪을 수 있습니다.

의의 및 주장

본 논문은 관찰된 이점의 주요 원인이 알고리즘적인 것이 아니라 구조적이라고 주장합니다. 이 이점은 새로운 획득 함수나 커널 선택으로부터 얻어진 것이 아니라, 분리 가능한 문제 구조를 활용하여 대리 모델의 차원을 줄이고 제약 조건을 정확히 충족함으로써 얻어진 것입니다.

저자들은 모놀리식 대리 모델이 "이미 알고 있는 것을 배우는 데 샘플을 낭비한다"고 주장합니다. 알려진 하위 문제(화이트-박스)를 정확히 풀고 알려지지 않은 구성 요소(블랙-박스)만을 근사함으로써, 이 방법은 고차원 그레이-박스 문제에 내재된 차원의 저주를 극복합니다. 본 논문은 이 이층 분해를 고비용 시뮬레이션(블랙-박스)이 잘 이해된 거시적 모델(화이트-박스)로 이어지는 다중 스케일 공학 설계에 대한 원칙적인 접근 방식으로 제시합니다.

본 연구는 비분리적 합성 함수를 해결하거나 위험 회피적 의사결정을 위한 불확실성 전파(COBALT 또는 BOCF와 같은 방법)에 의존하는 방법들을 대체하려는 것이 아닙니다. 해당 방법들은 분리 가능성 가정이 성립하지 않는 설정을 다루기 때문입니다. 대신, 변수 분리성이 존재하는 특정 클래스의 문제에 대해 전문화된 고성능 솔루션을 제공합니다.