기술적 요약: 확장 가능한 제약 조건付き 블랙박스 최적화를 위한 잠재 공간에서의 사후 추론

문제 정의

본 논문은 기계 학습, 신약 개발, 산업 설계 등 과학 및 공학 분야에서 근본적인 과제인 **제약 조건付き 블랙박스 최적화 (CBBO)**를 다룬다. 목표는 $M$개의 블랙박스 제약 조건 $g^{(m)}(x) \leq 0$을 만족하면서 목적 함수 $f(x)$를 최대화하는 입력 $x^*$를 찾는 것이다.

저자들은 CBBO 가 두 가지 주요 요인으로 인해 제약 조건이 없는 최적화보다 훨씬 어렵다고 강조한다:

1. 해석적으로 정의되지 않은 실현 가능 영역: 실현 가능 영역은 해석적으로 정의되지 않으며, 종종 탐색 공간의 극히 작은 부분만을 차지한다.
2. 고차원성: 기존 방법들, 특히 베이지안 최적화 (BO) 는 고차원 공간 (예: $D=200$) 으로 확장하는 데 어려움을 겪는다. BO 는 새로운 획득 함수나 라그랑주 완화 (Lagrangian relaxation) 를 통해 제약을 처리하지만, 복잡한 제약 조건이 있는 환경에서 대리 모델 (surrogate models) 을 정확하게 추정하는 데 어려움이 있으며 확장성이 낮다는 한계를 가진다.

생성 모델이 대안으로 등장했지만, 고차원에서 실현 가능하고 점수가 높은 후보들의 목표 분포로부터 샘플링하는 것은 **다중 모드성 (multi-modality)**과 **넓은 평탄한 영역 (large flat regions)**으로 인해 종종 계산적으로 불가능하다. 마르코프 연쇄 몬테 카를로 (MCMC) 와 같은 표준 접근법은 확장성이 낮으며, 생성 모델을 미세 조정 (fine-tuning) 하면 종종 **모드 붕괴 (mode collapse)**가 발생한다.

방법론: CiBO

저자들은 CiBO(Constrained Inference-based Black-box Optimization) 를 제안한다. 이는 생성 모델의 **잠재 공간 (latent space)**에서 수행되는 사후 추론으로 후보 선택을 재형성하는 프레임워크이다. 이 방법은 두 단계로 구성된 반복 루프에서 작동한다:

단계 1: 모델 학습

관측된 입력, 목적 함수 값, 제약 조건 위반에 대한 데이터셋 $\mathcal{D}_r$이 주어지면:

1. 사전 분포 학습: 현재 데이터셋의 분포를 포착하도록 플로우 기반 모델 (flow-based model) $p_\theta(x)$를 학습한다. 이는 **가중치 재조정 학습 (reweighted training)**을 사용한 플로우 매칭 (Flow Matching) 으로 수행되며, 데이터 포인트는 라그랑주 증강 점수 $l(y, c) = y - \lambda \sum \max(0, c_m)$에 기반하여 가중치를 부여받는다. 이를 통해 사전 분포를 유망하고 실현 가능한 영역에 집중시킨다.
2. 대리 모델 학습: 불확실성을 정량화하기 위해 목적 함수 값을 예측하는 $K$개의 신경망 앙상블 ($\mu_\phi, \sigma_\phi$) 을 학습한다. 각 제약 조건 $g^{(m)}$에 대해 별도의 대리 모델을 학습한다. 이들도 가중치 재조정 손실 함수를 사용하여 학습된다.

단계 2: 후보 샘플링

모드 붕괴의 위험이 있는 플로우 기반 사전 분포를 미세 조정하는 대신, CiBO 는 후보 선택을 사후 분포로부터의 샘플링으로 간주한다:
$$p_{post}(x) \propto p_\theta(x) \exp(\beta \cdot r_\phi(x))$$
여기서 $r_\phi(x)$는 대리 모델의 평균, 불확실성 보너스, 그리고 제약 조건 패널티를 결합한 보상 함수이다.

핵심 혁신: 잠재 공간 상계 추론 (Latent Space Amortized Inference)
저자들은 데이터 공간에서의 $p_{post}(x)$가 매우 다중 모드적이고 복잡하지만, 이에 대응하는 **잠재 공간 ($z$)**의 사후 분포는 훨씬 더 매끄럽다는 것을 관찰한다.

1. 위임된 확산 샘플러: 잠재 사후 분포 $p_{post}(z) \propto p(z) \exp(\beta \cdot r_\phi(f_\theta(z)))$를 근사하도록 별도의 확산 모델 (diffusion model) $p_\psi(z)$를 학습한다.
2. 궤적 균형 (Trajectory Balance, TB): 확산 샘플러는 오프 정책 (off-policy) 학습을 가능하게 하는 궤적 균형 목적 함수를 사용하여 학습된다. 이는 잠재 공간에서 여러 모드를 포괄하고 모드 붕괴를 방지하는 데 중요하다.
3. 투사 및 필터링: $p_\psi(z)$에서 샘플을 추출한 후, 결정론적 매핑 $x = f_\theta(z)$를 통해 데이터 공간으로 투사하고, 보상 함수 $r_\phi(x)$에 기반하여 상위 $B$개의 후보를 선택하기 위해 필터링한다.

주요 기여

1. 사후 추론으로서의 재형성: 본 논문은 제약 조건이 있는 후보 선택을 사후 분포로부터의 샘플링으로 공식화하여, 고차원 데이터 공간에서의 직접적인 샘플링의 어려움을 우회하기 위해 잠재 공간의 매끄러움을 활용한다.
2. 잠재 공간 상계화: 샘플링 과정을 잠재 공간의 노이즈 생성 단계와 결정론적 투사로 분리함으로써, 복잡하고 다중 모드인 목표 분포에 플로우 기반 모델을 직접 미세 조정할 때 발생하는 모드 붕괴 문제를 피한다.
3. 확장성: 경량 MLP 기반 대리 모델과 플로우/확산 모델의 사용으로 인해, 기존 BO 방법이 실패하는 고차원 (실제 작업에서 최대 180 차원) 으로 확장 가능하다.
4. 지시자 제약 조건 (Indicator Constraints): 본 프레임워크는 경사 기반 또는 연속적인 제약 조건 정보가 없는 어려운 설정인 "지시자 제약 조건"(이진 실현 가능성 피드백만 제공) 을 처리할 수 있음을 보인다.

실험 결과

저자들은 세 가지 합성 벤치마크 (Rastrigin, Ackley, Rosenbrock, $D=200$) 와 차원이 60 에서 180 까지인 네 가지 실제 작업 (Rover Planning, HalfCheetah, Mopta, Lasso DNA) 에서 CiBO 를 평가한다.

• 성능: CiBO 는 cEI, LogcEI, SCBO, PCAGP-SCBO, FuRBO 와 같은 BO 변형, 진화 알고리즘 (CMA-ES), 그리고 DiffOPT 와 같은 다른 생성적 접근법을 포함한 최첨단 베이스라인을 일관되게 능가한다.
• 실현 가능성: 합성 작업에서 CiBO 는 5~10 배치 이내에 거의 완벽한 실현 가능성 비율을 달성하여 BO 베이스라인보다 훨씬 빠르다. 실제 작업에서는 Mopta 와 DNA-180D 와 같은 어려운 벤치마크에서 실현 가능한 해를 찾는 유일한 방법인 경우가 많다.
• 샘플 효율성: 이 방법은 경쟁사보다 적은 평가 횟수로 고품질 실현 가능 해를 찾아내어 우수한 샘플 효율성을 입증한다.
• 절대 실험 (Ablation Studies): 실험은 가중치 재조정 학습, 필터링, 그리고 확산 샘플러의 오프 정책 학습이 핵심 요소임을 확인시켜 준다. 라그랑주 승수 $\lambda$와 버퍼 크기 $L$과 같은 하이퍼파라미터 변화에 대해 방법론은 강건하다.
• 실행 시간: 매 라운드마다 여러 모델을 학습하지만, 전통적인 BO 가 필요로 하는 비싼 가우시안 프로세스 (GP) 피팅을 피하기 때문에 CiBO 는 라운드당 실행 시간을 BO 기반 방법과 비슷하거나 더 낮게 유지한다.

중요성 및 주장

본 논문은 CiBO가 확장 가능한 제약 조건付き 블랙박스 최적화 분야에서 중요한 진전을 나타낸다고 주장한다. 그 주요 중요성은 다음과 같다:

• 제약 조건에서의 "차원의 저주" 극복: 잠재 공간에서 추론을 수행함으로써, 표준 BO 나 직접적인 생성 모델 미세 조정으로는 처리하기 어려운 복잡하고 다중 모드인 실현 가능 영역을 효과적으로 탐색한다.
• 강건성: 이 프레임워크는 이진 제약 피드백과 많은 수의 제약 조건을 포함하는 다양한 작업에 걸쳐 강건하다.
• 실용적 적용 가능성: 평가 예산이 제한된 실제 설계 및 제어 문제에서 실용적으로 배포될 수 있을 만큼 계산 효율적이다.

저자들은 매 라운드마다 모델을 재학습해야 한다는 점과 플로우 기반 학습 및 확산 샘플러의 발전에 힘입어 향후 개선이 가능할 수 있다는 점을 겸손하게 지적한다. 그들은 이 작업이 더 강건하고 제약 조건을 인지하는 최적화 프레임워크의 기초를 제공한다고 강조한다.