기술 요약: 최대 강건 만족형 베이지안 최적화 (Maximally Robust Satisficing Bayesian Optimization)

1. 문제 정의

본 논문은 **최대 강건 만족형 베이지안 최적화 (MRSBO)**라고 불리는 특정 변형된 베이지안 최적화(BO) 문제를 다룹니다. 핵심 문제는 블랙박스 함수 $f(x)$의 전역 최적해를 찾는 것이 아니라, 최소 품질 임계값 $t$를 만족하는($f(x^*) \geq t$) 동시에 입력 섭동(perturbation)에 대해 최대한 강건한 솔루션 $x^*$를 찾는 설계 작업에서 발생합니다.

이 설정은 최적화 단계와 배포 단계가 명확히 구분되어 있다고 가정합니다:

• 최적화 단계 (Optimization Phase): 입력 $x$를 정확하게 제어할 수 있으며, 평가값 $f(x)$는 노이즈가 없거나(또는 알려진 노이즈와 함께 관측됨) 존재합니다.
• 배포 단계 (Deployment Phase): 선택된 솔루션은 미지의 섭동 $\delta$가 존재하는 환경에 배포됩니다.

목표는 주어진 $x$에 대한 최대 강건 반경(robustness radius) $\rho(x)$를 최대화하는 $x^*$를 찾는 것입니다. 여기서 강건 반경 $r^*$은 섭동 $\delta$가 반지름 $r$인 구(ball) $B_r$ 내에 있는 모든 경우에 대해, 섭동된 솔루션이 여전히 만족 조건을 유지하는 가장 큰 반지름으로 정의됩니다:
$$\inf_{\delta \in B_r} f(x + \delta) \geq t$$
학습 과제는 $x^* = \arg\max_{x \in X} \rho(x)$를 찾는 것입니다.

이 설정은 다음과 같은 두 가지 핵심적인 이유로 기존의 **강건 베이지안 최적화 (RBO)**와 다릅로 차이가 있습니다:

1. 만족(Satisficing) vs 최적화(Optimal): 목표는 $f(x)$를 최대화하는 것이 아니라 $t$ 이상의 값을 유지하는 것입니다.
2. 클린(Clean) vs 적대적(Adversarial) 최적화: 평가 과정 중에 입력이 섭동되는 적대적 환경을 가정하는 기존의 최악 사례 강건 방법들(예: Saday et al. [2025], Bogunovic et al. [2018])과 달리, MRSBO는 최적화 과정 중에는 클린한 입력을 사용한다고 가정합니다. 섭동은 배포 후에만 발생합니다.

2. 방법론: MRSBO 알고리즘

제안된 방법인 MRSBO는 탐색 공간을 효율적으로 탐색하기 위해 정보 이론적 획득 함수(information-theoretic acquisition function)를 활용합니다.

2.1 정보 이론적 획득 함수

MRSBO는 직접적으로 강건 반경을 최적화하는 대신, 강건 최적해 $(x^*, r^*)$에 대한 **정보 이득(information gain)**을 최대화합니다. 여기서 $x^*$는 강건한 극대점이고 $r^*$은 그에 대응하는 강건 반경입니다. 획득 함수 $\alpha(x)$는 잠재적 관측값 $y$와 타겟 변수 사이의 상호 정보량(mutual information)으로 정의됩니다:
$$\alpha(x) = I(\{y, x\}; \{x^*, r^*\}) = H(p(y|x, D_t)) - \mathbb{E}_{p(x^*, r^*|D_t)}[H(p(y|x, D_t, x^*, r^*))]$$

• 첫 번째 항: $x$에서의 예측 분포의 엔트로피 (표준적인 BO 불확실성).
• 두 번째 항: 타겟 $(x^*, r^*)$가 주어졌을 때의 기대 조건부 엔트로피. 이 항은 몬테카를로 샘플링을 사용하여 근사됩니다.

2.2 조건부 엔트로피 근사

조건부 엔트로피 계산은 거리 $d(x, x^*)$와 강건 반경 $r^*$의 관계에 의존합니다:

• 반경 내부 ($d(x, x^*) \leq r^*$): 정의에 따라 $f(x) \geq t$입니다. 조건부 엔트로피는 값이 $t$보다 커야 한다는 제약을 반영하여 절단 정규 분포(truncated normal distribution)를 기반으로 근사됩니다.
• 반경 외부: 특정 경계가 가정되지 않으므로 (값이 매우 높거나 낮을 수 있음), 엔트로피는 표준 예측 엔트로피를 따릅니다.
• 노이즈 관측: 이 방법은 관측 노이즈를 처리하기 위해 Takeno et al. [2020]의 접근 방식을 변형하여, 잠재 함수 제약 $f > t$가 주어졌을 때의 관측값 $y$의 조건부 밀도를 계산합니다.

2.3 강건 극대점 샘플링

획득 함수의 기댓값을 계산하기 위해, 알고리즘은 사후 분포 $p(x^*, r^* | D_t)$로부터 쌍 $(x^*_s, r^*_s)$를 샘플링해야 합니다. 이 분포는 다루기 까다로우므로, MRSBO는 가우시안 프로세스(GP) 사후 분포로부터 미분 가능한 샘플 경로 $\tilde{f}_s(x)$를 생성하기 위해 **무작위 푸리에 특징(Random Fourier Features, RFF)**을 사용합니다.

각 샘플 경로 $\tilde{f}_s$에 대해 알고리즘은 다음 단계(알고리즘 2)를 수행합니다:

1. 레벨 세트 근사 (Level Set Approximation): 공간 채우기(space-filling) 점들을 샘플링하고, 잔차 제곱 $(\tilde{f}_s(x) - t)^2$을 최소화하는 Gauss-Newton 최적화를 사용하여 레벨 세트 $C_s = \{x : |\tilde{f}_s(x) - t| < \tau\}$를 근사합니다.
2. 상위 레벨 세트 생성 (Superlevel Set Generation): 레벨 세트 샘플들로부터 경사 상승법(gradient ascent)을 실행하여 상위 레벨 세트($\tilde{f}_s(x) \geq t$) 내의 다양한 점들의 집합 $S_s$를 생성합니다.
3. 강건 극대점 식별: 레벨 세트 $C_s$와의 거리를 근사하는 미분 가능한 목적 함수(LogSumExp)를 최대화하여 강건 극대점 $x^*_s$를 찾습니다. 이때 강건 반경은 $r^*_s = \min_{c \in C_s} d(x^*_s, c)$가 됩니다.

이러나 샘플링 과정은 획득 함수를 표준적인 경사 기반 방법으로 최적화할 수 있게 하여, 기존의 강건 BO 방법들이 사용하는 격자 기반(grid-based) 방식의 계산 병목 현상을 피할 수 있게 합니다.

3. 주요 기여

저자들은 세 가지 주요 기여를 식별했습니다:

1. 문제 정식화: "최대 강건 만족형" 문제를 정식화하여, 최적화 중에는 클린한 입력을 사용하고 배포 시에만 섭동이 발생하는 것을 특징으로 함으로써 기존의 강건 최적화 프레임워크와 차별화했습니다.
2. 알고리즘 개발: 강건 극대점 및 반경에 대한 정보 이득을 기반으로 하는 실용적인 알고리즘인 MRSBO를 도입했습니다. 핵심적인 기술적 혁신은 RFF 기반 샘플링과 레벨 세트 근사를 사용하여 획득 함수를 효율적으로 구축하는 것입니다.
3. 실증적 검증: MRSBO가 합성 데이터 및 실제 세계의 벤치마크에서 표준 BO(강건성을 무시함) 및 기존의 강건 BO 방법(적대적 최적화를 가정함)보다 우수한 성능을 보임을 입증했습니다.

4. 실험 결과

이 방법은 합성 벤치마크(Branin, Hartmann, Gaussian Mixtures)와 실제 로봇 푸싱(Robot Pushing) 작업에 대해 평가되었습니다.

• 성능: MRSBO는 베이스라인 모델들과 비교하여 일관되게 더 낮은 **추론 강건성 후회(inference robustness regret)**를 달로했습니다. 8개의 저차원 시나리오 중 6개에서 제로 후회(zero regret)에 도달했습니다.
• AdveRS-2와의 비교: AdveRS-2 (Saday et al. [2025])도 유사한 목표를 지향하지만, 최적화 중에 적대적 환경을 가정합니다. MRSBO는 상위 레벨 세트 내부의 함수를 학습하는 데 시간을 낭비하지 않고 강건 반경에 유익한 경계 부분에 집중함으로써, 훨씬 더 빠르게(일부 경우 한 자릿수 차이로) 수렴했습니다.
• MES와의 비교: Max-value Entropy Search (MES)는 종종 실패했는데, 이는 MES가 강건 반경이 작은 경우가 많은 전역 최댓값을 찾으려 했기 때문입니다.
• 확장성: 격자 기반 또는 중첩 최적화 요구사항으로 인해 고차원에서 어려움을 겪는 StableOpt 및 AdveRS-2와 달리, MRSBO는 경사 기반 획득 함수 최적화를 사용하여 6차원 문제(Hartmann 6D)까지 확장 가능합니다.
• 레벨 세트 커버리지: 실험 결과, 레벨 세트의 부분적인 커버리지(약 60-80%)만으로도 올바른 강건 극대점을 식별하기에 충분하다는 것이 밝혀졌으며, 이는 샘플링 단계의 근사 오차에 대해 방법론이 강건함을 시사합니다.

5. 의의 및 주장

본 논문은 MRSBO가 노이즈가 있는 환경에 솔루션이 배포되지만 설계는 통제된 환경에서 이루어지는 설계 작업에 더 실용적인 프레임워크를 제공한다고 주장합니다.

• 효율성: 적대적 강건 방법은 최적화 루프 중에 섭동을 시뮬레이션할 필요가 없으므로 더 샘플 효율적이라고 주장됩니다.
• 실용성: 전역 최적해보다는 "만족스러운" 솔루션을 찾는 데 집중함으로써, "충분히 좋은" 내구성이나 성능이 목표인 실제 공학적 제약 조건과 부합합니다.
• 한론: 저자들은 본 방법이 명시적인 레벨 세트 근사에 의존하므로, 고차원의 매우 비매끄러운(non-smooth) 타겟 함수에 대해서는 실패할 수 있다는 점을 겸허히 언급했습니다. 또한, 이론적인 수렴 보장이나 후회 경계(regret bounds)를 제공하지 않으며 이를 향후 연구 과제로 남겨두었습니다. 또한, 만족 임계값이 전역 최댓값에 매우 가까운 경우라면 표준 BO가 더 실용적일 수 있음을 인정했습니다.

요약하자면, 본 논문은 강건 최적화와 만족형 의사결정 사이의 간극을 메우는 특화된 BO 프레임링을 제시하며, 배포 후의 불확실성 하에서도 신뢰성을 유지할 수 있는 설계를 찾는 효율적인 접근 방식을 제공합니다.