🤖 machine learning

Constrained Bayesian Optimisation with Multiple Information Sources

이 논문은 보조 데이터 소스가 실제 목적 함수와 약하게 상관되어 있는 경우에도 이를 활용하여, 제약 조건이 있는 베이지안 최적화에 대한 일반적인 다중 소스 프레임워크를 제안하며, 이는 실행 가능하고 최적인 해를 효율적으로 식별하기 위해 최대값 엔트로피 탐색(Max-value Entropy Search)을 확장한 것이다.

원저자: Hauke Maathuis, Roeland De Breuker, Saullo Castro, Maike Osborne

게시일 2026-07-02

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Hauke Maathuis, Roeland De Breuker, Saullo Castro, Maike Osborne

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신은 안개가 자욱한 거대한 도시에서 레모네이드 가판대를 차릴 단 하나의 최적의 장소를 찾으려고 한다고 상상해 보세요. 당신에게는 두 가지 목표가 있습니다.

매출 극대화: 유동 인구가 가장 많은 곳을 찾아야 합니다.
안전 유지: 불법적인 장소(예: 고속도로)나 위험한 장소(예: 공사 현장)를 피해야 합니다.

문제는 각 지점을 확인하는 데 비용이 많이 든다는 점입니다.

"진짜" 확인: 한 시간 동안 그곳에 서서 사람 수를 세고 경찰이 있는지 확인하는 것은 매우 비용이 많이 들고 느립니다.
"가짜" 확인: 흐릿하고 저해상도인 지도를 보거나, 약간 틀릴 수도 있는 현지인에게 물어보는 것은 저렴하고 빠릅니다. 하지만 100% 정확하지는 않습니다.

이것이 이 논문이 다루는 핵심 문제입니다: 어떻게 하면 저렴하고 불완전한 지도를 활용하여 어디를 살펴볼지 추측하면서, 최대한 적은 횟수의 비싼 확인만으로 가장 좋고 안전한 장소를 찾을 것인가?

기존 방식 vs 새로운 방식

기존 방식 (전통적인 베이지안 최적화 - Traditional Bayesian Optimization):
기존의 대부분의 방법은 비싸고 정확한 "진짜" 확인만을 신뢰하는 신중한 탐험가처럼 행동했습니다. 만약 "안전 구역"(레모네이드를 합법적으로 팔 수 있는 곳)이 아주 작거나 숨겨져 있다면, 이 탐험가들은 안개 속에 갇힌 채 무작위로 장소를 확인하며 많은 돈을 낭비하곤 했습니다. 그들은 저렴한 지도가 완벽하지 않다는 이유로 그 지도를 무시했습니다.

새로운 방식 (MS-CMES):
저자들은 MS-CMES라고 불리는 새로운 전략을 제안합니다. 이것을 스마트한 탐험가 팀이라고 생각해 보세요.

팀 구성: 이 팀에는 "고충실도(High-Fidelity)" 전문가(비싸지만 정확함)와 여러 명의 "저충실도(Low-Fidelity)" 조수(저렴하고 빠르지만 때때로 틀림)가 있습니다.
전략: 조수들을 무시하는 대신, 팀은 이들을 이용해 도시 전체를 빠르게 스캔합니다. 조수들은 "유망한 동네"를 짚어줍니다.
안전망: 팀은 조수들이 규칙에 대해 틀릴 수 있다는 점(예: 조수들은 고속도로가 안전하다고 생각할 수 있음)을 알고 있습니다. 그래서 팀은 **분산 보정(Variance Correction)**이라는 특별한 수학적 기법을 사용하여, "좋아, 지도는 이 지점이 안전하다고 하지만, 지도가 흐릿하므로 우리는 좀 더 회의적으로 접근해서 확정하기 전에 주의 깊게 확인하자"라고 판단합니다.

작동 원리 (비유)

1. "신뢰 영역" (손전등)
당신이 어두운 방 안에 있다고 상상해 보세요. 방 전체를 한 번에 매핑하려고 하는 대신, 손전등을 비추어 작은 구역을 집중적으로 조사합니다. 만약 좋은 것을 발견하면 손전등을 그 근처로 옮깁니다. 만약 아무것도 발견하지 못하면, 더 자세히 보기 위해 손전등의 빛을 좁히거나, 혹은 새로운 유망한 지점으로 이동합니다.

논문에서의 의미: 이것은 **신뢰 영역(Trust Region)**이라 불립니다. 이는 알고리즘이 쓸모없는 부분의 무작위 지점을 확인하는 데 돈을 낭비하는 것을 막아줍니다. 즉, 가장 승산 있는 영역에 비싼 확인 작업을 집중하게 합니다.

2. "사각지대" 보정
때때로 저렴한 지도가 너무 형편없어서 거의 쓸모가 없을 때가 있습니다. 만약 그 지도를 맹목적으로 따랐다면, 당신은 절벽 아래로 떨어질 수도 있습니다.

논문에서의 의미: 이 방법은 "상관관계 점수"를 계산합니다. 만약 저렴한 지도가 실제 상황과 약하게 연결되어 있다면, 시스템은 자동으로 "안전 버퍼"(불확실성을 부풀림)를 추가합니다. 이는 "이 저렴한 데이터는 불확실하니, 이를 완전히 신뢰하지는 않되, 어디를 살펴볼지에 대한 대략적인 아이디어를 얻는 용도로는 사용하겠다"라고 말하는 것과 같습니다.

3. "정보 이득" (보물 찾기)
알고리즘은 단순히 최고의 장소를 찾는 것이 아니라, 가장 많은 것을 가르쳐 줄 수 있는 장소를 찾습니다.

논문에서의 의미: 알고리즘은 "저렴한 지도로 이 지점을 확인하는 것이, 다른 지점을 확인하는 것보다 최고의 장소를 찾는 데 더 많은 정보를 줄 것인가?"라고 자문합니다. 이는 확인 비용과 새로운 정보의 가치 사이에서 균형을 맞춥니다.

무엇을 발견했는가?

저자들은 작은 마을부터 수천 개의 거리가 있는 거대한 메트로폴리스(고차원 문제)에 이르기까지 여러 가지 "도시"(수학적 문제)에서 이를 테스트했습니다.

결과: 새로운 방법(MS-sCMES)은 기존 방식들보다 "안전 구역"을 찾는 데 훨씬 뛰어났습니다.
놀라운 점: 저렴한 지도가 매우 흐릿하고 실제 현실과 약하게 연관되어 있을 때조차, 새로운 방법은 이를 활용하여 더 빠르게 해답을 찾아냈습니다. 기존 방식들은 시작할 수 있는 단 하나의 안전한 장소조차 찾지 못해 포기하거나 길을 잃는 경우가 많았습니다.
효율성: 저렴한 지도를 사용하여 탐색을 안내하고, 비싼 확인 작업은 최고의 지점을 확정하는 데만 사용함으로써, 훨씬 적은 총 확인 횟수로 최적의 해답을 찾아냈습니다.

요약

이 논문은 어려운 최적화 문제를 해결하는 더 스마트한 방법을 소개합니다. 단순히 비싸고 완벽한 데이터에만 의존하는 대신, 저렴하고 불완전한 데이터를 영리하게 섞어 더 빠르게 공간을 탐색합니다. 이 방식은 유망한 영역에 집중하기 위해 "손전등" 접근법을 사용하며, 저렴한 데이터가 당신을 잘못된 길로 인도하지 않도록 "안전 버퍼"를 사용합니다. 그 결과, 규칙이 복잡하고 데이터가 부족한 상황에서도 가장 좋고 안전한 해답을 훨씬 더 빠르게 찾아내는 시스템을 보여줍니다.

기술 요약: 다중 정보원을 활용한 제약 조건이 있는 베이지안 최적화

문제 정의

베이지안 최적화(Bayesian Optimisation, BO)는 비용이 많이 드는 블랙박스 함수를 최적화하기 위한 표준 프레임워크이지만, 알려지지 않은 제약 조건과 **작은 가용 영역(feasible regions)**을 다룰 때 상당한 어려움에 직면합니다. 데이터가 희소한 고차원 공간(예: 충돌 안전성 설계)에서는 단 하나의 가용 지점(feasible point)을 발견하는 것조차 어렵습니다. 기존 방법들은 대개 단일 정보원(즉, "그라운드 트루스")에 의존하는데, 이는 빈번하게 평가하기에는 계산 비용이 너무 높습니다.

많은 공학 및 과학 응용 분야에는 저렴하지만 편향되거나 노이즈가 섞여 있을 수 있는 보조 정보원(예: 거친 시뮬레이션, 단순화된 물리 모델 또는 해석적 근사치)이 존재하지만, 이를 제약 조건이 있는 BO에 통합하는 연구는 아직 미진합니다. 대부분의 기존 다중 소스(또는 다중 충실도) 방법론은 제약 조건이나 다중 소스 중 하나만을 독립적으로 다룹니다. 저렴하고 약하게 상관된 보조 소스를 활용하여 최종 솔루션의 정확도를 해치지 않으면서 초기 탐색을 유도할 수 있는 확장 가능한 프레임워크가 부족한 실정입니다.

방법론: MS-CMES

저자들은 **다중 소스 제약 조건 최대 엔트로피 탐색(Multi-Source Constrained Max-value Entropy Search, MS-CMES)**을 제안합니다. 이는 Max-value Entropy Search(MES)를 다중 정보원 및 블랙박스 제약 조건이 있는 환경으로 확장한 통합 프레임워크입니다.

1. 다중 소스 가우시안 프로세스 모델링

본 프레임워크는 목적 함수 $f$ 와 제약 조건 $c_i$ 를 타겟(비싸고 정확한) 소스인 $L$ 과 가장 저렴한 보조 소스인 $0 $을 포함하는 소스 집합$ S = {0, \dots, L}$에 대해 모델링합니다.

MISO 프레임워크: 엄격한 계층적 충실도(Kennedy-O'Hagan 모델 방식)나 공유된 잠재 구조(Multi-Task GP 방식)를 가정하는 대신, 저자들은 다중 정보 소스 최적화(Multi-Information Source Optimisation, MISO) 방식을 채택합니다.
가법적 구조(Additive Structure): 각 소스별 함수는 $u^{(\ell)}(x) = u^{(L)}(x) + \Delta^{(\ell)}(x)$ 로 모델링됩니다. 여기서 $u^{(L)}$ 은 잠재적 타겟 함수이며, $\Delta^{(\ell)}$ 은 독립적인 가우시안 프로세스(GP)로 모델링된 소스별 편차(discrepancy)입니다.
결합 추론: 이러한 가법적 구조를 통해 잠재 함수와 편차에 대한 결합 추론이 가능하며, 이를 통해 소스 간의 상관관계를 포착하는 동시에 상관관계가 약하거나 알려지지 않은 소스에 대해서도 유연성을 유지합니다.

2. 획득 함수: 분산 보정을 통한 엔트로피 탐색

핵심은 정보 획득량과 평가 비용 $\lambda(x, \ell)$ 사이의 균형을 맞추는 획득 함수 $\alpha_n(x, \ell)$ 입니다.

목표: 제약 조건이 있는 최적값 $f^* = \max_{x \in \mathcal{X}_f^{(L)}} f^{(L)}(x)$ 에 대한 정보 이득을 최대화하는 것입니다.
변분 하한(Variational Lower Bound): 상호 정보량 $I(u^{(\ell)}; f^*)$ 는 계산이 불가능하므로, Takeno 등(2022)의 연구를 변형한 변분 하한을 사용합니다. 이는 이산 톰슨 샘플링(discrete Thompson sampling)을 통해 $f^*$ 를 샘플링하고, 새로운 관측치가 가용 집합(feasible set) 내에 포함될 확률을 추정하는 과정을 포함합니다.
분산 보정(Variance Correction): 핵심적인 독창성은 분산 보정 메커니즘입니다. 가용 집합은 타겟 소스 $L$ 에서 정의되지만 관측은 소스 $\ell$ 에서 발생하기 때문에, 허위 가용성(spurious feasibility)의 위험이 있습니다. 저자들은 보조 소스와 타겟 소스 간의 상관 계수 $\rho(x, \ell)$ 를 기반으로 한 보정 계수를 도입하여 예측 분산을 팽창시킵니다. 이를 통해 저렴한 소스에서는 가용해 보이지만 타겟 소스에서는 불가능한 지점을 과도하게 확신하여 선택하는 것을 방지합니다.

3. 신뢰 영역을 통한 확장성 확보

고차원 입력 공간( $d \ge 40$ )을 다루기 위해, 획득 함수 최적화는 관측된 최적 가용 지점(또는 가용 지점이 없는 경우 제약 위반이 최소인 지점)을 중심으로 동적으로 업데이트되는 신뢰 영역(Trust Region, TR) 내로 제한됩니다. 이는 탐색이 유망하지 않은 영역으로 표류하는 것을 방지하고 계산 효율성을 높입니다.

주요 기여

통합 프레임워크: 다중 정보원을 통합한 제약 조건 있는 BO를 위한 최초의 원칙적인 정보 이론적 프레임워크입니다. 저렴한 보조 샘플과 신뢰 영역 휴리스틱을 결합하여 고차원 공간으로의 확장이 가능하도록 설계되었습니다.
분산 보정: 소스 간의 상관관계에 기반하여 예측 분산을 보정함으로써 소스 간의 편차를 처리하는 체계적인 접근 방식을 제공하며, 이를 통해 보조 데이터가 약하게 상관된 경우에도 견고함을 보장합니다.
체계적 비교: 다중 소스 GP 모델(MISO vs. KOH vs. MTGP)의 확장성을 엄격하게 평가하여, 가법적 MISO 구조가 계층적 또는 엄격한 멀티 태스크 방식보다 다양한 상관 강도에 대해 더 견고함을 입증했습니다.
실증적 검증: $d=100$ 에 이르는 합성 및 물리 기반 벤치마크 실험을 통해 기존의 최첨단 제약 조건 BO 방법론들을 일관되게 능가함을 보여주었습니다.

실험 결과

저자들은 4에서 100 차원에 이르는 5가지 벤치마크 문제(Pressure Vessel, Rosenbrock, Rastrigin, Rotated Rastrigin, Different Powers)에 대해 MS-CMES를 평가했습니다.

가용성 발견(Feasibility Discovery): 고차원의 희소 가용 영역(예: Rastrigin 변형)에서 CMFBO, VBO, 무작위 탐색을 포함한 대부분의 베이스라인 방법들은 단 하나의 가용 지점도 찾지 못했습니다. 반면 MS-CMES는 초기 실험 설계(DoE) 직후에 가용 영역을 성공적으로 식별했습니다.
최적화 성능: MS-CMES는 SCBO, FuRBO, CMES-IBO+와 같은 베이스라인보다 일관되게 더 낮은 최종 목적 함수 값을 달ей했습니다.
상관관계에 대한 견고성: MISO 모델은 보조 소스가 상관관계가 없거나 약한 경우에도 높은 정확도를 유지한 반면, 계층적 모델(KOH)은 이러한 시나리오에서 성능이 크게 저하되었습니다.
절제 연구(Ablation Studies): 신뢰 영역 휴리스틱이 고차원에서 효율성을 높이는 데 결정적임을 보여주었으며, 엔트로피 추정에 사용되는 몬테카를로 샘플 수( $K$ )에 대해서도 방법론이 견고함을 입증했습니다.

의의 및 주장

본 논문은 MS-CMES가 다중 정보원이 존재하는 환경에서의 제약 조건 최적화를 위한 확장 가능한 솔루션을 제공함으로써 문헌의 중요한 공백을 메운다고 주장합니다.

초기 탐색: 이 방법은 가용 영역을 알 수 없는 최적화 초기 단계에서 특히 효과적입니다. 편향될 수 있는 저렴한 데이터를 활용함으로써, 단일 소스 방법보다 더 효율적으로 설계 공간을 채우고 가용성을 향한 탐색을 유도할 수 있습니다.
일반적 적용 가능성: 본 프레임워크는 엄격한 충실도 계층을 가정하지 않으므로, 보조 데이터(예: 단순화된 시뮬레이션, 아카이브 데이터)가 타겟과 구조적으로 다를 수 있는 다양한 실제 시나리오에 적합합니다.
실질적 영향: 저자들은 이 접근 방식이 충돌 안전성, 공기역학 설계와 같은 공학 설계부터 신약 개발에 이르기까지, 고충실도 실험의 비용과 저충실도 시뮬레이션 사이의 균형을 맞추는 것이 매우 중요한 분야에서 큰 잠재력을 가지고 있음을 강조합니다.

저자들은 목적 함수와 제약 조건이 소스와 함께 공동으로 평가된다는 가정과 사용자 지정 비용 함수에 의존한다는 점 등 한계점을 겸허히 언급했습니다. 그러나 제안된 프레임워크가 복잡하고 고차원이며 데이터가 희소한 공학 문제를 해결하기 위한 실질적인 발판이 될 것이라고 주장합니다.