🤖 machine learning

High-dimensional Multi-objective Bayesian Optimization with Learned Variable Interactions

이 논문은 변수 상호작용 분석을 활용하여 결정 공간을 국소 최적화를 위한 분리 가능한 부분 공간으로 분해함으로써, 비용이 많이 드는 블랙박스 문제에 대한 파레토 프런트 근사에서 기존 방법들을 능가하는 고차원 다목적 베이지안 최적화를 위한 범용 프레임워크인 ViaMOBO를 소개한다.

원저자: Hongyan Wang, Jiayu Huang, Haotian Zheng, Xin Gao, Chi Ding, Ying Liu, Xia Wang, Qing Xu, Keqiang Li

게시일 2026-08-13

📖 5 분 읽기🧠 심층 분석

CC BY 4.0

원저자: Hongyan Wang, Jiayu Huang, Haotian Zheng, Xin Gao, Chi Ding, Ying Liu, Xia Wang, Qing Xu, Keqiang Li

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 거대하고 다층적인 미스터리를 풀려는 탐정이라고 상상해 보십시오. 하지만 단서 대신, 당신은 완벽한 레시피를 찾고 있습니다. 모든 페이지가 서로 다른 재료의 조합을 나타내는 거대한 요리책이 있고, 당신의 목표는 '파레토 프런트(Pareto front)'—즉, 가장 맛있으면서도, 가장 저렴하고, 동시에 가장 건강한 궁극의 레시피 세트를 찾는 것입니다. 문제는, 모든 페이지를 일일이 맛볼 수는 없다는 점입니다. 책이 너무 두껍고, 레시피 하나를 맛보는 데는 요리와 뒷정리에 몇 시간이 걸리기 때문입니다. 이것이 바로 **다목적 베이지안 최적화(Multi-objective Bayesian Optimization, MOBO)**의 세계입니다. 이는 자동차를 빠르고, 안전하며, 연료 효율적이게 설계하거나, 로봇의 두뇌를 빠르고 정확하게 튜닝하는 것처럼 여러 목표를 동시에 균형 있게 달성해야 하는 까ful한 문제를 해결하기 위한 스마트한 방법입니다. 문제는 변수(재료)의 수가 엄청나게 많아지면, 가능한 레시피의 수가 폭발적으로 증가한다는 것입니다. 이는 마치 계속해서 커지는 건초더미 속에서 바늘을 찾는 것과 같습니다. 전통적인 방식들은 이 규모에 압도되어 제대로 작동하지 못하고 멈춰버립니다.

여기서 새로운 탐정인 ViaMOBO가 등장합니다. 이 논문의 연구자들은 많은 현실 세계의 문제에서 모든 재료가 서로 상호작용하지 않는다는 사실을 깨달았습니다. 때로는 소금을 얼마나 넣느냐가 오븐의 온도가 케이크에 미치는 영향에 변화를 주지 않습니다. 즉, 그들은 독립적입니다. 또 다른 때는 그들이 항상 함께 결과를 변화시키는 단짝 친구처럼 움직이기도 합니다. 논문은 영리한 트릭을 제안합니다. 거대한 책의 모든 조합을 맹목적으로 맛보는 대신, ViaMOBO는 먼저 "어떤 재료들이 실제로 서로 대화를 나누는가?"라고 묻습니다. 이를 위해 '이진 분류기(binary classifier)'(실제로 요리하지 않고도 결과를 추측하는 초고속 맛보기 전문가라고 생각하십시오)를 사용하여 어떤 변수들이 연결되어 있는지 파악합니다. 일단 그룹을 파악하면, 거대한 문제를 관리 가능한 작은 퍼즐들로 나눕니다. 각 작은 퍼즐을 따로 해결한 다음, 그 답들을 다시 하나로 합칩니다. 이 논문은 이 방법이 고차원 문제(변수가 100개인 경우 등)에서 놀라운 성능을 발휘하며, 특히 변수 간의 숨겨진 '그룹'이 있는 경우 기존 방법들보다 더 나은 솔루션을 더 빠르게, 그리고 더 적은 컴퓨팅 자원으로 찾아낸다는 것을 보여줍니다. 그러나 저자들은 만약 변수들이 모두 뒤엉켜서 끊임없이 연쇄 반응을 일으키는 경우(강하게 결합된 경우), 이 그룹화 트릭이 잘 작동하지 않을 수 있다고 언급하며, 이 방법이 분리 가능한 구조를 가진 문제에 가장 적합하다고 설명합니다.

새로운 탐정의 도구: ViaMOBO

그렇다면 이 새로운 탐정인 ViaMOBO는 실제로 어떻게 미스터리를 해결할까요? 100개의 다이얼이 있는 복잡한 기계를 튜닝하려고 한다고 상상해 보십시오. 기존의 방법들은 완벽한 설정을 우연히 발견하기를 바라며 100개의 다이얼을 한꺼번에 돌리려 할 것입니다. 하지만 100개의 다이얼이 있다면, 조합의 수가 너무 방대하여 태양이 타버릴 때까지 다이얼을 돌려야 할지도 모릅니다.

ViaMOBO는 다른 접근 방식을 취합니다. 먼저 다이얼들을 살펴보며 "이 두 다이얼이 서로 영향을 주는가?"라고 묻습니다. 이를 위해 시간을 낭비하지 않고 이진 분류기(Support Vector Machine이나 SVM 같은 유형의 머신러닝 모델)를 사용합니다. 매번 새로운 다이얼 조합에 대해 비용이 많이 들고 시간이 오래 걸리는 테스트를 실제로 수행하는 대신, 분류기는 이미 학습한 패턴을 바탕으로 결과를 예측합니다. 이는 마치 "소금을 더 넣고 열을 높이면 음식이 너무 짤 것이다"라고 실제로 요리하지 않고도 추측할 수 있는 부주방장을 두는 것과 같습니다.

이 예측 도구를 사용함으로써, ViaMOBO는 어떤 다이얼들이 '상호작용'하는지(함께 결과를 변화시키는지)와 어떤 것들이 독립적인지를 파악할 수 있습니다. 관계를 파악하고 나면, 100개의 다이얼을 더 작은 그룹으로 나눕니다. 예를 들어 다이얼 1번부터 10번까지는 하나의 팀이고, 다이얼 11번부터 20번까지는 첫 번째 그룹에 신경 쓰지 않는 또 다른 팀일 수 있습니다. 이제 거대하고 불가능한 퍼즐 하나를 푸는 대신, 탐정은 열 개의 작고 쉬운 퍼즐을 풉니다. 이것을 **가법 커널 구조(additive kernel structure)**라고 합니다. 이는 케이크를 굽고, 프로스팅을 하고, 장식하는 과정을 하나의 혼란스러운 동작으로 한꺼번에 하려 하지 않고, 각각의 단계로 나누어 진행하는 것과 같습니다.

결과: 더 빠르고, 더 똑똑하며, 더 저렴하게

연구진은 이 새로운 탐정을 DGLEMO, MORBO, ParEGO와 같은 여러 유명한 탐정들과 비교하여 매우 까다로운 테스트 케이스들로 테스트했습니다. 그들은 합성 문제(만들어진 수학 퍼즐)와 비행기 날개(airfoil) 설계, 또는 행성 표면의 로버 경로 계획과 같은 실제 세계의 도전 과제들을 사용했습니다.

**100개의 결정 변수(다이얼)**가 있는 DTLZ2라는 합성 테스트에서 결과는 놀라웠습니다. ViaMOBO는 최적의 해답에 매우 근접한 솔루션을 찾아냈지만, 훨씬 더 빠르게 해냈습니다. 또 다른 강력한 경쟁자인 DGEMO는 결국 약간 더 나은 최종 솔루션(더 높은 하이퍼볼륨 점수를 달성)을 찾아내긴 했지만, 그곳에 도달하는 데 약 10.5배 더 긴 시간이 걸렸습니다. ViaMOBO는 단 3.99시간(표준 편차 2.16시간) 만에 고품질의 솔루션에 도달한 반면, DGEMO는 41.90시간이 걸렸습니다. 실제로 100차원 문제에서 ViaMOBO는 타임아웃이 발생하거나 충돌 없이 일관되게 좋은 솔루션을 찾아낸 유일한 방법이었으며, 다른 방법들은 고전하거나 며칠이 걸렸습니다.

40개의 변수를 가진 비행기 날개 형상 최적화와 같은 실제 세계의 문제로 넘어갔을 때도 이야기는 비슷했습니다. ViaMOBO가 가장 계산 효율적인 방법이었습니다. 실행하는 데 단 1.35시간밖에 걸리지 않았던 반면, 그다음으로 빠른 방법인 MORBO는 9.37시간이 걸렸습니다. 비록 MORBO가 (솔루션의 품질을 측정하는 점수인 '하이퍼볼륨' 측면에서) 약 6.84% 더 나은 최종 결과를 냈지만, ViaMOBO는 정답의 품질과 그곳에 도달하는 데 걸리는 시간 사이에서 훨씬 더 나은 균형을 제공했습니다.

그러나 논문은 한 가지 한계점도 지적합니다. 60차원의 궤적 계획 문제(로버의 경로 계획)에서 ViaMOBO를 테스트했을 때, MORBO나 NSGA-II와 같은 다른 방법들만큼 성과를 내지 못했습니다. 저자들은 이것이 로버의 경로가 "강한 순차적 결합(strong sequential coupling)"을 가지고 있기 때문이라고 설명합니다. 즉, 모든 단계가 이전 단계에 크게 의존하므로 변수들을 독립적인 그룹으로 분리할 수 없습니다. 이 경우 '그룹화' 트릭이 효과를 발휘하지 못했으며, 이는 ViaMOBO가 분리 가능한 구조를 찾을 수 있는 문제에 가장 적합하다는 것을 보여줍니다.

핵심 요약

이 논문의 주요 발견은 ViaMOBO가 변수가 많은 비용이 많이 드는 다목적 문제를 해결하기 위한 강력한 새로운 프레임워크라는 점입니다. 이 방법은 스마트한 분류기를 사용하여 어떤 변수들이 상호작용하는지를 먼저 학습한 다음, 큰 문제를 더 작고 쉬운 조각들로 나누어 해결합니다. 실험 결과에 따르면, 이 접근 방식은 특히 문제가 분리가 가능한 구조를 가지고 있을 때, 좋은 솔루션을 찾는 데 필요한 시간과 컴퓨팅 자원을 크게 줄여줍니다.

저자들은 시뮬레이션과 실제 테스트를 통해 이러한 결과에 자신감을 보이며, 고차원 문제에서 기존 방법들보다 속도와 효율성 면에서 우수함을 입증했습니다. 하지만 그들은 이것이 모든 문제를 위한 마법의 탄환은 아니라는 점 또한 명확히 하고 있습니다. 만약 변수들이 분리할 수 없을 정도로 서로 얽혀 있다면, 이 방법은 최선의 선택이 아닐 수 있습니다. 하지만 변수들이 독립적인 그룹을 가지고 있는 수많은 문제에서, ViaMOBO는 완벽한 레시피를 찾는 훨씬 더 빠르고 똑똑한 방법을 제공합니다.

기술 요약: 학습된 변수 상호작용을 통한 고차원 다목적 베이지안 최적화 (ViaMOBO)

1. 문제 정의

다목적 베이지안 최적화(MOBO)는 로보틱스 설계, 회로 최적화, 하이퍼파라미터 튜닝과 같이 비용이 많이 드는 블랙박스 문제에서 파레토 프런트(Pareto fronts)를 근사하는 강력한 기법이다. 그러나 기존의 MOBO 방식은 의사 결정 공간의 차원이 증가함에 따라 지수적인 샘플링 복잡도라는 심각한 병목 현상에 직면한다.

ReMO와 MORBO 같은 현재의 최첨단 고차원 MOBO 방법들은 다음과 같은 구체적인 한계를 갖는다:

ReMO는 무작위 임베딩(random embedding)에 의존하며, 소수의 차원만이 효과적이고 동일한 차원이 모든 목적 함수에 대해 효과적이라는 가정을 전제로 한다. 이러한 가정은 서로 다른 목적 함수가 서로 다른 변수 부분 집합에 의존할 수 있는 실제 세계의 문제에서는 비합리적일 수 있다.
MORBO는 국소 모델을 관리하기 위해 신뢰 영역(trust regions)을 활용하지만, 데이터 포인트의 삼차 시간 복잡도를 줄이는 데 주로 집중할 뿐, 의사 결정 차원 자체의 지수적 복잡도를 해결하는 데는 초점을 맞추지 않는다. 또한 변수 간의 상호작용 구조를 명시적으로 모델링하지 않는다.

나아가, 많은 실제 고차원 문제들은 하나의 변수 변화가 다른 변수에 영향을 미치고 결과적으로 목적 함수 값에 공동으로 영향을 미치는 **변수 상호작용(variable interactions)**을 나타낸다. 현재의 MOBO 방법들은 이러한 관계를 무시하는 경우가 많으며, 이는 성능의 심각한 저하를 초래한다. 핵심 과제는 강한 사전 가정을 세우지 않고도 고차원 다목적 문제(MOP)가 분리 가능한지(separable, 변수들이 독립적인 부분 집합으로 그룹화될 수 있는지) 아니면 **비분리 가능한지(non-separable)**를 판단하고, 이 구조를 활용하여 샘플링 복의 복잡도를 줄이는 것이다.

2. 방법론: ViaMOBO 프레임워크

본 논문은 변수 상호작용을 학습함으로써 차원의 저주를 완화하도록 설계된 일반적인 프레임워크인 ViaMOBO를 제안한다. 이 프레임워크는 다음 단계들을 통해 작동한다:

A. MOP를 위한 분리 가능성(Separability)의 재정의

저자들은 다목적 문맥에서의 분리 가능성을 재정의한다. MOP가 분리 가능하다는 것은 모든 목적 함수가 분리 가능(완전 또는 부분적으로)하다는 것을 의미한다. 결정적으로, 저자들은 변수 상호작용에 대한 추이적 성질(transitive property)을 도입한다: 만약 변수 $x_i$ 가 $x_j$ 와 상호작용하고, $x_j$ 가 $x_k$ 와 상호작용한다면, 세 변수 모두가 상호작용하는 것이다. 이를 통해 의사 결정 공간을 상호 의존적인 변수들의 서로 소인 하위 그룹들로 분할할 수 있다.

B. 변수 상호작용 학습 (비싼 평가 없이 수행)

핵심 혁신은 추가적인 고비용 함수 평가를 유발하지 않고 상호작용을 탐지하는 방법이다.

섭동 전략 (Perturbation Strategy): 알고리즘은 특정 목적 함수를 최대화하는 의사 결정 벡터 $x$ 를 선택한다. 그 후, 두 개의 차원( $i$ 와 $j$ )에서 이 벡터를 섭동시켜 새로운 벡터들( $x'_i, x'_j, x'_{ij}$ )을 생성한다.
이진 분류 (Binary Classification): 실제 목적 함수를 평가하는 대신(이는 비용이 많이 든다), ViaMOBO는 기존 데이터에 대해 **이진 분류기(SVM)**를 학습시킨다. 이 분류기는 두 의사 결정 벡터의 목적 함수 값 사이의 크기 관계를 학습한다.
상호작용 탐지: 학습된 SVM은 섭동된 벡터들 간의 관계를 예측한다. 만약 섭동된 집합들 사이에 지배 관계(dominance relationship)가 존재한다면(예: $[f(x'_i), f(x'_j)]$ 가 $[f(x), f(x'_{ij})]$ 를 지배함), 변수 $x_i$ 와 $x_j$ 는 상호작용하는 것으로 간주된다.
분할 (Partitioning): 추이성 정의를 사용하여, 알고리즘은 상호작용하는 모든 변수를 서로 소인 하위 공간( $\Omega_i$ )으로 그룹화한다. 만약 MOP가 비분리적이라고 판단되면, 프레임워크는 다른 고차원 방법(예: MORBO)으로 전환한다.

C. 가산 커널 구조 및 국소 최적화

의사 결정 공간이 서로 소인 하위 그룹 $\Omega_i$ 로 분할되면 다음과 같이 진행된다:

가산 GP 모델링 (Additive GP Modeling): 프레임워크는 대리 모델(surrogate model)에 대해 가산 구조를 가정한다. 각 목적 함수 $f_i(x)$ 는 특정 하위 그룹 $\Omega_i$ 에서 정의된 하위 함수들의 합으로 모델링된다.
국소 베이지안 최적화 (Local Bayesian Optimization): 전체 $D$ 차원 공간에서 최적화를 수행하는 대신, 획득 함수(acquisition function)를 각 저차원 하위 공간 $\Omega_i$ 내에서 독립적으로 최적화한다. 이는 획득 함수 극대화의 계산 복잡도를 획기적으로 줄여준다.
배치 샘플링 (Batch Sampling): 후보군 배치를 선택하기 위해 qUCB, qEI, 또는 qEHVI와 같은 전략을 사용한다. 또한 탐색 공간의 경계에서 과도한 탐색을 방지하기 위해 "가상 미분(virtual derivative)" 관찰 기법을 활용한다.

3. 주요 기여

ViaMOBO 프레임워크: 고차원 공간에서의 획득 함수 샘플 효율성을 명시적으로 고려하여 다목적 설정에 가산 커널 구조를 도입한 일반적인 MOBO 프레임워크를 제시한다.
상호작용 학습 전략: 이진 분류기를 사용하여 목적 함수 값의 관계를 예측함으로써, 고비용의 함수 평가 없이 고차원 MOP의 분리 가능성을 결정하는 참신한 전략을 제공한다.
실증적 검증: 합성 벤치마크(DTLZ2)와 실제 문제(에어포일 설계, 궤적 계획) 모두에서 최첨단 MOBO 방법들(ReMO, MORBO, ParEGO, DGEMO 등 포함)을 대상으로 포괄적인 검증을 수행하였다.

4. 실험 결과

저자들은 차원이 10에서 100에 이르는 합성 문제와 20, 40, 60 차원의 실제 문제를 통해 ViaMOBO를 평가하였다.

합성 벤치마크 (DTLZ2):
- 10D: ViaMOBO는 최적에 가까운 파레토 프런트 근사를 달성하였으며, 최종 하이퍼볼륨(HV)은 최적 성능 모델인 DGEMO보다 단 0.024% 낮았으나, 실행 시간은 약 5.6배 더 빨랐다.
- 30D: ViaMOBO는 경쟁력 있는 성능을 유지하며, 최종 HV가 DGEMO보다 0.118% 낮은 수준에서 약 4분의 1의 실행 시간만 필요했다.
- 100D: ViaMOBO는 우수한 초기 및 중간 수렴성을 보여주며 가장 높은 HV@500 및 HV@1000을 달est했다. DGEMO가 결국 약간 더 높은 최종 HV를 달성하긴 했으나, ViaMOBO보다 10.5배 더 많은 실행 시간이 소요되었다. ViaMOBO는 MORBO에 비해 수렴 속도와 AUC-HV 측면에서 월등히 뛰어난 성능을 보였다.
실제 문제:
- 에어포일 설계 (20D & 40D): ViaMOBO는 가장 빠른 대리 모델 기반 방법이었다. 20D의 경우, 경쟁력 있는 최종 솔루션 품질을 유지하면서 TSEMO의 약 21%, qParEGO의 약 12%의 실행 시간만을 요구했다. 40D의 경우, 경쟁력 있는 최종 HV를 얻기 위해 MORBO 실행 시간의 약 1/7만 사용하여 가장 효율적인 계산 능력을 보여주었다.
- 궤적 계획 (60D): 강한 순차적 결합(sequential coupling)이 있는 이 문제에서 ViaMOBO는 양호한 성능을 보였으나, MORBO와 NSGA-II에 의해 상회되었다. 저자들은 이것이 적용 가능성의 경계를 보여준다고 언급했다. 즉, ViaMO한은 강하게 결합된 순차적 작업보다는 식별 가능한 그룹 구조나 약한 그룹 간 결합이 있는 문제에 가장 적합하다.
절제 연구 (Ablation Studies):
- 분류기 정확도: 이진 분류기는 100차원에서도 73% 이상의 전반적인 그룹화 정확도를 유지했으나, 차원이 증가함에 따라 정확도는 감소했다.
- 획득 함수: 2-목적 문제에서는 EHVI가 가장 좋은 성능을 보였다. 그러나 3-목적 문제의 경우 EHVI는 수치적 불안정성과 높은 계산 비용 문제를 겪었다. 반면 EI와 UCB는 ViaMOBO 프레임워크에서 수렴성, 효율성 및 견고함 사이의 더 나은 균형을 제공했다.

5. 의의 및 주장

본 논문은 ViaMOBO가 엄격한 가정(예: 무작위 임베딩)에서 벗어나 데이터 기반의 구조적 학습으로 나아감으로써 비용이 많이 드는 고차원 다목적 문제를 처리하는 데 있어 중요한 진전을 이루었다고 주장한다.

효율성: 고차원 공간을 학습된 상호작용에 기초하여 더 작고 독립적인 하위 공간으로 분해함으로써, ViaMOBO는 고차원에서의 전역 최적화와 관련된 지수적 복잡도를 피한다.
비용 효율성: 이진 분류기를 사용하여 상호작용을 추론함으로써, 구조 분석 단계에서 발생하는 고비용의 추가 함수 평가를 제거한다.
실용성: 본 프레임워크는 솔루션 품질과 계산 비용 사이의 유리한 절충안을 제공하며, 특히 계산 예산이 제한된 실제 공학 응용 분야에 매우 적합하다.

저자들은 ViaMOBO가 주로 분리 가능하거나 약하게 결합된 문제에 맞춰져 있다는 점을 겸허히 인정하며, 이는 더 표현력이 풍부한 상호작용 모델링과 적응형 변수 그룹화를 포함하는 향후 연구 방향을 시사한다.