NUBO: A Transparent Python Package for Bayesian Optimization

NUBO 는 투명성과 사용자 경험을 중시하여 고비용 블랙박스 함수 최적화를 위해 Gaussian Process 기반의 대역 모델링과 다양한 최적화 알고리즘을 모듈화된 방식으로 제공하는 오픈소스 파이썬 패키지입니다.

핵심

이 논문은 **'NUBO'**라는 이름의 새로운 소프트웨어 도구를 소개합니다. 이 도구를 쉽게 이해하기 위해 **'비싼 실험을 하는 과학자를 위한 똑똑한 나침반'**이라는 비유를 들어 설명해 보겠습니다.

1. 문제 상황: 비싼 실험과 막막한 미로

과학자나 엔지니어들은 종종 "어떤 재료를 섞으면 가장 강한 콘크리트가 나올까?" 혹은 "어떤 설정으로 비행기를 설계하면 연비가 가장 좋아질까?" 같은 질문을 던집니다. 하지만 이 답을 찾기 위해 실험을 하거나 시뮬레이션을 돌리는 것은 엄청나게 비싸고 시간이 오래 걸립니다. (예: 실험 재료비, 슈퍼컴퓨터 사용료 등).

이때 우리는 **'블랙박스'**라는 미로에 들어선 것과 같습니다. 안이 어떻게 생겼는지 알 수 없고, 한 번 시도할 때마다 큰 비용이 듭니다. 그래서 무작위로 시도하는 것은 비효율적이고, 수학적으로 정답을 바로 구할 수도 없습니다.

2. 해결책: Bayesian Optimization (베이지안 최적화)

이런 문제를 해결하기 위해 **'베이지안 최적화'**라는 전략이 있습니다. 이는 마치 **'지능적인 탐험가'**처럼 행동합니다.

• 추측 (Surrogate Model): 아직 보지 못한 곳의 지도를 그려봅니다. (어디가 좋을지 예측)
• 학습 (Acquisition Function): "지금까지 본 것 중 가장 좋은 곳은 어디야? 그리고 아직 모르는 곳은 어디지?"라고 생각하며 다음에 어디를 가볼지 결정합니다. (알려진 곳을 자세히 보거나, 모르는 곳을 탐험할지 결정)
• 반복: 이 과정을 반복하며 정답에 점점 더 가까워집니다.

3. NUBO 란 무엇인가?

기존에도 이런 '지능적인 탐험가'를 도와주는 프로그램들이 있었습니다. 하지만 문제는 너무 복잡하고 무거웠다는 점입니다.

• 기존 도구들 (BoTorch 등): 마치 거대한 도서관 같습니다. 책이 3 만 권이 넘고 (코드 줄 수), 어떤 책을 찾으려면 160 개의 방을 돌아다녀야 합니다. 전문가가 아니면 길을 잃기 쉽습니다.
• NUBO: 반면 NUBO 는 가방 하나에 들어가는 정밀한 나침반 같습니다.
  • 간결함: 코드가 1,300 줄 정도로 매우 짧고 깔끔합니다. (기존 도구의 29 분의 1 수준)
  • 투명함: 어떻게 작동하는지 누구나 쉽게 볼 수 있고 이해할 수 있습니다.
  • 유연함: 사용자가 직접 탐험 경로를 짜고 싶다면, 필요한 부품만 골라 조립할 수 있습니다.

4. NUBO 의 특별한 능력

NUBO 는 단순히 길을 찾는 것뿐만 아니라 다음과 같은 특수한 상황도 잘 처리합니다.

• 동시 작업 (병렬 최적화): 한 번에 여러 실험을 동시에 할 수 있다면, NUBO 는 한 번에 여러 개의 '다음 장소'를 추천해 줍니다. (예: 실험실 로봇 4 대를 동시에 움직여 결과 확인)
• 비동기 작업: 어떤 실험은 1 시간 걸리고, 어떤 건 10 분 걸린다면? NUBO 는 기다리는 동안 다른 실험을 계속 진행할 수 있게 해줍니다.
• 혼합 입력: 연속된 숫자 (예: 온도 25.5 도) 와 정해진 값 (예: 색상: 빨강/파랑/초록) 이 섞여 있어도 잘 처리합니다.

5. 실제 성능은 어떨까?

논문에서는 NUBO 가 다른 유명한 프로그램들 (BoTorch, SMAC3 등) 과 경쟁해 보았습니다.

• 결과: NUBO 는 복잡한 프로그램들만큼이나 정답에 매우 가깝게 도달했습니다.
• 차이점: NUBO 가 정답을 찾는 데 조금 더 많은 '시도 횟수'가 필요할 수는 있지만, 코드가 훨씬 간단하고 이해하기 쉽기 때문에 비전문가도 쉽게 사용할 수 있습니다.
• 속도: NUBO 가 계산하는 데 걸리는 시간이 다른 프로그램보다 약간 더 길 수 있지만, 실제 실험이나 시뮬레이션에 드는 시간 (수 시간~수 일) 에 비하면 거의 무시할 수 있을 정도로 짧습니다.

6. 결론: 왜 NUBO 가 중요한가?

NUBO 는 **"복잡한 수학적 도구를, 통계나 컴퓨터 과학 전문가가 아닌 모든 과학자 (화학, 공학, 생물학 등) 가 쉽게 사용할 수 있게 만든 도구"**입니다.

마치 고급 요리사만 쓸 수 있는 복잡한 오븐 대신, 누구나 쉽게 조작할 수 있지만 맛있는 요리를 해내는 스마트 오븐을 만든 것과 같습니다. NUBO 는 투명하고 깔끔한 디자인으로, 비싼 실험을 하는 연구자들이 정답을 더 빠르고 쉽게 찾을 수 있도록 돕습니다.

한 줄 요약:

NUBO 는 비싸고 어려운 실험을 할 때, 복잡한 수학 없이도 가장 좋은 결과를 찾아주는 '간결하고 투명한 지능형 나침반'입니다.

기술 요약

1. 문제 정의 (Problem)

• 고비용 블랙박스 함수 최적화: 공학, 컴퓨터 과학, 자연과학 등 다양한 분야에서 물리적 실험이나 컴퓨터 시뮬레이터와 같은 '비싼 평가 (expensive-to-evaluate)'를 가진 블랙박스 함수를 최적화해야 하는 문제가 빈번하게 발생합니다.
• 기존 방법의 한계:
  • 이러한 함수는 미분 정보가 없거나 해석적으로 풀 수 없으며, 평가 비용이 매우 높습니다.
  • 기존 최적화 알고리즘 (Adam, L-BFGS-B, Differential Evolution 등) 은 미분 정보나 대량의 함수 평가에 의존하므로, 비용이 높은 블랙박스 함수에는 적용하기 어렵습니다.
  • 베이지안 최적화 (Bayesian Optimisation, BO) 는 이를 해결하기 위한 대안으로 부상했으나, 기존 Python 패키지들은 코드 복잡도가 높거나 (예: BoTorch), 병렬 처리를 지원하지 않거나, 사용자에게 지나치게 많은 옵션을 제공하여 비전문가가 접근하기 어렵다는 문제가 있었습니다.

2. 방법론 (Methodology)

논문은 NUBO (Newcastle University Bayesian Optimisation) 라는 새로운 Python 패키지를 제안하며, 이는 다음과 같은 방법론적 특징을 가집니다.

• 핵심 알고리즘:

  • 대리 모델 (Surrogate Model): 목적 함수를 근사하기 위해 가우시안 프로세스 (Gaussian Process, GP) 를 사용합니다. NUBO 는 GPyTorch 를 기반으로 하며, Matérn 5/2 ARD 커널과 상수 평균 함수를 기본으로 사용합니다.
  • 획득 함수 (Acquisition Function): 다음 평가 지점을 선택하기 위해 기대 개선량 (Expected Improvement, EI) 과 상위 신뢰 구간 (Upper Confidence Bound, UCB) 을 지원합니다.
  • 병렬 및 비동기 처리: 분석적 획득 함수는 순차적 단일 지점 최적화에 제한되므로, NUBO 는 몬테카를로 (Monte Carlo) 샘플링을 통해 획득 함수를 근사화하여 병렬 다중 지점 (Parallel Multi-point) 및 비동기 (Asynchronous) 최적화를 지원합니다.

• 설계 철학 (Transparency & Usability):

  • 투명성: 전체 코드가 약 1,322 줄 (핵심 알고리즘) 로 구성되어 있어 BoTorch(약 38,419 줄) 에 비해 훨씬 간결하고 이해하기 쉽습니다.
  • 모듈화: 사용자가 최적화 루프를 직접 구성할 수 있도록 GP, 획득 함수, 최적화 전략 등을 모듈 단위로 제공합니다.
  • 유연한 최적화 전략:
    • 순차적 단일 지점 (Sequential Single-point): L-BFGS-B 또는 SLSQP 최적화기를 사용하여 분석적 획득 함수를 최적화합니다.
    • 병렬 다중 지점 (Parallel Multi-point): Adam 최적화기를 사용하여 몬테카를로 기반 획득 함수를 최적화하며, 'Joint' 또는 'Greedy Sequential' 전략을 지원합니다.
    • 비동기 최적화 (Asynchronous): 평가 중인 점 (pending points) 을 고려하여 최적화 루프를 중단 없이 계속 실행할 수 있습니다.
    • 제약 조건 및 혼합 공간: 등식/부등식 제약 조건과 연속/이산 (Discrete) 변수가 혼합된 입력 공간을 지원합니다.

3. 주요 기여 (Key Contributions)

1. 경량화되고 투명한 구현: 복잡한 베이지안 최적화 알고리즘을 비전문가도 이해하고 수정할 수 있을 정도로 간결한 코드 (1,322 줄) 로 구현했습니다.
2. 광범위한 최적화 지원: 순차적, 병렬, 비동기 최적화를 모두 지원하며, 제약 조건이 있는 문제와 혼합 (연속 + 이산) 입력 공간 문제를 해결할 수 있습니다.
3. 사용자 경험 (UX) 중시: 불필요한 옵션을 배제하고 필수적인 알고리즘만 선별하여 제공함으로써, 연구자가 특정 문제에 맞춰 쉽게 커스터마이징할 수 있도록 했습니다.
4. 오픈 소스 배포: BSD 3-Clause 라이선스 하에 오픈 소스로 제공되어 접근성을 높였습니다.

4. 결과 (Results)

• 성능 비교: NUBO 는 BoTorch, SMAC3, bayes_opt, pyGPGO 등 기존 주요 Python 패키지와 비교 실험을 수행했습니다.
  • 정확도: 2D Levy 함수와 6D Hartmann 함수에 대한 벤치마크에서 NUBO 는 모든 평가가 끝난 후 다른 패키지들보다 실제 최적값에 가장 근접한 결과를 보여주었으며, 결과의 분산이 낮았습니다.
  • 병렬 처리: 병렬 다중 지점 최적화에서도 경쟁력 있는 성능을 발휘했습니다.
  • 단점: NUBO 는 복잡한 패키지에 비해 최적화 루프 한 번을 수행하는 데 소요되는 시간이 약간 더 길 수 있으나 (예: 2.20 초 vs 0.19 초), 평가 비용이 높은 실험/시뮬레이션의 경우 이 차이는 무시할 수준입니다.
• 코드 복잡도: NUBO 는 BoTorch 대비 약 29 배 적은 코드 행으로 구현되어 있어, 알고리즘의 복잡성을 이해하고 디버깅하는 데 훨씬 유리합니다.

5. 의의 및 결론 (Significance)

• 학제간 접근성 향상: 통계학이나 컴퓨터 과학 전문가가 아닌 다른 분야의 연구자들도 베이지안 최적화를 쉽게 활용할 수 있도록 장벽을 낮췄습니다.
• 투명성과 신뢰성: 복잡한 '블랙박스' 소프트웨어가 아닌, 코드를 직접 확인하고 이해할 수 있는 '투명한' 도구를 제공함으로써 과학적 재현성과 신뢰성을 높였습니다.
• 미래 전망: 현재는 단일 목적 함수 최적화에 집중되어 있으나, 향후 다중 충실도 (Multi-fidelity), 다목적 (Multi-objective), 고차원 문제 최적화 기능으로 확장할 계획입니다.

요약하자면, NUBO 는 베이지안 최적화의 강력한 성능을 유지하면서도 코드의 간결성과 투명성을 극대화하여, 고비용 블랙박스 함수 최적화 문제를 해결하는 데 있어 연구자들에게 이상적인 도구로 자리 잡은 Python 패키지입니다.