📊 statistics

Generative Bayesian Optimization: Generative Models as Acquisition Functions

본 논문은 전통적인 대리 모델에 의존하지 않고 고차원 및 조합 공간에서 대규모 배치 최적화를 효율적으로 수행할 수 있도록 유틸리티 값에 직접 훈련된 생성 모델을 획득 함수로 활용하는 새로운 베이지안 최적화 프레임워크를 소개합니다.

원저자: Rafael Oliveira, Daniel M. Steinberg, Edwin V. Bonilla

게시일 2026-05-15

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Rafael Oliveira, Daniel M. Steinberg, Edwin V. Bonilla

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

케이크를 위한 절대적으로 최고의 레시피를 찾으려 한다고 상상해 보세요. 하지만 매우 엄격한 규칙이 있습니다: 케이크를 맛볼 수 있는 횟수가 제한되어 있으며, 매번 맛볼 때마다 손이 떨리거나 오븐 온도가 약간씩 달라지는 것과 같은 무작위 노이즈로 인해 맛이 약간씩 다를 수 있습니다. 이것이 **베이지안 최적화 (Bayesian Optimization, BO)**의 핵심 문제입니다: 매우 드물게 시도해 볼 수 있는 거대하고 복잡한 세상에서 '최고'의 것을 찾는 것입니다.

전통적으로 이 문제를 해결하기 위해 과학자들은 두 단계의 '중개자' 방식을 사용합니다. 먼저 지금까지 맛본 것을 바탕으로 케이크 세상에 대한 지도 (통계적 모델) 를 만듭니다. 그런 다음 그 지도를 사용해 다음에 맛볼 가장 좋은 위치가 어디일지 추측합니다. 마지막으로 그 지도 위의 정확한 정점을 찾기 위해 어려운 수학 퍼즐을 풀어야 합니다.

구식의 문제점:
만약 '케이크'가 실제로는 복잡한 단백질 설계나 긴 텍스트 시퀀스라면, 지도는 너무 거대하고 복잡해져서 '중개자' 단계가 느리고 비싸며 오류에 취약해집니다. 마치 단 하나의 피크닉 장소를 찾기 위해 대륙 전체의 상세한 지도를 그려보려는 것과 같습니다.

새로운 해결책: GenBO (Generative Bayesian Optimization)
이 논문은 GenBO라는 새로운 전략을 소개합니다. 지도를 만든 다음 그 지도를 탐색하는 대신, GenBO 는 새로운 것을 생성하는 AI 인 '창의적 생성기 (creative generator)'에게 직접 최고의 후보를 만드는 법을 배우게 합니다.

간단한 비유를 들어 작동 방식을 설명해 보겠습니다:

1. '맛보기' 교사

완벽한 케이크를 굽는 법을 배우려는 학생들 (AI 모델) 이 있다고 상상해 보세요.

구식 방식: 학생들에게 케이크를 설명하는 교과서 (지도) 를 줍니다. 그들은 책을 읽고 이론을 이해하려 한 다음 무엇을 구울지 추측합니다.
GenBO 방식: 교과서를 완전히 건너뜁니다. 대신 학생들이 구운 케이크 목록과 '좋음', '보통', '나쁨'이라는 간단한 점수만 줍니다. 그리고 "맛이 '좋음'인 케이크를 더 많이 만들어 보세요"라고 말합니다.

2. '선호도'에서 배우기 (DPO 연결)

이 논문은 현재 대화 중인 것과 같은 대규모 언어 모델 (LLM) 을 훈련시키는 방식에서 영리한 트릭을 차용합니다. 일반적으로 AI 가 도움이 되도록 가르치기 위해 인간이 좋아한 답변 하나와 좋아하지 않은 답변 하나를 보여줍니다. AI 는 '좋아한' 것을 선호하도록 학습합니다.

GenBO 는 최적화에서도 유사한 일을 합니다:

두 개의 후보 솔루션 (예: 두 가지 다른 단백질 시퀀스) 을 가져옵니다.
어느 것이 더 잘 수행되었는지 (더 높은 '유틸리티' 점수를 가졌는지) 확인합니다.
AI 에게 말합니다: "승자와 비슷한 것을 더 많이 생성하고, 패자와 비슷한 것은 더 적게 생성하세요."
AI 는 그 사이에 복잡한 지도가 필요 없이 이 선호도를 직접 학습합니다.

3. '밀도' 트릭

AI 를 후보를 내뿜는 기계라고 생각해 보세요.

구식 방법에서는 기계가 산의 단일 최고 정점을 찾으려 합니다.
GenBO 에서는 기계가 '좋은' 케이크가 발견된 계곡에 씨앗 (후보) 을 더 많이 뿌리도록 학습합니다. 정확한 정점을 찾을 필요는 없습니다. 단지 '좋은' 영역이 어디인지 알면 그곳에 한 번에 씨앗 한 무더기를 떨어뜨리면 됩니다.

이것이 왜 중요한가요?

이 논문은 세 가지 주요 이점을 주장합니다:

속도와 규모: '지도 제작' 단계를 건너뛰기 때문에 대규모 배치 처리가 가능합니다. 1,000 개의 케이크 레시피를 한 번에 테스트해야 한다고 상상해 보세요. 구식 방식은 이에 어려움을 겪지만, GenBO 는 좋은 가능성이 있는 1,000 가지 변형을 생성하여 바로 보냅니다.
간단함: 전체 작업을 하나의 모델로 수행합니다. 구식 방식은 지도를 만드는 모델과 생성하는 모델 등 두 개의 모델을 사용했는데, 이는 첫 번째 모델의 오류가 두 번째 모델을 망칠 수 있음을 의미했습니다. GenBO 는 그 중개자를 제거합니다.
복잡성 처리: '조합적' 문제, 즉 단순한 다이얼을 조정하는 것이 아니라 단어의 글자나 단백질의 아미노산처럼 부분을 섞고 맞추는 문제에 탁월하게 작동합니다.

결과

저자들은 이 방법을 두 가지 유형의 퍼즐로 테스트했습니다:

텍스트 최적화: 'ALOHA'에 가장 가까운 5 글자 단어를 찾는 시도.
단백질 설계: 단백질을 안정화하거나 표면적을 늘리기 위한 최고의 아미노산 시퀀스를 찾는 시도.

이러한 테스트에서 GenBO 는 복잡하고 다단계인 방법들과 마찬가지로 잘 수행되었으며 (때로는 더 좋게), 중간 지도를 만드는 시간을 낭비하지 않았기 때문에 3 배 더 빠르게 수행했습니다.

결론

이 논문은 최고의 솔루션을 찾기 위해 복잡한 '대리' 지도가 필요하지 않다고 주장합니다. 대신 과거 시도 중 어떤 것이 가장 잘 작동했는지 단순히 살펴봄으로써 생성형 AI 가 좋은 솔루션이 어떤 모습인지 '직접 느끼도록' 훈련시킬 수 있습니다. 이는 '영역을 지도화하는 것'에서 '최고의 장소들의 분위기를 배우는 것'으로의 전환을 의미하며, 생물학 및 공학 같은 복잡한 분야에서 더 빠르고 대규모의 발견을 가능하게 합니다.

기술 요약: 생성적 베이지안 최적화

문제 정의

베이지안 최적화 (BO) 는 가우시안 프로세스 (GPs) 와 같은 확률적 대리 모델을 활용하여 획득 함수로 알려진 기대 유틸리티 기준을 최대화함으로써 복잡한 블랙박스 최적화 문제를 해결하는 표준 접근법입니다. 효과적이기는 하지만, 전통적인 BO 는 배치 설정에서, 특히 고차원 및 조합적 설계 공간 (예: 단백질 설계) 을 다룰 때 상당한 확장성 문제에 직면합니다.

기존의 배치 BO 방법들은 종종 "판타지" 관측치를 샘플링하여 후보 집합을 점진적으로 구축하는 데 의존하는데, 이 과정은 배치 크기가 커질수록 계산적으로 비실용적이 됩니다. 대안적으로, 제안 분포로서 생성 모델을 훈련하는 접근법들은 일반적으로 이중 단계 프로세스를 사용합니다: 먼저 목적 함수나 획득 함수를 근사하는 대리 (회귀 또는 분류) 모델을 적합시키고, 그 위에 생성 모델을 훈련하는 것입니다. 이러한 이중 단계 파이프라인은 근사 오차를 누적시키고 계산 비용을 증가시킵니다. 또한, 많은 기존 생성적 접근법들은 특정 획득 함수 (예: 개선 확률) 에 특화되어 있거나 추가적인 오차 원인을 도입하는 명시적 보상 모델을 필요로 합니다.

방법론

본 논문은 중간 대리 모델 없이 생성 모델을 직접 배치 BO 를 위한 후보 솔루션 샘플러로 변환하는 통합 프레임워크인 **생성적 베이지안 최적화 (GenBO)**를 제안합니다. 핵심 통찰은 BO 획득 함수 (기대 유틸리티) 에 비례하는 밀도를 갖는 목표 분포를 근사하도록 생성 모델을 훈련하여, 목적 함수 $f$ 가 아닌 최적 위치 $x^*$ 에 대한 직접 추론을 수행하는 것입니다.

이 프레임워크는 관측치에서 도출된 노이즈가 있는 유틸리티 값을 사용하여 생성 모델 $q$ 를 훈련하기 위한 두 가지 주요 전략을 제공합니다:

선호 기반 학습 (DPO 에서 영감):
대규모 언어 모델을 위한 직접 선호도 최적화 (DPO) 에서 영감을 받아, 이 접근법은 쌍별 대비 손실 (pairwise contrastive loss) 을 공식화합니다. 중간 보상 모델을 훈련하는 대신, 생성 모델은 입력 쌍 $(x_{i,1}, x_{i,2})$ 과 해당 유틸리티 값 $(u_{i,1}, u_{i,2})$ 에 대해 직접 훈련됩니다.
- 강건한 선호 손실 (rPL): 블랙박스 평가에 내재된 노이즈 (유틸리티 차이 부호가 뒤집힐 수 있음) 를 처리하기 위해, 저자들은 DPO 손실의 강건한 버전을 사용합니다. 이 손실은 명시적 보상 모델과 분할 함수의 필요성을 제거하고, 생성 모델을 목표 분포 $p^*_u(x) \propto p_0(x) \exp(\frac{1}{\eta} E[u(y)|x])$ 를 근사하도록 직접 최적화합니다.
발산 기반 학습:
이 접근법은 발산 최소화를 사용하여 생성 모델을 목표 분포와 직접 일치시키도록 훈련합니다.
- 정방향 KL: 모델은 제안 분포와 목표 분포 간의 커널-라이브 (Kullback-Leibler, KL) 발산을 최소화합니다. 저자들은 중요도 샘플링 가중치를 사용하여 편향되지 않은 훈련 목적 함수를 유도합니다.
- 균형 정방향 KL: 표준 정방향 KL 이 개선 임계값과 같은 0 유틸리티 영역을 처벌하지 못하는 문제를 해결하기 위해, 균형 잡힌 변형이 도입됩니다. 이는 브레그만 발산에서 유도된 부드러운 패널티 항을 추가하여, 모델이 저유틸리티 영역에서 높은 확률 밀도를 유지하지 않도록 보장합니다.

이 프레임워크는 기대 유틸리티로 표현 가능한 모든 획득 함수 (예: 개선 확률, 기대 개선, 소프트 기대 개선) 에 적용 가능하며, 평균 및 소프트플러스 변형을 포함한 다양한 유틸리티 함수를 지원합니다.

주요 기여

단일 모델 프레임워크: GenBO 는 중간 회귀 또는 분류 대리 모델의 필요성을 제거하여, 노이즈가 있는 관측치에서 단일 생성 모델을 직접 훈련함으로써 근사 오차와 계산 오버헤드를 줄입니다.
일반 유틸리티 인코딩: 이 방법은 일반적인 유틸리티 함수를 생성 모델의 훈련 목적 함수에 직접 인코딩하여, 선호도 기반 피드백을 넘어 일반 보상 신호 및 손실 함수로 확장합니다.
이론적 수렴: 본 논문은 약한 정칙성 가정 하 (예: 재생 커널 힐베르트 공간에 속하는 모델) 에 생성 모델의 시퀀스가 점근적으로 최적 목표 분포를 근사하는 분포를 따른다는 이론적 분석을 제공합니다. 이 분석은 근사 오차가 커널 방법과 유사하게 집중됨을 확립합니다.
확장성: 이 접근법은 전통적인 BO 와 이중 단계 생성적 방법들이 어려움을 겪는 대규모 배치 및 고차원 조합 공간으로 확장되도록 설계되었습니다.

실험 결과

저자들은 텍스트 최적화 ("ALOHA"와의 편집 거리 최소화) 와 단백질 설계 (안정성 및 용매 접근 표면적 최적화, 그리고 합성 Ehrlich 함수) 를 포함한 까다로운 시퀀스 최적화 작업에서 GenBO 를 평가했습니다.

성능: rPL(강건한 선호 손실) 과 bfKL(균형 정방향 KL) 을 사용하는 GenBO 변형들은 CbAS, VSD(변분 검색 분포), LaMBO-2 를 포함한 강력한 베이스라인과 비교하여 경쟁력 있거나 우수한 성과를 거두었습니다.
효율성: GenBO 는 중간 대리 적합 단계를 제거함으로써 텍스트 최적화 작업에서 VSD 보다 약 3 배 빠르며 상당한 런타임 개선을 보여주었습니다.
강건성: 단백질 설계 작업에서 GenBO 변형들은 SASA 작업에서 빠른 수렴을 보였으며, 더 까다로운 안정성 작업에서는 다른 방법들과 유사하게 처리했습니다. 실험은 GenBO 가 분류기 기반 베이스라인에 비해 임계값 어닐링 스킴에 상대적으로 덜 민감함을 강조했습니다.
배치 확장: 이 방법은 고차원 단백질 시퀀스 공간 ( $M=64$ ) 에서 대규모 배치 크기 ( $B=128$ ) 를 성공적으로 처리하여, 배치 크기 증가에 따른 단조로운 개선을 보여주었습니다.

중요성 및 주장

본 논문은 GenBO 가 블랙박스 최적화를 위한 다단계 유도 생성 방법들에 비해 더 간단하고 확장 가능한 대안을 제공한다고 주장합니다. 중간 대리 모델을 제거함으로써 GenBO 는 단일 생성 모델 학습으로 파이프라인을 축소하여 계산 자원을 절감하고 근사 오차의 원인을 제거합니다.

저자들은 GenBO 를 무가능도 (likelihood-free) BO 와 현대적 생성 모델링 기법을 통합하는 "일반적인 레시피"로 위치시킵니다. 그들은 현재 프레임워크가 기대 유틸리티로 표현 가능한 획득 함수에 초점을 맞추고 있지만, 이론적 기반이 다른 스코링 규칙과 모델 유형 (예: 확산 모델, 흐름 매칭) 으로 확장이 가능함을 강조합니다. 이 연구는 유틸리티 기반 의사-가능도 인자에 의해 주도되는 최적 위치에 대한 직접 추론이 복잡하고 고차원인 설계 공간을 최적화하는 데 실행 가능하고 효율적인 경로임을 시사합니다.