기술 요약: BEACON

문제 정의

본 논문은 화학, 재료 과학, 분자 설계 등에서 흔히 발생하는 비용이 많이 들고 노이즈가 있는 블랙박스 시스템의 맥락에서 신규성 탐색(Novelty Search, NS) 문제를 다룹니다. 단일 스칼라 최적값을 찾는 전통적인 최적화와 달리, 여기서의 목표는 제한된 평가 예산 내에서 달성 가능한 다양한 시스템 행동(결과)을 발견하는 것입니다.

형식적으로, 이 문제는 벡터 값 블랙박스 함수 $f: \mathcal{X} \to \mathcal{O}$를 포함하며, 여기서 $\mathcal{X} \subset \mathbb{R}^d$는 입력 공간이고 $\mathcal{O} \subset \mathbb{R}^n$은 결과(행동) 공간입니다. 목적은 결과 공간의 유한한 분할 내에서 발견된 서로 다른 행동 영역의 비율로 정의되는 **도달 가능성(reachability)**을 최대화하는 것입니다.

진화 알고리즘과 같은 메타 휴리스틱에 기반한 기존의 NS 방법들은 일반적으로 샘플 효율성이 낮습니다. 이러한 방법들은 각 함수 평가(예: 시뮬레이션 또는 물리적 실험)가 매우 비용이 많이 드는 환경에서 어려움을 겪습니다. 또한, 표준 베이지안 최 optimization(BO)은 결과를 하나의 효용 함수로 축소시키기 때문에, 과학적으로 가치 있는 중간 단계나 희귀한 행동을 간과할 가능성이 있어 이 설정에 적합하지 않습니다.

방법론: BEACON

저자들은 BEACON(Bayesian Exploration Algorithm for outCOme Novelty)을 제안합니다. 이는 베이지안 최적화 원리에 영감을 얻었으나 신규성 탐색에 맞게 조정된 샘플 효율적인 전략입니다.

핵심 구성 요소

1. 다중 출력 가우시안 프로세스(MOGP) 대리 모델:
   BEACON은 스칼라 목적 함수를 모델링하는 대신, 입력-결과 맵 $f$에 직접 확률적 대리 모델을 배치합니다. 이 프레임워크는 전체 벡터 값 함수를 모델링하기 위해 다중 출력 GP를 활용합니다. 대부분의 실험에서 저자들은 단순성을 유지하기 위해 독립 출력 GP 모델(각 결과 좌표마다 하나의 스칼라 GP를 적합)을 사용하지만, 프레임워크는 상관관계가 있는 출력과 특정 도메인을 위한 화학 인지 커널(예: Tanimoto-fragprint)을 지원합니다.

2. 톰슨 샘플링 기반 획득 함수:
   BEACON은 노이즈가 제거된 아카이브에 관찰된 이전 결과들로부터 후보 입력의 그럴듯한 결과 사이의 거리를 기준으로 후보를 점수 매기는 새로운 획득 함수를 도입합니다.

   • 노이즈 제거(Denoising): 관측 노이즈의 영향을 완화하기 위해 가공되지 않은 관측값은 사후 평균 예측값($\mu_D$)으로 대체됩니다.
   • 불확실성 정량화: 알고리즘은 MOGP 사후 분포로부터 샘플 함수 $g(x)$를 추출합니다(톰슨 샘플링 사용).
   • 점수 산정: 후보 $x$에 대한 신규성 점수 $\alpha_{NS}$는 $g(x)$와 노이즈가 제거된 아카이브 내의 $k$개 최근접 이웃 사이의 평균 거리입니다.
     $$\alpha_{NS}(x | g, D) = \frac{1}{k} \sum_{i=1}^{k} \text{dist}(g(x), \mu_D(x_i^*))$$
   • 최적화: 이 획득 함수는 여러 번의 재시작과 함께 경사 기반 방법(예: L-BFGS-B)을 사용하여 최적화됩니다. $k$-최근접 이웃 계산에서의 정렬 연산에 미분 가능한 완화 기법을 사용하여 효율적인 경사 기반 극대화를 가능하게 합니다.

3. 확장 기능:

   • 고차원 스케일링: 고차원 입력 공간의 경우, BEACON은 GP 길이 척도(length scales)에 희소성을 유도하기 위해 SAAS (Sparse Axis-Aligned Subspace) 사전 분포를 통합하거나, 구조화된 이산 입력을 위해 화학 인지 대리 모델(예: 분자 커널)을 활용합니다.
   • 사용자 가이드 제약 조건 (UG-BEACON): 이 프레임워크를 통해 사용자는 이미 탐색된 영역을 제외하거나 관심 있는 특정 영역에 탐색 노력을 집중하기 위해 결과 공간의 분할을 정의할 수 있습니다.

주요 기여

본 논문은 네 가지 주요 기여를 설명합니다:

1. 알고리즘 개발: 제한된 평가 횟수로 행동 공간의 도달 가능성을 개선하도록 설계된, 비용이 많이 들고 노이즈가 있는 블랙박스 시스템을 위한 새로운 NS 알고리즘인 BEACON을 소개합니다.
2. 새로운 획득 전략: 연속적인 결과 공간에서 작동하는 톰슨 샘플링 기반 획득 함수를 도입합니다. 이는 고정된 이산화된 행동 분할에 대한 직접적인 최적화 없이도 예측 불확실성과 관측 노이즈를 고려합니다.
3. 확장성: 희소성을 유도하는 사전 분포 및 도메인 특화 대리 모델링(예: 분자 그래프)을 통해 고차원 설정으로 확장합니다.
4. 실증적 검증: 합성 벤치마크, 재료 발견(금속-유기 골격체, MOF), 분자 특성 발견 및 강화 학습 과제에 걸쳐 BEACON의 효능을 입증했습니다.

결과

저자들은 NS-EA, NS-DEA, 최대 분산 샘플링, 무작위 탐색을 포함한 여러 베이스라인과 BEACON을 비교 평가했습니다.

• 합성 벤치마크: Ackley, Rosenbrock, Styblinski-Tang 함수에서 BEACON은 특히 높은 차원의 입력 공간(최대 12차원)에서 일관되게 가장 높은 도달 가능성을 달연했습니다. 또한 롱테일 분포를 가진 합성 다중 출력 문제에서도 베이스라인보다 효과적으로 낮은 밀도의 테일 영역을 커버하며 성능을 입증했습니다.
• 재료 발견: 수소 흡수, 질소 흡수, 그리고 MOF에서의 CO2/CH4 공동 흡수 작업을 포함한 과제에서 BEACON은 평가 예산 내에서 이산화된 행동 공간의 완전한 커버리지를 달s성하며 적용 가능한 베이스라인들을 능가했습니다.
• 분자 발견: 물 용해도, ESOL(2,133차원 입력을 가진 수용성), LogD 과제에서 BEACON은 우수한 커버리지를 보여주었습니다. 고차원 분자 공간에서 성능을 내는 데 있어 과제 특화 커널(Tanimoto-fragprint)과 SAAS 사전 분포의 사용이 결정적이었습니다.
• 기만적 지형(Deceptive Landscapes): 기만적인 보상 지형을 가진 강화 학습 미로 탐색 작업에서, BEACON은 모든 반복 실험에서 일관되게 과제를 해결한 유일한 방법이었으며, 반면 보상 기반 방법(예: Expected Improvement)이나 다른 신규성 베이스라인들은 지역적 함정(local traps)에서 벗어나는 데 실패했습니다.
• 사용자 가이드 발견: 제약이 있는 과제(MNIST 숫자 발견 및 오일 흡착제 재료 설계)에서 UG-BEACON은 사용자 선호도를 성공적으로 통합하여 제약 없는 버전보다 타겟 행동을 더 빠르게 발견했습니다.

의의 및 주장

본 논문은 BEACON이 전통적인 진화적 접근 방식이 샘플 효율성이 너무 낮은 도메인에서 신규성 기반 탐색을 실용적으로 만든다고 주장합니다. 베이지안 대리 모델링을 활용함으로써, BEACON은 모델의 불확실성과 노이즈를 엄격하게 고려하면서 미탐색 결과 영역을 향해 평가를 유도할 수 있습니다.

저자들은 BEACON을 단일 최적값이 아닌 속성의 폭넓은 커버리지가 과학적 목표인 저데이터 발견 설정을 위한 도구로 포지셔닝합니다. 그들은 이 접근 방식이 알려진 타겟을 최적화하는 것만큼이나 이전에 보지 못한 현상을 발견하는 것이 중요한 화학 및 재료 과학 분야의 자율 실험 워크플로우에 특히 가치가 있다고 제안합니다.

논문은 대리 모델이 급격한 변화를 과도하게 매끄럽게 만드는(over-smooth) '날카로운' 결과 공간(예: 상전이)에서의 한계를 인정하며, 학습 가능한 구조가 존재하지 않는 경우 이러한 발견은 여전히 광범위한 탐색이나 확률적 샘플링에 의존할 수 있음을 언급합니다. 그러나 그들은 프레임워크가 이러한 문제를 완화하기 위해 하이브리드 전략(예: 공간 채우기 초기화)을 통합할 수 있을 만큼 유연하다고 주장합니다.