💻 computer science

LABO: LLM-Accelerated Bayesian Optimization through Broad Exploration and Selective Experimentation

본 논문은 기존 방법들에 비해 우수한 샘플 효율성과 이론적 후회 한계를 달성하기 위해 저비용 LLM 예측을 통한 광범위한 탐색과 불확실성이 높은 영역을 위한 선택적이고 비용이 많이 드는 실제 실험을 동적으로 균형 있게 조화시킴으로써 과학적 발견의 효율성을 향상시키는 새로운 베이지안 최적화 프레임워크인 LABO를 소개한다.

원저자: Zhuo Chen (equal contribution), Xinzhe Yuan (equal contribution), Jianshu Zhang (Shanghai Artificial Intelligence Laboratory, Shanghai, China, School of Computer Science, Shanghai Jiao Tong University

게시일 2026-05-22

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Zhuo Chen (equal contribution), Xinzhe Yuan (equal contribution), Jianshu Zhang (Shanghai Artificial Intelligence Laboratory, Shanghai, China, School of Computer Science, Shanghai Jiao Tong University, Shanghai, China), Jinzong Dong (Shanghai Artificial Intelligence Laboratory, Shanghai, China, School of Automation, Central South University, Changsha, China), Ruichen Zhou (College of New Energy and Materials, China University of Petroleum, Beijing, China), Yingchun Niu (College of New Energy and Materials, China University of Petroleum, Beijing, China), Tianhang Zhou (College of Carbon Neutrality Future Technology, China University of Petroleum, Beijing, China), Yu Yang Fredrik Liu (DeepVerse PTE. LTD., Singapore), Yuqiang Li (Shanghai Artificial Intelligence Laboratory, Shanghai, China), Nanyang Ye (Shanghai Artificial Intelligence Laboratory, Shanghai, China, School of Computer Science, Shanghai Jiao Tong University, Shanghai, China), Qinying Gu (Shanghai Artificial Intelligence Laboratory, Shanghai, China)

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

세상에서 가장 완벽한 샌드위치를 발명하려는 셰프가 되어 상상해 보세요. 재료 예산은 제한되어 있고, 매번 샌드위치를 만들어 맛을 보려면 100 달러가 들고 하루 종일 걸립니다. 최고의 샌드위치를 찾기 위해 수천 개의 샌드위치를 일일이 만들 수는 없습니다. 실제로 어떤 샌드위치를 만들어야 할지 현명하게 선택해야 합니다.

이것은 과학자들이 새로운 약물, 재료, 또는 배터리를 설계할 때 직면하는 문제입니다. "실험"은 비용이 많이 들고 느립니다. 바로 여기서 LABO가 등장합니다.

다음은 이 논문이 간단한 비유를 사용하여 LABO 를 설명하는 방식입니다:

1. 문제: "콜드 스타트"와 "빈 지갑"

전통적인 방법 (베이지안 최적화라고 함) 은 샌드위치를 구운 후에만 맛을 보는 셰프와 같습니다.

콜드 스타트: 시작 단계에서 셰프는 어떤 재료가 잘 어울리는지 전혀 모릅니다. 그들은 맹목적으로 추측해야 하며, 비싼 재료를 낭비하게 됩니다.
예산: 매번 맛보기 테스트에 100 달러가 들기 때문에, 셰프는 몇 개의 샌드위치만 만들 수 있습니다. 너무 자주 틀리게 추측하면 완벽한 레시피를 찾기 전에 돈이 바닥납니다.

2. 새로운 아이디어: "수퍼 테이스터" AI

저자들은 대규모 언어 모델 (LLM) 을 "수퍼 테이스터"로 소개합니다.

수퍼 테이스터: 이 AI 는 수백만 권의 요리책, 과학 논문, 그리고 레시피를 읽어왔습니다. 재료 목록을 보고 실제로 요리하지 않고도 "이 조합이 맛있을 거라고 장담합니다"라고 말할 수 있습니다.
비용: AI 에게 물어보는 데는 거의 비용이 들지 않습니다 (약 1 달러). 100 달러짜리 실제 실험에 비해 빠르고 무료입니다.

3. LABO 의 작동 방식: "게이팅" 시스템

이 논문의 주요 혁신은 AI 를 사용하는 것뿐만 아니라, 언제 그것을 신뢰하고 언제 무시할지 아는 데 있습니다. 그들은 이를 "게이팅 기준 (Gating Criterion)"이라고 부릅니다.

셰프에게 다음과 같은 규칙이 있다고 상상해 보세요:

AI 가 확신할 때: 셰프는 AI 에게 "이 레시피에 대해 어떻게 생각하나요?"라고 묻습니다. AI 가 "읽은 자료에 따르면 이건 훌륭해 보입니다"라고 말하면, 셰프는 아직 그것을 요리하지 않습니다. 대신 예측을 기록만 합니다. 이를 통해 셰프는 머릿속에서 수백 가지 레시피를 무료로 "맛보"며 주방 전체를 탐색할 수 있습니다.
AI 가 불확실할 때: AI 가 "잘 모르겠어요, 이건 좀 이상한 조합이에요"라고 말하거나, 셰프의 과거 경험으로 볼 때 AI 가 틀릴 가능성이 있다면 게이트가 열립니다. 이제 셰프는 진짜 답을 얻기 위해 실제로 샌드위치를 만듭니다 (비싼 실제 실험).

마법 같은 점: 이 시스템은 AI 를 광범위한 탐색 (전체 메뉴 보기) 에 신뢰하도록 학습시키지만, AI 가 혼란스러워하거나 진짜 답이 가장 불확실한 특정 부분에서만 비싼 비용을 아껴 사용합니다.

4. "보정" 메커니즘

이 논문은 KOH 모델이라고 불리는 교묘한 수학 트릭도 언급합니다.

AI 의 예측을 샌드위치의 대략적인 스케치라고 생각해 보세요.
"불일치 (Discrepancy)"는 스케치와 실제 맛 사이의 차이입니다.
LABO 는 다음과 같은 선을 그리는 법을 배웁니다: "AI 는 보통 80% 는 맞지만, 여기서는 20% 틀립니다." LABO 는 저렴한 AI 스케치를 사용하여 전체적인 모양을 맞춘 후, 스케치가 흐릿한 특정 부분만 수정하기 위해 비용을 사용합니다.

5. 결과: 더 적은 비용으로 더 큰 효과

이 논문은 배터리용 신소재 설계나 화학 반응 최적화와 같은 실제 과학적 작업에서 이를 테스트했습니다.

결과: LABO 는 기존 방법보다 더 좋은 레시피 (해결책) 를 더 빠르게 찾았습니다.
효율성: LABO 는 전통적인 방법과 동일한 결과를 달성했지만, 훨씬 적은 수의 비싼 "실제" 실험을 사용했습니다. 마치 AI 가 먼저 나쁜 아이디어를 걸러냈기 때문에 30 개가 아니라 10 개의 샌드위치만 맛보아 최고의 샌드위치를 찾은 것과 같습니다.
안전성: AI 가 때때로 잘못된 조언을 하더라도 "게이트"가 이를 잡아냅니다. AI 의 신뢰도가 떨어지면 시스템이 자동으로 실제 실험으로 전환하여 셰프가 잘못된 추측에 돈을 낭비하지 않도록 보장합니다.

요약

LABO는 저렴하고 지식이 풍부한 AI 를 사용하여 광범위한 검색 공간을 스캔하는 스마트한 워크플로우입니다. AI 가 불확실하거나 AI 의 추측을 검증해야 할 때에만 실제 실험에 비싼 비용을 사용합니다. 이를 통해 과학자들은 수천 건의 비용이 많이 드는 물리적 테스트를 수행할 필요 없이, 이전보다 훨씬 더 빠르고 저렴하게 최고의 해결책을 찾을 수 있습니다.

기술 요약: LABO - LLM 가속 베이지안 최적화

문제 정의

신약 개발, 촉매 설계, 분자 공학과 같은 분야의 과학적 발견은 주로 제형 최적화에 크게 의존합니다. 이러한 작업은 비용이 많이 들고 시간이 소요되며 노동 집약적인 실험을 특징으로 하여, 심각한 데이터 부족과 제한된 평가 예산으로 이어집니다. 베이지안 최적화 (BO) 는 탐색과 활용을 균형 있게 조절하여 이러한 복잡한 설계 공간을 탐색하는 표준 전략이지만, 두 가지 근본적인 한계에 직면해 있습니다:

콜드스타트 문제: 최적화 초기의 데이터 부족이 초기 단계 탐색을 방해합니다.
고차원적 과제: 제한된 실험 예산 하에서, 특히 작업별 관측치가 희소할 때 고차원 설계 공간을 탐색하는 것은 여전히 어렵습니다.

최근 노력들은 사전 지식 (예: 문헌, 프로토콜) 을 통합하기 위해 대규모 언어 모델 (LLM) 을 BO 파이프라인에 통합해 왔으나, 기존 방법들은 LLM 을 초기화나 보조 신호 소스로만 사용하는 경향이 있습니다. 이들은 종종 실제 실험에 비해 LLM 의 평가 비용이 현저히 낮다는 점을 충분히 활용하지 못해, 검색 공간 전반에 걸친 광범위하고 저비용의 탐색을 지원하는 능력이 제한됩니다.

방법론: LABO 프레임워크

저자들은 LABO(LLM 가속 베이지안 최적화) 를 제안합니다. 이는 단일 BO 루프 내에서 LLM 예측과 실제 실험 관측치를 체계적으로 통합하는 이중 정밀도 (dual-fidelity) 프레임워크입니다. LABO 는 LLM 을 비구조화된 과학적 사전 지식과 인-컨텍스트 추론에서 도출된 고유한 "LLM 정밀도" 정보의 원천으로 취급합니다.

1. 모델링: 케네디 - 오하간 (KOH) 결합 가우시안 프로세스

LABO 는 실제 정밀도 목적 함수 $f_R(x)$ 와 LLM 정밀도 예측 $f_L(x)$ 간의 관계를 모델링하기 위해 KOH 가정을 채택합니다. 실제 정밀도 함수는 다음과 같이 분해됩니다:
$f_R(x) = \rho f_L(x) + \delta(x)$
여기서:

$\rho$ 는 정밀도 간의 전역 보정을 나타내는 스칼라 스케일링 인자입니다.
$\delta(x)$ 는 LLM 에서 설명되지 않는 구조적 차이 또는 편향을 포착하는 가산적 불일치 과정입니다.
$f_L(x)$ 와 $\delta(x)$ 는 모두 독립적인 평균 0 의 가우시안 프로세스 (GP) 로 모델링됩니다.

이 공식화는 대리 모델이 값싼 LLM 쿼리를 사용하여 실제 정밀도 사후 확률을 업데이트할 수 있게 합니다. LLM 예측이 관측치와 잘 일치하면 불일치는 작게 유지되며, 모델은 LLM 사전 지식을 효율적으로 활용합니다. 예측이 신뢰할 수 없으면 불일치 분산이 우세해져 실제 세계 평가의 필요성을 신호합니다.

2. 의사 결정 메커니즘: 불일치 우세 게이팅

비싼 실제 정밀도 소스를 쿼리할지 아니면 값싼 LLM 소스에 의존할지 결정하기 위해, LABO 는 불일치 우세 비율에 기반한 게이팅 기준을 사용합니다:
$p_\Delta(x) = \frac{\sigma^2_\delta(x)}{\rho^2\sigma^2_L(x) + \sigma^2_\delta(x)}$
이 비율은 총 예측 불확실성 중 불일치 항 $\delta(x)$ 에 기인하는 비율을 측정합니다.

신뢰할 수 있는 영역 ( $p_\Delta(x) \le \tau$ ): 불일치 불확실성이 총 불확실성에 비해 낮으면 LLM 예측이 신뢰할 수 있는 것으로 간주됩니다. LABO 는 실제 실험을 수행하지 않고 LLM 정밀도 GP 를 사용하여 대리 모델을 업데이트합니다.
신뢰할 수 없는 영역 ( $p_\Delta(x) > \tau$ ): 불일치가 우세하면 LLM 신호가 불확실성을 줄이기에는 부족합니다. LABO 는 LLM 및 불일치 모델을 모두 업데이트하기 위해 실제 정밀도 실험을 트리거합니다.

3. 최적화 워크플로우

워마스트: LLM 에 도메인 지식을 프롬프트하여 초기 실제 실험을 위한 잠재력이 높은 후보를 제안하고, 검색 공간을 포괄하는 광범위한 LLM 정밀도 예측 세트를 생성합니다 (라틴 초입방체 샘플링을 통해).
반복 루프: LABO 는 복합 대리 모델에서 획득 함수 (예: UCB) 를 사용하여 후보를 선택합니다. 각 후보에 대해 LLM 을 쿼리하고, 게이팅 기준을 평가하며, 필요할 때만 실제 실험을 선택적으로 수행합니다.

주요 기여

원칙적 프레임워크: KOH 결합 GP 모델을 사용하여 실제 실험과 함께 LLM 에서 도출된 예측을 통합하는 이중 정밀도 BO 프레임워크인 LABO 의 제안.
이론적 보장: LLM 가이드가 정보적일 때 LABO 가 샘플 효율성을 향상시킨다는 것을 보여주는 누적 후회 (regret) 한계의 확립. 분석에 따르면, 후회는 LLM 신호가 노이즈가 있거나 오해의 소지가 있더라도 실제 실험이 실제로 필요한 제한된 실제 정밀도 영역 $X^*_R$ 의 정보 용량에 비례하여 증가하며, 이는 전체 검색 공간보다 훨씬 작습니다.
실증적 검증: 다양한 과학적 최적화 작업 전반에 걸친 LABO 의 실용적 유용성 입증. 고정된 실제 정밀도 예산 하에서 기존 방법들보다 일관되게 더 높은 성능의 제형을 더 효율적으로 찾음을 보여줌.

실험 결과

저자들은 화학, 재료 과학, 에너지 시스템, 영양학 (예: COF 가스 분리, 풀러렌 반응 수율, 흐름 배터리 성능) 을 아우르는 여섯 가지 과학적 최적화 작업에서 LABO 를 평가했습니다.

성능: LABO 는 Vanilla BO, LLAMBO, BOPRO, CAKE 를 포함한 베이스라인을 일관되게 능가했습니다. 고차원 작업 (예: COF, 샌드위치) 에서 LABO 는 제한된 예산 내에서 더 나은 최종 목적 함수 값을 달성했습니다. 저차원 작업에서는 안정적인 수렴을 유지했습니다.
샘플 효율성: 게이팅 기준은 불확실성이 높은 하위 영역에 실제 정밀도 평가를 집중시키고, 광범위한 전역 탐색에는 LLM 쿼리를 사용함으로써 성공적으로 작동했습니다. 그 결과, 효과적인 탐색 영역 $X^*_R$ 이 크게 축소되었습니다.
강건성: 제거 실험 (ablation studies) 을 통해 성능 향상이 초기화뿐만 아니라 사전 지식에 기반한 LLM 예측의 정보적 성격에서 비롯됨을 확인했습니다. LABO 는 다양한 LLM 백본 (크기와 추론 능력의 차이) 과 다양한 게이팅 임계값 ( $\tau$ ) 에서도 강건하게 유지되었습니다.
비용 - 편익: COF 작업에 대한 비용 분석에서, LLM 쿼리당 \ $1, 실제 실험당 \$ 100 을 가정할 때, LABO 는 164 개의 LLM 쿼리와 8 개의 실제 실험을 사용하여 총 비용 \ $964 로 Vanilla BO 와 동일한 성능 수준을 달성했습니다. 반면 Vanilla BO 는 60 개의 실제 실험으로 \$ 6000 이 소요되었습니다.

중요성과 주장

이 논문은 LABO 가 과학적 발견 워크플로우에 LLM 을 통합하기 위한 실용적이고 이론적으로 근거 있는 접근법을 제공한다고 주장합니다. LLM 예측과 현실 간의 불일치를 명시적으로 모델링함으로써, LABO 는 LLM 을 맹목적으로 신뢰하는 함정을 피하면서도 저비용이고 광범위한 탐색 능력을 활용합니다.

저자들은 그들의 접근 방식이 LLM 의 정확도에 대한 구조적 가정을 요구하지 않으며, 프레임워크가 공간적으로 변하는 불확실성에 적응한다고 강조합니다. 이론적 분석에 따르면, LABO 는 LLM 신호가 정보적이지 않은 도메인의 점진적으로 제한된 부분 집합으로 값비싼 실제 실험을 제한함으로써 우수한 샘플 효율성을 달성하며, 이는 실험 예산을 증가시키지 않고도 최적의 과학적 제형의 발견을 가속화합니다.