💬 NLP

Closed-Loop Bayesian Molecular Inverse Design with Semantic LLM Surrogates

본 논문은 텍스트 지시문과 최적화 이력을 직접 추론하기 위해 동결된 대규모 언어 모델을 시맨틱 대리 모델(semantic surrogate)로 활용하여, 동결된 생성기(generator)를 가이드할 정보가 풍부한 참조 분자를 선택함으로써 약물 및 재료 설계 작업 전반에서 기존의 가우시안 프로세스 베이스라인과 대등하거나 이를 능가하는 폐쇄 루프 베이지안 분자 역설계 프레임워크인 \textbf{\method}를 소개한다.

원저자: Yaoyao Xu, Xinjian Zhao, Xiaozhuang Song, Lei Bai, Tianshu Yu

게시일 2026-08-25

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Yaoyao Xu, Xinjian Zhao, Xiaozhuang Song, Lei Bai, Tianshu Yu

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

새로운 의약품과 첨단 소재를 찾는 과정은 종종 다음과 같은 질문에서 시작됩니다: 특정 직무를 수행하기 위해 분자가 어떤 형태를 갖추어야 하는가? 과학자들은 이를 역설계(inverse design)라고 부릅니다. 기존의 수천 가지 화학 물질을 테스트하여 그것이 무엇을 하는지 확인하는 대신, 연구자들은 바이러스를 차단하거나 필터를 통해 가스가 통과할 수 있게 하는 것과 같이 정밀한 요구 사항에 부합하는 분자를 처음부터 직접 구축하려고 노력합니다. 문제는 가능한 화학적 구조의 우주가 매우 방대하여, 약물 유사 분자가 약 $10^{60}$ 개에 달할 것으로 추정된다는 점입니다. 작동하는 몇 안 되는 분자를 찾는 것은 끊임없이 모양이 변하는 건초더미 속에서 바늘을 찾는 것과 같습니다. 전통적으로 컴퓨터는 무작위 후보를 생성하고 이를 컴퓨터 모델에 대조하는 방식으로 이 문제를 해결하려 했으나, 이 과정은 종종 효율적이지 못해 좋은 것을 찾기 전까지 많은 부실한 옵션들을 만들어내곤 했습니다.

중국 홍콩 시티 대학교 선전 캠퍼스와 상하이 인공지능 연구소의 연구진은 이 탐색 과정을 안내할 새로운 방법을 개발했습니다. 그들은 BoMolLLM이라 불리는 시스템을 만들었는데, 이는 적절한 분자를 찾는 과정을 단순한 추측이 아니라 컴퓨터 프로그램과 거대 언어 모델 사이의 대화로 취급합니다. 이 방식에서 컴퓨터는 한 묶음의 분자를 생성하고, 특화된 인공지능이 가이드 역할을 수행합니다. 이 가이드는 이전 단계의 결과를 읽고, 어떤 구조가 가장 잘 작동했는지 분석한 다음, 생성기에 새로운 지침 세트를 작성해 전달합니다. 단순히 지난 라운드에서 가장 좋은 분자를 고르는 것에 그치지 않고, 가이드는 몇 가지 흥미로운 사례를 선택하고 왜 그것들이 유망한지를 설명함으로써 생성기가 다음에 무엇을 시도해야 할지 효과적으로 가르칩니다. 이는 검색이 매 단계마다 더 똑똑해지며, 원하는 특성에 밀접하게 부합하는 분자를 찾을 때까지 초점을 정교화하는 폐쇄 루프(closed loop)를 형성합니다.

연구진은 이 시스템을 매우 다른 두 가지 유형의 문제에 대해 테스트했습니다. 첫째, 약물 발견을 위한 분자를 설계하도록 요청했는데, 구체적으로는 HIV와 상호작용하거나, 혈액-뇌 장벽을 통과하거나, BACE라고 불리는 특정 효소를 억제할 수 있는 화합물을 찾는 작업이었습니다. 이러한 과업은 분자가 작동하거나 작동하지 않거나 하는 이진 결과(binary outcome)를 요구합니다. 둘째, 재료 과학 분야를 테스트하여 이산화탄소, 산소, 질소와 같은 가스의 흐름을 제어할 수 있는 폴리머를 설계하도록 했습니다. 이러한 과업은 단순히 통과 또는 실패를 결정하는 것이 아니라, 투과율에 대한 특정 수치 목표를 달성해야 하는 연속적인(continuous) 성격을 띱니다. 두 경우 모두, 실제 화학 물질을 테스트하는 비용과 시간이 많이 드는 상황을 시뮬레이션하기 위해 시스템에 주어진 개선 시도 횟수를 제한했습니다.

결과는 이러한 대화형 접근 방식이 표준 방식들보다 뛰어난 성능을 보였음을 나타냈습니다. 연구진이 완벽한 분자를 단 한 번의 시도로 생성하려는 '원샷(one-shot)' 시도(피드백 없이 한 번에 완벽한 분자를 만들려는 시도)와 비교했을 때, 새로운 방법은 훨씬 더 높은 비율의 성공적인 후보를 만들어냈습니다. 또한, 복잡한 통계 모델에 의존하여 다음 최적의 단계를 예측하는 전통적인 수학적 최 optimization 기법들과 대등하거나 그보다 더 나은 성능을 보였습니다. 핵심적인 차이점은 새로운 시스템이 자신의 시도 기록을 "읽을" 수 있었다는 점입니다. 시스템은 실패한 분자 목록을 보고 "이것들은 중금속이 너무 많았다"라거나 "이것들은 적절한 고리 구조가 부족했다"라고 말한 뒤, 그 통찰을 다음 생성 단계로 전달할 수 있었습니다. 화학 구조의 텍스트와 그 점수를 바탕으로 추론할 수 있는 이 능력 덕분에, 시스템은 압축된 수치 데이터만을 바라보는 방식보다 화학적 공간을 더 효과적으로 항해할 수 있었습니다.

가장 흥명한 발견 중 하나는 시스템이 문제의 유형에 따라 전략을 스스로 조정한다는 것이었습니다. 명확한 합격/불합격 기준을 가진 약물 타겟의 경우, 시스템은 단순히 이전 라운드의 가장 좋은 사례들을 지목할 때 가장 잘 작동했습니다. 해당 분자들의 구체적인 구조만으로도 다음 단계를 안내하기에 충분했습니다. 그러나 정밀한 수치 목표를 달성해야 하는 재료 과학 과업의 경우에는 시스템에 더 많은 도움이 필요했습니다. 이 경우 가이드는 "불소화 구조에 집중하라"와 같은 짧은 한 문장의 요약 전략을 제공하여 생성기가 목표에 도달하기 위해 필요한 더 넓은 패턴을 이해할 수 있도록 도왔습니다. 이는 시스템이 유연하긴 하지만, 발견한 내용을 전달하는 방식은 해결하려는 문제의 본질에 맞게 맞춤화되어야 함을 시사합니다.

연구진은 또한 시스템이 시간이 지남에 따라 행동을 자연스럽게 변화시킨다는 것을 관찰했습니다. 초기 라운드에서는 다양한 형태와 구성을 시도하며 가능한 모든 것을 확인하기 위해 광범위하게 탐색했습니다. 라운드가 진행됨에 따라, 시스템은 찾아낸 가장 유망한 구조들을 더욱 정교하게 다듬으며 범위를 좁혀갔습니다. 이는 인간 과학자가 넓은 아이디어에서 시작하여 점차 가장 실행 가능한 옵션으로 좁혀가는 방식과 닮아 있습니다. 시스템은 단순히 운이 좋았던 것이 아니라, 테스트된 다른 방법들보다 더 일찍, 그리고 더 안정적으로 높은 점수의 분자들을 발견했습니다. 프로세스가 끝날 무렵, 생성된 분자들은 무작위로 흩어져 있는 것이 아니라 최상의 후보들이 발견된 화학적 공간의 영역에 밀집되어 있었습니다.

이 연구는 거대 언어 모델이 단순히 텍스트를 생성하는 것을 넘어, 데이터를 바탕으로 전략적 결정을 내림으로써 과학적 발견을 위한 효과적인 가이드 역할을 할 수 있음을 보여줍니다. 이 시스템은 실제 실험의 필요성을 대체하는 것이 아니라, 실험실 벤치에 도달하는 후보들의 품질을 크게 향에게 높여줍니다. 이는 분자 탐색 과정을 각 단계의 추론 과정을 읽고 이해할 수 있는 더 투명한 과정으로 바꿉니다. 연구진은 최적화 이력을 단순한 숫자 목록이 아닌 분석해야 할 하나의 이야기로 취급함으로써, 분자의 세계를 위한 더 효율적이고 지능적인 검색 엔진을 구축할 수 있었다는 것을 발견했습니다. 이 접근 방식은 방대한 곳에 널려 있는 혼돈의 탐색 공간을 해결책을 향한 가이드가 있는 여정으로 바꿈으로써, 새로운 약물 및 소재의 발견을 가속화할 수 있는 유망한 경로를 제시합니다.

기술 요약: 시맨틱 LLM 대리 모델을 이용한 폐쇄 루프 베이지안 분자 역설계

문제 정의

실질적인 분자 역설계는 단 한 번의 생성 문제로 나타나는 경우가 드뭅니다. 대신, 이는 일반적으로 후보 풀 강화(candidate-pool enrichment) 작업으로 나타납니다. 제한된 오라클 예산(예: 물성 예측을 위한 계산 비용) 하에서 목표는 단순히 하나의 고득점 분자를 찾는 것이 아니라, 원하는 물성 프로필에 부합하는 생성 분자의 비율을 높이는 것입니다.

베이지안 최적화(Bayesian Optimization, BO)는 이러한 설정에 자연스러운 프레임워크를 제공하지만, 표준적인 접근 방식은 압축된 연속 잠재 임베딩 내에서 작동하는 가우시안 프로세스(Gaussian Process, GP) 대리 모델에 의존합니다. 이러한 패러피다임은 화학자들이 탐색을 유도하기 위해 자연스럽게 사용하는 구조적 및 참조 유사성 신호를 버리게 됩니다. 또한, GP는 고차원에서 확장성이 떨어지며, 차원 축소를 요구하는 경우가 많아 대리 모델이 사용할 수 있는 화학적 신호를 더욱 압축해 버립니다. 최근의 거대 언어 모델(LLM)은 분자 표현 및 추론에 강력한 능력을 입증했지만, 일반적으로 일회성(one-shot) 방식으로 사용되며, 반복적으로 검색 궤적을 수정하기 위해 명시적으로 오라클 피드백을 활용하는 메커니즘이 부족합니다.

방법론: BoMolLLM

저자들은 **대리 모델(surrogate)**이(가) 설계 선택의 핵심 위치(locus)가 되는 폐쇄 루프 프레임워크인 BoMolLLM을 제안합니다. 이 프레임워크는 분자 최적화 이력을 SMILES 문자열, 타겟 설명, 오라클 점수를 포함하는 시맨틱 객체로 취급합니다.

핵심 구성 요소

동결된 분자 생성기 ( $M$ ): 텍스트 프롬프트를 후보 분자로 매핑하는 지시어 조건부 생성기(Llamole로 구현)입니다. 최적화 과정 전반에 걸쳐 동결된 상태를 유지합니다.
태스크 오라클 ( $O_\tau$ ): 생성된 분자를 특정 타겟(HIV, BBBP, BACE와 같은 약물 태스크를 위한 이진 분류; $CO_2$ , $O_2$ , $N_2$ 투과성과 같은 재료 태스크를 위한 연속 회귀)에 대해 평가합니다.
시맨틱 LLM 대리 모델 ( $L$ ): 결정 모듈로서 작동하는 동결된 LLM입니다. 고전적인 BO와 달리, 이 모델은 고유한 텍스트 형태인 이산적 최적화 이력 위에서 직접 작동합니다.

최적화 루프

프로세스는 $T$ 라운드 동안 실행됩니다:

라운드 0 (웜 스타트/Warm Start): 생성기는 원래의 설계 지시어만을 기반으로 초기 배치를 생성합니다.
라운드 $t \ge 1$ :
1. 대리 모델은 누적된 이력 $D_{t-1}$ , 태스크 컨텍스트, 그리고 현재 라운드 인덱스를 읽습니다.
2. 탐색-활용(exploration-exploitation) 원칙에 따라, 대리 모델은 이력에서 상위 $k$ 개의 참조 분자( $R_t$ )를 선택합니다.
3. 선택적으로, 대리 모델은 궤적을 요약하는 간결한 가이드 문장( $g_t$ )을 생성합니다.
4. 이 요소들은 증강된 프롬프트 $p_t$ 로 포맷팅되어 생성기에 전달됩니다.
5. 생성기는 새로운 배치 $S_t$ 를 생성하고, 이는 점수가 매겨진 후 이력에 추가됩니다.

대리 모델 인스턴스화

논문은 동일한 루프 내에서 두 가지 유형의 대리 모델을 비교합니다:

시맨틱 LLM 대리 모델 (BoMolLLM): LLM이 이력을 바탕으로 참조를 선택하고 가이드를 제공합니다. 이는 사전 훈련된 화학적 지식을 사전 확률(prior)로, 인컨텍스트 컨디셔닝을 사후 확률(posterior) 업데이트로, 참조 선택을 획득(acquisition) 단계로 해석합니다.
고전적 GP 대리 모델: 생성기의 컨디셔닝 벡터를 PCA로 압축한 임베딩에 GP를 적합시키고, LogEI 획득 함수를 최적화하며, 근접 이웃을 추출하는 BOPRO로부터 파생된 베이스라인입니다.

주요 기여

교체 가능한 대리 모델을 갖춘 폐쇄 루프 프레임워크: 저자들은 분자 역설계를 후보 모델의 대리 모델 레이어가 설계 선택의 핵심 위치로 격리된 폐쇄 루프 프레임워크로 정형화했습니다. 이를 통해 동일한 반복 루프 내에서 고전적 GP와 LLM 기반 대리 모델을 직접 비교할 수 있습니다.
시맨틱 LLM 대리 모델: BoMolLLM은 SMILES 문자열, 점수, 태스크 컨텍스트를 직접 다루는 LLM 인스턴스를 도입합니다. 이는 검사 가능한 자연어 형태의 최적화 추적을 제공하여, 수치적 대리 모델에서는 불가능한 설계 근거를 제시합니다.
경험적 증거 및 분석: 연구는 BoMolLLM이 세 가지 생성기 백본(Qwen, Mistral, Llama)과 여섯 가지 태스크에 대해 GP-BO 베이스라인과 대등하거나 이를 능가함을 보여줍니다. 결정적으로, 대리 모델은 탐색에서 활용으로의 BO 스타일 전환을 보여주며, 베이스라인보다 더 빨리 고득점 분자를 발견합니다.

실험 결과

실험은 약물 설계(HIV, BBBP, BACE)와 재료 설계( $CO_2$ , $O_2$ , $N_2$ )를 아우르는 MolQA 벤치마크에서 수행되었습니다.

성능: BoMolLLM은 일회성 프롬프팅(Llamole-OneShot)보다 지속적으로 개선된 성능을 보이며, GP-BO 베이스라인과 대등하거나 더 강력합니다. 이러한 이점은 약물 태스크에서 가장 두드러지며, BoMolLLM은 Mistral 및 Llama 백본에 대해 모든 타겟에서 최고의 AUC 점수를 달s성했습니다.
도메인 의존적 인터페이스: 어블레이션 연구(ablation study)를 통해 중요한 인터페이스 차이를 발견했습니다:
- 약물 태스크 (이진 타겟): "참조 전용(Reference-only)" 전달(상위 $k$ 개 분자 + 점수)이 가장 효과적이었습니다. 고득점 참조로부터 얻는 구조적 신호만으로도 충분했습니다.
- 재료 태스크 (연속 타겟): "간결한 대리 모델 요약"(가이드)을 추가하면 성능이 크게 향상되었습니다. 연속적 타겟의 부드럽고 등급이 나뉜 특성은 궤적 패턴을 실행 가능한 방향으로 압축하는 대리 모델의 능력으로부터 이득을 얻습니다.
탐색 동작: 탐색 궤적 분석 결과, BoMolLLM은 베이스라인보다 고득점 분자를 더 빠르고 안정적으로 발견합니다. 메커니즘 분석은 대리 모델이 라운드를 거듭하며 탐색(다양한 구조 선택)과 활용(고득점 구조 선택) 사이의 균형을 맞춘다는 것을 확인해 줍니다.
화학 공간 할당: ECFP4 핑거프린트를 이용한 t-SNE 시각화는 BoMolLLM이 무작위 또는 일회성 접근 방식과 달리, 단일 클러스터로 붕괴되지 않으면서 고득점 후보가 풍부한 영역에 탐색 예산을 집중시킨다는 것을 보여줍니다.

의의 및 주장

본 논문은 LLM 대리 모델이 이산적 분자 설계를 위한 고전적 BO 대리 모델의 유용한 폐쇄 루프 대안이 될 수 있음을 주장합니다.

설계 결정을 압축된 수치 공간에서 화학적으로 의미 있는 이력(분자와 텍스트로 표현된)으로 전환함으로써, BoMolLLM은 베이지안 최적화의 결정 로직을 보존하는 동시에 탐색 과정을 검사 가능하고 해석 가능하게 만듭니다. 이 프레임워크는 "시맨틱" 성격의 분자 최적화 이력을 LLM이 직접 활용하여 생성을 가이드할 수 있음을 보여주며, 더 투명하고 효과적인 역설계 워크플로우를 향한 경로를 제시합니다.

저자들은 오라클이 실험적 검증기가 아닌 학습된 예측기라는 점과, LLM 대리 모델이 고전적 BO와 같은 이론적 보증을 가진 정교하게 보정된 확률 모델은 아니라는 점을 언급하며 한계를 인정했습니다. 그러나 결과는 시맨틱 접근 방식이 제한된 오라클 예산 하에서 후보 풀을 효과적으로 강화할 수 있음을 시사합니다.