🧬 biology

Monroe: A Molecular Foundation Model for In-Context Probabilistic Inference

이 논문은 향상된 입체화학적 표현과 새로운 학습 목적 함수를 사용하여 8,100만 개의 분자로 학습된 확장 가능한 분자 파운데이션 모델인 Monroe를 소개하며, 이는 사전 데이터 적합 모델(TabPFN)을 활용하여 인컨텍스트 확률 추론을 수행함으로써 바이오어세이 활성 예측에서 최첨단 성능을 달축하고, 이러한 다운스트림 적응 전략이 MiniMol 및 CheMeleon과 같은 기존 모델들도 유의미하게 개선함을 입증한다.

원저자: Blazej Banaszewski, Andrew W. Fitzgibbon

게시일 2026-08-20

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Blazej Banaszewski, Andrew W. Fitzgibbon

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ⚕️ 이것은 동료 심사를 거치지 않은 프리프린트의 AI 생성 설명입니다. 의학적 조언이 아닙니다. 이 내용을 바탕으로 건강 관련 결정을 내리지 마세요. 전체 면책 조항 읽기

새로운 의약품을 발견하기 위한 경주에서, 과학자들은 고질적인 병목 현상에 직면해 있습니다. 그것은 바로 특정 분자가 질병을 치료할 수 있는지 알기 위한 가장 신뢰할 수 있는 방법이 실험실에서 직접 그 분자를 만들고 테스트하는 것이라는 점입니다. 이 과정은 느리고 비용이 많이 들며, 이러한 실험을 수행할 수 있는 전문 시설의 수에 의해 제한됩니다. 이 때문에 컴퓨터 프로그램을 훈련시키는 데 사용할 수 있는 데이터는 종종 부족합니다. 이를 극 overcome 하기 위해, 연구자들은 아이가 특정 개나 고양이를 보기 전에 동물을 인식하는 법을 배우는 방식과 유사한 전략을 사용했습니다. 그들은 방대한 화학 구조 라이브러리와 그들의 기본적인 물리적 특성을 바탕으로 거대한 컴퓨터 모델을 훈련시켜, 소프트웨어가 분자가 어떻게 행동하는지에 대한 일반적인 감각을 익히도록 했습니다. 일단 이 토대가 구축되면, 모델은 특정 화합물이 바이러스와 결합할지 여부와 같은 구체적인 생물학적 결과를 예측하도록 적응될 수 있으며, 이는 해당 특정 작업에 대한 실험 결과가 단 몇 가지뿐인 경우에도 가능합니다. '분자 파운데이션 모델(molecular foundation model)'로 알려진 이 접근 방식은 무한한 가능한 화학 물질의 세계와 실제 세계의 약물 테스트라는 제한된 데이터 사이의 간극을 메우는 것을 목표로 합니다.

연구팀은 이 분야에서 중요한 진전을 의미하는 'Monroe'라는 새로운 모델을 선보였습니다. 이 이름은 계산 화학의 선구자인 엘리자베스 먼로 보그스(Elizabeth Monroe Boggs)를 기리는 것이지만, 모델 자체는 분자의 복잡한 언어를 이해하도록 설계된 현대적인 머신 러닝 시스템입니다. 연구진은 8,100만 개 이상의 분자를 포함하는 거대한 데이터셋으로 Monroe를 훈련시켰는데, 이는 이전의 시도들보다 훨씬 더 큰 규모입니다. 이 데이터셋에는 원자의 에너지와 구조를 설명하는 상세한 양자 화학 계산뿐만 아니라, 분자가 생명체와 어떻게 상호작용하는지를 측정하는 수천 개의 생물학적 분석(assays) 데이터가 포함되었습니다. 이 방대한 정보에 모델을 노출시킴으로써, 연구진은 모델이 단순히 특정 사례를 암기하는 것이 아니라 다양한 유형의 문제에 적용되는 일반적인 화학 법칙을 학습할 수 있도록 했습니다.

Monroe의 가장 결정적인 혁신 중 하나는 분자의 3차원 형태, 특히 그들의 '손잡이 방향성(handedness)'을 처리하는 방식입니다. 많은 분자는 서로 거울에 비친 모습처럼 왼쪽과 오른쪽 손과 같이 두 가지 형태로 존재합니다. 이러한 거울 쌍들은 동일한 원자들이 동일한 순서로 연결되어 있지만, 인체 내에서는 완전히 다르게 행동할 수 있습니다. 하나는 약이 될 수 있는 반면, 그 거울상은 독성이 될 수도 있습니다. 표준 컴퓨터 모델은 두 형태에 대해 동일하게 보이는 수학적 기술에 의존하기 때문에 이들을 구별하는 데 어려움을 겪는 경우가 많습니다. Monroe는 분자의 내부 지도에 이러한 거울상 차이를 나타내는 '깃발' 역할을 하는 추가적인 연결을 명시적으로 추가함으로써 이 문제를 해결합니다. 이를 통해 모델은 두 형태를 높은 정확도로 구별할 수 있으며, 이는 약물이 실제 생물학적 시스템에서 어떻게 작용할지 예측하는 데 필수적인 능력입니다.

연구진은 또한 모델이 훈련 데이터로부터 학습하는 방식을 개선했습니다. 모든 학습 과제를 똑같이 중요하게 취급하는 대신, Monroe는 자동으로 초점을 조정하는 스마트 가중치 시스템을 사용합니다. 모델은 데이터가 명확하고 신뢰할 수 있는 과제에는 더 많은 주의를 기울이고, 노이즈가 많거나 불확실한 과제에는 주의를 덜 기울입니다. 나아가, 모델은 불완전한 데이터를 정화하도록 훈련받습니다. 현실 세계에서 컴퓨터 시뮬레이션에 사용되는 분자의 3D 형태는 종-종 거친 근사치인 경우가 많습니다. Monroe는 이러한 거친 형태를 받아 더 정확하고 안정적인 형태로 정제하도록 학습되며, 이 과정은 모델이 분자 안정성을 지배하는 근본적인 물리 법칙을 이해하는 데 도움을 줍니다. 이러한 '노이즈 제거(denoise)' 능력은 실제 응용 분야에 대한 모델의 예측력을 강화합니다.

다른 선도적인 모델들과 비교했을 때, Monroe는 '활성 절벽(activity cliffs)'이라고 알려진 가장 까다로운 시나리오에서 탁월한 성능을 입증했습니다. 활성 절벽은 두 분자가 구조적으로는 거의 동일하지만 생물학적 효과는 극적으로 다른 경우를 말합니다. 이러한 급격한 차이를 예측하는 것은 인공지능에게 매우 어려운 일로 알려져 있지만, Monroe는 이 테스트에서 경쟁 모델들을 능가했습니다. 연구진은 또한 모델을 새로운 작업에 적응시키는 그들의 방법이 매우 효과적이라는 것을 발견했습니다. 모델 전체를 매번 다시 훈련시키는 대신, 그들은 인간이 단 몇 가지 사례를 본 후 새로운 규칙을 배울 수 있는 것과 유사하게, 단 한 단계 만에 적은 양의 예시로부터 학습할 수 있는 기술을 사용했습니다. 이 접근 방식은 Monroe에 적용되었을 뿐만 아니라 기존의 다른 두 모델을 개선하는 데도 사용되었으며, 강력하고 일반적인 전략임이 증명되었습니다.

이 연구는 대규모 사전 훈련과 함께, 분자의 손잡이 방향성 처리 및 스마트 데이터 가중치와 같은 특정 구조적 개선을 결합하는 것이 더 견고한 도구를 만든다는 결론을 내립니다. 이 모델이 분자 예측의 모든 문제를 해결하는 것은 아니며, 활성 절벽의 과제가 여전히 어렵기는 하지만, Monroe는 무엇이 가능한지에 대한 새로운 기준을 세웁니다. 이는 컴퓨터에게 화학적 구조와 행동에 대한 더 깊고 미묘한 이해를 가르침으로써, 과학자들이 잠재적인 의약품의 방대한 영역을 탐색하는 데 더 잘 갖춰진 도구를 구축할 수 있음을 보여주며, 이는 화학적 아이디어에서 생명을 구하는 치료제로 가는 여정을 가속화할 수 있습니다.

기술 요약: Monroe – 인컨텍스트 확률적 추론을 위한 분자 파운데이션 모델

문제 정의

신약 개발에서 바이오어세이(bioassay) 활성 예측은 습식 실험(wet-lab experiments)의 높은 비용, 시간 소모 및 전문 시설 요구 사항으로 인해 본질적으로 데이터가 제한적입니다. 전통적인 머신러닝 접근 방식은 이러한 소규모 데이터셋에 직접 저용량의 태스크 특화 모델을 맞추는 경우가 많으며, 이는 일반화 능력을 제한합니다. 최근의 분자 파운데이션 모델(MFM)들이 대규모 데이터를 통해 전이 가능한 분자 표현을 학습하는 것을 목표로 하고 있으나, 입체 화학(stereochemistry) 처리, 멀티태스크 목적 함수의 균형 조절, 그리고 과적합 없이 희소한 데이터에 다운스트림 태스크를 적응시키는 데에는 여전히 과제가 남아 있습니다. 또한, 기존의 벤치마크들은 엄격한 통계적 평가가 부족하여, 실제 성능 향상과 단순한 변동성을 구분하기 어렵습니다.

방법론

본 논문은 이러한 과제들을 해결하기 위해 여러 구조적 및 훈련 혁신을 통합한 새로운 MFM인 Monroe를 소개합니다.

1. 아키텍처 및 표현 (Architecture and Representation)

백본(Backbone): Monroe는 그래프 학습으로부터 유도된 귀납적 편향(inductive biases)을 갖춘 그래프 트랜스포머인 GRIT을 기반으로 구축되었습니다. 이는 랜덤 워크 위치 인코딩(random-walk positional encodings), 그래프 어텐션 메커니즘, 그리고 전역 정보 전파를 위한 가상 노드(virtual node)를 활용합니다.
희소 어텐션 (Sparse Attention): 표준 밀집 어텐션(dense attention)과 달리, Monroe는 관찰된 엣지(edge)에 대해서만 어텐션을 평가하여 복잡도를 $O(|E|)$ 로 줄이고 대규모 분자 그래프로의 확장성을 가능하게 합니다.
입체 화학 인식 리와이어링 (Stereochemistry-Aware Rewiring): 좌표만으로는 거울상 이성질체나 E/Z 이성질체를 구별할 수 없는 회전 불변 인코더(rotation-invariant encoders)의 한계를 해결하기 위해, Monroe는 보조 엣지를 사용하여 분자 그래프를 증강합니다.
- E/Z 이성머: "평행(parallel)" 엣지는 같은 쪽에 있는 치환기들을 연결하고, "대각선(diagonal)" 엣지는 반대 쪽에 있는 치환기들을 연결하여 기하학적 구성을 인코딩합니다.
- R/S 카이랄리티 (Chirality): 방사형(radial) 엣지는 우선순위가 가장 낮은 치환기를 다른 것들과 연결하며, 순환형(cyclic) 엣지는 특정 방향(예: $a \to b \to c \to a$ )을 따라 움직여 카이랄 배치를 인코딩함으로써 네트워크가 거울상 이성질체를 구별할 수 있게 합니다.
특징 추출 (Featurization): 노드 및 엣지 특징은 범주형 화학 코드(예: 원자가, 혼성도), 연속형 RDKit 디스크립터, 결합 길이(Radial Basis Functions 활용), 그리고 랜덤 워크 위치 인코딩을 결 조합합니다.

2. 사전 훈련 전략 (Pre-training Strategy)

Monroe는 두 가지 상호 보완적인 데이터셋으로 사전 훈련됩니다:

PM6 데이터셋: 약 8,100만 개의 분자를 포함하며, 준경험적 양자 화학 특성(62개의 그래프 수준 타겟)과 3D 컨포머(conformer) 데이터를 제공합니다.
PCBA 데이터셋: 약 156만 개의 분자를 포함하며, 바이너리 바이오어세이 판독값(1,089개의 필터링된 어세이)을 통해 희소하지만 생물학적으로 유의미한 감독 정보를 제공합니다.

훈련 목적 함수 (Training Objectives):

멀티태스크 학습 (MTL): 모델은 1,152개 태스크(PM6 62개, PCBA 1,089개, 컨포머 디노이징 1개)에 대한 손실(loss)의 균형을 맞추기 위해 **불확실성 가중치(Uncertainty Weighting, UW)**를 사용합니다. 이는 노이즈가 많거나 포화된 태스크의 가중치를 자동으로 낮춥니다.
컨포머 디노이징 (Conformer Denoising): Uni-Mol+에서 영감을 받아, 모델은 노이즈가 섞인 입력 좌표(RDKit 근사치와 PM6 최적화 구조 사이를 보간함)로부터 고품질의 평형 구조를 복구하도록 훈련됩니다. 손실은 회전/병진 불변성을 처리하기 위해 최적의 강체 정렬(rigid alignment) 후에 계산됩니다.
임베딩 디코렐레이션 (Embedding Decorrelation): 배치 핑거프린트 공분산의 비대각 성분을 0으로 유도하여 임베딩을 더욱 "표 형식(tabular-like)"에 가깝게 만들고 다운스트림 표 예측기에 적합하게 만들기 위해 공분산 페널티가 손실 함수에 추가됩니다.
태스크 특화 손실 함수: 타겟 유형에 따라 맞춤화된 손실 함수를 사용합니다 (예: 부호가 있는 값에는 Huber, 스케일 파라미터에는 Log-Huber, 유계 비율에는 Beta NLL, 카운트에는 Ordinal Cross-Entropy).

3. 다운스트림 적응: 인컨텍스트 예측 (In-Context Prediction)

표준적인 파인튜닝 대신, Monroe는 다운스트림 태스크를 위해 Prior-Data-Fitted (PFN) 접근 방식을 활용합니다:

사전 훈련된 인코더는 분자에 대한 고정된 임베딩을 생성하도록 동결(frozen)됩니다.
이 임베딩은 태스크 레이블과 쌍을 이루어 서포트 세트(support set)를 형성하며, 이는 표 형식 데이터에 대한 베이지안 사후 예측 추론(Bayesian posterior-predictive inference)을 근사하도록 훈련된 모델인 TabPFN으로 전달됩니다.
TabPFN은 단 한 번의 순방향 패스(forward pass)를 통해 **인컨텍스트 예측(in-context prediction)**을 수행하며, 그래디언트 기반의 파인튜닝이나 하이퍼파라미터 최적화 없이 특정 다운스트림 태스크에 적응합니다.

주요 기여 (Key Contributions)

규모 및 데이터: PM6 양자 화학 데이터셋의 약 8,100만 개 분자를 결합한 대규모 데이터셋을 통한 사전 훈련.
입체 화학 처리: E/Z 및 R/S 구성을 토폴로지컬 특징으로서 명시적으로 인코딩하는 새로운 그래프 리와이어링 전략을 통해, 불변 인코더의 알려진 실패 모드를 해결함.
훈련 혁신: 컨포머 디노이징, 임베딩 디코렐레이션, 불확실성 가중치 기반 멀티태스크 균형의 통합.
다운스트림 전략: 표준 파인튜닝을 TabPFN 기반의 인컨텍스트 추론으로 교체하는 것이 특히 데이터가 희소한 환경에서 성능을 크게 향상시킨다는 것을 입증함.
엄격한 평가: 통계적으로 유의미한 성능 주장을 보장하기 위해 쌍체 비교 프레임워크(Tukey HSD + Benjamini-Hochberg)를 채택함.
일반화: 기존 모델(MiniMol, CheMeleon)을 TabPFN으로 증강하여 새로운 SOTA(state-of-the-art) 변형 모델(MiniMolPFN, CheMeleonPFN)을 생성하는 전략이 효과적임을 보여줌으로써, 다운스트림 적응 전략이 모델 불가지론적(model-agnostic)임을 시사함.

결과 (Results)

논문은 두 가지 주요 벤치마크에서 선도적인 모델들(MiniMol, CheMeleon, MolFormer) 및 클래식 베이스라인(GBM with ECFP4)과 Monroe를 비교 평가합니다:

Polaris (일반화): Monroe는 28개의 바이오어세이 태스크에서 100% 승률을 달성하였으며, 모든 태스크에서 최고 방법론과 통계적으로 구별할 수 없거나 더 우수한 성능을 보였습니다. 평균 순위(mean rank) 3.71로 가장 낮았습니다.
MoleculeACE (활동성 절벽 - Activity Cliffs): Monroe는 모든 지표에서 선두를 달렸으며, 가장 낮은 전체 RMSE(0.629)와 가장 낮은 "Cliff" RMSE(0.737)를 달축했습니다. 이는 모델이 구조적으로 유사한 분자들 사이의 국소적 활성 변화를 더 잘 포착함을 시사합니다.
절제 연구 (Ablation Studies):
- 입체 화학: 입체 화학 증강을 제거하면 Polaris에서의 성능이 크게 저하됩니다.
- 컨포머 디노이징: 이 목적 함수를 제거하면 Polaris 승률이 무너지고 MoleculeACE 성능이 저하됩니다.
- 데이터셋: PM6 또는 PCBA 데이터를 제거하면 성능이 크게 떨어지며, 이는 물리적 신호와 생물학적 신호 모두가 중요하다는 것을 나타냅니다.
- 적응 (Adaptation): Monroe의 경우, 고정된 임베딩을 사용하는 것이 네이티브 파인튜닝이나 LoRA 기반 어댑터보다 우수합니다.
데이터 효율성: Monroe는 서포트 세트 크기를 레이블된 데이터의 10%로 줄여도 우수한 성능을 유지하지만, 매우 적은 데이터 환경(<100개 분자)에서는 차이가 줄어듭니다.
앙상블: Monroe를 다른 PFN 증강 모델(MiniMolPFN, CheMeleonPFN)과 앙상블하면 성능이 더욱 향상되는데, 이는 개별 멤버의 품질보다는 에러 다양성(error diversity)에 의해 주도됩니다.

의의 및 주장 (Significance and Claims)

본 논문은 Monroe가 **사전 데이터 적합 모델(Prior-Data-Fitted Models)**을 MFM 파이프라인에 효과적으로 통합함으로써 분자 파운데이션 모델링의 중요한 진전을 이루었다고 주장합니다. 저자들은 대규모 사전 훈련, 명시적인 입체 화학 처리, 그리고 인컨텍스트 확률적 추론의 결합이 미지의 생물학적 태스크와 활동성 절벽(activity cliffs)에 잘 일반화될 수 있게 한다고 논증합니다.

이 연구는 다운스트림 적응 전략(TabPFN 사용)이 일반화 가능한 개선책임을 강조합니다. 이는 MiniMol과 CheMeleon을 성공적으로 강화하여 새로운 SOTA 변형을 만들어냈기 때문입니다. 저자들은 비록 날카로운 활동성 절벽을 예측하는 것은 여ยัง 열린 문제이지만, Monroe가 태스크 특화 파인튜닝에 대한 의존도를 줄이고 데이터가 제한된 시나리오에서 성능을 향적으로 높이는 강력하고 오픈 소스적인 파운데이션을 제공한다고 결론짓습니다. 연구를 촉진하기 위해 코드와 모델은 공개되어 있습니다.