🤖 machine learning

Protein Language Model Embeddings Improve Generalization of Implicit Transfer Operators

이 논문은 단백질 언어 모델 임베딩을 통합함으로써 분자 역학을 위한 전이 가능한 암시적 전이 연산자의 데이터 효율성과 분포 외 일반화 성능을 향상시킨 방법인 PLaTITO를 소개하며, 이를 통해 평형 샘플링 벤치마크에서 최첨단 성능을 달성한다.

원저자: Panagiotis Antoniadis, Beatrice Pavesi, Simon Olsson, Ole Winther

게시일 2026-06-01

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Panagiotis Antoniadis, Beatrice Pavesi, Simon Olsson, Ole Winther

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

거대한 문제: "슬로 모션" 카메라

당신이 단백질이 접히는 모습(복잡한 생물학적 기계가 작동하는 형태로 뒤틀리는 과정)을 관찰하고 싶다고 상상해 보세요. 현실 세계에서 이 과정은 마이크로초(100만 분의 1초) 단위로 일어납니다. 하지만 전통적인 방식으로 이를 컴퓨터에서 시뮬레이션하려면, 모든 원자의 움직임을 펨토초(1,000조 분의 1초)마다 사진을 찍듯 단계별로 계산해야 합니다.

단 1초의 영화를 얻기 위해 수조 장의 사진을 찍어야 하는 셈입니다. 이는 계산 비용이 너무 많이 들어서, 마치 해변의 모래알 하나하나를 손으로 직접 옮겨가며 영화 한 편을 촬영하려는 것과 같습니다. 너무 느리고 비용이 많이 들어 대부분의 과학자에게는 불가능에 가깝습니다.

기존의 해결책: "흉내 내기"

최 최근 과학자들은 이러한 느린 단계를 건너뛰기 위해 AI "생성 모델"(예술이나 텍스트를 만드는 것과 같은 모델)을 사용하려고 시도했습니다. 모든 미세한 움직임을 계산하는 대신, AI가 최종 형태를 직접 추측하도록 학습시키는 것입니다.

결함: 이러한 "흉내 내기" 모델은 특정 연습 문제의 정답을 통째로 외운 학생과 같습니다. 만약 조금 다른 시험지(본 적 없는 새로운 단백질)를 주면, 이들은 종종 실패합니다. 이들은 아주 조금이라도 배우기 위해 방대한 양의 데이터가 필요하며, 새로운 상황에 일반화하는 데 어려움을 겪습니다.

새로운 해결책: PLaTITO ("경험 많은 가이드")

저자들은 PLaTITO라는 새로운 방법을 소개합니다. 이것을 단순한 흉내 내기가 아니라, 수백만 권의 여행 책(단백질 서열)을 읽고 지도를 공부한(단백질 구조) 경험 많은 경험 많은 가이드라고 생각하세요.

이 가이드를 구축한 방법은 다음과 같습니다.

1. "암시적 전이 연산자" (타임머신)

PLaTITO는 최종 목적지를 한 번에 추측하는 대신, 움직임의 규칙을 배웁니다. 단백질이 "시간 A"에서 "시간 B"로 어떻게 이동하는지를 배웁니다.

비유: 운전을 가르치는 상황을 상상해 보세요. 최종 목적지를 보여주는 대신, 핸들을 어떻게 돌리고, 가속 페달을 밟고, 교통 상황에 어떻게 반응하는지를 가르칩니다. 일단 운전의 규칙을 배우고 나면, 가본 적 없는 길이라도 어디든 항해할 수 있습니다.
혁신: 저자들은 이 "운전자"를 거친 입자(coarse-grained) 모델로 만들었습니다. 모든 원자(타이어, 엔진, 좌석)를 추적하는 대신, 단백질의 "백본(골격)"만을 추적합니다. 이는 필수적인 형태는 유지하면서 시뮬레이션을 훨씬 빠르게 만듭니다.

2. 핵심 비법: "단백질 언어 모델" (여행 가이드북)

이것이 이 논문의 가장 큰 돌파구입니다. 저자들은 단백질에도 "언어"(아미노산 서열)가 있다는 것을 깨달았습니다. 그들은 수십억 개의 단백질 서열을 읽은 사전 학습된 AI인 **단백질 언어 모델(pLM)**을 사용하여 모델이 유리한 출발점에서 시작할 수 있도록 했습니다.

비유: 로봇에게 숲을 탐험하는 법을 가르치고 있다고 상상해 보세요.
- 기존 방식: 로봇에게 특정 숲의 지도를 보여주고, 그 로봇이 일반적인 숲의 규칙을 스스로 깨닫기를 바랍니다.
- PLaTITO 방식: 로봇에게 모든 숲, 나무, 생태계에 관한 도서관을 제공합니다. 이제 로봇을 처음 보는 새로운 숲에 떨어뜨려 놓아도, 로봇은 이미 나무는 위로 자라고 뿌리는 아래로 뻗으며, 길은 장애물을 피해 휘어진다는 것을 이미 알고 있습니다.
결과: 이러한 "책의 지식" 임베딩을 모델에 입력함으로써, PLaTITO는 훨씬 빠르게 학습하며 본 적 없는 새로운 단백질에 대해서도 잘 작동합니다(분포 외 일반화).

3. "온도"와 "맥락"의 단서

모델은 온도(환경이 얼마나 뜨거운지)와 같은 추가적인 힌트를 받으며, 심지어 대규모 언어 모델(LLM)을 사용하여 단백질 설정이 생물학적으로 타당한지 확인합니다.

비유: 이는 운전자가 일기 예보(온도)를 확인하고, 여행 블로그(LLM 주석)를 읽어 도로가 폐쇄되었는지 또는 공사 구간이 있는지 확인하는 것과 같습니다. 이는 모델이 실제 생물학에서 일어나지 않는 "비물리적인" 행동을 피하도록 도와줍니다.

연구 결과 (결과)

논문은 PLaTITO를 "빠르게 접히는 단백질(fast-folding proteins)"과 "숨겨진 포켓(cryptic pockets, 약물이 달라붙을 수 있는 단백질의 숨겨진 지점)"에 대해 테스트했습니다.

더 높은 정확도: PLaTITO는 이전의 최고 모델들(BioEmu 등)보다 단백질의 자연스러운 "춤"을 더 잘 재현했습니다. 형태를 정확하게 맞췄을 뿐만 아니라 더 넓은 범위의 움직임을 포착했습니다.
더 저렴하고 빠르게: PLaTITO는 경쟁 모델들보다 10배 적은 데이터와 10배 적은 컴퓨팅 파워를 사용하여 이러한 결과를 달면냈습니다. 이는 자전거의 연료 소비량으로 페라리의 성능을 내는 것과 같습니다.
실제 물리 법칙: 모델은 단순히 모양을 추측한 것이 아니라, 접히는 속도를 배웠습니다. 온도가 변할 때 단백질이 단순하고 일정한 속도로 접히지 않는다는 점(비-아레니우스 거동)을 정확히 예측했는데, 이는 모델이 실제 생물학의 복잡하고 울퉁불퉁한 "에너지 지형"을 이해하고 있음을 증명합니다.
숨겨진 지점 탐색: 다른 모델들이 놓친 "숨겨진 포켓(cryptic pockets, 숨겨진 문)"을 성공적으로 찾아냈으며, 이는 모델이 단백질의 형태 공간을 더 철저하게 탐색할 수 있음을 보여줍니다.

결론

이 논문은 단백질의 움직임을 시뮬레이션하기 위해 스마트한 "타임 스텝(time-step)" 학습법과 단백질 언어 모델의 "세계 지식"을 결합함으로써, 현재 사용 가능한 그 어떤 도구보다 더 똑똑하고, 빠르며, 데이터 효율적인 도구를 만들었다고 주장합니다.

이 논문이 주장하지 않는 것:

아직 질병을 치료한다고 주장하지 않습니다.
즉각적으로 새로운 약물을 설계할 수 있다고 주장하지 않습니다.
모든 단백질에 대해 완벽하게 작동한다고 주장하지 않습니다 (여전히 매우 복잡하거나 거대한 시스템, 또는 특정 준안정 상태에서는 어려움을 겪습니다).
이 연구는 임상 적용이 아닌, 단백질의 움직임을 시뮬레이션하고 샘플링하는 것에 집중합니다.

요약하자면, 그들은 생명의 "문법"으로부터 학습하여 단백질이 어떻게 움직이는지 예측하는, 이전보다 더 빠르고 적은 데이터로 작동하는 초효율적인 "단백질 운동 시뮬레이터"를 구축했습니다.

기술 요약: 단백질 언어 모델 임베딩을 통한 암시적 전이 연산자의 일반화 성능 향상

문제 정의

분자 역학(MD) 시뮬레이션은 볼츠만 평형 분포 및 전이 밀도와 같은 고차원 분자 분포로부터 실험적 관측치를 예측하는 데 필수적입니다. 그러나 기존의 MD는 펨토초(femtosecond) 단위의 적분 단계와 마이크로초-초(microsecond-to-second) 단위의 생물학적 이완 시간 사이의 거대한 시공간 격차로 인해 계산 비용이 매우 높습니다. 볼츠만 생성기/에뮬레이터(Boltzmann Generators/Emulators) 및 암시적 전이 연산자(Implicit Transfer Operators, ITO)와 같은 생성적 분자 역학(Generative Molecular Dynamics, GenMD) 방법들이 효율적인 샘플링 대안을 제시하지만, 이들은 종종 데이터 효율성이 낮고 보지 못한(unseen) 분자 시스템에 대한 전이성이 제한적이라는 문제를 겪습니다. 기존 방식들은 대규모의 긴 MD 궤적 컬렉션을 필요로 하며, 시스템별 미세 조정(fine-tuning) 없이서 분포 외(out-of-distribution, OOD) 단백질 시스템으로 일반화하는 데 어려움을 겪습니다.

방법론

저자들은 사전 학습된 모델로부터 얻은 보조 정보를 통합하여 MD 대리 모델(surrogates)의 데이터 효율성과 일반화 능력을 개선하기 위해 설계된 프레임워크인 PLaTITO(Protein-Language-aware Transferable Implicit Transfer Operator)를 소개합니다.

핵심 프레임워크: Coarse-Grained TITO

본 연구의 기초는 조립된(coarse-grained) 전이 가능한 암시적 전이 연산자(TITO)입니다.

표현(Representation): 모델은 오직 $C_\alpha$ 백본 좌표( $x_t \in \mathbb{R}^{3L}$ , 여기서 $L$ 은 잔기 수)만을 사용하는 조립된 표현 위에서 작동합니다.
학습 목표: 모델은 장기 전이 밀도 $p(x_{t+\Delta t} | x_t, \Delta t, S, T)$ 를 근사합니다 (여기서 $S$ 는 아미노산 서열, $T$ 는 온도).
학습 메커니가즘: 저자들은 **조건부 흐름 매칭(Conditional Flow Matching, CFM)**을 채택했습니다. 이들은 가우시안 노이즈와 미래의 형태( $x_{t+\Delta t}$ ) 사이를 보간하는 잠재 변수 $z_s$ 를 타겟 분포로 변환하는 속도장(velocity field) $v_\theta$ 를 학습합니다. 학습 목표는 선형 보간법으로부터 유도된 조건부 속도장과 예측된 속도 사이의 제곱 오차를 최소화하는 것입니다.
아키텍처: 두 단계의 트랜스포머 아키텍처를 통해 컨디셔닝 네트워크( $f_c$ )와 속도 예측 네트워크( $f_v$ )를 분리합니다. 두 네트워크 모두 잔기 및 쌍(pair) 표현을 활용하는 Proteina 아키텍처 기반의 비등변(non-equivariant) 트랜스포머입니다.

보조 표현의 통합

일반화와 데이터 효율성을 높이기 위해, 저자들은 컨디셔닝 입력을 세 가지 소스의 사전 학습된 정보로 확장합니다:

서열 임베딩 (pLM): 사전 학습된 단백질 언어 모델(특히 ESM-Cambrian)에서 추출된 잔기 수준의 임베딩입니다. 이는 진화적, 구조적, 기능적 정보를 암묵적으로 포착합니다.
구조 임베딩: 입력 백본 좌표를 기반으로 한 사전 학습된 구조 인식 모델(Proteina)에서 추출된 표현입니다. 이는 국소적 및 전역적 기하학적 특징을 제공합니다.
LLM 유도 주석: 특정 단백질 도메인을 단독으로 시뮬레이션하는 것의 적절성(예: 누락된 보조 인자나 결합 파트너 확인)에 대해 대규모 언어 모델(DeepSeek Reasoner)이 생성한 휴리스틱 평가입니다.

최종 모델인 PLaTITO-19M은 파라미터 수를 1,900만 개로 확장하며, 더 큰 ESM-Cambrian 6B 모델의 임베딩을 활용합니다.

주요 기여

전이 가능한 TITO 개발: 저자들은 다양한 온도에서의 다양한 비평형 MD 궤적으로부터 처음부터(from scratch) 학습되었을 때 OOD 단백질 시스템으로 일반화되는 조립된 TITO 모델을 개발하였으며, 이를 통해 시스템별 미세 조정의 필요성을 제거했습니다.
보조 신호의 통합: 사전 학습된 서열 및 구조 임베딩을 조건화하는 것이 데이터 효율성을 크게 향상시킨다는 것을 입증했습니다. PLaTITO 변형 모델은 훨씬 적은 데이터와 계산 자원을 사용하면서도 베이스라인보다 일관되게 우수한 성능을 보였습니다.
최첨단 성능(SOTA): PLaTITO-19M은 빠른 폴딩 단백질(fast-folding proteins)을 포함한 OOD 단백질 시스템에 대한 평형 샘플링 벤치마크에서 BioEmu를 능가하며 최첨단 성능을 달성했습니다.
비-아레니우스(Non-Arrhenius) 역학: 본 연구는 PLaTITO가 학습한 온도 의존적 역학이 단백질 폴딩의 복잡하고 험준한 자유 에너지 지형과 일치하는 비-아레니우스 거동을 보임을 보여줍니다.

결과

모델은 mdCATH 데이터셋(다양한 비평형 궤적)에서 평가되었으며, 빠른 폴딩 단백질(예: Villin, WW domain, A3D) 및 **숨겨진 결합 포켓(cryptic binding pockets)**에 대해 테스트되었습니다.

평형 샘플링: PLaTITO-19M은 자유 에너지 지형에서 평균 절대 오차(MAE) 0.824 및 평균 제곱근 오차(RMSE) 1.099를 달성하여, BioEmu(MAE 1.110, RMSE 1.389) 및 ConfDiff, Str2Str와 같은 다른 베이스라인을 능가했습니다.
데이터 및 계산 효율성: PLaTITO-19M은 1,100 GPU 시간과 56 ms의 총 MD 학습 데이터를 사용하여 이러한 결과를 얻었습니다. 반면, BioEmu는 131k AFDB 구조에 대한 추가 학습과 함께 9,216 GPU 시간 및 216 ms의 데이터가 필요했습니다. 더 작은 규모의 TITO 변형(파라미터 3M)도 훨씬 적은 자원으로 BioEmu의 성능을 따라잡았습니다.
장기 역학: 모델은 A3D에 대해 120 $\mu$ s 궤적을 성공적으로 생성하여 반복적인 폴딩 및 언폴딩 이벤트를 포착했습니다. 추정된 평균 최초 통과 시간(MFPT)은 MD 경향과 일치했으나, 체계적으로 더 빠르게 나타났습니다(이는 알려진 변분 효과(variational effect)입니다).
온도 의존성: 모델은 온도(320K–440K)에 따른 비-아레니우스 폴딩 및 언폴딩 속도를 복구하였으며, 이는 단순한 지수적 스케일링을 넘어 물리적으로 의미 있는 역학을 학습했음을 나타냅니다.
숨겨진 포켓: PLaTITO-19M은 BioEmu에 비해 숨겨진 결합 포켓을 샘플링하는 데 개선된 커버리지를 보여주었으며, BioEmu가 실패했던 어려운 사례에서도 apo 상태를 성공적으로 복구했습니다.

의의 및 주장

본 논문은 MD 데이터의 자기 상관 구조를 ITO 학습을 통해 활용하는 것이, 사전 학습된 단백질 언어 모델의 보조 컨디셔닝과 결격될 때 MD 대리 모델을 학습하기 위한 매우 데이터 효율적인 경로를 제공한다고 주장합니다.

일반화: 주요 발견은 pLM 임베딩이 강력한 귀납적 편향(inductive bias)을 제공하여, TITO 모델이 다양한 비평형 궤적으로부터 전이성을 더 효율적으로 학습할 수 있게 하며, 미세 조정 없이도 OOD 시스템에서 성능을 발휘하게 한다는 점입니다.
효율성: 본 연구는 중앙적인 차이를 강조합니다. 볼츠만 에뮬레이터가 평형 밀도를 매핑하기 위해 방대한 데이터를 사용하는 반면, TITO 모델은 시간적 상관관관계를 활용하여 성능을 유지하거나 능가하면서도 데이터 및 계산 비용을 거의 10배 가까이 낮춥니다.
물리적 충실도: 비-아레니우스 역학을 포착하고 숨겨진 포켓을 탐색하는 능력은 모델이 단순히 정적인 분포를 학습하는 것이 아니라 시스템의 근본적인 프로파게이터(propagator)를 학습하고 있음을 시사합니다.

저자들은 조립된 표현 사용(측쇄 재배열 무시) 및 상세 균형(detailed balance) 또는 안정성에 대한 공식적인 보증 부재를 포함한 한계를 인정합니다. 그들은 성능이 강력하지만, 모든 메타스테이블(metastable) 상을 포착하고 시간 척도 정확도를 개선하기 위해서는 데이터와 모델 용량의 추가적인 확장이 필요하다고 언급했습니다.