Polyformer: a generative framework for thermodynamic modeling of polymeric molecules

이 논문은 단백질의 서열과 온도 조건을 입력받아 분자의 열역학적 앙상블을 충실하게 생성하는 최초의 생성 모델인 'Polyformer'를 제안하며, 이를 통해 분자의 접힘 과정, 구조적 앙상블, 그리고 온도 변화에 따른 구조 변화를 동시에 예측할 수 있음을 보여줍니다.

핵심

이 논문은 **'폴리포머 (Polyformer)'**라는 새로운 인공지능 모델을 소개합니다. 이 모델은 단백질이나 고분자 같은 거대 분자들이 어떻게 생겼는지, 그리고 온도가 변할 때 그 모양이 어떻게 바뀌는지를 예측하는 혁신적인 도구입니다.

기존의 인공지능 (예: 알파폴드) 이 분자의 '최고의 한 가지 모습'만 찾아냈다면, 폴리포머는 분자가 가진 **'모든 가능한 모습들의 집합 (앙상블)'**을 온도에 따라 자연스럽게 만들어냅니다.

이 복잡한 내용을 일상적인 비유로 쉽게 설명해 드릴게요.

---

1. 기존 모델 vs. 폴리포머: "정적인 사진" vs. "살아있는 영화"

• 기존 모델 (알파폴드 등):
  imagine 하세요. 단백질이라는 거대한 실타래가 있습니다. 기존 AI 는 이 실타래가 "가장 깔끔하게 묶인 상태"를 찾아서 단 한 장의 사진을 찍어줍니다. 마치 "이 옷을 입었을 때 가장 예쁜 모습"만 보여주는 패션 모델 같습니다.

  • 문제점: 하지만 실제 분자들은 정지해 있지 않습니다. 바람 (온도) 이 불면 옷자락이 흔들리고, 몸이 움직이면 주름이 생깁니다. 분자도 마찬가지로 끊임없이 움직이고 형태를 바꿉니다.

• 폴리포머 (이 논문의 주인공):
  폴리포머는 단순히 사진을 찍는 게 아니라, 살아 움직이는 영화를 만듭니다.

  • "이 단백질이 차가운 겨울 (저온) 에는 어떻게 움직일까?"
  • "뜨거운 여름 (고온) 에는 어떻게 늘어날까?"
  • "온도가 올라가면 어떻게 녹아내릴까?"
    이 모든 변화 과정을 AI 가 직접 시뮬레이션하여, 분자가 가질 수 있는 **수천 가지의 다양한 모습 (앙상블)**을 만들어냅니다.

2. 폴리포머의 핵심 기술: "온도 조절이 가능한 변신 로봇"

이 모델이 어떻게 작동하는지 세 가지 비유로 설명해 볼게요.

① 온도가 '리모컨'이 됩니다

기존 AI 는 온도를 고려하지 않고 고정된 모양만 냈습니다. 하지만 폴리포머는 **온도 (Temperature)**를 입력값으로 받습니다.

• 비유: 마치 스마트 홈 시스템에서 "20 도"를 입력하면 창문이 닫히고, "30 도"를 입력하면 에어컨이 켜지고 창문이 열리는 것처럼, 폴리포머는 온도를 입력하면 분자의 모양을 그에 맞춰 자연스럽게 변형시킵니다.
• 핵심: 온도가 올라가면 분자는 더 활발하게 움직이고 (흔들리고), 결국 모양이 무너지는 (변성) 과정까지 정확하게 예측합니다.

② "기억"과 "예측"의 조화

폴리포머는 단백질의 아미노산 서열 (DNA 코드) 을 보고 시작합니다.

• 비유: 레고 블록의 설명서 (서열) 를 보고, "이걸로 만들면 어떤 모양이 나올까?"라고 상상하는 것과 같습니다. 하지만 여기서 멈추지 않고, "이 레고 구조물을 손으로 흔들면 (온도 변화) 어떤 모양으로 변할까?"까지 상상합니다.
• 기술적 특징: 이 모델은 단백질이 서로 붙어 있는 거리 (거리) 를 계산할 때, 단순히 한 번만 보는 게 아니라 "평균적인 거리"와 "흔들림의 정도"까지 함께 학습합니다.

③ 실패를 통해 배우는 '확산' 과정

이 모델은 처음부터 완벽한 모양을 만드는 게 아니라, **잡음 (소음)**에서 시작해 점점 선명하게 만드는 과정을 거칩니다.

• 비유: 흐릿하게 찍힌 사진 (잡음) 을 가지고, "이게 뭐지?"라고 생각하며 점점 선명하게 다듬어 나가는 과정입니다. 이때 '온도'라는 정보가 "이 사진은 추운 날 찍은 거야, 그래서 더 뻣뻣해"라고 알려주면, AI 는 그 정보에 맞춰 선명하게 만들 수 있습니다.

3. 왜 이것이 중요한가요? (실생활 예시)

단백질은 우리 몸에서 일을 하는 '작업자'입니다. 이 작업자가 일을 하려면 단순히 '모양'만 있는 게 아니라, 적절한 유연성이 필요합니다.

• 약물 개발: 약이 단백질에 붙으려면, 단백질이 잠시 문을 열고 (모양이 변해야) 약이 들어갈 수 있어야 합니다. 기존 모델은 문이 닫힌 상태만 보여주지만, 폴리포머는 "문이 언제, 어떻게 열리는지"를 보여줍니다.
• 무질서한 단백질: 어떤 단백질은 아예 정해진 모양이 없습니다 (무질서). 이런 단백질은 '모양의 집합'으로만 존재합니다. 폴리포머는 이런 복잡한 분자들을 이해하는 데 가장 큰 도움을 줍니다.

4. 결론: 분자의 '날씨 예보'를 만드는 AI

이 논문의 결론은 매우 간단합니다.
"우리는 이제 분자의 '날씨'를 예보할 수 있게 되었습니다."

• 기존: "오늘 날씨는 맑음입니다." (단 하나의 구조)
• 폴리포머: "오늘 아침은 쌀쌀해서 분자가 뻣뻣하지만, 오후에 더워지면 조금 늘어날 거고, 밤에는 더 많이 흔들릴 거예요." (온도에 따른 변화하는 모습의 집합)

이 모델은 단백질이 어떻게 접히고 (Folding), 어떻게 흔들리며 (Fluctuation), 어떻게 녹아내리는지 (Denaturation) 를 한 번에 해결합니다. 비록 아직 완벽한 것은 아니지만, 분자의 움직임을 이해하는 새로운 시대를 연 획기적인 도구라고 할 수 있습니다.

한 줄 요약:

폴리포머는 단백질의 고정된 '사진'이 아니라, 온도에 따라 춤추는 '영화'를 만들어내는 인공지능입니다.

기술 요약

Polyformer: 고분자 분자의 열역학적 모델링을 위한 생성 프레임워크

1. 문제 정의 (Problem Statement)

기존 구조 생물학의 패러다임은 "서열 $\rightarrow$ 단일 구조 (Conformation) $\rightarrow$ 기능"이라는 가정에 기반합니다. AlphaFold 와 같은 도구들은 주어진 서열에 대해 가장 확률이 높은 단일 구조를 예측하는 데 성공했습니다. 그러나 실제 생체 분자 (단백질, 핵산, 지질 등) 는 정적이지 않으며, 그 기능은 열역학적 앙상블 (Conformational Ensemble), 즉 분자가 탐색하는 3 차원 구조들의 집합에 의해 결정됩니다.

기존의 물리 기반 시뮬레이션 (Molecular Dynamics, MD) 은 온도, 이온 농도 등 열역학적 변수에 따른 구조 앙상블을 설명할 수 있지만, 계산 비용이 매우 높고 국소 최소값 (Local Minima) 에 갇히기 쉽다는 단점이 있습니다. 반면, 최근의 머신러닝 기반 단백질 접힘 모델 (AlphaFold 등) 은 단일 구조 예측에는 탁월하지만, 온도 변화에 따른 구조 앙상블의 변화를 포착하거나 접힘 과정 자체를 생성하는 데는 한계가 있습니다.

핵심 문제: 주어진 분자 서열과 온도 (또는 다른 열역학적 변수) 를 입력으로 받아, 해당 분자의 열역학적 구조 앙상블 전체를 생성하고, 온도가 변함에 따라 이 앙상블이 어떻게 변화하는지를 학습할 수 있는 생성 모델은 무엇인가?

2. 방법론 (Methodology)

Polyformer는 고분자 분자의 열역학적 구조 앙상블을 샘플링하기 위한 생성형 머신러닝 프레임워크입니다.

• 기본 아키텍처:

  • Diffusion Transformer (DiT): 분자 시퀀스와 온도를 조건 (Condition) 으로 받아 노이즈가 제거된 3D 구조를 생성합니다.
  • 입력 인코딩:
    • 서열: ESM-2 모델을 사용하여 아미노산 서열의 임베딩을 생성합니다.
    • 3D 위치 (Translation): 학습 가능한 3D 푸리에 임베딩 (Learnable 3D Fourier Embedding) 을 사용하여 잔기 간 거리와 방향을 다중 해상도로 표현합니다.
    • 3D 회전 (Rotation): SO(3) 군의 자연스러운 기저 함수인 Wigner-D 행렬을 사용하여 회전 정보를 인코딩합니다.
  • 조건부 생성 (Conditioning):
    • 온도 게이팅 (Temperature Gating): 온도는 Attention 과 Feed-Forward Network (FFN) 의 입력을 조절하도록 설계되었습니다. 이는 확산 시간 (Diffusion Time) 이 출력에 게이팅을 적용하는 기존 DiT 방식과 구별되는 핵심 설계입니다. 이를 통해 모델은 온도에 따른 구조적 변화를 효과적으로 학습합니다.
    • 폴리머 사전 지식 (Chain Polymer Prior): Attention 메커니즘에 학습 가능한 체인 근접 편향 (Chain-proximity bias) 을 추가하여 고분자의 지속 길이 (Persistence length) 와 온도 의존성을 반영합니다.

• 손실 함수 (Loss Function):

  • 전통적 손실: 위치 (Translation), 회전 (Rotation), 사이드 체인 각도 ($\chi$) 에 대한 MSE 손실.
  • LDDT 손실 (Local Distance Difference Test):
    1. Frame LDDT: 예측된 구조와 참 구조 간의 거리 차이를 패널티.
    2. Ensemble LDDT (새로운 제안): 특정 온도에서 예측된 쌍별 거리를, 해당 온도에서의 MD 시뮬레이션으로 계산된 앙상블 평균 거리와 비교합니다. 이는 단일 프레임의 정확도뿐만 아니라 온도 변화에 따른 구조적 유연성 (Thermal flexibility) 을 학습하도록 유도합니다.

• 데이터셋 및 학습:

  • 데이터: mdCATH 데이터셋 (단백질 도메인, 50111 개 잔기) 의 MD 트래젝토리 (320K450K, 5 가지 온도) 를 사용.
  • 학습: AdamW 옵티마이저 사용, 106 스텝 학습, 300 개의 샘플 생성.

3. 주요 기여 (Key Contributions)

1. 세 가지 문제의 동시 해결: Polyformer 는 (1) 분자의 접힘 (Folding), (2) 구조 앙상블 샘플링, (3) 온도 변화에 따른 앙상블 변화 예측이라는 세 가지 과제를 하나의 생성 모델로 해결하는 최초의 프레임워크입니다.
2. 물리 기반 모델의 속성과 ML 의 효율성 결합: 물리 기반 MD 시뮬레이션이 제공하는 열역학적 의존성을 머신러닝의 생성 능력과 결합하여, 계산 비용 없이도 온도에 따른 구조 변화를 예측할 수 있게 했습니다.
3. 새로운 설계 기법:
   • 온도 게이팅: Attention 입력을 온도로 조절하여 열역학적 의존성을 효과적으로 학습.
   • Ensemble LDDT Loss: 단일 구조의 정확도뿐만 아니라 열적 평균 (Thermal Average) 의 정확도를 보장하는 새로운 손실 함수 도입.
   • Learnable Fourier Embeddings: PairFormer 아키텍처를 배제하고 3D 푸리에 임베딩을 사용하여 모델 크기를 줄이고 고분자 특성을 효과적으로 포착.
4. 범용성: 단백질 도메인뿐만 아니라 핵산, 지질 등 다양한 고분자 분자에 적용 가능한 범용 프레임워크를 제시.

4. 결과 (Results)

• 정성적 평가: 50~111 개 잔기로 구성된 단백질 도메인 (예: 1g2rA00, 3g0vA00) 에 대해 Polyformer 가 생성한 구조 앙상블은 MD 시뮬레이션 (mdCATH) 결과와 매우 유사한 분포를 보였습니다.
  • 온도가 상승함에 따라 구조가 무질서해지고 회전 반경 (Radius of Gyration, $R_g$) 이 증가하는 경향을 MD 와 동일하게 재현했습니다.
• 정량적 평가:
  • Ramachandran 플롯: $\phi, \psi$ 이면각 분포가 온도에 따라 변하는 경향 ( $\alpha$ 및 $\beta$ 피크 감소) 이 MD 와 잘 일치했습니다.
  • RMSF (Root Mean Square Fluctuation): 단백질 골격의 요동 크기가 온도에 따라 증가하는 패턴이 MD 와 거의 완벽하게 일치했습니다.
  • $R_g$ 분포: 온도에 따른 $R_g$ 의 평균과 분산 변화가 MD 데이터와 높은 상관관계를 보였습니다.
• 성능 비교: AlphaFold 계열 모델은 단일 구조 예측에 특화되어 있고, 기존 열역학 모델 (aSAMt 등) 은 초기 구조가 필요하거나 접힘을 학습하지 못했습니다. Polyformer 는 초기 구조 없이 서열과 온도만으로 접힘부터 변성 (Denaturation) 까지 전 과정을 학습했습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 패러다임 전환: "서열 - 단일 구조 - 기능"에서 "서열 - 구조 앙상블 - 기능"으로의 생물학 패러다임 전환을 지원하는 도구로서, 단백질의 동적 특성을 이해하는 데 필수적입니다.
• 자유 에너지 예측 가능성: Polyformer 는 서열만으로 자유 에너지 지형도 (Free Energy Landscape) 를 예측할 수 있는 가능성을 시사하며, 이는 고분자 물리학의 기초 연구에 중요한 도구가 될 수 있습니다.
• 활용 가능성: 용매 조건 변화 등 다양한 환경 변수에 따른 구조 변화를 모델링할 수 있으며, 향후 MD 시뮬레이션의 중요 샘플링 (Importance Sampling) 도구로 활용되어 고해상도 데이터 생성의 선순환 (Flywheel effect) 을 이끌 수 있습니다.
• 한계 및 향후 과제: 현재 학습 데이터가 mdCATH 의 제한된 도메인에 국한되어 있으며, MD 시뮬레이션 자체의 한계 (비 Ergodic 성, 힘장 정확도 등) 가 모델 성능에 영향을 미칠 수 있습니다. 향후 더 다양한 고분자와 더 정확한 물리 기반 데이터로 확장할 필요가 있습니다.

요약하자면, Polyformer는 단백질 접힘과 열역학적 변동을 통합적으로 모델링할 수 있는 획기적인 생성형 AI 모델로, 계산 생물학 분야에서 구조 예측의 새로운 지평을 열었습니다.