Protein Diffusion Models as Statistical Potentials

이 논문은 진화 정보 부재 시 구조 예측, 전체 입체 구조 공간 모델링, 돌연변이 열역학 포착 등 기존 한계를 극복하고 돌연변이 안정성 예측에서 최첨단 성능을 보이는 단백질 에너지 기반 모델인 ProteinEBM 을 제안합니다.

핵심

1. 핵심 비유: "지도 없는 등산가" vs "지형도 그리는 등산가"

기존의 AI 모델 (AlphaFold 등) 은 마치 방대한 등산 기록 (진화 데이터) 을 외운 등산가와 같습니다.

• 장점: 이전에 많은 사람이 다녀간 유명한 산 (진화 정보가 풍부한 단백질) 은 아주 정확하게 정복합니다.
• 단점: 아무도 가본 적 없는 새로운 산 (진화 정보가 없는 새로운 단백질) 이나, 산이 변하는 과정 (돌연변이, 접힘 과정) 을 예측하는 데는 약합니다. 마치 "이 길은 기록에 없으니 모르겠다"라고 말하는 것과 같습니다.

ProteinEBM은 조금 다릅니다. 이 모델은 산의 지형과 물리 법칙을 직접 이해하는 등산가입니다.

• 원리: 이 모델은 "어떤 모양이 가장 에너지가 낮고 안정한가?"라는 **물리 법칙 (에너지)**을 학습합니다.
• 효과: 기록에 없는 새로운 산이라도, 지형의 법칙을 적용하면 가장 안전한 정상 (올바른 구조) 을 찾아낼 수 있습니다. 또한, 산을 오르는 과정 (접힘) 이나 비가 와서 길이 변하는 과정 (돌연변이) 도 시뮬레이션할 수 있습니다.

2. 이 모델이 해결하는 3 가지 큰 문제

이 논문은 ProteinEBM 이 다음과 같은 세 가지 난관을 어떻게 해결하는지 보여줍니다.

① "새로운 산"을 등반하는 것 (구조 예측)

• 상황: 진화 데이터가 전혀 없는 새로운 단백질을 설계해야 할 때.
• 해결: ProteinEBM 은 데이터가 없어도, "이 모양은 불안정해, 저 모양은 안정해"라고 판단하는 에너지 점수를 매깁니다. 마치 등산가가 "이 길은 너무 가파르니 위험해"라고 판단하는 것과 같습니다.
• 결과: 기존 모델보다 훨씬 더 다양한 형태의 단백질을 찾아내거나, 잘못된 구조를 걸러내는 데 탁월한 성능을 보였습니다.

② "산의 지형이 변할 때" (돌연변이 예측)

• 상황: 단백질의 아미노산 하나를 바꾸면 (돌연변이), 그 단백질이 튼튼해지거나 무너지거나 할 때.
• 해결: ProteinEBM 은 에너지 차이를 계산합니다. "원래 산 (단백질) 의 높이는 100 이었는데, 돌연변이 후 높이가 120 이 되었네? 그럼 더 불안정해졌구나"라고 계산합니다.
• 결과: 실험실 데이터와 거의 일치하는 정확도로, 단백질이 변형될 때 얼마나 튼튼해지는지 (안정성) 를 예측하는 세계 최고 수준의 성능을 냈습니다.

③ "등산 과정"을 시뮬레이션하는 것 (접힘 경로)

• 상황: 단백질이 무작위 상태 (구슬 뭉치) 에서 어떻게 스스로 접혀서 제 모양을 갖게 되는지.
• 해결: 기존 모델은 '결과물'만 보여줍니다. 하지만 ProteinEBM 은 **랜덤 워크 (랜덤하게 움직이는 과정)**를 통해 단백질이 어떻게 접히는지 동영상처럼 시뮬레이션할 수 있습니다.
• 결과: 단백질이 접히는 순간순간의 경로와 중간 상태를 관찰할 수 있어, 단백질이 어떻게 작동하는지 이해하는 데 큰 도움이 됩니다.

3. 왜 이 모델이 특별한가? (핵심 기술)

이 모델은 **'확산 모델 (Diffusion Model)'**이라는 최신 AI 기술을 사용하지만, 여기에 **'에너지 함수 (Energy Function)'**라는 고전적인 물리 개념을 섞었습니다.

• 기존 확산 모델: "이 그림이 자연스러워 보이게 노이즈를 제거해줘"라고만 합니다. (결과물 위주)
• ProteinEBM: "이 그림이 자연스러울 뿐만 아니라, 물리 법칙상 가장 에너지가 낮은 상태가 되어야 해"라고 학습합니다.
  • 마치 등산가에게 "가장 안전한 길만 찾아줘"라고 명령하는 것과 같습니다.
  • 이렇게 하면 AI 가 만든 구조가 물리적으로 불가능한 형태 (예: 소수성 아미노산이 물속으로 튀어나온 형태) 를 만들지 않도록 방지할 수 있습니다.

4. 요약: 이 연구가 가져올 변화

이 연구는 단백질 과학에 다음과 같은 변화를 가져옵니다:

1. 데이터가 없어도 설계 가능: 진화 기록이 없는 완전히 새로운 단백질을 설계할 수 있는 길이 열렸습니다.
2. 약물 개발 가속화: 단백질이 변할 때 어떻게 변하는지 정확히 알 수 있어, 질병을 치료할 약물을 더 빠르게 찾을 수 있습니다.
3. 물리 법칙과 AI 의 결합: AI 가 단순히 데이터를 외우는 것을 넘어, 자연의 물리 법칙을 이해하도록 만들었습니다.

한 줄 요약:

"ProteinEBM 은 방대한 등산 기록을 외우는 것이 아니라, 산의 지형 법칙을 이해하여 새로운 산을 등반하고, 산이 변하는 과정까지 시뮬레이션할 수 있는 똑똑한 AI 등산가입니다."

기술 요약

논문 제목: Protein Diffusion Models as Statistical Potentials (통계적 포텐셜로서의 단백질 확산 모델)

저자: James P. Roney, Chenxi Ou, Sergey Ovchinnikov (MIT)

1. 연구 배경 및 문제 제기 (Problem)

머신러닝 (특히 AlphaFold) 은 단백질 구조 예측 분야에서 혁신을 가져왔으나, 여전히 해결되지 않은 중요한 과제들이 존재합니다.

• 진화 정보의 부재: AlphaFold 는 다중 서열 정렬 (MSA) 에 충분한 공진화 신호가 있을 때만 잘 작동합니다. MSA 가 얕거나 존재하지 않는 경우 (예: 합성 단백질 설계) 구조 예측이 어렵습니다.
• 돌연변이 및 열역학 예측의 한계: AlphaFold 는 돌연변이의 구조적/열역학적 영향을 정확하게 예측하지 못하며, 단백질 접힘의 동역학적 경로 (folding pathways) 를 모델링하는 데도 한계가 있습니다.
• 구조 앙상블의 정량화: 단백질의 다양한 입체 구조 (conformational ensembles) 를 정량적으로 정확하게 모델링하고, 특정 동역학을 가진 단백질을 설계하는 것은 여전히 난제입니다.

이러한 문제들을 해결하기 위해, 단백질 입체 구조 공간을 특징짓는 **에너지 기반 모델 (Energy-Based Model, EBM)**의 개발이 필요하며, 이를 통해 구조 최적화 및 동역학 시뮬레이션을 수행할 수 있는 효율적인 샘플러가 요구됩니다.

2. 방법론 (Methodology)

저자들은 ProteinEBM이라는 새로운 단백질 구조 및 서열 기반의 에너지 기반 모델을 개발했습니다.

• 기본 원리:
  • 단백질 구조 $x$와 서열 $s$에 대한 에너지 함수 $E_\theta(x, s)$를 학습하여, 조건부 확률 분포 $p(x|s) \propto \exp(-\beta E_\theta(x, s))$를 근사합니다.
  • 이 에너지 함수는 용매 및 미세한 자유도를 적분한 거시적 자유 에너지 (free energy) 를 나타냅니다.
• 아키텍처:
  • AlphaFold3 와 Boltz-1 의 확산 모듈을 기반으로 하지만, **에너지 매개변수화 (Energy-parameterized)**된 확산 모델을 사용합니다.
  • 기존 확산 모델이 스코어 함수 (score function) 를 직접 출력하는 반면, ProteinEBM 은 학습된 에너지 함수의 기울기 (gradient) 로 스코어 함수를 명시적으로 계산합니다 ($s_\theta = -\nabla E_\theta$).
  • 비공변성 (Non-equivariant) 아키텍처: 3D 대칭성을 학습하기 위해 데이터 증강을 사용하며, IPA(Invariant Point Attention) 대신 비공변성 아키텍처를 사용하여 에너지 기반 모델에서의 안정성을 확보했습니다.
• 학습 전략:
  • 데이터: PDB, AlphaFold DB 의 도메인 (CATH, TED 정의) 및 분자 동역학 (MD) 시뮬레이션 데이터 (BioEmu 데이터셋 등) 를 사용했습니다.
  • 학습 목표: 덴오이싱 스코어 매칭 (Denoising Score Matching) 을 사용하여 학습합니다.
  • 외부 접촉 플래그: AlphaFold 와 달리, 잘려진 상호작용 파트너가 있는 경우 이를 '외부 접촉 플래그'로 표시하여 물리적으로 불리한 구조 (소수성 잔기 노출 등) 를 방지합니다.
• 모델 변형:
  • ProteinEBM: 일반적인 구조 예측 및 샘플링용.
  • ProteinEBM-x: 낮은 노이즈 수준 ($t < 0.15$) 에서만 학습된 '전문가 모델'로, 구조 랭킹 및 안정성 예측 성능을 극대화하기 위해 설계되었습니다.

3. 주요 기여 및 성능 (Key Contributions & Results)

ProteinEBM 은 구조 랭킹, 안정성 예측, 구조 생성, 접힘 시뮬레이션 등 다양한 작업에서 기존 방법론을 능가하거나 경쟁력 있는 성능을 보였습니다.

가. 데코이 랭킹 (Decoy Ranking)

• 과제: 올바른 네이티브 구조를 잘못된 데코이 (decoy) 구조들 중에서 식별하는 능력.
• 결과: Rosetta 데코이 세트에서 ProteinEBM-x 는 평균 스피어만 상관관계 (Spearman correlation) 0.838을 기록하여 Rosetta 에너지 함수 (0.757) 보다 통계적으로 유의미하게 높은 성능을 보였습니다.
• 의의: AlphaFold 가 실패할 수 있는 MSA 정보가 부족한 영역에서도 구조 탐색 및 랭킹이 가능함을 입증했습니다.

나. 안정성 예측 (Stability Prediction, $\Delta\Delta G$)

• 과제: 돌연변이에 따른 단백질 안정성 변화 ($\Delta\Delta G$) 예측.
• 결과: ProteinGym 벤치마크에서 0.686의 스피어만 상관관계를 기록하여, 15 배 이상 큰 파라미터 수를 가진 ESM3 을 포함한 기존 모든 모델 (ProSST, VenusREM 등) 을 능가하는 최신 최고 (SOTA) 성능을 달성했습니다.
• 특징: 진화적 정보가 없는 합성 단백질 (de novo proteins) 에 대해 ESM3 보다 훨씬 우수한 성능을 보였으며, 이는 ProteinEBM 이 진화적 신호에 의존하지 않고 물리/통계적 포텐셜을 학습했음을 시사합니다.

다. 입체 구조 샘플링 (Conformational Sampling)

• 과제: 단백질의 다양한 입체 구조 앙상블 생성.
• 방법: 역확산 (reverse diffusion) 또는 Langevin 동역학을 통한 에너지 지형도 탐색.
• 결과: 11 개의 고속 접힘 단백질 (fast-folding proteins) 에 대해 Langevin 어닐링을 수행한 결과, 네이티브 구조와 3.5Å 이내의 RMSD 를 가지는 구조를 성공적으로 발견했습니다. BioEmu 와 달리 명시적인 에너지 함수를 가지므로, 생성된 샘플을 에너지 기준으로 재랭킹하여 정확한 구조를 찾을 수 있습니다.

라. 접힘 시뮬레이션 (Folding Simulations)

• 과제: 단백질이 접히는 동역학적 경로 모델링.
• 결과: Protein G, NuG2, Protein L 에 대한 접힘 시뮬레이션에서, 실험적으로 알려진 접힘 경로 (예: Protein G 의 C-말단 헤어핀 형성 우선) 와 정성적으로 일치하는 경로를 관찰했습니다. 이는 EBM 기반 시뮬레이션이 접힘 메커니즘을 탐색하는 데 유효함을 보여줍니다.

마. 구조 예측 (Structure Prediction)

• 과제: MSA 없이 단백질 구조 예측.
• 결과: 쉬운 타겟 (easy targets) 에서는 AlphaFold2/3 단일 서열 모드보다 우수한 성능을 보였습니다. 그러나 토폴로지가 완전히 다른 '어려운 타겟' (hard targets) 에서는 샘플링 능력의 한계로 인해 AlphaFold 에 비해 성능이 떨어졌습니다. 이는 ProteinEBM 이 구조 랭킹에는 탁월하지만, 완전히 새로운 접힘 (fold) 을 생성하는 샘플링 능력은 아직 개선이 필요함을 시사합니다.

4. 의의 및 결론 (Significance)

1. 열역학적 기반의 ML 모델: ProteinEBM 은 머신러닝 기반 단백질 모델을 열역학 원리 (자유 에너지) 에 기반하게 하여, 구조 예측뿐만 아니라 안정성, 결합 친화도, 동역학 등 다양한 물리화학적 특성을 통합적으로 모델링할 수 있는 프레임워크를 제시했습니다.
2. 계산 자원의 유연한 확장: 구조 예측을 '스코어링 (에너지 함수 학습)'과 '샘플링 (최적화)'으로 분리함으로써, 추론 시 계산 자원을 문제의 난이도에 따라 임의로 확장하여 (Test-time scaling) 더 넓은 구조 공간을 탐색할 수 있게 했습니다.
3. MSA 의존성 탈피: 진화적 정보 (MSA) 가 부족한 영역에서도 우수한 성능을 보여, 합성 단백질 설계 및 새로운 접힘 구조 발견에 중요한 도구가 될 수 있습니다.
4. 향후 방향: 더 정교한 샘플링 기법 (Enhanced sampling) 적용, 단백질 복합체 모델링, 그리고 실험 데이터를 통한 직접적인 에너지 차이 학습 등을 통해 성능을 더욱 향상시킬 수 있을 것으로 기대됩니다.

이 논문은 단백질 과학에서 에너지 기반 모델 (EBM) 이 단순한 구조 예측을 넘어, 단백질의 열역학과 동역학을 이해하고 설계하는 강력한 도구로 자리 잡을 수 있음을 입증했습니다.