Large scale prospective evaluation of co-folding across 557 Mac1-ligand complexes and three virtual screens

본 연구는 557 개의 Mac1-리간드 복합체와 3 가지 가상 스크리닝을 대상으로 한 대규모 전향적 평가를 통해, 딥러닝 기반 공동 접힘 (co-folding) 방법들이 실험적 구조와 친화력을 일정 수준 예측할 수 있음을 확인했으나, 단백질 구조 변화 재현에는 한계가 있어 물리 기반 도킹 점수와 통합할 때 히트 우선순위 선정에 더 효과적임을 제시했습니다.

핵심

🎬 비유: "요리사 (AI) 와 레시피 (약)"

약 개발은 마치 새로운 요리를 만드는 과정과 같습니다.

• 단백질 (Mac1 등): 요리를 담을 그릇입니다.
• 약 (리간드): 그릇에 들어갈 재료입니다.
• 목표: 그릇 모양에 딱 맞는 재료를 찾아서, 그릇에 꽉 끼워 넣는 것입니다. (이걸 '결합'이라고 합니다.)

과거에는 이걸 하려면 수천 개의 재료를 그릇에 하나씩 넣어보며 "어? 안 맞아, 빼고 다른 거 넣어볼까?" 하는 식으로 **수작업 (전통적 docking)**을 해왔습니다. 하지만 요즘은 AlphaFold3, Chai-1, Boltz-2 같은 초능력을 가진 AI 요리사들이 등장했습니다. 이 AI 들은 "이 그릇에 어떤 재료가 들어갈지 미리 상상해서 그려줘"라고 하면, 바로 그림을 그려줍니다.

이 논문은 **"그 AI 요리사들이 실제로 얼마나 잘하는지, 그리고 우리가 믿고 따라도 되는지"**를 검증한 보고서입니다.

---

🧪 실험 1: "이미 정답을 알고 있는 시험" (Mac1 단백질 실험)

연구진은 SARS-CoV-2(코로나 바이러스) 의 단백질 중 하나인 'Mac1'에 결합하는 557 가지의 새로운 약 후보물질을 준비했습니다. 이 물질들은 AI 가 아직 배울 수 없었던 '새로운' 것들이었습니다.

결과:

• AI 의 활약: AI 요리사들은 이 557 가지 재료를 그릇에 넣는 모습을 80% 이상의 확률로 정확하게 그려냈습니다. (전통적인 수작업 방식보다 훨씬 잘했습니다!)
• 흥미로운 점: AI 가 그릇의 모양을 아주 조금만 바꿔도 (예: 그릇 입구가 살짝 벌어지는 것) 재료가 들어갈 수 있다는 걸 알아냈습니다. 하지만 AI 는 그릇 모양이 아주 크게 변하는 상황 (예: 그릇이 완전히 뒤집히는 것) 은 잘 예측하지 못했습니다.
• 기억력 테스트: "AI 가 그냥 과거에 본 레시피를 외워서 답을 쓴 건가?"라고 의심했지만, 전혀 새로운 형태의 재료라도 AI 는 잘 맞춰냈습니다. 즉, 단순 암기가 아니라 원리를 이해한 것으로 보입니다.

🎯 실험 2: "진짜와 가짜를 구별하는 시험" (대규모 검색 실험)

이번에는 상황이 달라졌습니다. 연구진은 수억 개의 후보물질 중에서 진짜 약이 될 만한 것 (진짜) 과 그냥 비슷해 보이지만 약이 안 되는 것 (가짜) 이 섞여 있는 큰 상자를 준비했습니다. 여기서 진짜 약을 찾아내는 것이 목표였습니다.

결과:

• AI 의 고전: AI 는 "이거 진짜 약이야!"라고 확신하며 그림을 그렸지만, 진짜 약과 가짜 약을 구별하는 능력은 기대만큼 좋지 않았습니다. 오히려 전통적인 수작업 방식 (DOCK) 이 가짜를 걸러내는 데 더 효과적이었습니다.
• 이유: AI 는 "이게 그릇에 잘 들어맞으면 약일 거야"라고 생각하지만, 실제로는 그릇에 잘 들어맞아도 약효가 없는 가짜들이 많기 때문입니다. AI 는 **형식 (모양)**에는 강하지만, **실질 (효과)**을 판단하는 데는 아직 약합니다.

---

💡 핵심 결론: "AI 와 인간은 서로를 도와야 한다"

이 연구는 우리에게 두 가지 중요한 교훈을 줍니다.

1. 약의 모양을 그릴 때는 AI 가 최고입니다: "이 약이 그릇에 어떻게 들어갈까?"라는 질문에는 AI 가 훨씬 빠르고 정확하게 답합니다. 이는 약을 더 잘 만들 수 있게 도와줍니다.
2. 수백만 개의 후보 중에서 '진짜'를 고를 때는 전통적인 방식이 나을 수 있습니다: "이 중에서 진짜 약은 뭘까?"라는 질문에는 아직 AI 가 모든 것을 다 해내지는 못합니다.

최종 메시지:
AI 는 마법처럼 모든 것을 해결해 주는 도구가 아니라, 유능한 조수입니다.

• **전통적인 방법 (수작업/물리 법칙)**은 "수백만 개의 후보 중에서 진짜를 걸러내는 수문장" 역할을 합니다.
• **AI (딥러닝)**는 "걸러진 진짜 후보들의 모양을 자세히 분석하고 약을 더 잘 다듬는 설계사" 역할을 합니다.

이 두 가지 방법을 합치면, 우리는 훨씬 더 빠르고 정확하게 새로운 약을 찾아낼 수 있게 될 것입니다.

📝 한 줄 요약

"AI 는 약이 그릇에 어떻게 들어갈지 그리는 데는 천재지만, 수백만 개의 후보 중에서 진짜 약을 찾아내는 데는 아직 인간 (전통적 방법) 의 도움이 필요합니다. 서로 손잡으면 약 개발이 훨씬 빨라집니다!"

기술 요약

1. 연구 배경 및 문제 제기 (Problem)

• 배경: AlphaFold2 의 성공 이후, 단백질 - 리간드 복합체 구조를 예측하는 공접합 (Co-folding) 기술 (AlphaFold3, Chai-1, Boltz-2 등) 이 등장했습니다. 이러한 방법들은 단백질의 구조적 유연성을 고려하고 리간드 친화력을 예측할 수 있다고 주장됩니다.
• 문제점:
  • 기존 평가는 훈련 데이터와 겹치는 경우가 많아 모델의 기억 (Memorization) 과 환각 (Hallucination) 여부를 구분하기 어려웠습니다.
  • 대규모의 독립적인 테스트 세트 (Training cutoff 이후에 결정된 구조) 에 대한 체계적인 전향적 평가가 부족했습니다.
  • 가상 스크리닝 (Virtual Screening) 에서 도킹 (Docking) 으로 선별된 '히트 리스트 (Hit-lists)'를 재순위화 (Rescoring) 할 때 공접합 방법이 실제로 유효한지 여부가 불분명했습니다.

2. 연구 방법론 (Methodology)

연구팀은 두 가지 주요 벤치마크를 통해 공접합 방법론을 평가했습니다.

A. 벤치마크 1: SARS-CoV-2 Mac1 (Macrodomain) 리간드 복합체

• 데이터: 훈련 데이터 컷오프 (AF3: 2021.09, Boltz-2: 2023.06) 이후 결정된 557 개의 새로운 Mac1 리간드의 X-선 결정 구조.
• 특징: 산업적 규모와 깊이를 갖춘 데이터셋으로, 리간드 간 구조적 다양성이 높음 (ECFP4 Tc 0.2~0.4).
• 비교 대상: AlphaFold3 (AF3), Chai-1, Boltz-2 와 전통적인 도킹 프로그램인 DOCK3.7.
• 평가 지표:
  • Pose Accuracy: 예측된 리간드 자세와 실험 구조 간의 RMSD (2 Å 미만 성공 기준).
  • Confidence vs. Affinity: 모델의 신뢰도 점수 (pLDDT, ipTM) 및 친화력 예측 (Boltz-2 pIC50) 이 실험적 친화력 (IC50) 과의 상관관계.
  • Conformational Change: 리간드 결합에 따른 단백질의 큰 구조 변화 (Peptide flip, Loop opening) 예측 능력.

B. 벤치마크 2: 대규모 가상 스크리닝 히트 리스트 재순위화

• 데이터: 세 가지 다른 표적 (AmpC β-lactamase, σ₂ 수용체, Dopamine D4 수용체) 에 대해 수억~수십억 개의 분자를 도킹하여 선별한 후, 실험적으로 검증된 수백 개의 분자 (진짜 리간드 + 위양성 False Positives).
• 목적: 도킹으로 선별된 리스트에서 진짜 리간드와 위양성을 구분 (Discrimination) 하는 능력 평가.
• 비교: AF3, Boltz-2, DOCK3.7 점수를 사용하여 활성/비활성 분자를 분류하는 성능 (AUC, Hit-rate) 비교.

3. 주요 결과 (Key Results)

1) 리간드 자세 예측 (Pose Prediction)

• 성공: AF3, Chai-1, Boltz-2 모두 557 개 중 50% 이상의 리간드 자세를 2 Å RMSD 이내로 정확하게 예측했습니다.
  • AF3 및 Chai-1: 약 70% 정확도 (2 Å 기준).
  • Boltz-2: 약 52% 정확도.
  • DOCK3.7: 약 41% 정확도.
• 의미: 공접합 방법들은 훈련 데이터와 구조적으로 유사하지 않은 (Scaffold hop) 리간드에서도 높은 정확도를 보였습니다. 이는 단순한 기억이 아니라 패턴 학습을 반영합니다.
• 한계: 단백질의 큰 구조 변화 (Peptide flip, Loop opening) 를 예측하는 데는 실패했습니다. 대부분의 경우 고정된 구조 (Ground state) 를 기반으로 리간드 자세만 맞추는 경향이 있었습니다.

2) 신뢰도 및 친화력 예측 (Confidence & Affinity)

• 신뢰도 점수: AF3 의 L-pLDDT 와 Chai-1 의 ipTM 은 예측 자세의 정확도 (RMSD) 와 유의미하게 상관관계가 있었습니다.
• 친화력 예측:
  • Boltz-2: 실험적 친화력 (pIC50) 과 가장 강한 상관관계 (r = 0.6) 를 보였으며, 보정 후 평균 절대 오차 (MAE) 가 약 0.7 kcal 로 베이스라인보다 우수했습니다.
  • AF3/Chai-1: DOCK3.7 보다 약간 더 나은 상관관계를 보였으나 통계적으로 유의미한 차이는 없었습니다.
  • DOCK3.7: 친화력 예측과는 약한 상관관계만 보였습니다.

3) 가상 스크리닝 히트 리스트 재순위화 (Rescoring Docking Hit-lists)

• 성공 실패: 공접합 방법은 대규모 도킹 히트 리스트에서 진짜 리간드와 위양성을 구분하는 데 도킹 (DOCK3.7) 보다 우월하지 않았습니다.
  • σ₂ 수용체: DOCK3.7 (AUC 78.8) > Boltz-2 (AUC 83.8, 일부 우세) > AF3 (AUC 56.1, 실패).
  • AmpC 및 D4: DOCK3.7 이 AF3 보다 훨씬 뛰어난 분류 성능을 보였습니다.
• 원인: 히트 리스트는 훈련 데이터와 완전히 다른 새로운 화학 구조 (Chemotypes) 로 구성되어 있으며, 공접합 모델은 이러한 이질적인 데이터에서 리간드/비리간드 분류 능력이 떨어지는 것으로 보입니다.

4. 핵심 기여 및 결론 (Key Contributions & Significance)

1. 대규모 독립적 검증: 훈련 데이터와 겹치지 않는 557 개의 고해상도 구조를 통해 공접합 모델의 실제 성능을 최초로 대규모로 검증했습니다.
2. 상호 보완적 역할 규명:
   • 도킹 (Docking): 방대한 라이브러리에서 새로운 리간드 후보를 발굴 (Discovery) 하고 분류하는 데 탁월함 (속도 빠름, 분류 능력 우수).
   • 공접합 (Co-folding): 리간드가 확인된 후, 정확한 결합 자세 (Pose) 를 예측하고 친화력을 최적화 (Optimization) 하는 데 유용함 (구조 예측 정확도 높음, 친화력 예측 가능성).
3. 실용적 시사점:
   • 공접합 기술은 아직 가상 스크리닝의 1 차 필터링 (Hit identification) 을 대체할 수는 없습니다.
   • 하지만 리드 최적화 (Lead Optimization) 단계에서 도킹으로 얻은 히트들의 정확한 결합 모드를 예측하고, 친화력을 추정하는 강력한 도구로 활용될 수 있습니다.
   • 물리 기반 방법 (도킹) 과 딥러닝 기반 방법 (공접합) 을 통합 (Integration) 하는 접근법이 차세대 구조 기반 약물 개발 (SBDD) 파이프라인의 핵심이 될 것입니다.

요약

이 연구는 최신 AI 기반 공접합 모델들이 단일 표적의 리간드 최적화 단계에서는 뛰어난 성능을 보이지만, 다양한 화학 구조를 가진 대규모 스크리닝 히트 리스트를 분류하는 데는 기존 도킹 방법보다 열세임을 명확히 보여주었습니다. 따라서 두 방법론은 서로 경쟁하기보다 약물 발견 (Discovery) 과 최적화 (Optimization) 의 서로 다른 단계에서 상호 보완적으로 활용되어야 함을 시사합니다.