Assessment of scoring functions for computational models of protein-protein interfaces

기술 요약: 단백질-단백질 인터페이스의 계산 모델을 위한 스코어링 함수 평가

문제 정의
단백질-단백질 인터페이스(PPI)에 대한 계산 연구의 주요 목표는 두 단량체(monomer)가 헤테로 이합체(heterodimer)를 형성하는 결합 부위를 예측하는 것이다. 강체 재도킹(rigid-body re-docking, 알려진 결합 구조로부터 결합 복합체를 재구성하는 방식)은 높은 적중률(hit rate)을 보이며 이미 "해결된" 문제로 간주되는 경우가 많지만, 근사적 네이티브(near-native) 모델과 저품질 데코이(decoy)를 구별하는 스코어링 함수의 정확도는 일관되지 않다. 기존의 평가는 랭크 기반 지표(예: "적중률")나 분류 지로(예: AUC)에 크게 의존해 왔다. 그러나 이러한 방법들은 샘플링 분포에 매우 민감하다. 표준 데이터셋에서는 근사적 네이티브 모델이 저품질 모델보다 훨씬 적기 때문에, 분류 점수(높은 AUC)가 부풀려져 실제 스코어링 함수와 구조적 정확도(DockQ) 사이의 단조 상관관계(monotonic correlation)를 제대로 반영하지 못하게 된다. 또한, 기존 연구들은 타겟별 스코어링 성능을 평가하거나 단량체의 구조적 유연성을 고려하는 데 실패하는 경우가 많다.

방법론
저자들은 7가지 최첨단 PPI 스코어링 함수(VoroMQA, ITScorePP, PyDock, Rosetta, ZRank2, Deeprank-GNN-ESM, GNN-DOVE)와 물리적 특징에 기반한 새로운 서포트 벡터 회귀(SVR) 모델을 평가하기 위해 엄격한 프레임워크를 개발하였다.

1. 데이터셋 구축:

   • 주요 데이터셋: 해상도($\le$ 3.5 Å), 비단백질 고분자의 부재, 서열 유사성($<$ 20%) 조건을 통과하여 필터링된 Protein Data Bank(PDB)의 고해상도 헤테로 이합체 X선 결정 구조 84개.
   • 검증 데이터셋: ZDOCK Benchmark 5.5에서 추출한 62개의 중복 없는 타겟.
   • 유연한 도킹 서브셋: 구조적 변화를 연구하기 위해 사용 가능한 결합 전(unbound) 단량체 구조를 포함하는 15개의 헤테로 이합체.

2. 균등 샘플링 전략:

   • 저자들은 일반적인 무작위 샘플링(저품질 모델에 편향된 결과를 초래함) 대신, ZDOCK 3.0.2를 사용하여 타겟당 540,000개의 강체 재도킹 모델을 생성하였다.
   • 이 모델들을 하위 샘플링하여, 전체 DockQ 범위($0 \le$ DockQ $\le 1$, 구조적 유사도를 나타내는 연속 척도)에 걸쳐 균등하게 분포된 데이터셋을 구축하였다.
   • 각 타겟에 대해 약 1,000개의 모델을 선택하였으며, "양성"(DockQ $\ge$ 0.23) 모델과 "음성" 모델의 수가 균형을 이루도록 하였다.

3. 평가 지표:

   • 스피어먼 상관계수 ($\rho$): 각 타겟에 대해 스코어링 함수의 출력값과 DockQ 점수 사이의 상관관계를 계산하였다. 이는 예측된 점수와 구조적 정확도 사이의 단조 관계를 측정한다.
   • 적중률(Hit Rate) 및 AUC: 샘플링 편향에 대한 민감도를 입증하기 위해 계산되었다.
   • 물리적 특징 분석: 다항식 SVM을 사용하여 인터페이스 분리도($S$)를 정량화하고, 중원자 거리에 기반한 인터페이스 접촉 수($N_c$)를 산출하였다.

4. 유연한 도킹 확장:

   • 유연한 구조 도킹을 다루기 위해, 결합 전(unbound) 형태와 결합 후(bound) 형태 사이를 선형 보간하여 중간 단량체 구조를 생성하였다. 저자들은 변형된 이 구조들에 대해 강체 도킹을 수행하여, 결합 상태로부터의 RMSD가 증가함에 따라 스코어링 성능이 어떻게 저하되는지 평가하였다.

주요 기여 및 결과

1. 스코어링 지표의 재평가:

   • 본 연구는 모델 품질이 균등하게 샘플링되지 않을 때 적중률과 AUC가 신뢰할 수 없음을 보여준다. 예를 들어, 어떤 데이터셋은 AUC가 0.959임에도 불구하고 스피어먼 상관계수($\rho$)는 약 0.256에 불과할 수 있다.
   • DockQ에 대해 균등하게 샘플링할 경우, $AUC \approx -0.5\rho + 0.5$라는 선형 관계가 나타난다. 이를 통해 $\rho$를 사용하여 타겟별로 일관된 스코어링 함수 평가가 가능해진다.

2. 현재 스코어링 함수의 성능:

   • 균등 샘플링 하에서 현재의 스코어링 함수들은 상당수의 타겟에 대해 성능이 저조하다. 약 50%의 타겟에서 $|\rho| < 0.70$을 나타냈다.
   • "쉬운(easy)" 타겟($|\rho| > 0.8$)은 약 25%에 불과했으며, 23개의 타겟은 "어려운(hard)" 타겟($|\rho| < 0.6$)으로 분류되었다.
   • 테스트된 함수들 중 ZRank2가 가장 높은 평균 상관관계($|\langle\rho\rangle| \approx 0.78$)를 보였고, VoroMQA는 쉬운 타겟에서만 가장 우수한 성능($|\langle\rho\rangle| \approx 0.56$)을 보였다. 머신러닝 기반의 GNN 방법들(Deeprank-GNN-ESM, GNN-DOVE)은 엇갈린 결과를 보였으며, 특히 GNN-DOVE는 높은 DockQ 모델을 일관되게 스코어링하지 못했다.

3. 스코어링 난이도의 물리적 결정 요인:

   • 저자들은 스코어링 난이도와 상관관계가 있는 두 가지 핵심 물리적 특징을 식별하였다:
     • 인터페이스 분리도 ($S$): 기하학적 상보성의 척도. 낮은 $S$(더 뒤엉킨 인터페이스)는 높은 $|\rho|$(더 쉬운 스코어링)와 상관관계가 있다.
     • 인터페이스 접촉 수 ($N_c$): 높은 $N_c$는 높은 $|\rho|$와 상관관계가 있다.
   • 단량체들이 서로 밀접하게 뒤엉켜 있고 접촉 수가 많은 타겟일수록 스코어링이 쉽다. 반대로, 평평하고 분리가 잘 되는 인터페이스와 적은 접촉 수를 가진 타겟은 스코어링이 어렵다.
   • "DockQ 랜드스케이프"(구성 공간에서의 구조적 유사도 분포)는 쉬운 타겟의 경우 더 등방성(isotropic)인 반면, 어려운 타겟은 스코어링 함수가 네이티브 베이신(native basin)과 겹치지 않는 비등방성(anisotropic) 랜드스케이프를 보인다.

4. 단순화된 스코어링 모델의 개발:

   • 단 두 개의 물리적 특징($S$와 $N_c$)만을 사용하여 저자들은 간단한 SVR 모델을 구축하였다. 이 모델은 기존의 가장 정확한 스코어링 함수(ZRank2 등)의 성능과 대등하거나 이를 능가하였으며, 이는 핵심적인 물리적 기술자가 적절히 가중치 부여된다면 복잡한 에너지 함수가 반드시 필요하지 않을 수 있음을 시사한다.

5. 유연성의 영향:

   • 유연한 도킹 실험에서, 단량체가 결합 상태로부터 변형됨에 따라(iRMSD 증가) PPI 스코어와 DockQ 사이의 스피어먼 상관관계가 급격히 감소하였다. 이는 현재의 스코어링 함수들이 입력 단량체가 네이티브 결합 구조가 아닐 때 매우 어려움을 겪는다는 점을 강조한다.

의의 및 주장
본 논문은 PPI 스코어링 분야가 샘플링 편향에 민감한 지표들(적중률, AUC)에 의해 오도되어 왔다고 주장한다. 저자들은 DockQ에 대한 균등 샘플링을 구현함으로써, 현재의 스코어링 함수들이 (특히 특정 인터페이스 기하학을 가진 타겟에 대해) 이전에 생각했던 것보다 훨씬 덜 정확하다는 것을 밝혀냈다.

이 연구의 의의는 다음과 같다:

• 타겟별로 스코어링 함수를 평가하기 위한 더 신뢰할 수 있는 상관관계 기반 지표($\rho$)를 확립하였다.
• 스코어링의 난이도가 단순히 스코어링 함수의 복잡성이 아니라, 인터페이스 기하학(분리도 및 접촉 밀도)에 물리적으로 뿌리를 두고 있음을 확인하였다.
• 두 가지 물리적 특징에 기반한 단순한 모델이 복잡한 최첨단 함수들과 대등한 성능을 보임을 입증하였으며, 이는 더 해석 가능하고 효과적인 스코어링 함수를 향한 경로를 제시한다.
• 유연한 도킹의 결정적 과제를 부각시켰다. 즉, 단량체의 구조가 결합 상태에서 벗어날수록 스코어링 정확도가 빠르게 저하되며, 이는 더 차별적인 물리적 특징을 통합하거나 구조적 앙상블을 더 잘 다루는 방법론이 필요함을 시사한다.

저자들은 PPI 도킹 예측의 개선을 위해서는 현재의 벤치마킹 관행에 의존하기보다, 스코어와 구조적 유사성(DockQ) 사이의 상관관계에 집중하고, 구체적이고 차별적인 물리적 특징을 스코어링 함수에 통합해야 한다고 결론짓는다.