A Large-Scale Dataset and Benchmark: Do Protein-Ligand Models Learn Binding Sites or Just Binding Likelihood?

기술적 요약: InteractBind – 단백질 - 리간드 결합 부위 국소화를 위한 대규모 데이터셋 및 벤치마크

문제 제기
단백질 - 리간드 모델링은 컴퓨터 기반 신약 개발의 핵심이지만, 기존 벤치마크는 주로 이진 결합 예측 (상호작용이 발생하는가?) 또는 결합 친화도 회귀 (상호작용의 강도는 얼마인가?) 에 초점을 맞춰 모델을 평가합니다. 이러한 작업은 모델이 결합의 발생 여부나 강도를 예측하는지 측정하지만, 모델이 특정 결합 부위를 국소화할 수 있는지 또는 분자 인식을 주도하는 근본적인 비공유 결합 상호작용을 식별할 수 있는지에 대한 증거는 제한적입니다. 현재 시퀀스 기반 데이터셋은 대규모로 아미노산 잔기 수준의 상호작용 주석을 제공하는 경우가 드물어, 학습된 상호작용 지도가 물리화학적 접촉 패턴을 진정으로 포착하는 것인지, 아니면 단순히 이진 결합 레이블과 상관관계만 있는 것인지 판단하기 어렵습니다. 따라서 모델이 결합 잔기를 국소화하고 서로 다른 유형의 비공유 결합 상호작용을 구별하는 정밀한 능력을 체계적으로 평가하는 데는 부족함이 있습니다.

방법론
이러한 격차를 해소하기 위해 저자들은 단백질 데이터 은행 (PDB) 의 실험적으로 규명된 복합체에서 유래한 대규모 단백질 - 리간드 데이터셋 및 벤치마크인 InteractBind를 소개합니다.

• 데이터셋 구축: 본 데이터셋은 약 11,000 개의 고유 단백질과 약 9,000 개의 고유 리간드를 포함하는 약 100,000 개의 단백질 - 리간드 쌍으로 구성됩니다. 각 쌍에 대해 저자들은 다음을 생성합니다:

  • 시퀀스 표현: 단백질의 경우 표준 FASTA 및 구조 인식 (SA) 시퀀스; 리간드의 경우 SMILES 및 SELFIES.
  • 상호작용 주석: PLIP 및 GetContacts 와 같은 도구를 사용하여 수소 결합, 염다리, $\pi$–$\pi$ 쌓임, 양이온–$\pi$ 상호작용, 소수성 접촉, 반데르발스 힘 등 6 가지 주요 비공유 결합 상호작용 유형을 탐지합니다.
  • 상호작용 지도: 이러한 상호작용은 시퀀스 수준의 지도에 투영되어 리간드 원자 $\times$ 단백질 잔기에 해당하는 $m \times n$ 행렬과 가중치 상호작용 점수를 생성합니다. 집계된 지도는 단백질 결합 부위 (적어도 하나의 상호작용에 참여하는 잔기) 를 정의합니다.
  • 레이블: 이진 결합 레이블 (도킹 기반 친화도 점수에서 유래: $\le -7$ kcal/mol 을 양성, $> -5$ kcal/mol 을 음성으로 간주) 과 친화도 값.

• 벤치마크 설계:

  • 핵심 작업: 결합 부위 국소화. 주요 평가 지표는 **상위 K 개 결합 잔기 히트율 (BRHR@K)**로, 상위 K 개로 예측된 단백질 잔기가 실제 결합 잔기와 겹치는지 여부를 측정합니다.
  • 분할: 현실적인 일반화 평가를 보장하기 위해 데이터셋에는 다음이 포함됩니다:
    • 분포 내 (ID): 5 교차 검증을 사용한 친화도 인식 분할.
    • 분포 외 (OOD): 덜 익숙한 단백질 표적에 대한 성능을 평가하기 위한 4 가지 단백질 유사도 제어 분할 (최대 훈련 - 테스트 유사도 25%, 28%, 31%, 33%).
  • 베이스라인: 8 가지 대표적인 시퀀스 기반 상호작용 인식 모델 (예: MolTrans, TransformerCPI, DrugBAN, FusionDTI) 이 평가되었습니다.

주요 기여

1. InteractBind 데이터셋: 이진 레이블과 친화도 점수뿐만 아니라 아미노산 잔기 수준의 결합 부위 주석과 6 가지 서로 다른 비공유 결합 상호작용 지도를 제공하는 새로운 대규모 자원.
2. 정밀 평가 패러다임: BRHR 지표와 상호작용 유형별 분석을 지원하여 결합 부위 국소화를 핵심 작업으로 공식화하고, 쌍 수준의 결과를 넘어선 평가.
3. 체계적 벤치마킹: 8 가지 최첨단 모델에 대한 평가 결과, 상호작용 인식 아키텍처는 측정 가능한 결합 부위 국소화 신호를 보이지만, 특히 특정 물리화학적 접촉 패턴을 식별하는 데에는 상당한 개선의 여지가 있음을 드러냄.

결과

• 이진 예측 대 국소화 성능: 이진 결합 예측과 결합 부위 국소화 사이에는 상당한 불일치가 존재합니다. 가장 성능이 우수한 모델인 FusionDTI 는 이진 예측에서 98.3% AUROC를 달성했지만, 결합 부위 국소화에서는 21.6% BRHR@1에 그쳤습니다. 이는 강력한 이진 예측이 결합에 관여하는 특정 잔기에 대한 신뢰할 수 있는 식별을 보장하지 않음을 시사합니다.
• 상호작용 유형별 변동성: 성능은 비공유 결합 상호작용 유형에 따라 현저히 다릅니다. 모델은 반데르발스 힘, 소수성 접촉, 수소 결합과 같은 일반적이고 공간적으로 넓은 접촉을 $\pi$–$\pi$ 쌓임 (18.2%) 및 양이온–$\pi$ 상호작용 (16.1%) 과 같은 특정 기하학적 배열보다 더 효과적으로 국소화합니다 (예: FusionDTI 는 반데르발스 힘에 대해 약 33% 의 BRHR@5 달성).
• 일반화: 단백질 유사도 제어 OOD 분할 하에서, 훈련 및 테스트 단백질 간의 유사도가 감소함에 따라 이진 예측과 결합 부위 국소화 모두의 성능이 저하되어, 새로운 단백질 표적에 대한 결합 부위 국소화의 어려움을 강조합니다. 리간드 유사도는 성능에 상대적으로 작은 영향을 미쳤습니다.

의의 및 주장
본 논문은 InteractBind 가 더 해석 가능하고 물리적으로 근거 있는 단백질 - 리간드 모델 개발을 장려하는 새로운 벤치마크 패러다임을 확립한다고 주장합니다. 저자들은 현재 모델이 분자 인식의 메커니즘적 결정 요인을 진정으로 학습하지 않은 채 데이터셋 특정 상관관계에 의존하여 결합 발생을 예측하는 경우가 많다고 논합니다. 명시적인 아미노산 잔기 수준의 감독과 상호작용 유형별 주석을 제공함으로써 InteractBind 는 모델이 결합 부위를 국소화하고 이를 안정화하는 비공유 결합 상호작용을 식별하는지 체계적으로 평가할 수 있게 합니다. 결과는 현재 상호작용 인식 모델이 일부 결합 부위 신호를 포착하고 있지만, 특정 상호작용 유형이나 새로운 단백질 표적에 대해서는 정밀한 국소화에 아직 신뢰할 수 없음을 시사합니다. 저자들은 이 작업을 결과 중심 지표에서 정밀 평가로의 전환을 위한 한 걸음으로 위치시키며, 이는 컴퓨터 기반 신약 개발 파이프라인의 신뢰성을 높이고 오해의 소지가 있는 생물학적 결론을 피하는 데 필수적이라고 강조합니다.

한계점
저자들은 현재 벤치마크가 시퀀스 수준 평가에 초점을 맞추고 있으며 아직 구조 수준 벤치마크를 포함하지 않는다고 명시적으로 지적합니다. 포즈 모호성과 구조적 유연성으로 인해 3D 구조로 평가를 확장하는 것은 도전적이며, 이는 아미노산 잔기 기반 시퀀스 평가에 비해 노이즈를 유발하고 해석 가능성을 저하시킬 수 있음을 인정합니다.