Source- and Release-Aware Calibration Recovers EGFR Potency Prediction Under Cross-Source and Future-Release Domain Shift

기술 요약: EGFR 효능 예측을 위한 소스 및 릴리스 인식 보정(Source- and Release-Aware Calibration)

문제 정의
표피성장인자 수용체(EGFR)에 대한 리간드 기반 효능 모델은 무작위 분할(random split)로 평가할 때 강력한 내부 정확도를 보이는 경우가 많다. 그러나 본 논문은 이러한 지표들이 공유된 아날로그 시리즈, 중복된 화학 구조, 그리고 소스별 고유의 어세이(assay) 관습에 의해 부풀려졌다고 주장한다. 실제 의약 화학 현장에서 모델은 다음과 같은 심각한 도메인 변화(domain shift)에 직면한다:

1. 스캐폴드 및 시계열 변화(Scaffold and Temporal shifts): 새로운 화학적 스캐폴드나 미래의 시점으로 일반화되는 문제.
2. 교차 소스 변화(Cross-source shifts): ChEMBL에서 BindingDB와 같은 독립적인 데이터베이스로 전이되는 문제.
3. 미래 릴리스 변화(Future-release shifts): 훈련 컷오프(예: ChEMBL30) 이후 데이터베이스에 추가된 분자(예: ChEMBL36 분자)를 예측하는 문제.

엄격한 평가 프로토콜 하에서, 본 논문은 표준 모델들(지문(fingerprints), 앙상블, 그래프 신경망, 심지어 쌍별 활성 절벽 인식 모델까지)이 이러한 변화된 분포에서 성능이 붕괴됨을 입증한다. 구체적으로, 2,907개의 중복되지 않는 ChEMBL36 분자로 구성된 진정한 미래 릴리스 패널에 대해, ChEMBL30으로 학습된 모델들은 단순 평균 베이스라인보다 성능이 낮은 음수(-)의 $R^2$ 점수를 기록했다.

방법론
본 연구는 이러한 실패를 진단하고 복구하기 위해 엄격하고 재현 가능한 프레임워크를 채택한다:

• 엄격한 데이터 큐레이션: ChEMBL(및 BindingDB)로부터 엄격한 규칙을 적용하여 고품질의 EGFR IC50 벤치마크를 재구성하였다: 정확한 등가 관계, nM 단위 사용, 유효한 어세이 유형, 중복 충돌 제거(SD > 0.5), 스캐폴드 기반 분할 적용.
• 벤치마크 구축:
  • 미래 릴리스 패널: 훈련 데이터는 ChEMBL30으로 고정하였고, 평가는 ChEMBL36에서 추출한 중복되지 않는 2,907개의 분자로 수행하였다.
  • 교차 소스 패널: 엄격한 중복 제거를 거친 BindingDB 데이터로 평가하였다.
  • 공공 벤치마크: MoleculeACE 및 ACNet 활성 절벽(activity-cliff) 데이터셋으로 평가하였다.
• 베이스라인 모델: Morgan 지문, Ridge/RandomForest/XGBoost, 그리고 현대적인 방향성 메시 전달 신경망(GINE/D-MPNN)을 포함한 광범위한 아키텍처를 테스트하였다.
• 제안된 솔루션: 소스 및 릴리스 인식 잔차 보정(Source- and Release-Aware Residual Calibration):
  • 베이스 모델을 재학습시키는 대신, 저자들은 가볍고 역전파(backpropagation)가 필요 없는 보정 헤드를 제안한다.
  • 메커니즘: 변화된 분포(예: BindingDB 또는 ChEMBL36)에서 추출한 소수의 "지원(support)" 레이블(수십 개에서 수백 개의 분자)을 사용하여 베이스 모델의 잔차 오차 $r(x) = y - f(x)$를 추정한다.
  • 보정 헤드: 평균 오프셋(mean-offset), 선형 회귀, Morgan 잔차 릿지(Morgan residual ridge, 지문에 대한 잔차 회귀), Morgan kNN-잔차(최근접 이웃으로부터 잔차 전이) 등 다양한 추정기를 테스트하였다.
  • 예측: 보정된 예측값은 $\hat{y}_{cal}(x) = f(x) + \hat{r}(x)$이다.
  • 불확실성: 분할 컨포멀 예측 구간(split conformal prediction intervals)을 변화된 지원 세트의 잔차를 사용하여 재보정함으로써 유효한 커버리지를 복구하였다.

주요 결과

1. 변화에 따른 모델 붕괴:

   • ChEMBL30 $\to$ ChEMBL36 미래 릴리스 패널에서, 비보정 모델(GNN 포함)은 $R^2$ 값이 -0.33에서 -2.52 사이로 나타나 평균 베이스라인보다도 못한 성능을 보였다.
   • BindingDB 및 시계열 외부 분할에서도 유사한 붕괴가 관찰되었다.
   • 쌍별 활성 절벽 목적 함수는 국소적 SAR 지표를 개선했으나, 전역적 도메인 변화를 해결하지는 못했다.

2. 적은 수의 샘플을 통한 보정(Few-Shot Calibration)을 통한 복구:

   • 변화된 분포에서 스캐폴드가 서로 다른 소수의 지원 레이블만을 사용하여, 잔차 보정 헤드가 양수(+)의 $R^2$를 복구하였다.
   • BindingDB: 512개의 지원 레이블을 사용했을 때, RMSE가 1.5959(제로샷)에서 0.8285로 개선되었다.
   • 미래 릴리스 (ChEMBL36): 단 64개의 레이블만으로 RMSE가 1.42($R^2$ -0.33)에서 1.00($R^2$ +0.33)으로 개선되었으며, 512개의 레이블을 사용했을 때는 0.85($R^2$ +0.52)까지 개선되었다.
   • 이 방법은 16~64개의 분포가 일치하는 레이블만으로도 효과적이었다.

3. 일반화 및 효율성:

   • 타겟 전이: 동일한 보정 레시피가 제로샷 $R^2$ 값이 각각 -1.81과 -2.45였던 독립적인 비-EGFR 키나아제 타겟(ABL1 및 BRAF)에서도 성능을 성공적으로 복구하였다.
   • 컴퓨팅 효율성: 적은 레이블 예산(16~64개)에서, 역전파가 없는 보정 방식은 전체 GNN 미세 조정(fine-tuning)과 대등하거나 더 나은 성능을 보이면서도 약 10배 적은 계산 시간(예: 0.38초 대비 0.01초)이 소요되었다.
   • 불확실성: 도메인 내 컨포멀 구간은 미래 릴리스 데이터에 대해 심각한 과소 커버리지를 보였다. 몇 개의 변화된 레이블을 통해 컨포멀 반경을 재보정함으로써, 더 넓고 정직한 구간을 형성하면서도 명목상의 커버리지(예: 목표 0.90 $\to$ 경험적 커버리지 0.90)를 근사적으로 복구하였다.

의의 및 주장
본 논문은 관찰된 EGFR 효능 예측의 저하가 표현 학습(representation learning) 자체의 결함(GNN 역시 실패했으므로)이 아니라, 해결 가능한 도메인 변화 문제라고 주장한다. 핵심 기여는 실용적이고 실행 가능한 배포 레시피를 제공하는 것이다:

• 표현 전이(representation transfer)나 내부 검증 지표에만 의존하지 마라.
• 인도메인 트리아지(in-domain triage)를 위해 모델을 배포하되, 교차 소스 또는 미래 릴리스 시나리오로 이동할 때는 **분포가 일치하는 소수의 지원 세트(수십 개의 분자)**를 반드시 확보하라.
• 이 지원 세트에 잔차 보정을 적용하여 유효한 예측과 불확실성 추정치를 복구하라.

저자들은 이 접근 방식이 전체 GNN 미세 조정에 따르는 계산 비용이나 파멸적 망각(catastrophic forgetting)의 위험 없이, "실패하는" 릴리스 포워드 모델을 사용 가능한 모델로 전환해 준다는 점을 강조한다. 또한, 활성 절벽 인식 목적 함수는 국소적 SAR에는 가치가 있으나, 소스 인식 보정 없이는 전역적 도메인 적응에 불충분하다는 점을 밝힌다.

인정된 한계점
논문은 엄격한 큐레이션이 활성 절벽의 수를 줄인다는 점, 적은 수의 샘플 보정이 타겟-소스 레이블의 가용성을 가정한다는 점, 그리고 ChEMBL30-to-36 실험이 강력한 사후적 스트레스 테스트이긴 하나 진정한 전향적 습식 실험(wet-lab) 검증이 가장 높은 수준의 증거라는 점을 언급한다. 또한, 현재의 XAI 레이블은 전문가가 큐레이션한 파마코포어(pharmacophore)라기보다는 약한 구조적 주석이라는 점도 명시하고 있다.