기술 요약: LIT-PCBA 라이브러리에서의 단일 포즈 도킹, 컨센서스 리스코어링 및 감독형 머신러닝 벤치마킹

문제 제기

가상 스크리닝 (VS) 은 현대 신약 개발의 핵심 요소로, 실험적 검증을 위해 화합물을 계산적으로 우선순위화하는 것을 목표로 합니다. 그러나 VS 방법의 예측 능력은 아날로그 편향과 데코이 아티팩트를 포함하는 편향된 벤치마킹 데이터셋 (예: DUD-E) 의 사용으로 인해 종종 훼손되어 과장된 성능 지표를 초래합니다. 또한, 최근 DiffDock 와 같은 인공지능 (AI) 방법이 표준 벤치마크에서 강력한 결과를 보고하고 있지만, 실험적으로 큐레이션된 편향 없는 라이브러리에서의 실제 유용성은 여전히 불확실합니다. 낮은 히트율로 특징지어지는 현실적인 데이터셋에서 최첨단 AI 기반 도킹 및 리스코어링 방법이 전통적인 물리 기반 접근법을 능가하는지, 그리고 컨센서스 전략이나 감독형 머신러닝 (ML) 이 초기 풍부화 (early enrichment) 를 더욱 개선할 수 있는지를 엄격하게 평가할 필요가 있습니다.

방법론

본 연구는 15 개의 다양한 단백질 타겟 (10,008 개의 활성 물질 및 568,287 개의 비활성 물질) 에 걸쳐 578,295 개의 리간드 - 타겟 쌍으로 구성된 LIT-PCBA(Literature-derived PubChem Bioassay) 라이브러리에서 도킹 및 스코어링 워크플로우를 평가했습니다. 평가는 포즈 생성을 위한 두 가지 주요 경로에 초점을 맞췄습니다:

1. AutoDock 경로: AutoDock-GPU(AutoDock 4.2 의 GPU 가속 구현체) 를 사용했습니다. 각 리간드는 10 번의 독립적 실행을 거쳤으며, 가장 높은 친화력을 가진 포즈가 유지되었습니다.
2. DiffDock 경로: 블라인드 도킹을 위한 확산 생성 모델인 DiffDock 를 사용했습니다. 리간드당 20 개의 포즈가 샘플링되었으며, 가장 높은 신뢰도를 가진 포즈가 유지되었습니다.

스코어링 및 리스코어링:
두 경로에서 생성된 포즈는 다음을 사용하여 리스코어링되었습니다:

• GNINA: 3 차원 합성 신경망 (CNN) 스코어링 함수.
• NMDN(정규화된 혼합 밀도 네트워크): pKd 값을 예측하는 딥러닝 기반 리스코어링 함수.
• 네이티브 스코어: AutoDock 의 결합 에너지와 DiffDock 의 내부 신뢰도 점수.

컨센서스 및 필터링 전략:
본 연구는 여러 방법을 결합하기 위해 순위 기반 컨센서스 스코어링을 구현했습니다:

• 무가중 컨센서스: 순위의 단순 평균.
• 보정된 컨센서스 (CC): ML 기반 스코어러 (GNINA, NMDN) 가 기준 도킹 스코어 (1 배) 에 비해 두 배의 가중치 (2 배) 를 부여받는 가중 평균.
• 필터링: 순위 매기기 전에 점수 컷오프 (예: NMDN 점수 ≥ -800, GNINA CNNaffinity ≥ 0.1) 에 기반하여 세 가지 필터링 전략 (중간, 강도, 약함) 을 적용했습니다.
• 전역 컨센서스: AutoDock 및 DiffDock 경로의 순위 통합.

감독형 머신러닝:
리간드를 재순위화하기 위해 여러 ML 모델 (Wide Neural Networks, Deep MLPs, Random Forests, XGBoost, LightGBM) 이 훈련되었습니다. 특징으로는 원시 도킹 스코어, 유도된 비선형 변환 및 상호작용 항이 포함되었습니다. 데이터 누수를 방지하기 위해 타겟별 데이터의 75/25 비율로 모델을 훈련했습니다.

지표:
성능은 1% 및 10% 풍부화 인자 (EF1%, EF10%), ROC-AUC, BEDROC(α=20), 그리고 고전적 분류 지표 (정밀도, 재현율, 균형 정확도) 를 사용하여 평가되었습니다.

주요 결과

1. 단일 방법 성능

• AutoDock-GNINA는 가장 신뢰할 수 있는 단일 방법으로 부상하여 중앙값 EF1% 2.14와 50.5% 의 균형 정확도를 달성했습니다. 이는 DiffDock 기반 방법 및 기준선보다 훨씬 우수했습니다.
• DiffDock 의 한계: DiffDock 단독 (중앙값 EF1% = 1.17) 과 GNINA 로 리스코어링된 DiffDock(중앙값 EF1% = 0.84) 또는 NMDN 으로 리스코어링된 DiffDock(중앙값 EF1% = 0.67) 은 성능이 저조했습니다. 특히, DiffDock 기반 변이체는 OPRK1타겟에서 완전히 실패했습니다 (EF1% = 0). 반면 AutoDock-GNINA 는 동일한 타겟에서 EF1% 12.5 를 달성했습니다.
• NMDN 의 불일치: NMDN 리스코어링은 일관성이 없었습니다. 특정 타겟 (예: AutoDock 포즈와 짝을 이룬 FEN1) 에서는 성능을 향상시켰지만, DiffDock 포즈나 다른 타겟에 적용될 때 종종 성능을 저하시켰습니다.

2. 컨센서스 및 필터링

• 강건성: 보정된 컨센서스 순위 (CC-Medium) 는 강건성을 향상시켜 두 경로 모두에서 중앙값 EF1% 1.8을 달성했습니다. 이는 AutoDock-GNINA 단독으로 놓친 두 개의 타겟 (FEN1 및 IDH1) 을 성공적으로 구출했습니다.
• 전역 컨센서스: 전역 컨센서스를 통해 두 경로를 통합한 결과는 컨센서스 변이체 중 중앙값 EF1% 1.9 로 가장 높았으나, 여전히 AutoDock-GNINA 단독의 성능을 능가하지는 못했습니다.
• 필터링의 트레이드오프: 강력한 필터링 (UC-Strong) 은 특정 이상치 (예: PPARG) 에서 높은 평균 EF1% 를 생성했으나, 중앙값 EF1% 는 0 이었고 활성 물질 유지율은 거의 0 에 가까워 높은 변동성을 나타냈습니다. 약한 필터링 (CC-Weak) 은 경쟁력 있는 풍부화와 함께 높은 활성 물질 회수율 (~100%) 을 유지했습니다.

3. 감독형 머신러닝

• 중대한 개선: 감독형 ML 재순위화는 가장 큰 개선을 제공했습니다. 최선의 모델인 **Wide Neural Network(WNN)**는 EF1% 4.49를 달성하여, 최선의 고전적 스코어러 (2.14 인 AutoDock-GNINA) 대비 약 110% 개선을 보였습니다.
• 지표 개선: WNN 은 균형 정확도를 50.5%(AutoDock-GNINA) 에서 **55.4%**로, 정밀도를 1.85% 에서 **8.2%**로, 재현율을 2.02% 에서 **15.0%**로 향상시켰습니다.
• 비교: ML 모델은 모든 순위 기반 컨센서스 전략 (중앙값 EF1% 약 1.8–1.9) 을 능가하여, 단순 평균화로는 포착할 수 없는 스코어링 함수 간의 비선형 패턴을 포착할 수 있음을 시사합니다.

4. 계산 효율성

• 처리량: AutoDock 는 DiffDock 보다 훨씬 비용 효율적이고 빨랐습니다. AutoDock 는 RTX 3090 에서 초당 약 2 개의 리간드를 처리하는 반면, DiffDock 는 더 강력한 A100 GPU 에서 리간드당 1~2 초가 소요됩니다. 본 연구는 DiffDock 가 이 맥락에서 열등한 정밀도를 제공하기 위해 4 배에서 8 배의 계산 능력이 필요하다고 추정했습니다.

중요성 및 주장

본 논문은 도킹 기반 가상 스크리닝이 유용한 풍부화를 제공하지만, LIT-PCBA 와 같은 현실적인 데이터셋에서의 절대적 예측 능력은 여전히 제한적이라고 결론지었습니다. 주요 주장은 다음과 같습니다:

1. 보편적 해결책의 부재: 단일 도킹 기술이 모든 타겟에서 신뢰할 수 있게 작동하지 않습니다. 성능은 타겟에 크게 의존하며, DiffDock 와 같은 방법은 AutoDock-GNINA 와 같은 고전적 방법이 성공하는 특정 타겟 (예: OPRK1) 에서 완전히 실패합니다.
2. 전통적 방법 + ML 리스코어링의 우위: 전통적인 물리 기반 샘플러 (AutoDock) 와 현대적 ML 리스코어링 함수 (GNINA) 의 결합은 단일 방법 중 정확도, 비용 및 신뢰성의 가장 좋은 균형을 제공합니다.
3. 감독형 학습의 가치: 충분한 실험 데이터가 훈련에 사용될 경우, 감독형 ML 모델은 풍부화를 크게 향상시켜 (EF1% 두 배) 단일 스코어러와 단순 컨센서스 전략 모두를 능가할 수 있습니다.
4. 신기함에 대한 경계: 본 연구는 훈련 데이터 편향 (예: DiffDock 훈련 세트의 '근접 이웃') 이 일반화 능력을 훼손할 수 있는 예측 불가능한 새로운 AI 방법보다는 엄격하게 테스트되고 잘 이해된 도킹 기술을 활용할 것을 옹호합니다.
5. 본질적 한계: 최상의 성능을 보이는 방법 (AutoDock-GNINA, ML 재순위화기) 조차도 modest 한 구별 능력 (균형 정확도 약 50–55%) 만 달성하므로, 구조 기반 도킹만으로는 히트 발견 문제를 완전히 해결할 수 없으며 샘플링 및 스코어링을 넘어선 요인에 의해 제한될 수 있음을 시사합니다.

저자들은 효과적인 워크플로우는 새로운 AI 기반 접근법의 보편적 우월성을 가정하기보다는 특정 타겟이나 밀접하게 관련된 시스템에 대해 검증된 방법을 우선시해야 한다고 강조합니다.