Model Rankings in Drug–Target Affinity Prediction Vary Across Evaluation Regimes: A Controlled Multi-Seed Study of Model-Comparison Reliability

새로운 약물을 발견하기 위한 경주에서, 과학자들은 종종 매우 어려운 과제에 직면합니다. 바로 특정 자물쇠에 맞는 적절한 열쇠를 찾는 일입니다. 여기서 '열쇠'는 작은 분자인 잠재적 약물이며, '자물쇠'는 인체 내부에서 질병을 유발하는 단백질입니다. 약물이 단백질에 잘 결합하면, 질병 과정을 멈추거나 고장 난 기능을 복구할 수 있습니다. 약물이 단백로에 얼마나 강하게 결합할지 예측하는 것은 수백만 개의 후보군을 스크리닝하는 데 있어 매우 중요한 단계로, 이를 통해 연구자들이 가장 유망한 후보에 자원을 집중할 수 있게 해줍니다. 수년 동안 컴퓨터 모델은 알려진 약물-단백질 상호작용의 방대한 데이터베이스로부터 학습하며 이러한 예측을 수행하도록 훈련되어 왔습니다. 목표는 항상 본 적 없는 결합의 강도를 정확하게 추측할 수 있는 모델을 구축하는 것이었습니다. 즉, 새로운 약물이 기존의 단백질에 어떻게 반응할지, 혹은 기존의 약물이 완전히 새로운 단형 단백질 표적과 어떻게 상호작용할지를 예측하는 것입니다.

하지만 하얼빈 사범대학교(Harbin Normal University)의 새로운 연구는 "어떤 모델이 최고인가"라는 질문에 대한 답은 전적으로 던져진 질문이 무엇인지에 달려 있다고 시사합니다. 연구진인 쿠이 하오보(Haobo Kui)와 퀴 신위안(Xinyuan Cui)은 게임의 규칙이 바뀔 때 이 컴퓨터 모델들의 순위가 안정적으로 유지되는지 테스트하고자 했습니다. 실제 약물 발견의 세계에서, 모델은 한 번도 본 적 없는 약물에 대해 상호작용을 예측해야 할 수도 있고, 한 번도 본 적 없는 단백질에 대해 예측해야 할 수도 있으며, 혹은 두 가지 모두가 새로운 상황에 직면할 수도 있습니다. 연구팀은 한 시나리오에서 승리한 모델이 다른 시나리오에서는 패배할 수 있으며, 특정 테스트 조건에 따라 모델의 순위가 완전히 뒤바뀔 수 있다는 사실을 발견했습니다. 100회 이상의 정밀하게 통제된 실험을 수행한 그들의 연구는 모든 상황에 적용되는 단 하나의 '최고' 모델은 존재하지 않으며, 대신 올바른 선택은 모델을 직면할 구체적인 일반화 과제에 맞추는 것에 달려 있음을 보여줍니다.

이 조사의 규모를 이해하기 위해, 과학자들이 다섯 가지 다른 유형의 엔진을 테스트하는 실험실을 상상해 보십시오. 표준 테스트에서는 모든 엔진을 매끄럽고 익숙한 트랙에서 주행할 수 있습니다. 하지만 현실 세계에서는 어떤 엔진은 빙판길을 견뎌야 하고, 어떤 엔진은 가파른 산길을 통과해야 합니다. 쿠이와 퀴는 엔진이 매끄러운 트랙에서 우승한 엔진이 빙판이나 산에서도 우승하는지 확인하기 위해 엄격한 테스트 프레임워크를 구축했습니다. 그들은 한 소스에서 118,000개 이상의 기록을, 다른 소스에서 30,000개 이상의 기록을 포함하는 두 개의 거대하고 정제된 약물-단백질 상호작용 데이터베이스를 사용했습니다. 이 데이터로부터 그들은 세 가지 뚜렷한 테스트 환경을 만들었습니다. 첫 번째는 '웜(warm)' 설정으로, 모델이 이미 학습 과정에서 보았던 약물과 단백질에 대해 테스트하여, 학습한 내용을 얼마나 잘 기억하고 보간(interpolate)할 수 있는지 측정했습니다. 두 번째는 '콜드-드러그(cold-drug)' 설정으로, 모델이 이전에 접해보지 못한 완전히 새로운 화학 화합물들에 대한 상호작용을 예측해야 했습니다. 세 번째는 '콜드-타겟(cold-target)' 설정으로, 모델이 완전히 새로운 단백질 서열에 직면하여 새로운 질병 기전에 대한 약물을 찾는 도전을 시뮬레이션했습니다.

연구진은 단순히 모델을 한 번 실행하고 결과를 얻은 것이 아닙니다. 결과가 무작위적인 우연에 의한 것이 아님을 보장하기 위해, 그들은 약간씩 다른 시작 조건을 가진 여러 '시드(seed)'를 사용하여 각 실험을 세 번씩 반복했습니다. 그들은 세 가지 다른 방식의 약물 및 단백질 정보 결합 방법과 두 가지 확립된 베이스라인 방법을 비교했으며, 모든 모델이 대략 동일한 컴퓨팅 파워를 갖도록 보장했습니다. 총 126회의 별도 훈련 실행을 수행하면서, 데이터 분할과 평가 규칙을 전반적으로 동일하게 유지했습니다. 결정적으로, 그들은 모든 실행이 완료될 때까지 최종 테스트 결과를 봉인하여, 모델이 테스트 데이터에 맞춰 미세 조정되는 의도치 않은 편향이 발생하지 않도록 했습니다. 이러한 엄격하고 감사 가능한 접근 방식 덕분에 그들은 모든 결과를 출처로 추적할 수 있었고, 비교의 무결성을 확보할 수 있었습니다.

결과는 놀랍고도 직관에 반했습니다. 연구진이 '웜' 조건에서 모델의 순위를 살펴보았을 때, 한 모델이 지속적으로 다른 모델들을 압도했습니다. 그러나 '콜드-드러그' 시나리오로 전환했을 때 순위는 극적으로 변했습니다. 가장 극단적인 경우인 더 큰 데이터셋을 대상으로 한 '콜드-타겟' 시나리오에서의 모델 순위는 '콜드-드러그' 시나리오의 순위와 정확히 반대였습니다. 새로운 단백질과의 상호작용을 예측하는 데 있어 명확한 승자였던 모델이, 새로운 약물과의 상호작용을 예측할 때는 명확한 패자가 되었습니다. 순위를 비교하는 통계적 도구로 측정한 이 완전한 역전 현상은, 모델의 성공이 절대적인 속성이 아니라 맥락에 따라 변하는 상대적인 것임을 보여주었습니다.

나아가, 이 연구는 동일한 테스트 시나리오 내에서도 결과가 항상 완벽하게 안정적인 것은 아니라는 점을 강조했습니다. 개별 실행을 평균값이 아닌 관점에서 보았을 때, 연구진은 모델의 정확한 순위가 훈련 실행마다 달라질 수 있다는 것을 발견했습니다. 이는 단 한 번의 실험에 의존하여 승자를 선언하는 것이 위험하다는 것을 의미하는데, 왜냐하면 결과가 훈련 과정의 무작위 노이즈에 의해 영향을 받을 수 있기 때문입니다. 여러 개의 시드를 실행함으로써 연구팀은 모델 성능의 진정한 신뢰성을 보여주는 전체 그림을 볼 수 있었습니다. 그들은 특정 영역, 예를 들어 특정 융합 전략이 두 데이터셋 모두에서 더 나은 성능을 보이는 '콜드-드러그' 설정에서 일관된 우위를 보이는 모델이 있음에도 불구하고, 모든 지표와 모든 시나리오를 지배하는 단 하나의 모델은 없다는 것을 발견했습니다.

연구진은 또한 혈관 성장에 관여하며 암 치료의 주요 표적이 되는 VEGFR2라는 특정 미지의 단백질 표적을 살펴봄으로써, 이러한 발견이 실제 응용 분야에 어떻게 적용되는지 탐구했습니다. 실험에서 얻은 고정된 예측치를 사용하여, 그들은 이 특정 표적에 대한 잠재적 약물 후보들의 순위를 서로 다른 모델들이 어떻게 매기는지 시뮬레이션했습니다. 그들은 모델들이 서로 다른 최상위 후보 리스트를 생성한다는 것을 발견했습니다. 어떤 모델은 특정 화합물을 최고의 선택으로 순위를 매기는 반면, 다른 모델은 이를 훨씬 낮은 순위에 배치할 수 있습니다. 이는 모델의 선택이 단순한 학술적 연습이 아니라, 과학자들이 실험실에서 테스트할 약물 후보를 결정하는 데 직접적인 영향을 미친다는 것을 입증했습니다. 만약 연구자가 '웜' 설정에서의 성능을 바탕으로 모델을 선택한다면, 새로운 표적에 대해 잘못된 화합물을 우선순위에 두게 될 수도 있습니다.

궁극적으로, 이 연구는 계산 약물 발견의 미래를 위한 중요한 가이드 역할을 합니다. 이 연구는 모든 문제에 적용할 수 있는 보편적인 챔피언 모델이라는 개념에 반론을 제기합니다. 대신, 모델 비교의 신뢰성은 평가 방법과 의도된 용도를 일치시키는 데 달려 있다고 제안합니다. 만약 목표가 새로운 표적에 대한 약물을 찾는 것이라면, 모델은 반드시 새로운 표적에 대해 테스트되어야 합니다. 만약 목표가 알려진 표적에 대한 새로운 약물을 찾는 것이라면, 모델은 반드시 새로운 약물에 대해 테스트되어야 합니다. 연구진은 모델 선택이 진정으로 신뢰받기 위해서는 시나리오가 일치해야 하고, 다중 시드를 사용해야 하며, 감사 가능해야 한다고 결론지었습니다. 평가 체계에 따라 순위가 변한다는 것을 이해함으로써, 과학자들은 자신이 사용하는 도구가 약물 발견 파이프라인의 특정 과제에 적합한지 확인하여 더 정보에 입각한 결정을 내릴 수 있습니다.