A Comprehensive Evaluation of Machine Learning Pipelines for Toxic Endpoint Prediction

기술 요약: 독성 엔드포인트 예측을 위한 머신러닝 파이프라인의 종합적 평가

문제 정의
독성 화합물의 식별은 약물 및 재료 발견 과정에서 중요한 병목 구간이다. 실험적 분석법은 필요한 엔드포인트 측정을 제공하지만, 비용과 시간이 많이 소요되며 종종 동물 실험을 수반한다. 머신러닝(ML)은 파이프라인 초기 단계에서 화합물의 우선순위를 정하기 위한 계산적 대안을 제공한다. 그러나 최적의 ML 알고리즘, 화합물 표현 방식, 그리고 차원 축소(DR) 방법의 조합을 선택하는 것은 여전히 어려운 과제이다. 더욱이, 기존의 벤치마킹 연구들은 엄격한 하이퍼파라미터 튜닝, 유사성 편향을 방지하기 위한 화학적으로 정보가 반영된 데이터 분할, 그리고 포괄적인 통계 분석이 부족한 경우가 많다. 본 연구는 ToxCast 데이터베이스를 사용하여 호르몬 수용체 활성(예: 에스트로겐, 안드로겐, 글루코코르티코이드 및 프로게스타젠 수용체)을 예측하기 위한 다양한 ML 파이프라인의 효능을 평가함으로써 이러한 격차를 해결한다.

방법론
저자들은 ToxCast 데이터베이스(invitrodb v4.2)에서 추출한, 각각 500개에서 9,000개의 화합물을 포함하는 52개의 호르몬 수용체 활성 분석법을 포함하는 포괄적인 벤치마킹 프레임워크를 구축하였다. 본 연구는 세 가지 파이프라인 구성 요소의 98가지 고유한 조합을 체계적으로 평가하였다:

1. 화합물 표현 (Compound Representations): 네 가지 유형의 분자 인코딩을 테스트하였다:
   • 물리화학적 특성 (217개의 RDKit 디스크립터).
   • 구조적 핑거프린트: MACCS (166-bit) 및 Morgan (2048-bit, 반경 3).
   • 사전 학습된 파운데이션 모델과 도메인 적응을 통해 SMILES 문자열로부터 유도된 트랜스포머 기반 임베딩 (768-bit).
2. 차원 축소 (Dimensionality Reduction, DR): 다섯 가지 전략을 비교하였다:
   • DR 미적용 (전체 특징 집합 사용).
   • 특징 선택 (Feature Selection): 상호 정보량(MI), 분산 기반 선택, 그리고 최소 중복 최대 관련성(MRMR).
   • 특징 추출 (Feature Extraction): 주성분 분석(PCA).
   • 참고: 모든 DR 방법은 데이터 누출을 방지하기 위해 오직 훈련 데이터에만 적합(fit)되었으며, 적용 시 특징 수를 100차원으로 줄였다.
3. 머신러닝 모델: 다섯 가지 지도 학습 알고리즘을 평가하였다:
   • 랜덤 포레스트(RF), 서포트 벡터 머신(SVM), CatBoost, 다층 퍼셉트론(MLP), 그리고 TabPFN(표 형식 데이터용 파운데이션 모델).

실험 설계 및 평가
강건한 성능 추정치를 확보하고 데이터 누출을 피하기 위해, 본 연구는 중첩 5-겹 교차 검증(nested 5-fold cross-validation) 전략을 채택하였다. 결정적으로, 데이터 분할은 Morgan 핑거프린트 Tanimoto 유사성을 기준으로 훈련 폴드와 테스트 폴드 간의 화학적 비유사성을 극대화하는 정수 선형 계획법인 DataSail을 사용하여 생성되었다. 이 "화학적으로 정보가 반영된" 분할은 무작위 분할보다 더 까다롭고 현실적인 평가 환경을 조성한다.

하이퍼파라미터 튜닝은 훈련 세트 내에서 중첩 4-겹 교차 검증을 통해 수행되었다. 모델 성능은 AUROC 대신 **매튜스 상관 계수(MCC)**를 사용하여 평가하였는데, 이는 독성 예측에서 전형적으로 나타나는 불균형 데이터셋에 MCC가 더 적합하기 때문이다. 통계적 유의성은 Iman–Davenport 보정이 적용된 Friedman 검정과 그 후속 조치인 Nemenyi 검정을 통해 결정되었다.

주요 결과

• 모델 성능: 랜덤 포레스트(RF)가 일관되게 다른 모델들을 능가하며 평균 순위 1.4와 조정 평균 MCC 0.207을 달성하였다. SVM과 CatBoost가 평균 순위 약 3으로 그 뒤를 이었으며, 딥러닝 모델(MLP 및 TabPFN)은 가장 낮은 성능(평균 순위 ~4)을 보였다.
• 화합물 표현: 물리화학적 특성이 가장 정보력이 높은 표현 방식으로 나타났으며, 최고의 평균 순위(1.6)를 기록하며 Morgan 핑거프린트, MACCS 키, 트랜스포머 임베딩을 유의미하게 앞질렀다.
• 차원 축소: 직관과는 반대로, 차원 축소를 적용하지 않았을 때 가장 좋은 결과(평균 순위 1.78)를 얻었으며, 이는 테스트된 모든 DR 방법(PCA, MI, Variance, MRMR)보다 우수했다. 이는 평가된 모델들이 DR을 적용할 경우 오히려 보완적인 예측 신호를 제거할 수 있는 반면, 전체 특징 공간을 효과적으로 활용할 수 있음을 시사한다.
• 최적의 파이프라인 조합: 물리화학적 특성을 기반으로 하며 DR을 적용하지 않은 RF 조합이 가장 우수한 성능을 보였으며, 52개 분석법 중 12개에서 1위, 25개에서 5위 이내의 성적을 거두었다.
• 데이터셋 특성: 전반적인 성능은 완만하였다(중앙값 최적 MCC 0.32). 연구 결과, 예측 성능은 국소 구조-활성 일관성(local structure-activity consistency) 및 활성 절벽(activity cliffs)(구조적으로 유사하지만 활성 라벨이 다른 화합물)의 존재와 가장 강력하게 상관되어 있었다. 활성 절벽 비율이 높은 분석법일수록 예측이 현저히 더 어려웠다.
• 베이스라인 비교: 최근접 이웃 "리드-어크로스(read-across)" 베이스라인(가장 가까운 이웃의 Tanimote 유사성에 기반하여 예측)은 중앙값 MCC 0.28을 달성하였다. ML 모델들이 이 베이스라인을 능가하기는 했으나 그 차이가 작았으며, 이는 많은 예측 신호가 이미 국소적 화학 유사성에 의해 포착되어 있음을 나타낸다.

의의 및 주장
저자들은 본 연구가 ToxCast의 호르몬 수용체 활성 분석에 대해 ML 모델, 분자 표현 및 DR 방법을 최초로 종합적으로 벤치마킹한 연구라고 주장한다. 주요 기여는 다음과 같다:

1. 체계적 평가: 고립된 구성 요소에 집중하는 기존 연구와 달리, 본 연구는 엄격한 하이퍼파리미터 튜닝과 화학적으로 정보가 반영된 데이터 분할을 통해 완전한 모델링 파이프라인을 평가하였다.
2. 복잡성에 대한 재평가: 본 연구 결과는 복잡한 딥러닝 아키텍처나 고급 임베딩이 독성 예측에 반드시 필요하다는 가설에 도전한다. 대신, 단순하고 해석 가능한 트리 기반 방법(RF)과 물리화학적 디스크립터를 결합하고 차원 축소를 적용하지 않는 것이 가장 효과적임을 보여준다.
3. 한계점 식별: 연구는 높은 성능을 가로막는 주요 장벽이 모델 아키텍처가 아니라 데이터 자체, 즉 활성 절벽과 클래스 불균형에 있음을 강조한다.
4. 벤치마킹 표준: 통계적 분석과 유사성을 극대화하는 어려운 분할 방식을 사용하여 견고한 참조점을 제공함으로써, 저자들은 향후 방법론 개발을 위한 베이스라인을 구축한다.

본 논문은 ML이 단순한 리드-어크로스 전략보다 개선된 성능을 제공하기는 하지만, 향후 발전은 전역적 구조 유사성을 넘어 특정 단백질-리간드 상호작용을 포착하고 활성 절벽이라는 근본적인 문제를 해결하는 방향으로 나아가야 한다고 결론짓는다.