Do Larger Models Really Win in Drug Discovery? A Benchmark Assessment of Model Scaling in AI-Driven Molecular Property and Activity Prediction

"약물 발견에서 더 큰 모델이 정말로 승리하는가? AI 기반 분자 특성 및 활성 예측에서의 모델 스케일링 벤치마크 평가"에 대한 상세한 기술 요약입니다.

1. 문제 제기

AI 기반 약물 발견 분야는 현재 '스케일 중심'의 서사에 지배받고 있으며, 대규모 사전 학습 기반 모델 (예: 대규모 언어 모델, 대규모 그래프 신경망) 이 컴팩트한 작업 전용 모델 (예: 랜덤 포레스트, 고전적 QSAR) 을 보편적으로 대체할 것이라고 주장합니다. 그러나 약물 발견 데이터셋은 종종 작고, 노이즈가 많으며, 불균형하고, 화학적으로 군집화되어 있습니다. 본 논문은 파라미터 수 증가나 사전 학습 코퍼스 크기가 분자 특성과 생물학적 활성에 대한 예측 성능을 자동으로 향상시킨다는 가정에 도전합니다. 핵심 질문은 다음과 같습니다: 모델 스케일이 엔드포인트 수준의 성능을 신뢰할 수 있게 예측하는가, 아니면 성능은 모델의 귀납적 편향, 데이터 체제, 그리고 특정 생물학적 엔드포인트 간의 정렬에 의해 결정되는가?

2. 방법론

벤치마크 범위 및 데이터셋

저자들은 167,056 개의 홀드아웃 작업–분자 평가를 포함하는 22 개의 서로 다른 엔드포인트에 걸쳐 모델을 평가했습니다:

• 공개 ADMET (8 개 작업): 테라퓨틱스 데이터 코먼스 (Therapeutics Data Commons) 의 5 개 이진 분류 및 3 개 회귀 작업 (예: Caco2 투과성, 용해도).
• Tox21 (12 개 작업): 높은 클래스 불균형 (양성률 2.9–16.2%) 을 가진 12 개의 이진 독성 분석.
• 항감염제 (2 개 작업):
  • 항결핵: M. tuberculosis H37Rv 에 대한 49,266 개의 분자 (1 µM 임계값).
  • 항말라리아: P. falciparum (3D7 및 Dd2 균주) 에 대한 2,088 개의 분자 (100 nM 임계값).

비교된 모델 계열

이 연구는 복잡성에서 수직을 달리하는 네 가지 모델 계열을 비교했습니다:

1. 소규모 ML 모델: 공학적 특징 (ECFP4/6 지문, MACCS 키, RDKit 기술자) 으로 훈련된 고전적 QSAR 학습기 (랜덤 포레스트, ExtraTrees, GBDT, 로지스틱 회귀).
2. 중간 규모 그래프 신경망 (GNN): 분자 그래프에서 직접 구조적 표현을 학습하는 작업 전용 그래프 모델 (GCN, GAT, GIN, Ligandformer, 약 10⁵–10⁶ 개 파라미터).
3. 사전 학습 분자 시퀀스 모델: SMILES 사전 학습에서 파인튜닝된 10M–77M 개 파라미터를 가진 트랜스포머 기반 모델 (ChemBERTa, ChemBERTa2, MoLFormer).
4. LLM-SAR 추론 베이스라인: 훈련 데이터에 기반하여 최첨단 LLM 이 SAR 규칙 (정규식/SMARTS) 을 생성한 후 홀드아웃 폴드에 적용하는 규칙 기반 시스템 (GPT5.5-SAR, Opus4.7-SAR). 이들은 파인튜닝된 예측기가 아닌 규칙 적용 엔진입니다.

평가 프로토콜

• 검증 전략: 구조 유사성 분리 5 교차 검증. ECFP4 지문을 사용하여 MiniBatchKMeans 로 분자를 클러스터링하여 구조적으로 유사한 분자 (화학적 이웃) 가 훈련 세트와 테스트 세트 사이에 분할되지 않도록 했습니다. 이는 '근접 이웃 누출'을 방지하고 무작위 분할보다 전향적 성능을 더 잘 시뮬레이션합니다.
• 지표:
  • 분류: PR-AUC (불균형 Tox21 데이터에 중요) 및 ROC-AUC.
  • 회귀: MAE (평균 절대 오차) 및 피어슨 상관관계.
• 구현: 모든 모델은 공정한 비교를 위해 각 계열 내에서 특정 하이퍼파라미터 (예: 불균형을 위한 클래스 가중치) 로 최적화되었습니다.

3. 주요 결과

전반적 성능 승자

167,056 건의 평가 전반에 걸쳐 더 큰 모델이 보편적으로 승리하지는 않았습니다:

• 고전적 ML (RF, ExtraTrees): 10 개의 주요 지표 작업에서 승리했습니다. ADMET 회귀 및 많은 Tox21 분석에서 뛰어난 성능을 보였습니다.
• GNN (GIN, Ligandformer): 9 개 작업에서 승리했습니다. 특정 ADMET 엔드포인트 (예: DILI, hERG) 및 항말라리아 작업에서 강점을 보였습니다.
• 사전 학습 시퀀스 모델 (MoLFormer, ChemBERTa2): 3 개 작업 (특히 DILI, hERG, NR-AR/NR-AhR) 에서만 승리했습니다.
• LLM-SAR 베이스라인: 최상의 훈련된 모델에 비해 주요 지표 작업에서 승리한 경우가 없었습니다.

도메인별 구체적 발견

• ADMET 및 Tox21: 고전적 ML 모델은 특히 회귀 작업 및 매우 불균형한 독성 분석에서 여전히 매우 경쟁력이 있거나 우세했습니다. ML 과 GNN 간의 성능 차이는 종종 미미하며 엔드포인트에 따라 달라졌습니다.
• 항감염제 활성:
  • 항결핵: RF 및 ExtraTrees (ECFP4) 가 MoLFormer 및 LLM-SAR 베이스라인을 능가했습니다 (MoLFormer 의 PR-AUC 약 0.565 대 약 0.448).
  • 항말라리아: GNN (특히 GIN) 이 분야를 선도했습니다 (PR-AUC 0.556). 시퀀스 모델 및 LLM-SAR 을 능가했습니다.
• LLM-SAR 성능: LLM-SAR 베이스라인은 최상의 예측 정확도를 달성하지 못했지만, '훈련 폴드에서 유도된 SAR 지식'(훈련 세트에서 학습된 규칙) 을 추가하면 측정 가능하지만 불균일한 향상을 제공했습니다. 예를 들어, 항결핵에서 LLM-SAR ROC-AUC 는 학습된 규칙으로 인해 약 0.51 에서 약 0.61 로 개선되었지만, 여전히 감독 예측기보다 뒤처졌습니다.

회귀 vs 분류

• 회귀: 고전적 ML 모델 (특히 RDKit 기술자를 사용한 ExtraTrees) 이 회귀 작업 (Caco2, 지용성, 용해도) 을 지배하여 시퀀스 모델보다 낮은 MAE 와 더 높은 피어슨 상관관계를 달성했습니다.
• 불균형 민감성: Tox21 의 경우 PR-AUC 가 ROC-AUC 보다 더 차별적인 지표였습니다. 많은 모델이 ROC-AUC 하에서는 성공적으로 보였으나 PR-AUC 하에서는 양성 클래스를 효과적으로 식별하지 못했습니다. 이는 불균형한 약물 발견 환경에서 ROC-AUC 만 의존하는 것의 위험성을 강조합니다.

4. 주요 기여

1. 보편적 스케일링에 대한 경험적 반박: 본 논문은 "크기가 크면 더 좋다"는 명제가 약물 발견에서 보편적 법칙이 아님을 엄격하게 입증합니다. 컴팩트하고 전문화된 모델이 종종 데이터 제약이 있는 특정 엔드포인트에서 거대한 기반 모델보다 우수한 성능을 발휘합니다.
2. 포괄적 벤치마킹: 이전 연구에서 흔히 발생하는 데이터 누출 문제를 해결하기 위해 엄격한 구조 분리 검증 프로토콜을 갖춘 22 개의 다양한 엔드포인트 (공개 및 내부) 를 아우르는 대규모 표준화된 벤치마크를 확립했습니다.
3. 귀납적 편향 분석: 이 연구는 예측 성공이 다음 간의 정렬에 달려 있음을 보여줍니다:
   • 분자 표현: 지문 (ECFP) vs 그래프 vs SMILES 토큰.
   • 귀납적 편향: 국소 SAR 패턴 (RF 가 선호) vs 위상적 패턴 (GNN 이 선호) vs 글로벌 화학적 규칙성 (트랜스포머가 선호).
   • 데이터 체제: 작고 노이즈가 많은 데이터셋은 단순한 모델을 선호하며, 크고 다양한 데이터셋은 사전 학습의 혜택을 받을 수 있습니다.
4. 약물 발견에서 LLM 의 재정의: 저자들은 LLM 을 QSAR 모델을 대체할 직접적인 예측기가 아닌, 가설 생성, SAR 해석, 규칙 추출을 위한 추론 엔진으로 위치시킵니다. 설명 가능성에는 가치가 있지만, 라벨링된 데이터가 있을 때 원시 예측 정확도에서는 현재 열등합니다.

5. 중요성 및 함의

• 실무자를 위한 실용적 지침: 약물 발견 팀은 대규모 기반 모델을 맹목적으로 채택해서는 안 됩니다. 많은 표준 ADMET 및 활성 예측 작업의 경우, 지문이나 기술자로 컴팩트한 모델을 훈련시키는 것이 가장 효과적이고 비용 효율적이며 견고한 접근법입니다.
• 검증 프로토콜의 중요성: 교차 검증 전략 (무작위 vs 구조 분리) 의 선택은 모델 순위가 크게 달라집니다. 본 논문은 모델이 지역적 유사체를 암기하는 것이 아니라 새로운 화학 계열에 일반화되도록 보장하기 위해 구조 분리 분할을 옹호합니다.
• 미래 연구 방향: 대규모 모델의 가치는 정량적 예측을 위한 감독 예측기를 대체하는 것이 아니라, 제로샷 추론, 기작 가설 생성, 복잡한 SAR 해석에 있습니다. 향후 연구는 LLM 의 추론 능력을 활용하여 예측 모델의 특징 공학이나 아키텍처를 안내하는 하이브리드 접근법에 초점을 맞춰야 합니다.

결론: 본 논문은 모델 스케일이 약물 발견에서 성능을 설명하는 약한 변수라고 결론지었습니다. 대신 성공은 모델의 귀납적 편향이 특정 생물학적 엔드포인트, 데이터 특성, 검증 프로토콜과 정밀하게 정렬되는 '모델 - 작업 적합성 (Model-Task Fit)'에 의해 결정됩니다.