기술 요약: 기술적 및 규제적 성공 확률 예측을 위한 머신러닝 모델 활용

문제 정의

제약 산업은 신약 개발 과정에서 높은 실패율에 직면해 있으며, 임상시험용 신약(IND)의 평균 기술적 및 규제적 성공 확률(pTRS)은 약 9.6%에 불과합니다. 정확한 pTRS 평가는 위험 조정 가치(rNPV), 포트폴리오 관리 및 전략적 의사결정에 있어 매우 중요합니다. 그러나 기존의 평가 방법들은 종종 독점 데이터, 복잡한 "블랙박스" 아키텍처 또는 주관적인 전문가 견해(expert elicitation)에 의존하며, 이는 재현, 보정 또는 표준 워크플로우에 통합하기 어렵다는 단점이 있습니다. 공개된 데이터만을 활용하여 보정되고 해석 가능한 pTRS 추정치를 생성하는 표준화되고 재현 가능한 프레임워크가 부족한 실정입니다.

방법론

데이터 소스 및 전처리

본 연구는 두 가지 주요 데이터 소스를 활용하였습니다:

1. 특징 공간(Feature Space): ClinicalTrials.gov API를 통해 추출된 프로토콜 섹션 데이터(2026년 1월 기준). 특징은 식별(Identification), 스폰서/협력자(Sponsor/Collaborators), 설명(Description), 질환(Conditions), 설계(Design), 암(Arm) 중재(Interventions), 결과(Outcomes), 자격 요건(Eligibility)의 8개 모듈에서 추출되었습니다.
2. 결과 레이블(Outcome Labels): 2021년까지의 소분자 화합물 임상시험에 대한 이진 성공/실패 레이블(0/1). 이는 HINT 임상시험 결과 저장소(IQVIA 데이터 기반)에서 가져왔습니다.

데이터 정제 및 엔지니어링:

• 정제: 비텍스트 특징(예: 연령, 날짜)은 수치형으로 표준화되었습니다. 범주형 리스트(예: 질환)는 파이프(|)로 구분된 문자열로 변환되었습니다.
• 치료 영역 매핑: GPT-4o를 사용하여 퓨샷 프롬프팅(few-shot prompting)을 수행하였으며, 질환 및 키워드를 바탕으로 임상시험을 21개의 사전 정의된 치료 영역(예: 종양학, 심혈관 질환, 감염성 질환)으로 분류하였습니다.
• 인코딩: 범주형 및 다중 범주형 변수는 원-핫 인코딩(one-hot encoding)되었습니다.
• 시계열 분할: 실제 환경의 예측 시뮬레이션을 위해 데이터를 시계열적으로 분할하였습니다:
  • 훈련 세트: 2017년 1월 1일 이전의 주요 완료일(primary completion dates)을 가진 임상시험 ($n=10,224$).
  • 테스트 세트: 2017년 1월 1일 이후의 시작일을 가진 임상시험 ($n=478$).
• 클래스 불균형: 실패 사례의 오분류에 더 엄격한 페널티를 부여하기 위해 클래스 빈도에 반비례하는 클래스 가중치를 적용하였습니다.

모델 개발

세 가지 해석 가능한 머신러닝 모델을 평가하였습니다:

1. 로지스틱 회귀(Logistic Regression): 베이스라인으로 사용되었습니다.
2. 랜덤 포레스트(Random Forest, RF): 랜덤 서치(20가지 조합, 5-겹 교차 검증)를 통한 하이퍼파라미터 튜닝을 거쳐 평가되었습니다.
3. XGBoost: 랜덤 포레스트와 유사하게 평가되었습니다.

평가 지표:

• 변별력(Discrimination): ROC-AUC 및 PR-AUC.
• 보정(Calibration): 브라이어 점수(Brier score, 신뢰도, 해상도, 불확실성으로 분해).
• 벤치마크 비교: 모델의 예측 확률이 유도된 벤치마크(질병 카테고리 및 단계별 평균 성공률)보다 얼마나 더 실제 결과에 근접했는지를 측정하기 위해 "성능 우위율(Outperformance Rate)" 지표를 정의했습니다.
• 해석 가능성: 특성 중요도를 순위화하고 개별 예측을 설명하기 위해 SHAP(SHapley Additive exPlanations) 값을 사용하였습니다.

주요 결과

모델 성능

랜덤 포레스트 모델은 모든 지표에서 가장 강력한 종합 성능을 보여주었으며, 대부분의 설정에서 로지스틱 회귀 베이스라인과 표준 벤치마크를 능가했습니다:

• ROC-AUC: 0.788 (베이스라인 0.726 대비).
• PR-AUC: 0.794 (베이스라인 0.748 대비).
• 브라이어 점수(Brier Score): 0.196 (베이스라인 0.220 대비), 우수한 보정 성능을 나타냄.
• 참고: 3상 임상시험의 경우, 베이스라인이 PR-AUC 지표에서 랜덤 포레스트를 약간 앞질렀습니다.

시계열 안정성

연구에서는 훈련 데이터와 테스트 데이터 사이의 시간 간격(0, 1, 3, 5년)이 성능에 미치는 영향을 테스트하였습니다. 성능은 간격이 증가함에 따라 완만하고 일관되게 감소하였으나(예: 0년 간격 시 ROC-AUC 0.755에서 5년 간격 시 0.748로 하락), 모델은 견고함을 유지하였으며 5년의 간격이 있음에도 불구하고 벤치마크보다 높은 성능을 지속적으로 유지하였습니다.

특성 중요도 (SHAP 분석)

SHAP 분석을 통해 다음 요소들이 pTRS 예측의 주요 동인임을 확인하였습니다:

1. 스폰서 유형: 산업체 스폰서십이 가장 강력한 양(+)의 동인이었습니다. 비산업체 스폰서십(예: NIH, 학계)은 낮은 예측 성공률과 상관관계가 있었습니다.
2. 치료 영역: 종양학(Oncology)은 낮은 pTRS와 연관되었고, 감염성 질환 및 대사 질환은 높은 pTRS를 보였습니다.
3. 임상 단계: 3상 임상시험은 높은 예측 성공률을 보였으나, 2상(개념 증명)은 낮은 성공률을 보여 역사적 탈락률과 일치하는 양상을 보였습니다.
4. 설계 변수: 무작위 배정(randomized allocation), 눈가림(masking), 단일군 할당(single-group assignments) 등은 중간 정도의 일관된 효과를 나타냈습니다.

의의 및 주장

본 논문은 자신의 주요 기여가 아키텍처의 복잡성을 통한 최첨단 예측 정확도 달성이 아니라, 실용적 및 방법론적 측면에 있다고 주장합니다.

• 재현성: 본 연구는 보정되고 의사결정에 유용한 pTRS 추정치가 오직 공개 데이터(ClinicalTrials.gov)만을 사용하여 생성될 수 있음을 입증함으로써, 독점 데이터베이스나 복잡한 딥러닝 파이프라인(예: HINT, inClinico)에 대한 의존성을 제거합니다.
• 해석 가능성: 랜덤 포레스트와 SHAP 같은 모델을 사용함으로써 투명한 설명을 제공하며, 이는 블랙박스 모델이 자주 거부되는 전문가 견해 및 가치 평가 워크플로우에 통합을 용이하게 합니다.
• 의사결정 효용성: 저자들은 확률적 정확도의 미미한 개선(예: 3~4 퍼센트 포인트)이라도 포트폴리오 규모에서는 자본 배포 및 Go/No-Go 결정에 영향을 미칠 만큼 유의미하다고 주장합니다.
• 벤치마킹 전략: 본 논문은 외부의 불완전할 수 있는 산업 데이터베이스의 편향을 피하기 위해, 훈련 데이터 자체에서 유도된 벤치마크(단계별/치료 영역별 평균)를 사용하는 벤치마킹 접근법을 도입하였습니다.

인정된 한계점

저자들은 다음과 같은 제약 사항을 명시적으로 언급하였습니다:

• 데이터 최신성: 레이블이 2021년까지의 소분자 화합물 임상시험에 국한되어 있어, 그 이후의 규제 변화나 임상 수행 방식의 변화가 향후 성능에 영향을 미칠 수 있습니다.
• 특징 범위: 풍부한 자유 텍스트 설명, 분자 특성(SMILES), PK/PD/독성 데이터를 제외하였으며, 이는 특히 퍼스트 인 클래스(first-in-class) 또는 종양학 자산에 대해 성능을 제한할 수 있습니다.
• LLM 범주화: 치료 영역 매핑이 LLM에 의존하였으므로, 구조화된 오분류가 발생할 가능성이 있습니다.
• 벤치마크 유도: "성능 우위" 지표는 훈련 세트에서 유도된 벤치마크에 의존하므로, 향후 외부 벤치마크를 통한 검증이 필요합니다.

결론적으로, 본 논문은 해석 가능한 모델이 공개된 임상시험 특징을 학습함으로써, 전문가의 판단과 전통적인 벤치마크를 대체하기보다는 이를 보완할 수 있는 실행 가능하고 실용적인 위험 정량화의 토대를 제공한다고 제언합니다.