A reproducible and extensible framework for benchmarking competing risks survival models

기술 요약: 경쟁 위험 생존 모델의 벤치마킹을 위한 재현 가능하고 확장 가능한 프레임워크

문제 정의

헬스케어 분야의 생존 분석에는 종종 경쟁 위험(Competing Risks, CR) 상황이 포함됩니다. 이는 한 사건(예: 암 사망)의 발생이 다른 사건들(예: 심혈관 질환 사망)의 발생을 배제하는 경우를 의미합니다. 이를 처리하기 위해 수많은 통계적 및 머신러닝 방법론이 제안되었으나, 이들의 체계적인 평가와 임상적 채택은 여전히 제한적입니다. 기존 문헌은 다음과 같은 세 가지 주요 격차를 보입니다:

1. 재현 가능한 벤치마크의 부재: 연구들이 서로 다른 데이터셋을 사용하거나, 전처리 단계를 보고하지 않거나, 일관되지 않은 평가 지표(주로 변별력에 국한됨)를 사용하여, 과도한 낙관주의를 초래하고 새로운 방법론과의 비교를 어렵게 만듭니다.
2. 소프트웨어 통합의 한계: 새로운 방법론들이 더 넓은 머신러닝 프레임워크에 통합되지 않고 독자적인 코드로 구현되는 경우가 많아 접근성을 저해합니다.
3. 해석 가능성 문제: 회귀 모델이 직접적인 계수 추정치를 제공하는 것과 달리, 복잡한 머신러닝 모델(예: 딥러닝)은 사후 해석 단계가 필요하며, 이는 CR 설정에서 표준화되지 않은 경우가 많습니다.

또한, CR 이벤트를 단순 검센(censoring)으로 취급하는 것은 비정보적 검센 가정을 위반하여, 특히 다중 질환을 가진 고령 인구에서 위험도를 과대평가하고 알고리즘 편향을 야기할 수 있습니다.

방법론

저자들은 다양한 데이터셋에 대해 통일된 실험 환경 아래 CR 모델을 평가하도록 설계된 오픈 소스 기반의 재현 가능한 벤치마킹 파이프라인을 개발했습니다. 이 프레임워크는 상호 운용성을 보장하기 위해 R과 Python 모두에서 구현되었습니다.

1. 데이터 및 모델:

• 데이터셋: PBC, HD, METABRIC, Framingham, 그리고 SEER 유방암의 일부 데이터셋을 활용하여 샘플 크기와 이벤트 발생률이 다양하게 구성되었으며, 최소 경쟁 위험 이벤트율을 약 10%로 유지했습니다.
• 모델: 고전적 회귀부터 딥러닝에 이르기까지 다양한 6가지 방법론을 벤치마킹했습니다:
  • 회귀 기반: 원인 특이적 Cox 비례 위험 모델(csCPH), Fine-Gray 회귀(FGR), 패널티가 적용된 부하 분포 위험 모델(FGRP).
  • 트리 기반: 랜덤 생존 포레스트(RSF).
  • 딥러닝: DeSurv(연속 시간), DeepHit(이산 시간).
• 검증: 데이터 누수를 방지하기 위해 중첩 교차 검증(nested cross-validation) 방식을 채택했습니다. 외부 루프는 모델 평가를 담당하고, 내부 루프는 하이퍼파라미터 튜닝을 관리합니다.
• 결측치 처리: 완전 사례 분석(complete case analysis), 단변량 임퓨테이션(중앙값/최빈값), 그리고 다중 대치법(MICE) 전략을 포함하였으며, 이 모든 과정은 데이터 누수를 피하기 위해 CV 폴드 내에서 적용되었습니다.

2. 성능 지표:
본 프레임워크는 예측 성능의 네 가지 보완적 측면을 평가합니다:

• 교정(Calibration): 검센을 처리하기 위해 의사 관측치(pseudo-observations)를 사용하는 시각적 플롯, 통합 교정 지수(ICI), 관찰치 대비 기대치(O/E) 비율을 사용합니다.
• 변별력(Discrimination): 고정된 시점에서의 시간 의존적 AUC(tdAUC)와 전역적 평가를 위한 C-index 변형($C_{td}$ 및 $C_{\tau}$)을 사용합니다. 후자는 누적 발생 함수(CIF)를 요약하기 위해 제한 평균 시간 손실(RMTL)을 활용합니다.
• 전체 예측 오차: 가중 브라이어 점수(Weighted Brier Score, BS) 및 통합 브라이어 점수(Integrated Brier Score, IBS)를 사용합니다.
• 임상적 유용성: "모두 치료" 및 "치료 없음" 전략에 대한 순 이익(net benefit)을 평가하기 위한 결정 곡선 분석(DCA)을 수행합니다.

3. 해석 가능성:

• 모델 특정적: 파라미터 모델의 회귀 계수.
• 모델 불가지론적(Model-agnostic):
  • 순열 중요도(Permutation Importance): IBS 저하를 통해 측정됩니다.
  • CifSHAP(t): SurvSHAP(t)를 CR 설정으로 확장한 새로운 방법입니다. 이 방법은 시간 경과에 따른 원인 특이적 누적 발생 함수(CIF)를 분해하여 시간 의존적이고 모델 불가지론적인 특징 기여도를 제공합니다.

4. 실험 설계:
하이퍼파라미터 튜닝은 공정한 비교를 위해 특정 모델의 손실 함수가 아닌 IBS(전체 예측 오차 최소화)를 기준으로 최적화된 그리드 서치를 통해 표준화되었습니다. 딥러닝 모델은 조기 종료(early stopping)를 통한 특정 손실 함수로의 튜닝 편향을 방지하기 위해 고정된 에포크 예산(300) 내에서 학습되었습니다.

주요 결과

• 예측 일관성: 고전적 회귀 모델(csCPH, FGR, FGRP)은 개별 수준의 예측에서 완벽에 가까운 일치도를 보였습니다. 머신러닝 모델(RSF, DeSurv, DeepHit)은 더 뚜렷한 위험 할당을 생성했으며, DeepHit이 회귀 기반 모델들과 가장 낮은 상관관계를 보였습니다.
• 성능 변동성: 단일 모델이 모든 지표와 데이터셋에서 압도적인 우위를 점하지는 못했습니다.
  • DeSurv는 METABRIC과 같은 대규모 데이터셋에서 전역적 척도(IBS, $C_{\tau}$) 측면에서 종종 타 모델보다 우수한 성능을 보였습니다.
  • FGRP(패널티 적용 Fine-Gray)는 규모가 큰 데이터셋(Framingham, SEER)에서 매우 경쟁력을 유지했으며, 특히 변별력($C_{td}$) 측에서 선두를 차지하기도 했습니다.
  • DeepHit은 본 벤치마크에서 특히 후기 시점의 교정 측면에서 가장 낮은 성능을 기록하는 경우가 빈번했습니다.
• 지표 민감도: 모델 순위는 선택된 지표에 따라 매우 민감하게 변했습니다. 예를 들어, 가장 낮은 IBS를 가진 모델이 반드시 가장 높은 C-index를 갖는 것은 아니었습니다. 이는 평가 기준이 임상적 목표에 따라 사전에 지정되지 않을 경우 "지표 해킹(metric-hacking)"의 위험이 있음을 시사합니다.
• 해석 가능성: 순열 중요도와 CifSHAP(t) 모두 매우 일관된 공변량 순위를 산출했습니다(예: METABRIC에서 Chemotherapy, MKI67, PGR가 주요 예측 인자로 나타남). CifSHAP(t)는 공변량의 기여도(예: 화학요법)가 관찰된 이벤트 유형(원인 1 vs 원인 2)과 시간에 따라 어떻게 변화할 수 있는지를 추가적으로 밝혀냈습니다.
• 최적화의 영향: IBS를 기준으로 하이퍼파라미터를 튜닝하는 것이 모델별 손실 함수나 $C_{td}$를 기준으로 튜닝하는 것보다 더 균형 잡힌 모델(더 나은 교정과 변별력)을 생성했습니다. 후자는 변별력을 위해 교정 성능을 희생하는 경향이 있었습니다.
• 실행 시간: 회귀 기반 방법은 계산 효율성이 높았습니다. 머신러닝 방법, 특히 RSF와 DeSurv는 훨씬 높은 계산 비용이 발생했으며, RSF는 앙상블 트리 적합으로 인해 가장 큰 부담을 보였습니다.

의의 및 주장

본 논문은 이 연구를 단순히 "최고"의 모델을 가려내는 작업이 아니라, 경쟁 위험 방법론의 체계적 평가를 위한 재현 가능하고 확장 가능한 토대로 규정합니다.

• 표준화: 본 프레임워크는 공통된 실험 설정, 일관된 전처리, 통일된 평가 지표를 제공함으로써 편향 없는 비교 연구의 부재 문제를 해결합니다.
• 임상적 관련성: 변별력을 넘어 교정, 전체 오차, 임상적 유용성(DCA)을 포함함으로써, 프레임워크를 실제 임상 의사결정 요구사항에 맞춥니다.
• 해석 가능성 혁신: **CifSHAP(t)**의 도입은 모델 해석력을 시간 의존적, 원인 특이적 기여도로 확장하여, CR 설정에서 공변량이 위험을 어떻게 유도하는지에 대한 이해의 공백을 메웁니다.
• 실무적 가이드: 저자들은 단순한 회귀 기반 방법(예: FGRP)이 종종 경쟁력 있는 성능을 낮은 계산 비용으로 달성한다는 점을 강조하며, 이들이 강력한 베이스라인 역할을 해야 한다고 제안합니다. 또한, 하이퍼파라미터 튜닝 기준(예: IBS vs Loss)이 모델의 행동과 순위에 결정적인 영향을 미친다는 점을 강조하며, 튜닝 전략 보고의 투명성을 촉구합니다.

저자들은 본 연구의 결과가 사용된 특정 데이터셋과 설정에 따라 달라질 수 있음을 인정하면서도, 본 프레임워크가 개발자와 실무자들에게 견고한 오픈 소스 도구를 제공함으로써 향후 CR 예측 모델의 개발, 검증 및 채택을 촉진할 것이라고 결론짓습니다.