Beyond AUC: The Clinical Impact of Threshold Optimization in COVID-19 Mortality Prediction

기술 요약: AUC를 넘어: COVID-19 사망 예측에서 임상적 유용성을 위한 임계값 최적화의 영향

문제 제기
머신러닝(ML) 모델이 COVID-19 환자의 사망률을 예측하는 데 점점 더 많이 활용되고 있지만, 이 분야는 주로 성능 평가를 위해 변별력 지표인 수신자 조작 특성 곡선 아래 면적(AUC)에 의존하고 있습니다. 이러한 초점은 확률 임계값 선택이 가져오는 임상적 결과에 대한 간과를 초래합니다. 임상 실무에서 위험 예측은 확률 컷오프를 사용하여 이진 결정(예: 고위험군 대 저위험군)으로 변환되어야 합니다. 표준 임계값인 0.50은 종종 임의로 적용되는데, 이는 사망 발생 빈도가 생존보다 낮은 불균형한 임상 데이터셋에서는 최적이 아닐 수 있습니다. 결과적으로, 유사한 AUC 값을 가진 모델이라도 선택된 임계값에 따라 판이하게 다른 임상 결과를 낼 수 있습니다. 본 연구는 기존의 변별력 지표를 넘어 임계값 최적화가 COVID-19 사망 예측 모델의 임상적 유용성에 어떻게 영향을 미치는지에 대한 연구가 부족함을 지적합니다.

연구 방법론
본 연구는 2021년 1월부터 2022년 12월까지 인도네시아 마나도에 위치한 Prof. R.D. Kandell 종합병원에서 검사로 확진된 COVID-19 환자 646명을 대상으로 한 후향적 코호트 설계를 채택하였습니다.

1. 생존 분석: 병원 내 사망의 독립적인 예측 인자를 식별하기 위해, 연구진은 Kaplan-Meier 생존 분석과 다변량 Cox 비례 위험 회귀 분석을 수행하였습니다. 변수로는 연령, 성별, 고혈압, 당뇨병, 만성 신장 질환(CKD), 만성 폐질환 및 체질량 지수(BMI)가 포함되었습니다.
2. 예측 모델링: 70/30 훈련-테스트 분할을 사용하여 세 가지 모델을 개발하고 비교하였습니다:
   • 다변량 로지스틱 회귀 분석(Multivariable Logistic Regression).
   • 의사결정 나무(Decision Tree/Classification Tree).
   • 피드포워드 신경망(Feed-forward Neural Network).
3. 평가 지표: 모델의 변별력은 AUC와 Harrell의 일치 지수(C-index)를 사용하여 평가되었습니다. 두-롱 테스트(DeLong's test)를 통해 쌍별 비교가 수행되었습니다.
4. 임계값 최적화: 연구는 기존의 0.50 컷오프와 Youden 지수(민감도 + 특이도 - 1)에 의해 결정된 최적의 컷오프를 비교함으로써 임계값 선택의 임상적 영향을 평가하였습니다. 성능은 민감도, 특이도, 양성/음성 예측도, 정확도 및 균형 정확도(balanced accuracy)를 통해 측정되었습니다.

주요 결과

• 사망 예측 인자: 생존 분석 결과 세 가지 독립적인 사망 예측 인자가 확인되었습니다: 만성 신장 질환(HR 2.05, 95% CI 1.40–3.00), 연령(HR 1.02, 95% CI 1.01–1.04), 그리고 BMI(HR 1.08, 95% CI 1.01–1.15). 고혈압과 당뇨병은 조정된 모델에서 사망과 독립적인 연관성을 보이지 않았습니다.
• 모델 변별력: 로지스틱 회귀 분석이 가장 높은 변별력(AUC 0.697)을 달성하였으며, 의사결정 나무와 신경망 모델이 그 뒤를 이었습니다(둘 다 AUC 0.654). DeLong 테스트 결과 모델 간에 통계적으로 유의미한 차이가 없었으며(p > 0.05), 이는 더 복잡한 머신러닝 알고리즘이 이 데이터셋에서 로지스틱 회귀보다 유의미한 이점을 제공하지 않음을 시사합니다.
• 임계값 최적화의 영향:
  • 기존 임계값 (0.50): 로지스틱 회귀 모델은 높은 민감도(93.1%)를 보였으나 낮은 특이도(29.0%)를 나타냈으며, 결과적으로 61.1%의 균형 정확도를 기록했습니다.
  • 최적화된 임계값 (0.23): Youden 지수를 사용했을 때, 최적의 컷오프는 0.23으로 식별되었습니다. 이 조정을 통해 전체 정확도는 약간 감소했음에도 불구하고, 특이도를 29.0%에서 82.3%로 크게 높였고 균형 정확도를 61.1%에서 65.6%로 개선했습니다.
  • 임계값에 대한 결론: 0.50에서 0.23으로의 전환은 근본적인 알고리즘을 변경하지 않고도 고위험 환자를 식별하는 모델의 능력을 실질적으로 향상시켰습니다.

의의 및 주장
본 논문은 예측 모델을 임상 의사결정 지원 도구로 전환할 때 결정 임계값의 선택과 모델 보정(calibration)이 알고리즘의 선택만큼이나 중요하다고 주장합니다. 주요 기여는 다음과 같습니다:

1. 변별력보다 임상적 유용성: 본 연구는 모델의 변별력(AUC)이 보통 수준이라 하더라도, 확률 임계값을 최적화함으로써 사망 예측 모델의 임상적 유용성을 크게 향상시킬 수 있음을 입증합니다.
2. 알고리즘의 단순성: 로지스틱 회귀는 더 복잡한 머신러닝 모델(의사결정 나무 및 신경망)과 대등한 성능을 보이면서도 우수한 해석력과 구현 용이성을 제공했습니다. 이는 알고리즘의 복잡성을 높이는 것이 반드시 더 나은 임상적 성능을 보장하지 않는다는 견해를 뒷받침합니다.
3. 실행 가능한 의사결정: 연구 결과는 예측 모델이 그 출력을 어떻게 실행 가능한 임상 결정으로 전환하는지에 따라 평가되어야 함을 강조합니다. 최적화된 임계값은 임상 현장에서 자원 배분 및 위험 계층화에 필수적인 민감도와 특이도 사이의 더 나은 균형을 가능하게 합니다.

저자들은 임계값 최적화가 고급 알고리즘이나 추가적인 데이터 수집 없이도 모델의 유용성을 높일 수 있는 실행 가능하고 비용 효율적인 접근 방식이라고 결론지었습니다. 또한 단일 센터 연구라는 점과 외부 검증의 부재를 한계점으로 인정하며, 향후 연구에서 이러한 최적화된 임계값을 다양한 인구 집단과 의료 시스템에 걸쳐 테스트할 것을 제안합니다.