Comparative Analysis of Machine Learning Models vs. Traditional Clinical Calculators for Cardiovascular Risk Prediction

기술 요약: 심혈관 위험 예측을 위한 머신러닝 모델과 전통적 임상 계산기의 비교 분석

문제 정의
심혈관 질환(CVD)은 여전히 전 세계 사망의 주요 원인으로 남아 있으나, 1차 예방 전략은 여전히 전통적인 위험 계산기(예: Framingham, ASCVD, SCORE, HEARTS)에 크게 의존하고 있다. 이러한 도구들의 결정적인 한계는 고소득 유럽 및 북미 인구 집단을 기반으로 도출되었다는 점이며, 이로 인해 다양한 역학적 맥락, 특히 히스패닉/라틴계 공동체에 적용될 때 보정(calibration) 및 예측 정확도가 떨어진다는 것이다. 머신러닝(ML)은 생물 의학 데이터의 비선형적 상호작용을 포착할 수 있는 잠재력을 가지고 있지만, 임상적 CVD 예측에 적용할 때는 심각한 클래스 불균형 문제(생존자가 사건 발생자보다 압도적으로 많음)와 임상적 유용성을 보장하기 위한 엄격한 확률 보정의 필요성이라는 과제에 직면해 있다. 본 연구는 다양한 미국인 코호트를 대상으로 최첨단 ML 모델과 11개의 기존 임상 계산기 간의 성능 차이를 규명함으로써 이 격차를 다룬다.

연구 방법론
본 연구는 1999~2018년 National Health and Nutrition Examination Survey(NHANES) 데이터를 활용하였으며, 이를 2019년까지의 사망 추적을 위한 National Death Index와 결기하였다.

• 데이터셋: 약 230,000개의 원시 기록에서 9단계의 정제 파이프라인을 거쳐 최종 분석 코호트 12,847명을 도출하였다. 결과 변수는 심혈관 사망(사건 발생률 15.9%)이었다.
• 변수: 모델은 16개의 예측 변수(연령, 성별, 혈압, 지질, 당뇨, 흡연 포함)와 5개의 공학적 특징(예: BMI, 죽상동맥경화 지수)을 사용하여 트리 기반 모델을 위한 총 21개의 입력을 사용하였다.
• 모델 개발: 6가지 알고리즘(Logistic Regression, Cox Proportional Hazards, Gradient Boosting, AdaBoost, Random Forest, Extra Trees)을 평가하였다. 이들은 6가지 클래스 균형 전략(1:1, 2:1, 3:1 무작위 오버샘플링, 언더샘플링, SMOTE 포함)과 결합되어 총 36개의 서로 다른 모델 구성을 생성하였다.
• 보정: 오버샘플링으로 인한 인위적인 사건 유병률 팽창 문제를 해결하기 위해 Saerens prior probability adjustment 방법을 사용하여 예측 확률을 교정하였다.
• 비교: ML 모델들을 11개의 전통적인 계산기(ASCVD Original/Colombia, Framingham Original/Colombia, High/Low SCORE, SCORE2, HEARTS Caribbean/North America/Colombia, PROCAM, REGICOR)와 벤치마킹하였다.
• 평가 지표: 성능은 AUC-ROC, 민감도(sensitivity), 특이도(specificity), F1-score, 그리고 가중 복합 점수(AUC 40%, 민감도 20%, F1 20%, Kappa 10%, 역 Brier 10%)를 사용하여 평가되었다. AUC 차이에 대한 통계적 유의성은 DeLong's test를 통해 결정되었다.
• 도구: 이러한 계산기와 ML 모델을 통합하는 웹 기반 플랫폼인 "CardioPrediQ"를 개발하였으며, 데이터 프라이버시를 보장하기 위해 전체가 클라이언트 측에서 작동하도록 설계하였다.

주요 결과

• 모델 성능: 2:1 오버샘플링과 Saerens 보정을 적용한 Gradient Boosting Machine(GBM)이 가장 높은 성능(AUC = 0.8934; 복합 점수 = 0.7904)을 달eric하였다. 복합 순위 상위 6개 자리는 독점적으로 ML 및 통계 모델이 차지하였다.
• 전통적 계산기와의 비교: 가장 성능이 좋은 전통적 계산기는 ASCVD Original(AUC = 0.8843)이었다. DeLong's test 결과, GBM 모델은 비미국인 인구 집단에서 도출된 계산기들(High/Low SCORE, Framingham, PROCAM, REGICOR; p < 0.05)보다 유의미하게 우수한 성능을 보였다. 그러나 GBM 모델과 상위 성능 전통적 계산기들(ASCVD Original, HEARTS Caribbean, ASCVD Colombia, SCORE2, HEARTS North America) 사이의 차이는 통계적으로 유의미하지 않았다.
• 트레이드오프(Trade-offs): ASCVD Original 및 HEARTS Caribbean과 같은 전통적 계산기는 높은 민감도(0.89–0.95)를 보였으나 낮은 특이도(0.59–0.71)를 나타내어, 위험을 과대 예측하는 경향이 있었다. 반면, GBM 모델은 더 균형 잡힌 트레이드오프(민감도: 0.8515; 특이도: 0.8167)를 유지하였다.
• 보정: Saerens 보정 방법은 Brier 점수를 0.1286에서 0.1158로 감소시켜 모델 보정 능력을 실질적으로 향상시켰다.
• 특징 중요도: 연령이 지배적인 예측 변수(상대적 중요도 41.2%)였으며, 수축기 혈압(18.7%)과 총 콜레스테롤(9.4%)이 그 뒤를 이었다. 공학적 특징들은 완만한 기여도를 보였으며, 이는 주요 임상 변수만으로도 대부분의 판별 능력이 충분함을 시사한다.

의의 및 주장
본 논문은 적절한 클래스 균형과 확률 보정을 갖춘 앙상블 ML 모델이 전통적인 계산기, 특히 다른 역학적 프로필을 가진 인구 집단에서 도출된 계산기에 비해 심혈관 위험 판별력에서 완만하지만 통계적으로 유의미한 개선을 달성한다고 주장한다.

• 맥락 의존적 우월성: 본 연구는 ML 모델이 이 미국인 코호트에서 유럽 유래 계산기들보다 우수한 성능을 보이는 반면, 미국 유래 계산기(ASCVD 등)에 대한 우위는 판별력 측면에서 통계적으로 미미하다는 점을 검증하였다.
• 보정의 유용성: 주요 기여는 오버샘플링된 데이터로 학습된 ML 모델에서 흔히 발생하는 체계적인 위험 과대 추정을 효과적으로 교정하여, 공유 의사결정에 적합한 우수한 확률 보정을 갖춘 도구로 변모시키는 Saerens 보정 방법의 입증이다.
• 도구 통합: "CardioPrediQ" 플랫폼은 데이터가 로컬 장치를 떠나지 않고도 여러 도구와 ML 모델을 통해 추정치를 교차 검증할 수 있게 하는, 통합적 위험 평가를 위한 확장 가능한 솔루션으로 제시된다.
• 라틴 아메리카에 대한 시사점: 본 연구 결과는 라틴 아메리카 환경에서 지역 특화 도구인 WHO HEARTS의 지속적인 사용을 지지하는 동시에, 재보정을 위한 지역 유래 결과 데이터가 없는 경우 교정된 ML 모델이 실행 가능한 대안이 될 수 있음을 시사한다.

저자들은 ML이 우수한 복합 성능을 제공하지만, 정확한 위험 추정을 보장하고 과잉 치료를 방지하기 위해서는 엄격한 보정이 임상 현장 통합에 반드시 동반되어야 한다고 결론짓는다. 본 연구는 위험 계산기의 선택이 대상 코호트의 유래 인구 집단에 의해 안내되어야 함을 강조한다.