The fundamental problem of risk prediction for individuals: health AI, uncertainty, and personalized medicine

기술 요약: 개인에 대한 위험 예측의 근본적인 문제

문제 정의
인공지능(AI)에 의해 점점 더 가속화되고 있는 임상 예측 모델들은 주로 인구 수준에서의 성능(예: 변별력, 교정도 및 임상적 유용성)을 기준으로 평가됩니다. 그러나 임상적 결정은 개별 환자를 대상으로 내려집니다. 단일 환자에 대한 위험 추정치의 불확실성을 정량화하고 이해하는 데 있어 중대한 격차가 존재합니다. 전통적인 통계적 접근 방식은 추정 불확실성(표본 크기로 인한 변동성)에 집중하지만, 모델 불확실성(모델링 선택으로 인한 변동성)과 적용 가능성 불확실성(측정 절차 및 인구 특성의 차이로 인한 변동성)은 흔히 간과합니다. 본 논문은 개별 위험 추정치가 일반적으로 가정되는 것보다 훨씬 더 불확실하며, 단일 연구의 단일 모델에 의존하는 것은 잘못된 정밀성을 초래한다고 주장합니다.

방법론
저자들은 이러한 불확실성의 크기를 실증적으로 보여주기 위해, 난소 종양이 발견된 환자의 악성 난소암 위험을 예측하는 사례 연구를 수행했습니다.

• 데이터 소스: 연구는 University Hospitals Leuven의 실제 회고적 데이터(1,122명의 환자, 1999~2015년)와 표본 크기 효과를 탐구하기 위해 생성된 합성 데이터를 활용했습니다. Leuven의 실제 환자 100명으로 구성된 고정된 테스트 세트는 위험 추정치의 변동성을 평가하는 데 사용되었습니다.
• 모델링 프레임워크: 저자들은 인식론적 불확실성(epistemic uncertainty)을 세 가지 범주로 분해했습니다:
  1. 추정 불확실성: 서로 다른 훈련 표본으로 인한 매개변수 추정치의 변동성.
  2. 모델 불확실성: 모델 클래스(로지스틱 회귀, 랜덤 포레스트, XGBoost), 연속 변수 처리 방식(스플라인 vs 기타), 변수 선택, 패널티 부여 및 하이퍼파라미터 튜닝으로 인한 변동성.
  3. 적용 가능성 불확실성: 데이터 정의(예: 종양 크기 측정 방식), 결측치 처리, 인구 집단 차이(Leuven, Rome, Malö 데이터)로 인한 변동성.
• 실험 설계: 저자들은 59,400개의 모델로 구성된 거대한 앙상블을 구축했습니다. 이는 다음과 같은 과정을 통해 이루어졌습니다:
  • 세 가지 불확실성 범주의 변형을 포함하는 594개의 서로 다른 모델링 시나리오 생성.
  • 추정 불확실성을 포착하기 위해 각 시나리오를 100번의 무작위 훈련 표본 추출(부트스트래핑)로 반복.
  • 표본 크기를 $N=400$, $N=2,000$, $N=10,000$으로 설정하여 테스트.
• 지표:
  • 인구 수준: AUROC(Area Under the Receiver Operating Characteristic Curve), ECI(Estimated Calibration Index), RU(Relative Utility).
  • 개인 수준: 위험 추정치의 95% 범위(97.5 백분위수와 2.5 백분위수의 차이) 및 결정 불확실성(Decision Uncertainty, DU). DU는 위험 임계값 0.1을 기준으로 임상적 결정(예: 수술 권고)을 달리하게 만드는 모델의 비율을 측정합니다.

주요 결과

• 비추정 불확실성의 지배력: 추정 불확실성은 훈련 표본 크기가 증가함에 따라 크게 감소했지만(평균 95% 범위가 $N=400$일 때 0.22에서 $N=10,000$일 때 0.04로 감소), 모델 및 적용 가능성 불확실성은 여전히 컸으며 표본 크기에 의해 거의 영향을 받지 않았습니다.
• 개별 위험 변동성: 10,000명의 환자를 대상으로 한 대규모 훈련 세트가 있음에도 불구하고, 59,400개 모델 전체에 걸친 단일 환자의 평균 95% 위험 추정치 범위는 0.39였습니다(0.05에서 0.99까지 분포). 일부 환자의 경우, 그 범위는 확률 스펙트럼 전체(0에서 1)를 거의 다 덮기도 했습니다.
• 결정 불확실성: 추정 불확실성만을 고려할 경우, 표본 크기를 10,000으로 늘리면 결정 불확실성(다수와 다른 행동을 제안하는 모델의 비율)은 1%로 감소했습니다. 그러나 모델 및 적용 가능성 불확실성을 포함했을 때, $N=10,000$에서도 결정 불확실성은 **11%**로 높게 유지되었습니다.
• 인구 vs 개인 성능: 모델은 모든 시나리오에서 높은 인구 수준의 성능(AUROC 0.92–0.93, 양호한 교정도, 긍정적인 상대적 유용성)을 유지했습니다. 이는 모델이 인구 전략을 가이드하는 데 매우 유용할 수 있는 동시에, 개인에게는 매우 불확실하고 잠재적으로 상충하는 위험 추정치를 제공할 수 있음을 보여줍니다.

주요 기여

1. 불확실성을 위한 프레임워크: 이 논문은 추정, 모델, 적용 가능성 불확실성을 구분하는 구조화된 프레임워크를 도입하여, 전통적인 평가 방식이 후자의 두 가지를 어떻게 숨기는지 강조합니다.
2. 실증적 증거: 단순히 데이터셋의 크기를 키우는 것이 모델 명세(specification)와 데이터/인구 차이가 오차 분산을 지배하기 때문에 개인의 위험 예측에 대한 불확실성을 해결하지 못한다는 실증적 증거를 제공합니다.
3. 결정 불확실성의 정량화: 서로 다른 유효한 모델링 선택이 동일한 환자에 대해 어떻게 상충하는 임상 결정을 내리는지를 정량화함으로써, 단일한 "진정한" 위험 추정치라는 개념에 도전합니다.

의의 및 주장
저자들은 개인의 위험 추정치가 본질적으로 불확실하며, 종종 고전적인 신뢰 구간이나 유효 표본 크기 지표가 시사하는 정도를 넘어선다고 결론짓습니다. 그들은 이러한 불확실성이 인구 수준에서의 예측 모델의 임상적 유용성을 무효화하는 것은 아니지만, 이러한 도구들이 실제 현장에서 적용되는 방식의 변화가 필요함을 시사합니다:

• 정보 제공자로서의 AI, 독재자가 아닌: 예측 알고리즘은 진단을 강요하는 것이 아니라 정보를 제공해야 합니다. 불확실성은 AI 출력이 단일 환자에 대한 확정적인 답으로서 맹목적으로 신뢰되어서는 안 된다는 점을 의미합니다.
• 공동 의사결정: 진정한 맞춤형 의료에는 인간의 상호작용이 필요합니다. 임상의는 모델 출력값의 불확실성을 인정하고, 이를 단일한 알고리즘 출력에 의존하는 대신 환자와의 공동 의사결정 과정에 통합해야 합니다.
• 개인화에 대한 겸손함: 본 논문은 맞춤형 의료의 약속에 대해 겸손할 것을 촉구합니다. AI는 훈련 데이터를 바탕으로 집단 수준의 추정치를 제공할 수는 있지만, "개인화된" 위험 추정의 성격은 인식론적 불확실성에 의해 제한됩니다. 가치는 추정치 자체가 완벽하게 정밀한 데 있는 것이 아니라, 이러한 추정치에 의해 뒷받침되는 공동 의사결정 과정에 있습니다.