Compatibility of Missing Data Handling Methods across the Stages of Producing Clinical Prediction Models

기술 요약: 임상 예측 모델 생성 단계 전반에 걸친 결측치 처리 방법의 호환성

문제 제기
예측 변수의 결측치는 개발, 검증, 배포를 아우르는 임상 예측 모델(Clinical Prediction Models, CPM)의 생애 주기 전반에 걸쳐 만연한 과제이다. 방법론적 연구는 편향되지 않은 파라미터 추정(인과 추론에 초점)을 위한 결측치 처리를 광범위하게 다루어 왔으나, 예측 모델링의 목적은 이와 다르다. 예측 모델링의 일차적 목표는 새로운 개인에 대해 정확하고 잘 보정된 예측을 제공하는 것이다. 현재의 관행은 모델 개발 및 검증 단계에서 결정된 결측치 처리 방식이 의도된 배포 전략과 어떻게 일치해야 하는지에 대한 지침이 부족한 경우가 많다. 구체적으로, 모델 구축 및 테스트 중에 사용된 방법이 궁극적으로 임상 현장에서 어떻게 사용될 것인지와 "호환"되는지 여부가 불분명하다. 예를 들어, 개발 시에는 다중 대치법(Multiple Imputation, MI)을 사용하면서 배포 시에는 평균 대치법(Mean Imputation)을 사용하는 것과 같은 불일치는 편향된 성능 추정이나 모델 성능 저하를 초래할 수 있다.

방법론
저자들은 대규모 시뮬레이션 연구와 실제 수술 데이터를 이용한 경험적 분석이라는 두 가지 상호 보완적인 접근 방식을 통해 이 문제를 조사하였다.

1. 시뮬레이션 연구:

   • 설계: ADEMP 프레임워크를 따라, 200,000명의 개인을 대상으로 하는 표적 집단(두 개의 예측 변수 $X_1, X_2$와 이진 결과값 포함)을 시뮬레이션하였다. $X_1$은 결측이 발생하도록 설정하였고, $X_2$와 결과값은 완전하게 관찰되었다.
   • 결측 메커니즘: MCAR(완전 무작위 결측), MAR(무작위 결측), MNAR(비무작위 결측) 메커니즘을 유도하기 위해 6개의 유향 비순환 그래프(Directed Acyclic Graphs, DAGs)를 사용하였다. 결측 비율은 10%에서 50% 사이였으며, 예측 변수 간의 상관관계도 다양하게 설정하였다.
   • 처리 방법: 각 단계(개발, 검증, 배포)에서 5가지 전략을 평가하였다:
     • 완전 사례 분석 (Complete Case Analysis, CCA)
     • 평균/최빈값 대치 (Mean/Mode Imputation)
     • 단일 결정론적 회귀 대치 (Single Deterministic Regression Imputation, RI)
     • 다중 대치법 (Multiple Imputation, MI): 결과값($Y$)을 포함한 경우(MI-with-Y)와 제외한 경우(MI-no-Y)를 모두 테스트함.
     • 패턴 하위 모델 (Pattern Sub-Models, PSM).
   • 호환성 기준: 연구에서는 다음 두 가지 원칙에 기반하여 "호환성"을 정의하였다:
     1. 모델 성능 저하 최소화: 특정 배포 전략 하에서의 배포된 모델의 성능과 실제 모델 성능 간의 차이.
     2. 편향 없는 검증: 검증 과정이 동일한 배포 전략 하에서 모델의 성능을 편향 없이 추정해야 함.
   • 시나리오: 600개의 시나리오에 걸쳐 개발, 검증, 배포 전략의 모든 조합을 테스트하였다.

2. 경험적 분석:

   • 데이터: 저자들은 폐 절제 수술을 받는 6,600명의 환자를 포함하는 북서부 임상 결과 연구 레지스트리(North-West Clinical Outcomes Research Registry, NCORR) 데이터를 활용하였다.
   • 과업: RESECT-90 CPM을 기반으로 한 로지스틱 회귀 모델을 사용하여 수술 후 90일 사망률을 예측하였다.
   • 절차: 부트스트랩 샘플링을 사용하여 100개의 개발 데이터셋을 생성하였다. 다양한 결측치 처리 방법을 사용하여 모델을 개발하였고, 그 후 대응하는 검증 전략을 적용하여 원래 데이터셋에 대해 모델을 검증함으로써 성능 편향을 평가하였다.

주요 결과
시뮬레이션과 경험적 분석 결과는 호환성이 의도된 배포 전략에 따라 크게 달라진다는 점을 일관되게 보여주었다:

• 완전한 데이터를 요구하는 배포 (E-all):

  • 모델 성능 저하를 최소화하고 편향 없는 검증을 수행하려면, 결과값을 포함한 다중 대치법(MI-with-Y) 또는 완전한 데이터를 사용하여 모델을 개발하고 검증해야 한다.
  • 복잡한 결측 메커니즘(예: MNAR) 하에서도 MI-with-Y는 어느 정도의 성능 저하를 보였으나, 다른 방법들보다 우수했다.
  • 개발 시 CCA나 평균 대치법을 사용하면 E-all 전략 하에서 배포될 때 심각한 모델 성능 저하가 발생했다.

• 결측치를 허용하는 배포:

  • CPM이 특정 대치법(예: 평균 대치, RI, MI-no-Y, 또는 PSM)을 사용하여 결측치가 허용되는 방식으로 배포될 예정이라면, 개발과 검증 단계에서 동일한 방법을 사용해야 한다.
  • 평균/최빈값 대치: MI로 개발하고 평균 대치법으로 배포할 경우, 편향된 성능 추정치와 보정 오류가 발생하였다.
  • 회귀 대치(RI) 및 PSM: 이 방법들은 개발, 검증, 배포 전략이 동일할 때만 효과적이었다.
  • MI-no-Y: 이론적으로는 배포에 매력적이지만, MI-no-Y를 사용하여 개발할 경우 예측 변수-결과 간의 연관성에 대한 편향된 추정을 초래하여, E-MI 전략 하에서 성능 저하를 일으켰다.

• 검증 편향:

  • 검증 편향은 모델이 개발될 때 사용된 방법보다는, 검증 과정 중에 결측치를 처리하는 데 사용된 방법에 의해 주로 결정된다는 것이 핵심적인 발견이다.
  • 만약 모델이 의도된 배포 전략과 다른 방법으로 검증된다면, 모델이 원래 어떻게 구축되었는지와 관계없이 성능 추정치는 편향될 것이다.

의의 및 주장
본 논문은 결측치 처리에 대한 결정이 개발 및 검증 단계에서의 결정에 근본적으로 영향을 미쳐야 한다고 주장한다. 저자들의 주장은 다음과 같다:

1. 현재의 관행은 결함이 있다: 문헌에서 흔히 발견되는 방법들의 조합(예: MI로 개발하고 평균 대치법으로 검증 및 배포하는 경우)은 빈번하게 편향된 예측 성능 추정치와 최적화되지 않은 모델을 초래한다.
2. 정렬(Alignment)이 필수적이다: 호환성을 달기 위해서는 배포 전략으로부터 역순으로 작업해야 한다.
   • 목표가 완전한 데이터를 가진 환자를 위한 모델이라면, 전 과정에서 MI-with-Y(또는 완전한 데이터)를 사용하라.
   • 목표가 결측치가 있는 환자를 위한 모델이라면, 개발, 검증, 배포 전반에 걸쳐 동일한 대치법(예: RI 또는 PSM)을 사용하라.
3. 실무적 시사점: 저자들은 MI-with-Y가 완전 데이터 배포를 위해 통계적으로 견고하지만, 배포 시에는 (원래 데이터에 접근하거나 복잡한 계산 자원을 필요로 하므로) 실무적으로 어려울 수 있음을 강조한다. 따라서 만약 실제 현장에서 결측치를 처리해야 하는 모델을 만들어야 한다면, 개발자들은 완전 데이터용 모델을 만든 후 이를 수정하려 하기보다, 처음부터 회귀 대치(RI)나 패턴 하위 모델(PSM)과 같은 결정론적 방법을 우선적으로 고려해야 한다.

연구는 이러한 정렬(alignment) 없이는, CPM을 임상 현장에 적용할 때 부정확한 성능 추정에 기반하게 되어 잠재적으로 환자 케어를 저해할 위험이 있다고 결론짓는다.