ICU Mortality and LOS Prediction Models Using Machine Learning Based on Both Real and Synthetic Data

기술 요약: 실제 및 합성 데이터를 활용한 머신러닝 기반 ICU 사망률 및 재원 기간(LOS) 예측 모델

문제 정의
에티오피아와 같은 저자원 환경에서 중환자실(ICU) 결과를 예측하기 위한 정확한 머신러닝(ML) 모델 개발은 두 가지 주요 과제에 의해 저해됩니다: 바로 고품질 학습 데이터의 부족과 심각한 클래스 불균형입니다. 연구된 5개 에티오피아 공립 병원의 10,669명 환자 코호트에서 사망률은 13.9%에 불과했으며, 이는 모델이 다수 클래스(생존)로 편향되게 만드는 심각한 불균형을 초래했습니다. 또한, 특정 실험실 검사(예: 동맥혈 가스 분석, 빌리루빈)의 부재와 적시 개입에 영향을 미치는 자원 제약으로 인해 표준 중증도 지표(예: SAPS-II, SOFA)는 이 맥락에서 적용 불가능한 경우가 많습니다. 딥러닝 아키텍처(예: Transformer, TCN)는 밀도가 높은 시계열 데이터를 갖춘 고자원 환경에서는 탁월한 성능을 보이지만, 데이터가 희소하고 표 형식이며 종종 종이 기반인 환경에서는 한계가 있습니다. 본 연구는 이러한 데이터 제약 환경에서도 효과적으로 작동할 수 있는 예측 도구의 필요성을 다룹니다.

방법론
본 연구는 2013~2016년(에티오피아 달력 기준) 에티오피아 5개 공립 병원의 데이터를 사용하여 회고적 비교 실험 설계를 채택했습니다. 데이터셋에는 인구통계, 활력 징후, 실험실 결과 및 결과(outcome)를 포함한 10,669명의 성인 ICU 기록이 포함되었습니다.

1. 데이터 전처리 및 균형 맞추기:

   • 주요 행정 필드에서 결측치가 20%를 초과하는 기록은 제외되었습니다.
   • 누락된 수치형 값은 중앙값으로, 범주형 값은 최빈값으로 대체(imputation)되었습니다.
   • 클래스 불균형을 해결하기 위해 다수 클래스(생존자)를 언더샘플링하여, 2,942명(사망 50%)의 균형 잡힌 학습 세트를 생성했습니다. 이 과정에서 원래의 7,631개 기록이 폐기되었습니다.
   • 이상치는 1번째 및 99번째 백분위수로 캡핑(capping)되었으며, 범주형 특성은 레이블 인코딩되었습니다.

2. 합성 데이터 생성:
   데이터를 증강하기 위해 세 가지 서로 다른 알고리즘을 평가했습니다:

   • SMOTE-NC (Nominal and Continuous를 위한 합성 소수 클래스 오버샘플링 기술): 기존 소수 클래스 인스턴스와 그들의 k-최근접 이웃 사이의 선형 보간을 사용했습니다. 이는 계산 효율적(2.1초)이며 결정론적입니다.
   • CTGAN (조건부 표 형식 생성적 적대 신경망): 복잡하고 비선형적인 표 형식 분포를 위해 설계된 생성자-판별자 구조입니다. 계산 집약적(187.4초)이며 확률적입니다.
   • VAE (변이형 오토인코더): 확률적 잠재 변수 모델입니다. 이 특정 구현에서는 혼합 데이터 유형 처리에 어려움을 겪어 낮은 성능을 보였습니다.

3. 실험 설계:
   모델은 세 가지 구성 하에서 학습되었습니다:

   • 실제 데이터 전용 (Real-Only, RO): 실제 데이터로만 학습.
   • 합성 데이터 전용 (Synthetic-Only, SO): 합성 데이터로만 학습.
   • 하이브리드 (Hybrid, HY): 실제 데이터 80%와 합성 데이터 20%의 조합으로 학습.

4. 머신러닝 알고류즘:
   분류(사망률) 및 회귀(재원 기간 - LOS) 모두에 대해 세 가지 알고리즘을 테스트했습니다:

   • 로지스틱 회귀 (베이스라인)
   • 랜덤 포레스트 (Random Forest)
   • XGBoost

5. 검증:
   층화된 80/20 홀드아웃 분할(hold-out split)을 사용하였으며, 테스트 세트(n=589)는 최종 평가 전까지 격리되었습니다. 성능은 정확도(Accuracy), F1-score, 사망률에 대한 AUC, 그리고 재원 기간(LOS)에 대한 평균 절대 오차(MAE) 및 R²를 사용하여 평가되었습니다. 안정성은 5×5 반복 층화 교차 검증을 통해 확인되었습니다.

주요 결과

• 합성 데이터 품질:

  • CTGAN은 다운스트림 유용성에서 우수한 성능을 입증했습니다(실제 테스트 세트에서 91.7% 정확도 달성, SMOTE-NC는 86.4%). 다만, 훨씬 더 긴 학습 시간을 요구했습니다.
  • VAE는 예측력을 생성하는 데 실패하여(무작위 추측과 유사한 51.6% 정확도), 추가 하이브리드 실험에서 제외되었습니다.
  • SMOTE-NC는 높은 상관관계 보존과 계산 효율성 사이의 실용적인 균형을 제공했습니다.

• 사망률 예측:

  • 하이브리드 모델이 실제 데이터 전용 및 합성 데이터 전용 모델보다 일관되게 우수한 성능을 보였습니다.
  • 가장 우수한 모델은 하이브리드 구성의 CTGAN + XGBoost였으며, 정확도 0.998 (95% CI: 0.995–1.000), F1-score 0.996, AUC 0.99를 달려냈습니다.
  • SMOTE-NC + Random Forest 또한 높은 정확도(0.996)를 달성했습니다.
  • 참고: 저자들은 이 높은 정확도 수치가 인위적으로 균형 잡힌 테스트 세트(사망 50%)를 기반으로 하고 있으며, 실제 세계의 클래스 분포를 반영하지 않는다는 점을 명시적으로 경고합니다.

• 재원 기간 (LOS) 예측:

  • 하이브리드 구성의 CTGAN + XGBoost가 가장 좋은 성능을 보였으며, MAE는 4.08일 (95% CI: 3.58–4.67), R²는 0.601을 기록했습니다.
  • 합성 데이터 전용으로 학습된 CTGAN + Random Forest가 놀랍게도 실제 데이터 전용 베이스라인(MAE 3.76일)보다 우수한 성능을 보였는데, 이는 CTGAN이 임상적으로 의미 있는 시간적 패턴을 성공적으로 보존했음을 시사합니다.

• 특성 중요도 (Feature Importance):

  • **산소 공급 (Oxygenation)**이 지배적인 예측 변수로 나타났습니다. 산소 요구량 (r = 0.327)과 SpO2 (r = 0.299)가 상위 순위 특성이었습니다.
  • **헤모글로빈 (Hemoglobin)**은 사망률과 무시할 만한 연관성을 보였습니다 (r = -0.023, 순위 15/19).
  • **연령 (Age)**은 통계적으로 유의미한 예측 인자가 아니었습니다 (p = 0.39).
  • SHAP 분석은 이 특정 코호트에서 산소화 변수가 헤모글로빈이나 연령보다 사망 위험을 더 강력하게 주도함을 확인했습니다.

의의 및 주장
본 논문은 세 가지 주요 기여를 한다고 주장합니다:

1. 비교 성능: 저자원은 환경인 에티오피아에서 실제, 합성, 하이브리드 데이터 구성 간의 머신러닝 모델에 대한 체계적인 비교를 제공합니다.
2. 맥락 특화 예측 인자: 산소화가 핵심 요소임을 강조하고 헤모글로빈과 연령의 유의성에 의문을 제기함으로써, 에티오피아 ICU 맥락에 특화된 임상 예측 인자를 식별했습니다.
3. 프로토타입 개발: 의료 이해관계자들을 위해 모델 인사이트, 특성 중요도 및 "What-if" 시나리오를 시각화하는 대화형 Streamlit 프로토타입을 개발했습니다.

저자들은 하이브리드 모델링(실제 데이터와 합성 데이터의 결 조합)이 데이터가 부족하고 불균형한 저자원 환경에서 효과적인 예측 모델을 만들기 위한 실행 가능한 솔루션임을 강조합니다. 합성 데이터 증강이 다운스트림 유용성(예: CTGAN 또는 SMOTE-NC)을 통해 검증된다면, 상당한 편향을 도입하지 않고도 모델의 판별력을 높일 수 있다고 주장합니다.

겸허한 태도 및 한계점
논문은 임상적 준비 상태에 대해 신중한 태도를 유지합니다:

• 검증 상태: 결과는 5개 병원의 회고적 데이터에 기반한 내부 검증 결과입니다. 저자들은 99.5%라는 높은 정확도가 테스트 세트의 인위적인 균형화와 미지의 기관에 대한 외부 검증 부재로 인해 낙관적일 수 있음을 명시적으로 밝히고 있습니다.
• 임상적 유용성: 프로토타입은 연구 시연 및 가설 생성을 위한 "개념 증명(Proof-of-concept)"으로 설명됩니다. 이는 임상용으로 승인되지 않았으며, 환자 진료 결정에 영향을 미쳐서는 안 됩니다.
• 일반화 가능성: 본 연구 결과는 에티오피아의 공립 3차 병원에 특화되어 있으므로, 재보정 및 외부 검증 없이 사립 병원, 농촌 시설 또는 타국가로 일반화될 수 없습니다.
• 인과관계: 저자들은 SHAP 값과 특성 중요도가 인과관계가 아닌 연관성을 나타낸다는 점을 명확히 합니다. 관찰된 관계(예: SpO2와 사망률 사이의 관계)는 개입 시간 및 자원 가용성과 같은 측정되지 않은 요인들에 의해 혼란(confounded)될 수 있습니다.

결론적으로, 본 연구는 합성 데이터 증강이 데이터 부족 문제를 극복하는 데 유망함을 보여주지만, 임상 현장에 배치하기 전에는 반드시 전향적 외부 검증과 구현 과학(implementation science) 시험이 선행되어야 한다고 결론짓습니다.