Can Physician Expertise Improve Machine Learning Identification of Delirium?

기술 요약: 의사의 전문성이 머신러닝을 통한 섬망 식별 능력을 향상시킬 수 있는가?

문제 제기
노인 입원 환자의 최대 50%에 영향을 미치는 급성 신경정신적 상태인 섬망은 일상적인 진료 과정에서 빈번하게 놓치곤 한다. 치료되지 않은 섬망은 의료 비용을 두 배로 증가시키고, 사망률을 높이며, 장기적인 인지 기능 저하를 초-래하는 등 심각한 결과를 초래한다. 섬망의 최대 40%는 다중 구성 프로그램(multi-component programs)을 통해 예방 가능하지만, 표준화된 프로토콜과 확장 가능한 조기 탐지 도구의 부재로 인해 이러한 중재법이 충분히 활용되지 못하고 있다. 기존의 머신러닝(ML) 예측 모델은 비정기적으로 수집되는 데이터(예: 인지 평가)에 대한 의존도, 낮은 정확도, 비정형 텍스트 데이터의 간과, 그리고 모델 드리프트(model drift)에 대한 취약성과 같은 한계를 겪는 경우가 많다. 또한, 표준 자동화 머신러닝(aML) 접근 방식은 종종 투명성이 결여된 "블랙박스" 특성을 지니고 있어, 임상적 신뢰와 도입을 저해한다.

방법론: 사용자 중심 상호작용 머신러닝 (UC-iML)
저자들은 의사의 전문성을 머신러닝 개발 생애주기에 직접 통합하도록 설계된 사용자 중심 상호작용 머신러닝(UC-iML) 프레임워크를 제안한다. 이 프레임워크는 임상의가 최종 모델만을 검토하는 전통적인 워크플로와 달리, 세 가지 반복적인 단계를 통해 "인간 참여형(human-in-the-loop)" 접근 방식을 채택한다:

1. 요구사항 획득 (Requirements Acquisition, RA): 의사들( "머신 티처" 역할)은 개발자와 협력하여 임상적 우선순위를 정의한다. 이들은 행정 데이터(예: 재원 기간, 퇴원 상태)에서 임상 신호(예: 실험실 이상 수치, ICU 입원), 약물 패턴에 이르는 특징(feature)들을 우선순위화한다. 목표는 불균형한 데이터셋에서 오해를 불러일일 수 있는 단순 정확도보다는 스크리닝을 위한 높은 민감도를 우선시하는 것이다.
2. 설계 및 프로토타이핑 (Design and Prototyping, DP): 이 단계는 다중 소스 특징 공학(feature engineering)과 의사 주도의 정교화 과정을 포함한다. 시스템은 다음을 통합한다:
   • 행정 및 임상 데이터: ICD-10 코드, 활력 징후, 실험실 결과(예: 나트륨, 크레아티닌, WBC).
   • 텍스트 유래 지표: 영상의학 보고서(CT/MRI)를 TF-IDF(Term Frequency–Inverse Document Frequency) 및 그래디언트 부스팅 분류기를 사용하여 처리함으로써 텍스트 유래 섬망 확률 지표를 생성한다.
   • 전문가 정교화: 초기 Lasso 기반 스크리닝 이후, 의사들은 임상적으로 의미 있는 예측 변수와 인과 관계적으로 유의미한 신호를 보존하기 위해 특징 유지 여부를 수동으로 정교화한다.
3. 머신 티처 중심 평가 (Machine Teachers-Centered Evaluation, MTCE): 의사들은 대화형 대시보드를 사용하여 후보 모델들을 평가한다. 선정 기준에는 판별 성능(F1-score, ROC-AUC), 시간적 안정성(시간 구간별 표준 편차), 그리고 교정 품질(calibration quality)이 포함된다.

데이터셋 및 실험 설정
본 연구는 토론토의 6개 병원에서 수집된 3,862개의 레이블이 지정된 입원 기록을 포함하는 GEMINI (General Medicine Inpatient Initiative) 데이터셋을 활용한다. 데이터에는 행정 변수, 실험실 결과, 약물 및 영상의학 유래 텍스트 지표가 포함된다.

• 단계(Phases): 연구는 1단계(2010년 4월2015년 3월)와 2단계(2018년 1월2020년 1월)로 나뉜다.
• 검증 전략: 시계열적으로 분리된 홀드아웃 테스트(holdout testing) 접근 방식이 사용되었다. 1단계 데이터를 10개의 6개월 간격으로 나누어, 처음 9개 구간에서 학습하고 마지막 10번째 구간에서 테스트함으로써 전향적 예측을 시뮬레이션했다. 교차 단계 드리프트 테스트(cross-phase drift test)를 통해 1단계에서 학습된 모델을 2단계 데이터에 적용하여 평가했다.
• 비교 대상: 제안된 UC-iML-Delirium 모델은 다음 모델들과 비교되었다:
  • aML-Delirium: 의사의 개입 없이 데이터 기반으로 특징을 선택한 모델.
  • Baseline-Delirium: 텍스트 유래 특징과 의사 주도의 정교화 과정을 제외한 모델.
• 알고리즘: GBC(Gradient Boosting), AdaBoost, 로지스틱 회귀, 랜덤 포레스트를 포함한 12개의 분류기가 테스트되었다. 그 중 GBC가 최상위 성능 모델로 선정되었다.
• 해석 가능성: 특성 기여도를 정량화하고 임상적 해석 가능성을 확보하기 위해 SHAP(Shapley Additive exPlanations)이 사용되었다.

주요 결과

• 성능: UC-iML-Delirium 프레임워크는 자동화된 버전 및 베이스라인 변형 모델보다 우수한 전체 판별 성능을 입증했다. (1단계) 전향적 홀드아웃 테스트에서 GBC 기반 UC-iML 모델은 F1 점수 0.719, 정확도 0.851, ROC-AUC 0.902를 달성했다.
• 시간적 견고성: UC-iML 모델은 현저히 강력한 시간적 안정성을 보여주었다. 순환하는 6개월 윈도우(rolling 6-month windows) 전반에 걸쳐, UC-iML-GBC의 F1 점수는 0.701 ± 0.024였으며, 이는 aML-Delirium의 0.749 ± 0.136 및 Baseline-Delirium의 0.402 ± 0.046과 비교된다.
• 교차 단계 검증: 2단계 데이터(3~5년 후)로 테스트했을 때, 모델은 견고한 성능(GBC F1 = 0.693)을 유지했으나, 후기 데이터셋의 클래스 불균형 증가로 인해 섬망 유병률을 약간 과소평가하는 경 경향을 보였다.
• 특징 중요도: SHAP 분석 결과, 공학적으로 설계된 변수, 특히 영상의학 보고서로부터 추출된 텍s 유래 섬망 확률이 가장 강력한 예측 변수 중 하나임이 밝혀졌다. 다른 주요 위험 요인으로는 특정 진단 코드(예: 응급실에서의 F05 섬망), 항정신병 약물 처방, 젖산(lactate) 수치 등이 있었다.
• 임상적 트레이드오프: UC-iML 모델은 더 높은 재현율(민감도)과 F1 점수를 달성했지만, Baseline 모델에 비해 정밀도(precision)는 낮았다. 저자들은 스크리닝 목적을 위해서는 정밀도보다 놓치는 사례를 최소화하는 것(높은 재현율)이 우선시된다고 언급했다.

의의 및 주장
본 논문은 UC-iML 프레임워크가 표준 자동화 방식보다 섬망 예측을 유의미하게 개선하는 실용적인 인간 참여형 접근 방식이라고 주장한다. 주요 기여는 다음과 같다:

1. 전문성 통합: 의사 주도의 특징 정교화와 평가가 순수 데이터 기반 접근 방식보다 더 나은 임상적 관련성과 시간적 견고성을 가진 모델을 생성함을 입증했다.
2. 재현 가능성: 자동화된 효율성과 도메인 전문가의 감독 사이의 균형을 맞추는, 임상 적용을 위한 재현 가능한 파이프라인을 구축했다.
3. 견고성: 모델이 시간의 흐름과 서로 다른 병원 코호트에 따라 성능 안정성을 유지함을 보여줌으로써, 의료 AI에서 흔히 발생하는 모델 드리프트 문제를 해결했다.
4. 해석 가능성: SHAP를 사용하여 영상의학 텍스트 지표와 같은 임상적으로 의미 있는 신호를 강조함으로써 임상의의 신뢰를 높였다.

저자들은 특징 공학이나 의사의 전문성 중 어느 하나만으로는 유사한 결과를 얻을 수 없으며, UC-iML 프레임워크 내에서 이 둘의 시너지가 신뢰할 수 있고 임상적으로 실행 가능한 섬망 탐지 도구를 개발하는 데 필수적이라고 결론지었다. 향후 연구로는 의사의 전문성을 더욱 통합하고 광범적인 임상 통합을 위한 방법론을 정교화하는 것이 제안되었다.