Standard-of-Care vs. Machine Learning–Recommended Discharge Destinations for Geriatric Surgical Inpatients: Algorithm Development and Internal Validation

기술 요약: 노인 외과 입원 환자의 표준 치료 대비 머신러닝 권장 퇴원 목적지

문제 정의
수술을 받는 고령 환자는 노화와 관련된 취약성인 노쇠(frailty) 및 다병성(multimorbidity)으로 인해 기능 저하, 입원 기간 연장, 부적절한 기관 입소 등의 부정적인 결과에 직면할 위험이 높습니다. 포괄적 노인 평가(CGA)와 노인 협진은 퇴원 계획 및 결과 개선에 효과적임이 입증되었으나, 노인 전문의 부족과 자원 제약으로 인해 광범위한 구현에 어려움을 겪고 있습니다. SURGE-Ahead 프로젝트의 이전 연구 결과에 따르면, 노인 외과 입원 환자에 대한 표준 치료 기반의 퇴원 결정은 노인 전문가의 권고와 27%의 경우에서 불일치하였으며, 이러한 불일치는 재입원율 상승 및 기능 저하와 연관이 있는 것으로 나타났습니다. 따라서 임상적 전문성을 대체하는 것이 아니라 보완할 수 있는, 개별화된 퇴원 계획을 지원하기 위한 확장 가능한 데이터 기반 도구가 절실히 필요합니다.

방법론
본 연구는 노인 외가 입원 환자의 퇴원 목적지를 예측하기 위해 노인 전문가의 권고를 정답(ground truth)으로 사용하는 머신러닝(ML) 알고리즘을 개발하고 내부 검증하였습니다.

• 데이터 소스: 본 연구는 2023년 2월부터 2024년 3월까지 울름 대학교 병원(Ulm University Medical Center)의 외상, 일반/내장, 비뇨기과에 입원한 70세 이상의 환자 169명의 데이터를 활용하였습니다. 데이터에는 전자 건강 기록(EHR)과 바델 지수(Barthel Index), 임상 노쇠 척도(CFS), 몬트리올 인지 평가(MoCA), 다제 복용 약물 수, 수술 세부 사항 등을 포함하는 최소 노인 데이터 세트(MGDS)가 포함되었습니다.
• 정답(Ground Truth): 퇴원 목적지는 자택, 급성 노인 요양 병동, 아급성 재활 시설, 요양원의 네 가지 클래스로 분류되었습니다. "정답"은 일상적인 표준 치료 결정이 아니라, MGDS, 대면 노인 상담 및 숙련된 두 명의 노인 전문의에 의한 공동 검토를 통해 도출된 전문가 권고로 정의되었습니다.
• 알고리즘: 모델의 투명성과 해석 가능성을 우선시하여 '블랙박스' 형태의 복잡성 대신 의사결정 나무 스텀프(decision tree stumps)를 사용하는 AdaBoost 분류기를 선택하였습니다. 모델은 클래스 불균형 문제를 해결하기 위해 one-vs-one 다중 클래스 분류 전략을 채택하였습니다.
• 검증 프레构: 5-겹 교차 검증(5-fold CV) 프레임워크를 사용하였습니다. 제한된 표본 크기를 해결하기 위해 정형외과 노인 외상 등록부(ATZ registry)에서 82개의 샘 샘플을 추가하여 학습 세트를 증강하였으며, 정보 누출을 방지하기 위해 동반 연구에서 재사용된 폴드(folds)를 사용하였습니다. 하이퍼파라미터(ATZ 데이터 포함 여부, estimator 수, 학습률, 캘리브레이션 분할 등)는 학습 폴드 내에서 그리드 탐색(grid search)을 통해 최적화되었습니다.
• 평가 지표: 성능은 정확도, 마이크로 평균 ROC 곡선 아래 면적(AUC), 양성/음성 예측 가치(PPV/NPV), 그리고 캘리브레이션(Brier score)을 통해 평가되었습니다. 또한, 불확실성이 높은(예측 확률이 가장 낮은) 상위 15%의 예측치를 제외하는 '인간 참여형(human-in-the-loop)' 시뮬레이션을 수행하여, 복잡한 사례를 수동 검토 대상으로 지정했을 때의 영향을 평가하였습니다.
• 통계적 비교: ML 모델의 정확도를 맥니머 검정(McNemar's test)을 사용하여 이전에 발표된 표준 치료 결정과 비교하였습니다.

주요 기여

1. 알고리즘 개발: EHR 및 CGA 데이터를 사용하여 노인 퇴원 목적지를 예측하도록 설계된 설명 가능하고 불확실성을 고려한 ML 모델을 구축하였습니다.
2. 성능 벤치마킹: ML 모델을 표준 치료 결정과 직접 비교함으로써, 알고리즘이 일상적인 임상 관행보다 노인 전문가의 권고와 더 잘 일치할 수 있음을 입증하였습니다.
3. 인간 참여형 전략: 불확실성이 높은 예측치(하위 15%)를 필터링했을 때 자동 권고의 정확도가 유의미하게 향상됨을 보여줌으로써, 임상 통합을 위한 실질적인 경로를 제시하였습니다.
4. 해석 가능성: 주요 임상 동인(예: 바델 지수 임계값, CFS 점수, 연령, 다제 복용)을 식별하고, 급성 노인 요양 병동에 적합한 환자를 식별하는 데 도움을 줄 수 있는 예비 점수 체계를 도출하였습니다.

결과

• 전체 정확도: ML 모델은 전문가 권고와 일치하는 데 있어 82%(95% CI 0.76–0.86)의 내부 검증 정확도를 달лось. 이는 표준 치료 결정이 73%의 정확도를 보인 것과 비교하여 통계적으로 유의미한 개선을 나타냈습니다 (ML 138/169 건 정답 vs. 표준 치료 124/169 건 정답; p = 0.041).
• 판별력: 모델은 0.94(95% CI 0.92–0.96)의 마이크로 평균 ROC AUC를 달성하였습니다.
  • 자택 퇴사 AUC: 0.93
  • 급성 노인 요양 병동 AUC: 0.89
  • 요양원 AUC: 0.98
  • 재활 시설 AUC: 0.52 (작은 표본 크기와 상황적 요인으로 인해 도전적인 과제로 기록됨).
• 인간 참여형 성능: 불확실성이 가장 높은 15%의 예측을 제외했을 때, 나머지 확신 있는 예측의 정확도는 85%(95% CI 0.80–0.90)로 상승하였으며, 마이크로 평균 AUC 또한 0.95로 증가하였습니다 (p = 0.006, 표준 치료 대비).
• 주요 예측 변수: 모델 검사를 통해 다음과 같은 영향력 있는 예측 변수가 확인되었습니다:
  • 수술 후 3일째 바델 지수 ≤ 50.
  • 임상 노쇠 척도(CFS) ≥ 5.
  • 수술 후 1일째 바델 지수 ≤ 60.
  • 연령 ≥ 88세.
  • 다제 복용 (≥ 8가지 약물).
• 캘리브레이션: 모델은 좋은 캘리브레이션(Brier score 0.33)을 보였으며, 예측 확률이 관찰된 결과와 밀접하게 일치하였습니다.

의의 및 주장
저자들은 본 연구를 노인 외과 환자의 개별화된 퇴원 계획을 효과적으로 지원할 수 있음을 보여주는 **개념 증명(proof-of-concept)**으로 규정합니다. 본 연구의 주요 의의는 모델이 현재의 표준 치료보다 노인 전문가의 판단과 더 잘 일치한다(82% vs 73% 일치도)는 점에 있습니다.

본 논문은 이 모델이 자율적인 의사 결정자가 아닌 지원 도구로 설계되었음을 강조합니다. 캘리브레이션된 확률을 출력하고 불확실성이 높은 사례에 대해 '인간 참여형' 메커니즘을 통합함으로써, 임상적 판단을 대체하지 않으면서도 환자 안전과 운영 효율성을 높이는 것을 목표로 합니다. 저자들은 알고리즘이 높은 내부 타당성과 판별력을 보여주었지만, 이러한 결과가 아직 임상적 효능을 검증한 것은 아니라고 명시했습니다. 따라서 본 연구는 이 의사 결정 지원 시스템의 실제 임상적 영향과 퇴원 품질을 평가하고 있는 진행 중인 중재 시험(DRKS00030684)의 경험적 토대로서 역할을 합니다.

저자들은 소수 클래스(재활 및 요양원)의 작은 표본 크기가 해당 카테고리에 대한 예측의 안정성을 제한할 수 있다는 점과, 결과가 과적합(overfitting)의 가능성이 있는 내부 검증 추정치라는 점을 언급하며 한계점에 대해 신중한 태도를 유지했습니다. 결론적으로, 고성능 알고리즘에서 신뢰할 수 있는 임상 도구로 전환하기 위해서는 임상 시험을 통한 추가적인 근거가 필요하다고 밝히고 있습니다.