Concordance of a ChatGPT-4o–based triage model with emergency physician categorization in the emergency department: a prospective observational comparison with emergency medical technicians

기술적 요약: ChatGPT-4o 기반 트리아지(Triage) 모델과 응급의학과 의사 분류 간의 일치도

문제 제기
응급실(ED) 트리아지는 환자 안전과 자원 배분에 매우 중요하지만, 경험, 피로도, 인지적 편향에 따른 주관적인 인간의 판단에 의존하므로 평가자 간 변동성이 발생한다. ChatGPT와 같은 대규모 언어 모델(LLM)은 임상 작업에서 유망한 가능성을 보여왔으나, 이들의 트리아지 성능에 관한 기존 증거는 이질적이다. 많은 연구가 임상의의 라벨을 객식적인 '골드 스탠다드(gold standard)'로 취급하여 LLM 평가를 "진단 정확도"로 프레임화하는데, 이는 트리아지 중증도가 단일한 검증 가능한 진실이 아니라는 점을 간과한 방법론적 결함이다. 또한, 기존 연구들은 자유 형식의 텍로 입력, 5단계 트리아지 시스템(예: 맨체스터 트리아지 시스템), 또는 회고적 설계를 사용하는 경우가 많아, 터키와 같이 응급구조사(EMT)가 초기 평가를 수행하는 구조화된 3구역(Red/Yellow/Green) 환경에 적용하기에는 한계가 있다. 따라서 표준화된 3구역(Red/Yellow/Green) 설정에서 LLM이 침상 옆(bedside) 인간 평가자와 비교하여 의사의 범주화를 얼마나 밀접하게 재현하는지에 대한 전향적 증거가 부족한 실정이다.

연구 방법론
본 전향적 관찰 연구는 2024년 6월부터 11월 사이 터키 데니즐리(Denizli)의 한 대학 병원에서 수행되었다.

• 대상자: 응급실을 방문한 성인 환자(18세 이상) 788명. 제외 기준은 의식 변화, 급성 정신 질환, 언어 장벽, 급성 중독, 심폐소생술 필요, 또는 72시간 이내 재방문 환자였다.
• 트리아지 시스템: 터키 보건부 가이드라인에 기반한 3구역 시스템(Red/고위험, Yellow/중등도, Green/저위험)이 사용되었다.
• 평가자: 각 환자에 대해 세 가지 독립적인 범주화가 이루어졌다:
  1. 참조 의사(Reference Physician): 표준화된 구조화 데이터 양식을 바탕으로 참조 범주를 할당한 단일 전문의.
  2. AI 모델: ChatGPT-4o 모델(API, temperature 0)이 동일한 구조화 양식(터키어)을 전달받아 단일 트리아지 범주를 출력함.
  3. 응급구조사(EMT): 연구 사실을 인지하지 못한 상태에서 표준 워크플로의 일부로 실제 침상 옆 트리아지를 수행함.
• 데이터 입력: 의사와 AI는 동일한 구조화된 입력값(인구통계학적 정보, 가용 시 활력 징후, 주호소, 병력)을 공유하였다. EMT는 환자를 직접 대면하여 평가하였다. 활력 징후는 저중증도 환자의 경우 루틴한 관행을 반영하여 불완전하게 기록되었다.
• 통계 분석: 일치도는 Cohen's unweighted kappa, linear-weighted kappa, quadratic-weighted kappa를 사용하여 측정되었으며, 95% 신뢰구간은 percentile bootstrap(B=5000)을 통해 도출되었다. 주요 비교는 AI vs. 의사였으며, 이차 비교는 EMT vs. 의사였다. 하위 그룹 분석(연령, 성별, 도착 방식)은 Holm 교정을 사용하여 조정되었다. 범주별 성능은 참조 재현율(reference recall) 및 예측 가치(predictive value)를 통해 평가되었다.

주요 결과

• 전반적 일치도: AI 모델은 참조 의사와 높은 일치도를 보였다(Cohen's $\kappa$ = 0.842; 95% CI 0.806–0.875; quadratic-weighted $\kappa$ = 0.901). 이는 EMT와 의사 간의 일치도($\kappa$ = 0.629; 95% CI 0.580–0.676)를 유의미하게 상회하였다. 일치도 차이($\Delta\kappa$)는 AI가 0.213 더 높았다(p < 0.001).
• 원시 일치율(Raw Agreement): AI는 의사와 90.74%의 원시 일치율을 달성한 반면, EMT는 78.68%를 기록했다.
• 고중증도(Red) 성능:
  • 재현율(Recall): AI는 의사가 지정한 Red 환자의 92.41%를 정확히 식별한 반면, EMT는 43.04%만을 식별했다. EMT는 Red 환자의 57.0%를 Yellow로 낮추어 분류했으나, AI는 단 7.6%만을 낮추어 분류했다.
  • 예측 가치(과잉 트리아지): AI의 높은 재현율은 과잉 트리아지의 비용을 수반했다. AI가 Red로 분류한 환자 중 의사가 실제로 Red로 확인한 비율은 72.28%였다(28명은 실제로는 Yellow였음). 반면, EMT는 Red에 대한 예측 가치(87.18%)가 더 높았으나, 더 많은 위중증 사례를 놓쳤다.
• 하위 그룹: AI의 EMT 대비 우위는 성별 및 연령 그룹 전반에서 일관되게 나타났다. 그러나 구급차 도착 하위 그룹(n=67)에서는 교정 후 통계적 유의성이 없었는데, 이는 작은 표본 크기와 고중증도 환자 편중에 기인한 것으로 보인다.
• 활력 징후: 활력 징후 기록이 불완전하더라도, 기록된 활력 징후가 있는 환자로 제한한 민감도 분석에서 AI-의사 간 일치도에는 실질적인 영향을 미치지 않았다.

의의 및 주장
저자들은 본 연구를 진단 정확도의 검증이 아닌 **개념 증명(proof-of-concept)**으로 규정한다.

• 일치도 vs. 정확도: 본 연구는 참조점이 단일 의사의 주관적 판단이며 환자 결과(outcome)를 평가하지 않았기 때문에, 결과가 진단적 타당성이 아닌 **평가자 간 합의(rater agreement)**를 반영함을 명시한다. 즉, 모델은 의사의 범주화 경향을 재현하는 것이지, 인간보다 "더 정확하다"고 주장할 수는 없다.
• 안전망 잠재력: 고중증도(Red) 환자를 EMT보다 더 일관되게 식별하는 능력(92.41% vs. 43.04% 재현율)은 과소 트리아지(under-triage)를 줄이는 안전망으로서의 활용 가능성을 시사하며, 이는 알려진 위해 요인이다.
• 트레이드오프(Trade-offs): 본 연구는 중요한 트레이드오프를 강조한다. 모델은 위중증 사례에 대한 민감도는 높지만, 그 대가로 상당한 과잉 트리아지(자원 효율성 저하)를 초래한다.
• 한계 및 향후 과제: 저자들은 AI와 의사가 동일한 구조화된 입력을 공유했다는 점이 EMT와의 차이를 실제보다 부풀려(AI-EMT 차이가 AI의 잠재적 이점의 상한선이 됨) 나타날 수 있음을 인정한다. 결론적으로, 모델이 수용 불가능한 과잉 트리아지 부담을 주지 않으면서 과소 트리아지를 줄일 수 있는지 결정하기 위해서는, 독립적이고 결과(outcome)에 기반한 참조점을 활용한 다기관 검증이 임상 배치 전 반드시 필요하다.

요약하자면, 본 논문은 ChatGPT-4o 모델이 구조화된 3구역 설정에서 의사의 트리아지 범주화를 밀접하게 모방할 수 있으며, 위중증 사례 식별에 있어 EMT보다 우수하지만 더 높은 과잉 트리아지를 유발한다는 것을 보여준다. 이러한 결과는 모델이 의사 결정 지원 도구로서의 잠재력을 뒷받침하지만, 임상 적용 전 엄격한 결과 기반 검증이 필요함을 강조한다.