Performance evaluation and benchmarking across 16 large language models on a comprehensive real-world emergency department triage data set

기술 요약: 실제 응급실 트리아지 데이터를 활용한 대규모 언어 모델의 성능 평가 및 벤치마킹

문제 제별 (Problem Statement)
응급실(ED) 트리아지는 시간적 압박 속에서 환자의 우선순위를 결정하고 자원을 배분하는 고도의 정밀함이 요구되는 과정이다. 대규모 언어 모델(LLM)이 트리아지를 위한 의사결정 지원 도구로 제안되어 왔으나, 기존의 평가들은 주로 시뮬레이션된 시나리오나 정제된 데이터셋(예: MIMIC-IV, NEJM Healer)에 의존하고 있다. 포괄적이고 정제되지 않은 실제 임상 데이터에 적용했을 때 현대적 LLM의 성능, 보정(calibration) 및 재현성에 관한 증거는 매우 부족한 실정이다. 또한, 프롬프트 전략이 모델 아키텍처보다 트리아지 정확도에 미치는 영향이 무엇인지도 불분명하다.

방법론 (Methodology)
본 연구는 중앙 평가 지점(Central Point of Assessment, CPA)이 통합된 독일의 한 3차 대학 부속 응급 의료 센터에서 수행된 회고적 단면 벤치마킹 연구이다.

• 데이터셋: 본 연구는 2023년 10월부터 2024년 2월까지의 연속적인 성인 내원 사례 16,107건을 활용하였다. 데이터는 제시된 호소 증상(CEDIS-PCL), 활력 징후(ABCDE 프레임워크), 그리고 전문 간호 인력이 내린 최종 트리아지 결정이 기록된 구조화된 임상 의사결정 지원 시스템(CDSS)에서 추출되었다. 데이터는 모두 익명화되었다.
• 평가 대상 모델: 본 연구는 14개의 개별 LLM(크기와 추론 능력이 다양한 독점 및 오픈 소스 모델 포함), 하나의 앙상블 전략("Council of Models"), 그리고 특정 단계별 프롬프팅 접근법을 포함하여 총 16가지 구성을 평가하였다.
• 평가 프로토콜:
  • 입력값: 모델들은 각 사례에 대한 구조화된 임상 변수들을 전달받았다.
  • 출력값: 모델들은 응급 환자 분류 지수(ESI) 레벨(1–5), 부문별 배정(응급실(ED) vs. 긴급 진료소(UCP)), 그리고 스스로 보고한 언어적 확신도(0–100%)를 예측하도록 과업을 부여받았다.
  • 전략:
    • 표준 프롬프팅 (Standard Prompting): 가용 데이터를 기반으로 직접 분류 수행.
    • 모델 협의체 (Council of Models): 9개 모델의 예측을 집계하고, "의장(chairman)" 모델이 최종 ESI를 결정.
    • ESI 단계별 접근 (ESI Stepwise): ESI 알고리즘(생명 구조를 위한 중재 필요성, 고위험 특징, 위험 구역 활력 징후, 자원 추정 등)을 따라 모델을 순차적으로 안내하는 구조화된 의사결정 트리 방식.
  • 재현성: 100명의 환자 하위 집합을 대상으로 동일한 입력을 사용하여 각각 100회씩 질의(총 10,000회 분류)하여 확률적 변동성을 측정하였다.
• 지표: 주요 결과물은 이차 가중 코헨 카파($\kappa_{qw}$)로 측정된 일치도, 오분류 패턴(과소/과다 트리아지), 기대 보정 오차(Expected Calibration Error, ECE), 그리고 출력 재현성을 포함한다.

주요 결과 (Key Results)

• 트리아지 정확도 (ESI 분류):
  • 성능은 모델별로 매우 이질적이었다. 이차 가중 $\kappa$ 값은 0.18(GPT 5 Nano)에서 0.75까지 나타났다.
  • 오직 ESI 단계별 접근 방식만이 "상당한(substantial)" 일치도($\kappa_{qw} = 0.747$)를 달성하였으며, 이는 보고된 인간 검사자 간 신뢰도의 하한선에 근접한 수치이다.
  • 그 외 대부분의 모델은 "중등도(moderate)" 또는 "낮은(fair)" 일치도($\kappa_{qw}$ 0.18–0.52)를 보였다.
  • 가장 흔한 오류는 인접한 단계 사이, 특히 ESI 3단계와 ESI 4단계 사이에서 발생하였다.
• 부문별 배정 (ED vs. UCP):
  • 부문 배정에 대한 일치도는 모든 모델에서 일관되게 낮았다 ($\kappa \leq 0.30$).
  • 오배정이 빈번하게 발생하였다. 예를 들어, 일부 모델은 응급실(ED)로 보내야 할 환자의 최대 75%를 긴급 진료소(UCP)로 잘못 배정하거나 그 반대의 경우를 보였다.
• 편향 및 보정 (Bias and Calibration):
  • 과잉 확신 (Overconfidence): 평가된 14개의 개별 모델 모두 체계적으로 과잉 확신하는 경향을 보였다. 과잉 확신 지수는 +5.2에서 +33.7 퍼센트 포인트(평균 언어적 확신도와 실제 정확도 간의 차이) 범위에 있었다.
  • 보정 (Calibration): 기대 보정 오차(ECE)는 0.099–0.355로 높게 나타났다. 언어적 확신도는 정답 여부와 유의미한 상관관계가 없었으며(Confidence Accuracy $\approx$ 0), 이는 모델이 스스로의 불확실성을 신뢰할 수 있게 알릴 수 없음을 의미한다.
  • 방향성 편향 (Directional Bias): 16개 모델 중 13개가 과다 트리아지(간호사보다 높은 중증도로 배정) 경향을 보였으나, ESI 단계별 접근 방식과 GPT 5 Nano 변형 모델들은 유의미한 과소 트리아지(under-triage)를 보였다.
• 재현성 (Reproducibility):
  • 출력은 상당 부분 비결정론적(non-deterministic)이었다. 재현성 실험에서 환자의 23%는 100회 실행 중 가장 빈번하게 나타난 ESI 분류를 70회 미만으로 기록하였다.
  • 100회 실행에 대한 다수결 투표가 정확도를 유의미하게 향러시키지 못했는데, 이는 변동성이 단순한 샘플링 노이즈가 아니라 실제 의사결정 경계의 불확실성에서 기인함을 시사한다.

주요 기여 (Key Contributions)

1. 실제 환경 벤치마킹: 본 연구는 허구의 삽화나 정제된 기록을 넘어, 실제 작동 중인 응급실의 포괄적이고 정제되지 않은 데이터셋을 사용하여 10개 이상의 현대적 LLM을 체계적으로 평가한 최초의 연구이다.
2. 프롬프팅 vs. 아키텍처: 본 연구는 프롬프트 전략이 모델의 크기나 아키텍처보다 더 큰 영향을 미친다는 것을 입증하였다. 구조화된 알고리즘 가이드 방식의 단계별 접근법은 비구조화된 프롬프트를 사용하는 고성능 추론 모델보다 유의미하게 우수한 성능을 보였으며, 이는 임상 논리를 프롬프트에 인코딩하는 것이 성능에 결정적임을 시사한다.
3. 안전성 및 신뢰성 분석: 본 연구는 임상 환경에서 LLM 출력의 변동성을 경험적으로 정량화하여, 동일한 입력에도 상당 부분의 사례에서 일관되지 않은 분류가 발생함을 밝혀냈다. 또한, 보정되지 않은 언어적 확신 점수가 가진 심각한 안전 취약성을 강조하였다.

의의 및 주장 (Significance and Claims)
저자들은 현재의 대규모 언어 모델들이 실제 응급 트리아지 작업에서 이질적이며 전반적으로 제한적인 성능을 보인다고 결론짓는다. LLM이 지원 도구로서 잠재력을 가지고 있음에도 불구하고, 현재의 특성들—특히 보정의 결여, 비결정론적 출력, 그리고 낮은 부문 배정 정확도—은 임상 트리아지 환경에서의 자율적 또는 안전 중심적 배치를 뒷받침하지 못한다.

본 연구는 LLM의 임상 적용을 위해서는 보정(calibration), 신뢰성 및 워크플로우 통합의 개선이 선행 조건임을 강조한다. 향후 개발 방향은 단순히 더 크거나 복잡한 모델을 선택하는 것이 아니라, 구조화된 알고리즘 가이드 프롬프팅과 규제 준수 검증을 우선시해야 함을 시사한다. 본 연구의 결과는 외부 보정 메커니즘의 필요성을 역설하며, 모델이 보고한 확신 점수를 임상의에게 확률적 추정치로 제시하는 것에 대해 주의를 촉구한다.