Performance of Large Language Model on Real-World Patient Histories for Imaging Appropriateness.

기술 요약: 영상 의학적 적절성 판단을 위한 실제 환자 병력 기반 대규모 언어 모델의 성능

문제 제기
요통(LBP)은 전 세계적으로 흔한 근골격계 질환으로, 요추부 자기공명영상(MRI) 검사 요청이 빈번하게 발생한다. 체계적 문헌 고찰에 따르면, 이러한 영상 검사 요청 중 약 29~34%는 감염, 악성 종양 또는 외상과 같은 "레드 플래그(red flags)"가 결여된 부적절한 요청이다. 불필요한 MRI 촬영은 의료 비용 증가, 환자의 불안감, 그리고 과잉 진단의 위험을 초래한다. 임상 의사 결정 지원 도구와 가이드라인이 존재하지만, 워크플로우 통합의 어려움과 알람 피로(alert fatigue)로 인해 실제 임상 현장에서의 구현은 저해되고 있다. 대규모 언어 모델(LLM)이 불필요한 이용을 줄이기 위한 확장 가능한 대안으로 부상했으나, 기존 연구들은 주로 가상의 임상 시나리오에 의존하거나, 단일 영상의학과 전문의를 참조 표준으로 사용하였으며, 추론 품질과 결정 신뢰도 사이의 연관성을 체계적으로 평가하지 않은 채 이전 버전의 모델(예: GPT-4)에 집중해 왔다.

연구 방법
본 단면 연구는 실제 환자의 병력을 바탕으로 미국 방사선 학회(ACR) 기준에 따른 요추부 MRI 적절성을 분류하는 데 있어 GPT-5.2의 진단 정확도를 평가하였다.

• 데이터 수집: 2025년 9월부터 11월 사이에 요추부 MRI를 촬영한 성인 환자 160명(평균 연령 48 ± 15세; 남성 58%)으로부터 데이터를 소급적으로 수집하였다. 병력이 불충분하거나, 이전 척추 수술 이력이 있거나, 감염 또는 급성 외상이 의심되는 환자는 제외되었다. 5명의 전문가에 의해 검증된 구조화된 설문지를 사용하여 촬영 전 임상 병력을 수집하였다.
• 모델 프롬프팅: 환자의 병력을 GPT-5.2에 입력할 때, 모델에 영상의학과 전문의 역할을 부여하고 ACR 가이드라인에 따라 MRI 적응증을 "보통 적절함(UA)", "적절할 수 있음(MBA)", "보통 적절하지 않음(UNA)", 또는 "임상 정보 부족(ICI)"으로 분류하도록 구조화된 프롬프트를 사용하였으며, 명시적인 추론 과정을 요구하였다.
• 참조 표준: 두 명의 독립적인 영상의학과 전문의(경력 5년 및 10년)가 참조 표준 역할을 수행하였다.
  • 단계 1: 영상의학과 전문의는 모델의 출력값에 대해 블라인드 처리를 한 상태에서, 모델과 동일한 프롬프트를 사용하여 적절성을 평가하였다.
  • 단계 2: 영상의학과 전문의는 모델의 권고 사항에 대한 정확도와 임상 추론의 품질을 5점 리커트 척도(1–5점)를 사용하여 평가하였으며, 서로의 평가에 대해 블라인드 처리를 하였다.
• 통계 분석: 일치도는 가중 코헨 카파($\kappa_w$) 및 보커의 비대칭 검정(Bowker's test of asymmetry)을 사용하여 측정하였다. 이진 분석을 위해 UA와 MBA를 "적절함(Appropriate)"으로, UNA를 "부적절함(Inappropriate)"으로 그룹화하였다. 성능 지표로는 민감도(Sensitivity), 특이도(Specificity), 양성 예측도(PPV), 음성 예측도(NPV), 곡선 아래 면적(AUC)을 포함하였다. 하위 그룹 분석은 영상의학과 전문의가 평가한 추론 품질(높음: $\ge$4 vs. 낮음: <4)을 기준으로 수행되었다.

주요 결과

• 일치도: GPT-5.2는 두 영상의학과 전문의 모두와 중간 정도의 일치도를 보였다 ($\kappa_w = 0.58$ vs. 전문의 1; $\kappa_w = 0.50$ vs. 전문의 2). 이러한 일치 수준은 영상의학과 전문의 간의 일치도($\kappa_w = 0.575$)와 유사했다.
• 이진 분류: 모델은 높은 민감도(두 전문의 대상 모두 약 85%)를 보였으나, 특이도는 가변적이었다(전문의 1 대상 92.9%; 전문의 2 대상 61.7%). 음성 예측도(NPV)는 보통 수준이었다(전문의 1 대상 57.8%; 전문의 2 대상 64.4%). 이는 모델이 보수적(제한적)인 MRI 사용 경향을 보임을 시사한다.
• 판별력: ROC 분석 결과, 전문의 1에 대해서는 우수한 판별력(AUC 0.891)을, 전문의 2에 대해서는 양호한 판별력(AUC 0.751)을 보였다.
• 추론 품질 상관관계: 추론 품질과 결정 신뢰도 사이의 강력한 연관성은 핵심적인 발견이었다. 영상의학과 전문의가 모델의 추론 품질을 높게 평가했을 때($\ge$4), 적절성에 대한 완전 일치도는 높았으며(전문의 1 대상 83.3%; 전문의 2 대상 90.4%), 반대되는 불일치(가장 위험한 오류 유형)는 매우 낮았다(2.3–4.7%). 반면, 추론 품질이 낮을 때(<4)는 완전 일치도가 0–7.1%로 떨어졌고, 반대되는 불당치(opposite discordance)는 71.4–92.8%로 급증했다.
• 전문가 평가: 영상의학과 전문의들은 모델의 출력 품질을 높게 평가하였으며, 적절성 및 추론 모두에 대해 중앙값 5점(최댓값)의 리커트 점수를 부여하였다.

의의 및 주장
저자들은 GPT-5.2가 실제 환자 병력을 사용하여 요추부 MRI 적절성을 분류할 때 영상의학과 전문의 간의 변동성 범위 내에서 수행 능력을 갖추고 있다고 주장한다. 본 연구는 모델의 추론 품질이 결정의 신뢰도를 예측하는 강력한 지표임을 강조한다. 구체적으로, 고품질의 추론 출력은 전문가의 판단과 높은 일치도를 보이는 반면, 저품질의 추론은 상당한 불일치를 보인다.

본 논문은 GPT-5.2와 같은 LLM이 불필요한 영상 검사 요청을 줄이기 위한 사전 스크리닝 지원 도구로서 잠재력을 가지고 있다고 상정한다. 그러나 저자들은 이러한 잠재력이 모델의 추론 품질에 달려 있음을 강조하며, 낮은 수준의 추론 결과는 전문가 검토로 에스컬레이션(escalation)하는 하이브리드 워크플로우를 제안한다. 연구는 모델이 유망함을 보여주지만, 안전한 임상 통합을 위해서는 지속적인 인간의 감독, 전향적 다기관 검증, 그리고 모호한 사례에 대한 합의된 참조 표준 확립이 필요하다고 결론짓는다.