GPT-5 versus Senior Anesthesiology-Intensive Care Residents on Sequential Clinical Cases: A Pilot Study of Documented Clinical Reasoning

기술 요약: 연속적 임상 사례에 대한 GPT-5와 상급 마취통증의학과-중환자실 전공의 비교

문제 제기
대규모 언어 모델(LLM)이 의학 면허 시험에서 높은 정확도를 입증해 왔으나, 다지선다형 테스트의 성능 지표는 응답이 기저의 임리학적 추론 과정을 얼마나 명시적으로 문서화하는지는 설명하지 못한다. 임상 추론은 문제 표현, 가설 생성, 증거 해석을 포함하는 맥락 의존적 인지 활동이다. 기존 문헌은 이러한 특정 추론 문서화 기술에 대해 LLM과 수련의를 비교하는 엄격한 실증적 설계가 부족한 경우가 많다. 또한, 북아프리카 의료 환경을 포함한 프랑스어 기반의 대학원 교육 환경에서의 LLM 성능에 대한 증거도 부족하다. 본 연구는 "정답"과 "문서화된 추론" 사이의 간극을 메우기 위해, 최첨단 LLM(GPT-5)과 상급 의료 수련생 간의 서술형 임상 추론 출력물의 품질을 비교함으로써 이 문제를 다룬다.

연구 방법
본 연구는 모로코 카사블랑카의 이븐 로크드 대학 병원(Centre Hospitalier Universitaire Ibn Rochd)에서 수행된 단일 센터, 횡단적 비교 파일럿 연구이다.

• 참여자: 본 연구는 14명의 4년차 마취통증의학과-중환자실 전공의 전체를 대상으로 한 전수 조사(참여율 100%)를 활용하였다.
• 자극물: 2020~2024년 사이의 실제 익명화된 임상 사례 20개를 선정하여 표준화하였다. 사례는 두 개의 연속적인 부분으로 나뉘었다: 파트 1(병력, 배경, 신체 검진) 및 파트 2(검사실 결과 및 영상 의학 결과).
• 과업 할당: 각 전공의는 4개의 서로 다른 사례를 완료하였다(전공의 총 응답 56개). GPT-5는 20개 사례를 모두 1회씩 완료하였다. 설계는 모든 전공의가 동일한 4개의 사례에 대해 GPT-5와 매칭되는 불완전 블록 구조(incomplete-block structure)를 취하였다.
• 프롬프트 엔지니어링: GPT-5는 OpenAI API(모델 별칭 gpt-5, 온도(temperature) 0.3, 추론 노력(reasoning effort) "medium")를 통해 접속되었다. 프롬프트는 모델에 마취통증의 전문의 역할을 부여하고, 개정된 IDEA(R-IDEA) 구성 요소와 일치하는 구조화된 출력을 명시적으로 요청하였다: 개념적 체크리스트, 간결한 문제 표현, 우선순위가 지정된 검사, 그리고 각 가설에 대한 찬성 및 반대 근거를 포함한 감별 진단. 모델에는 참조 진단명이나 채점 루브릭이 제공되지 않았다.
• 평가: 두 명의 교수진이 R-IDEA 도구를 기반으로 사례별 참조 루브릭을 개발하였다. 한 명의 눈가림된 평가자(masked evaluator)가 모든 응답(전공의 및 GPT-5)을 해당 루브릭에 따라 채점하였다. R-IDEA 점수(0–10)는 네 가지 영역을 평가한다: 해석적 요약(Interpretive Summary), 감별 진단(Differential Diagnosis), 주요 진단의 설명(Explanation of Lead Diagnosis), 그리고 대안 진단의 설명(Explanation of Alternative Diagnoses).
• 통계 분석: 주요 분석은 각 전공의의 평균 R-IDEA 점수(4개 사례에 걸친 평균)를 동일한 4개 사례에 대한 GPT-5의 평균 점수와 비교하는 대응 표본 t-검정(paired Student's t-test)을 사용하였다. 진단 정확도는 기술적으로 보고되었다.

주요 결과

• 주요 결과: GPT-5는 전공의(7.0, SD 2.4)에 비해 유의미하게 높은 평균 총 R-IDEA 점수(9.5, SD 0.9)를 기록하였다. 평균 대응 차이는 GPT-5가 2.5점 앞섰다(95% CI 1.4–3.6; p < 0.001). 효과 크기는 컸다(paired d_z = 1.39).
• 도메인별 성과: GPT-5는 네 가지 R-IDEA 도메인 모두에서 전공의를 능가하였다. 가장 큰 절대적 차이는 "해석적 요약" 도메인에서 발생하였다(1.0점 차이). GPT-5의 점수는 척도의 최댓값 근처에 집중되어 잠재적인 천장 효과(ceiling effect)를 시사한 반면, 전공의의 점수는 더 큰 변동성을 보였다(변동 계수: 전공의 34% vs. GPT-5 9%).
• 진단 정확도: GPT-5는 75%(15/20)의 사례에서 교수진의 참조 진단을 식별한 반면, 전공의의 평균 진단 정확도는 68%였다. 본 연구 설계상 비독립적 관측 및 불균등한 사례 반복으로 인해 이 백분율들에 대한 추론 통계적 비교는 제한되었다.

주요 기여

• 새로운 맥락에서의 개념적 재현: 본 연구는 생성형 AI와 임상 추론(예: Cabral et al.)에 관한 기존의 연구 결과들을 프랑스어 환경, 모로코 학술 센터, 그리고 상급 마취통증의학과 코호트로 확장하였다.
• 문서화와 역량의 구분: 본 연구는 (특정 프롬프트 하에서 GPT-5가 우수한 성과를 보인) '문서화된' 추론의 품질과 실제 '임상적 역량' 또는 침상 옆 수행 능력(bedside performance)을 명확히 구분한다.
• 방법론적 프레임워크: 본 연구는 구조화된 루브릭(R-IDEA)과 출처 가림(source-masking)을 사용하여 LLM의 출력물을 전공의의 서면 작업과 비교하는 프로토콜을 제시하며, 프롬프트와 평가 기준 간의 정렬(alignment)의 중요성을 강조한다.

의의 및 주장
저자들은 R-IDEA 구성 요소에 맞춘 프롬프트 하에서 GPT-5가 상급 전공의보다 높은 점수를 받는 서술형 임상 추론 문서화를 생성한다고 결론짓는다. 그러나 논문은 이 결과의 함의에 대해 다음과 같이 신중한 입장을 유지한다:

• 우월한 역량에 대한 주장 없음: 저자들은 높은 문서화 점수가 우월한 임상적 역량, 진단적 동등성, 또는 교육적 효과성을 입증하는 것은 아니라고 명시적으로 밝힌다.
• 교육적 가설: 주요 의의는 GPT-5가 "추론 문서화 스캐폴드(reasoning-documentation scaffold)"로서 작의 역할에 있다. 저자들은 교수진의 감독을 받고 검증된 GPT-5의 출력이 전공의들이 자신의 문제 표현을 구조화된 모델과 비교하도록 도와, 추론을 더욱 가시화할 수 있는 '작업 예시(worked examples)'로 사용될 수 있다고 제안한다.
• 한계 및 향 향후 방향: 연구는 단일 센터 설계, 단일 평가자 사용, 확률적 변동성을 평가하기 위한 두 번째 모델 실행의 부재, 그리고 프롬프트가 루브릭에 맞춰져 있어 모델에 유리했을 가능성 등의 한계를 인정한다. 저자들은 향-후 연구가 자동화 편향(automation bias)을 유발하지 않으면서 모델이 생성한 작업 예시를 사용하는 것이 실제로 학습자의 성과를 개선하는지 테스트하기 위해 전향적, 다수 평가자 실험을 포함해야 한다고 제안한다.