High Overall Performance but Limited Multidisciplinary Depth: A Cross- Sectional Evaluation of ChatGPT in Pathological Fractures of Plasma Cell Tumors

기술적 요약: 형질세포 종양의 병적 골절에 대한 ChatGPT의 횡단적 평가

문제 제기
대규모 언어 모델(LLM)은 환자들이 의료 정보에 접근하기 위해 점점 더 많이 활용되고 있으나, 복잡한 다학제적 종양학 시나리오에서의 성능은 여전히 충분히 평가되지 않았습니다. 기존 연구들이 단일 전문 분야의 틀 안에서 AI를 평가한 것과 달리, 형질세포 종양(예: 고립성 형질세포종 및 다발성 골수종)과 관련된 병적 골절 상황에서 요구되는 통합적 의사결정 능력을 이해하는 데에는 공백이 존재합니다. 이러한 질환들은 수술적 안정화, 방사선 치료 시기, 그리고 치료 순서 결정과 관련하여 정형외과 의사와 방사선 종양 전문의 간의 정교한 협업을 필요로 합니다. 본 연구는 AI가 생성한 응답이 이러한 서로 다른 임상 영역을 가로지르는 환자 중심의 질문들에 대해 정확하고 일관되게 답변할 수 있는지 확인하고자 합니다.

연구 방법
본 횡단적 연구는 다음과 같은 구조화된 프레임워크를 사용하여 ChatGPT-5.1(OpenAI)의 성능을 평가하였습니다:

• 질문 생성: 4명의 숙련된 전문의 패널(20년 이상의 경력을 가진 정형외과 의사 2명 및 방사선 종양 전문의 2명)이 25개의 환자 지향적 질문을 개발하였습니다. 이 질문들은 실제 외래 진료 및 종양 위원회(tumor board) 논의에서 파생되었으며, (1) 진단 및 이해, (2) 수술적 안정화, (3) 방사선 치료, (4) 치료 순서, (5) 회복 및 추적 관찰의 다섯 가지 영역으로 분류되었습니다.
• 응답 생성: 질문은 기억 효과를 최소ize하기 위해 별도의 임시 채팅 세션에서 표준화된 중립적 프롬프트("다음 질문에 대해 환자가 쉽게 이해할 수 있는 방식으로 답해 주세요")를 통해 개별적으로 제출되었습니다. 생성된 첫 번째 응답만을 기록하였습니다.
• 평가: 동일한 전문의 패널 4명이 과학적 정확성, 정보 충분성, 환자 이해도, 임상적 관련성, 정보 최신성의 5가지 기준에 따라 5점 리커트 척도를 사용하여 독립적으로 응답을 평가하였습니다. 평가자들은 상호 블라인드 처리가 되었습니다.
• 통계 분석: 평가자 간 신뢰도는 2방향 무작위 효과 모델에 기반한 급내 상관계수(ICC)를 사용하여 평가되었습니다. 평가자와 기준 간의 차이는 프리드먼 검정(Friedman test)을 통해 분석되었습니다. 가독성은 Flesch–Kincaid 지표를 사용하여 측정되었습니다.

주요 결과

• 전반적 성능: AI는 25점 만점에 평균 21.90 ± 0.83점이라는 높은 점수를 기록하였으며, 이는 정확성과 명확성 측면에서 전반적으로 높은 성능을 보임을 나타냅니다.
• 영역별 변동성: 성능은 "진단 및 이해"(22.55 ± 0.62)와 "방사선 치료"(22.15 ± 0.74)에서 가장 높았습니다. 복잡한 추론이 필요한 다학제적 영역인 "수술적 안정화"(21.60 ± 0.72)와 "치료 순서"(21.65 ± 0.42)에서는 다소 낮은 점수가 관찰되었습니다.
• 평가 기준: "환자 이해도"는 지속적으로 가장 높은 점수(최대 4.80 ± 0.21)를 받은 반 반면, "정보 충분성"은 특히 수술 및 순서 결정 맥락에서 지속적으로 가장 낮은 점수(평균 ≈ 3.95)를 받았습니다. 이는 응답이 명확하기는 하지만 기술적 깊이가 부족할 수 있음을 시사합니다.
• 평가자 간 신뢰도: 전문 평가자 간의 일치도는 전반적으로 낮았으며, ICC 값은 음수에서 보통 수준까지의 범위를 보였습니다. 특히 "수술적 안정화"와 "치료 순서"에서 음의 ICC 값이 관찰되었는데, 이는 평가자들의 판단이 우연에 의한 기대치를 초과할 정도로 크게 달랐음을 의미합니다.
• 가독성: Flesch–Kincaid 학년 수준은 8.05로 계산되었으며, 이는 10~12학년 수준의 독해력을 의미합니다.

핵심 기여

1. 다학제적 프레임워크: 단일 전문 분야 평가와 달리, 본 연구는 정형외과 수술과 방사선 종양학의 접점에서 AI의 성능을 명시적으로 테스트하여, 전문 분야의 기대치가 AI 출력물 평가에 어떻게 영향을 미치는지 강조하였습니다.
2. 특징으로서의 변동성 식별: 본 연구는 관찰된 낮은 평가자 간 신뢰도를 단순한 통계적 결함이 아니라, 다학제적 임상 판단의 내재적 복잡성과 맥락 의존성을 반영하는 결과로 재정의하였습니다. 평가 점수의 차이는 "임상적 적절성"이 전문 분야에 따라 다르게 해석된다는 점을 뒷받침합니다.
3. 역량의 차별화: 본 연구는 일반적이고 환자 친화적인 정보를 합성하는 능력과, 복잡한 치료 순서 및 수술적 의사결정에 필요한 미묘하고 실행 가능한 깊이를 제공하는 능력 사이의 명확한 차이를 규명하였습니다.

의의 및 주장
본 논문은 ChatGPT가 일반적인 교육 및 개념적 설명을 위한 명확하고 대체로 정확하며 환자 친화적인 응답을 생성하지만, 현재로서는 "전문가 수준의 의사결정 도구"라기보다는 "일반론적 설명가"로서 기능한다고 결론짓습니다. 저자들은 형질세포 종양의 병적 골절 맥락에서 AI가 환자의 문해력을 지원하는 부수적인 정보 도구로 간주되어야 하며, 복잡한 다학제적 시나리오에서 전문가의 임상적 판단을 대체하기에는 불충분하다고 주장합니다. 본 연구는 전문가 평가의 변동성이 다학제적 케어의 실제 복잡성을 반영한다는 점을 강조하며, 향후 AI 통합은 단일한 종합 성능 점수에 의존하기보다 이러한 전문 분야별 뉘앙스를 반드시 고려해야 함을 시사합니다.