Can Multimodal Large Language Models Replace Expert Assessment in Preclinical Endodontic Education? A Cross-Sectional Agreement Study

기술 요약: 예비 근관 치료 평가에서의 멀티모달 거대 언어 모델(MLLM)

문제 제기
치과 교육에 인공지능(AI)을 통합하는 것은 자동화된 피드백과 확장 가능한 평가의 잠재력을 제공한다. 그러나 멀티모달 거대 언어 모델(MLLM)이 고위험, 안전 중심의 예비 임상 평가에서 전문가의 인간적 판단을 신뢰성 있게 대체할 수 있는지 검증하는 데에는 여전히 중대한 격차가 존재한다. 특히, 현재의 MLLM이 근관 접근와(access cavity preparation)에서 요구되는 미세한 정신운동 기술(psychomotor skills)과 안전 판단을 정확하게 평가할 수 있는지는 불분명하며, 이러한 오류는 환자에게 해를 끼칠 수 있다. 본 연구는 전문가인 근관 치료 전문의의 평가와 AI 모델의 평가 사이에 유의미한 차이가 존재하지 않는다는 귀무가설을 다룬다.

연구 방법론

• 연구 설계: 2025~2026학년도 이스탄불 아이딘 대학교(Istanbul Aydın University)에서 수행된 단일 센터, 단면적, 비교 일치도 연구이다.
• 참가자 및 표본: 25명의 3학년 치의학 학부생들이 표준화된 3D 프린팅 치아를 대상으로 근관 접근와 형성을 수행하였다. 그 결과 8가지 치아 유형 그룹(상악 및 하악 중절치, 견치, 소구치)에 걸친 200개의 표본이 생성되었다.
• 데이터 수습: 각 표본은 교합면, 협측, 설측/구개측 사진, 그리고 치근단 방사선 사진을 포함한 표준화된 4개 이미지 데이터셋을 사용하여 평가되었다.
• 평가 그룹:
  • 전문가 그룹: 세 명의 숙련된 근관 치료 전문의가 눈가림(blinded)된 5가지 기준의 분석 루브릭(0–10 척도)을 사용하여 모든 표본을 독립적으로 점수화하였다. 기준은 다음과 같다: (1) 윤곽 형태(outline form), (2) 위치 및 중심화(location and centering), (3) 범위 및 보존성(extent and conservatism), (4) 직선 접근성(straight-line access), (5) 의원성 손상 및 안전성(iatrogenic damage and safety). 결정적인 오류(예: 천공)가 발견될 경우 점수를 5/10점으로 제한하는 페널티 규칙을 적용하였다.
  • AI 그룹: 네 가지 구성의 최첨단 MLLM이 테스트되었다: ChatGPT-5.2 (표준 모드 및 추론 모드)와 Gemini 3 (표준 모드 및 추론 모드). 모델들은 전문가인 근관 치료 전문의처럼 행동하고, 4개의 이미지를 처리하며, 구조화된 JSON 점수를 출력하도록 프롬프트가 설정되었다.
• 통계 분석: 검사자 간 신뢰도는 급내 상관계수(ICC)를 사용하여 평가되었다. 그룹 간 차이는 Tukey 사후 검정을 포함한 일원 분산 분석(one-way ANOVA)을 사용하여 분석되었으며, 효과 크기는 에타 제곱($\eta^2$)으로 계산되었다.

주요 결과

• 전문가 신뢰도: 전문가 평가자들은 모든 측정 항목에서 우수한 검사자 간 신뢰도(ICC 범위: 0.916–0.981)를 보여 견고한 골드 스탠다드를 확립하였다.
• AI와 전문가 간의 불일치: 귀무가설이 기각되었다. 대부분의 측정 항목과 치아 그룹에서 전문가와 AI 평가 사이에 유의미한 차이($p<0.001$)가 발견되었다.
  • 체계적 과잉 채점(Systematic Overscoring): 모든 AI 구성은 전문가보다 일관되게 높은 점수를 부여하였다.
  • 안전 기준 실패: 가장 결정적인 실패는 "의원성 손상 및 안전성" 기준에서 나타났다. 전문가는 높은 신뢰도(ICC: 0.924)와 임상적 판단을 반영하는 변동성을 보인 반면, AI 모델들은 거의 최대 점수(≈1.87–2.00)에 밀집되어 있었으며 표준 편차는 거의 0에 가까웠다. 이 기준에 대한 AI의 ICC는 0.165에서 0.572 사이로, 낮은 수준에서 중간 수준의 일치도를 보였다.
  • 모델 성능: Gemini 3와 Gemini 3/R은 전문가 점수와 가장 큰 격차를 보였다(일부 그룹에서 전문가 평균보다 최대 4.5점 높음). ChatGPT-5.2와 ChatGPT-5.2/R은 전문가와 더 유사한 양상을 보였으나 여전히 전문가 수준의 정밀함은 부족했다.
  • 추론 모드: "추론 모드(chain-of-thought)"가 "표준 모드"보다 일관되게 우수한 성능을 보이지 않았으며, 이는 계산 복잡성의 증가가 더 나은 임상적 점수로 직결되지 않음을 시사한다.
  • 치아 유형별 변동성: 상악 소구치 그룹은 특정 차원 측정(윤곽 형태, 범위, 직선 접근성)에서 AI 성능이 전문가의 일치도에 근접한 유일한 카테고리였다. 반대로, 복잡한 형태를 가진 하악 견치 및 하악 소구치는 가장 큰 점수 격차를 나타냈다.
• 내적 일관성: AI 모델들은 반복 실행 시 합리적인 내적 일관성을 보였으나(예: Gemini 3/R은 높은 일관성을 보임), 이 일관성이 정확도와 상관관계가 있지는 않았다. 즉, 모델은 내부적으로 일관될 수는 있지만 체계적으로 전문가의 판단과 어긋날 수 있다.

주요 기여

• 한계의 실증적 검증: 본 연구는 현재의 MLLM이 특히 안전이 중요한 판단에 있어, 예비 근관 치료 분야에서 전문가의 평가를 단독으로 대체하기에 적합하지 않다는 실증적 근거를 제공한다.
• 안전 중심 실패 식별: AI 모델이 실제 의원성 손상 여부와 관계없이 높은 안전 점수를 기본값으로 설정함으로써, 안전과 안전하지 않은 준비를 구별하지 못하는 위험한 한계를 가지고 있음을 강조한다.
• 일관성과 정확도의 구분: AI 모델 내의 높은 내적 일관성이 반드시 정확도나 인간의 전문성과의 일치를 의미하지 않는다는 점을 입증하여, 일관성 지표를 타당성의 대리 지표로 사용하는 것에 대해 경고한다.
• 모드 비교: "추론 모드"나 사고의 사슬(chain-of-thought) 처리가 시각적으로 근거가 있는 임상 작업에서 본질적으로 성능을 향상시킨다는 가설에 이의를 제기한다.

의의 및 주장
본 논문은 AI 모델이 객관적인 차원 매개변수(예: 단순한 치아 유형의 윤곽 형태)를 평가하는 데에는 유망한 가능성을 보이지만, 현재로서는 환자 안전과 관련된 고위험 역량 평가에 필요한 신뢰성을 갖추지 못했다고 결론짓는다. 저자들은 "의원성 손상 및 안전성"을 정확하게 평가하지 못하는 점이 예비 임상 교육에서 이러한 도구들을 전문가의 판단을 대체하기 부적절하게 만든다고 주장한다.

저자들은 가장 실용적인 경로로 하이브리드 인간-AI 프레임십을 제안한다. 이 모델에서 AI는 위험도가 낮은 정량적 지표에 대해 즉각적이고 예비적인 피드백을 제공함으로써 교육을 지원할 수 있지만, 안전 중심의 판단과 복잡한 임상적 추론을 위한 필수적인 표준은 여전히 전문가의 인간 평가로 남아야 한다. 본 연구는 AI 도구가 임상 역량 평가에 도입되기 전에, 특히 안전 지표에 대한 엄격한 기준 수준의 검증이 필수적임을 강조한다.