Classification Fidelity of Large Language Models on Endodontic Items from the Turkish Dental Specialty Examination

기술 요약: 터키 치과 전문의 시험의 근관치학 문항에 대한 대규모 언어 모델의 분류 충실도

문제 제기
대규모 언어 모델(LLM)이 치의학 교육 및 평가에 점점 더 많이 활용되고 있지만, 기존 연구는 거의 전적으로 정답 정확도(즉, 모델이 정답 옵션을 선택하는지 여부)에만 집중해 왔습니다. LLM이 시험 문항의 **인지적 요구도(cognitive demand)**를 신뢰성 있게 식이며낼 수 있는지에 대한 연구는 중요한 공백으로 남아 있습니다. 이러한 능력은 정답을 맞히는 것과는 구별되는 개념이며, 평가의 품질 보증 및 커리큘럼 매핑에 필수적입니다. 또한, LLM이 여러 개의 서로 다른 교육 분류 체계(개정된 Bloom, SOLO, Miller의 피라미드)에 걸쳐 인지적 복잡성을 일관되게 분류할 수 있는지, 혹은 모델과 프레임워크 간에 성능 차이가 크게 발생하는지 여부는 알려진 바 없습니다.

연구 방법론
본 연구는 네 가지 공개 접근 가능한 LLM인 ChatGPT (GPT-5.2 Instant), Gemini (3.1 Pro), Kimi (K2.5), **DeepSeek (V3.2)**의 분류 충실도를 평가하기 위해 단면적 관찰 설계를 채택하였습니다.

• 데이터셋: 2012년부터 2025년 사이에 실시된 터키 치과 전문의 시험(DUS)에서 추출한 200개의 근관치학 객관식 문제(MCQ)를 사용하였습니다. 문항은 원래의 언어인 터키어로 제시되었습니다.
• 골드 스탠다드(Gold Standard): 3단계 전문가 합의 절차를 통해 정답(ground truth)을 설정하였습니다. 두 명의 전문가(근관치과 전문의 및 교육학적 전문성을 갖춘 보철과 전문의)가 독립적으로 문항을 분류한 후, 보정 훈련 세션, 외부 자문가의 절차적 감사, 그리고 불일치를 해결하기 위한 구조화된 공동 심의를 거쳤습니다.
• 분류 체계: 각 문항은 다음 기준에 따라 분류되었습니다:
  1. 개정된 Bloom의 분류 체계: 6단계 (기억하기부터 창조하기까지).
  2. SOLO 분류 체계: 5단계 (전구조적 단계부터 확장된 추상적 단계까지).
  3. Miller의 피라미드: 4단계 (알기부터 수행하기까지).
• 실험 통제: 교차 세션 메모리 및 개인화 효과를 제거하기 위해 전용 시크릿 모드 브라우저 세션에서 표준화된 프롬프트를 제공하였습니다. 생성 파라미터(예: temperature)는 플랫폼 관리 사항이며 수정할 수 없었습니다.
• 통계 분석: 일치도는 bootstrap 95% 신뢰 구간을 포함한 가중 코헨 카파($\kappa_w$)를 사용하여 측정하였습니다. 분류 성능은 정확도와 매크로 평균 F1 점수를 통해 평가되었습니다. 모델 간 차이는 Cochran's Q 검정과 Holm–Bonferroni 보정을 적용한 쌍별 McNemar 검정을 사용하여 테스트되었습니다.

주요 결과

1. 프레임워크 의존적 성능:

   • Bloom의 분류 체계: Gemini ($\kappa_w = 0.676$)와 DeepSeek ($\kappa_w = 0.667$)가 골드 스탠다드와 **상당한 일치(substantial agreement)**를 보였습니다. ChatGPT ($\kappa_w = 0.365$)와 Kimi ($\kappa_w = 0.428$)는 보통에서 양호한 수준의 일치만을 보였습니다.
   • SOLO 분류 체계: Gemini가 다시 한번 상당한 일치($\kappa_w = 0.622$)를 기록하며 선두를 차지했습니다. 나머지 모델들은 보통 수준의 일치($\kappa_w$ 범위: 0.433–0.549)를 보였습니다.
   • Miller의 피라미드: 모든 모델에서 성능이 현저히 낮았습니다. 어떤 모델도 일치도가 보통(fair) 수준을 넘지 못했습니다. ChatGPT가 가장 좋은 성능($\kappa_w = 0.372$)을 보였으며, Gemini, Kimi, DeepSeek는 보통에서 약간 낮은 수준의 일치를 보였습니다.

2. 완전한 순위 역전:
   프레임워크 간에 모델 순위가 완전히 역전되는 놀라운 결과가 나타났습니다. Bloom과 SOLO에서 우수했던 모델들(Gemini, DeepSeek)은 Miller의 피라미드에서는 낮은 성능을 보였습니다. 반대로, Bloom과 SOLO에서 가장 낮았던 ChatGPT는 Miller의 피라미드에서 가장 높은 정확도와 일치도를 달성했습니다.

3. 인지 단계별 경향:

   • 분류 충실도는 인지 단계가 높아질수록 감소했습니다. 모든 모델은 고차원 사고(Bloom 단계 3–5)보다 저차원 사고(Bloom 단계 1–2)를 더 높은 충실도로 분류했습니다.
   • ChatGPT는 단계 2(이해) 문항을 단계 4(분석)로 과잉 분류하는 체계적인 편향을 보였습니다.
   • DeepSeek는 5단계(평가) 문항 5개를 모두 정확히 식별했으나, 다른 문항들을 5단계로 과잉 할당했습니다.
   • Gemini는 가장 균형 잡힌 오분류 프로필을 보여주었으며, 세 가지 SOLO 단계 모두에서 일관된 단계별 F1 점수를 보여준 유일한 모델이었습니다.

4. 시간적 경향:
   시험 연도와 골드 스탠다드 Bloom 단계 사이에 유의미한 양의 상관관계($\rho = 0.301, p < 0.001$)가 발견되었습니다. 이는 DUS 근관치학 문제들이 2012년부터 2025년까지 점진적으로 인지적 요구도가 높아지는 방향으로 변화했음을 나타냅니다.

핵심 기여

• 정확도와 분류의 분리: 본 연구는 정답 정확도와 분류 체계 충실도가 별개의 능력임을 입증합니다. 모델은 문제를 정확하게 풀 수 있으면서도(이전 연구에서 ChatGPT에 대해 언급된 바와 같이), 해당 문제의 인지적 복잡성을 정확하게 식별하는 데는 실패할 수 있습니다.
• 분류 체계의 비호환성: 본 결과는 Bloom, SOLO, Miller의 피라미드가 서로 다른 구성 개념을 평가한다는 경험적 증거를 제공합니다. 한 프레임워크에서의 LLM 성능이 다른 프레임워크에서의 성능을 예측하지 못하므로, 이들을 인지적 요구도의 대리 지표로 상호 교환하여 사용할 수 없습니다.
• 모델 선택 가이드라인: 본 연구는 평가 목적에 따른 LLM 선택에 대한 구체적인 지침을 제공합니다. 인지적 복잡성 매핑(Bloom/SOLO)에는 Gemini와 DeepSeek가 우수하며, 임상 적용성 계층화(Miller)에서는 ChatGPT가 상대적인 강점을 보였으나 전반적인 Miller 성능은 여전히 약했습니다.

의의 및 주장
본 논문은 LLM이 특히 Gemini나 DeepSeek를 사용할 때 Bloom 및 SOLO 분류 체계에 대해 의미 있는 충실도로 인지적 복잡성을 분류할 수 있지만, 이러한 능력이 모든 교육적 프레임워크에 걸쳐 균일하게 나타나지는 않는다고 주장합니다. 저자들은 Miller의 피라미드가 현재의 LLM들에게 여전히 도전적인 영역이며, 어떤 모델도 "보통(fair)" 이상의 일치도를 달성하지 못했다는 점을 강조합니다.

본 연구는 평가 품질 보증 및 커리큘럼 매핑을 위해 LLM 선택이 특정 분류 체계와 목적에 맞춰 조정되어야 한다고 결론짓습니다. 또한, 관찰된 인지적 요구도의 시간적 증가는 오래된 문항 뱅크에 의존하는 연구들이 현재의 LLM 분류 성능을 과대평가할 수 있음을 시사합니다. 마지막으로, 저자들은 AI 지원 교육 도구의 타당성을 확보하기 위해 분류 체계 충실도가 정답 정확도와 독립적으로 평가되어야 한다고 주장합니다.