Evaluating the Usefulness, Quality, Reliability, and Readability of Large Language Model Responses About Pediatric Laser Dentistry: A Parent-Oriented Study

기술 요약: 소아 레이저 치의학에 대한 LLM 응답 평가

문제 제기
부모들은 건강 정보에 대한 의존도가 높아지면서 대규모 언어 모델(LLM) 기반의 챗봇을 점점 더 많이 활용하고 있으나, 소아 레이저 치의학이라는 특정 영역에서 이러한 시스템의 신뢰성은 아직 검증되지 않았다. LLM은 접근 가능한 정보를 제공하지만, 의료 맥락에서의 출력물은 사실적 정확성, 임상적 적절성 및 가독성에 대한 검증이 필요하다. 특히 레이저와 관련된 정보는 잠재적 이점과 한계 사이의 균형을 맞춰야 하며, 레이저를 보편적으로 우월하거나 통증이 없는 것으로 제시하는 것을 피해야 한다. 선행 연구들은 모델, 주제 및 평가 방법에 따라 LLM의 성능 변동성을 강조해 왔으나, 부모 대상 질문인 소아 레이크 레이저 치의학에 특화된 챗봇 생성 정보에 관한 증거는 제한적이다. 본 연구는 현재의 고급 LLM이 이 틈새 임상 분야에서 부모 교육을 위한 신뢰할 수 있는 보조 도구로 기능할 수 있는지 평가할 필요성을 다룬다.

연구 방법론
본 연구는 네 가지 유료 고급 LLM 플랫폼인 ChatGPT-5.5 Thinking, Google Gemini 3.1 Pro, Claude Opus 4.7, DeepSeek-V4를 평가하기 위해 정량적 비교 설계를 채택하였다.

• 데이터 수집: 적응증, 한계, 안전성 및 기존 절차와의 비교를 다루는 20개의 내용 타당도가 검증된 부모 대상 개방형 질문 세트를 개발하였다 (S-CVI/Ave = 0.86). 이 질문들은 7일 연속(2026년 4월 30일~5월 6일) 동안 각 모델에 매일 한 번씩 제출되어 총 560개의 응답을 생성하였다. 독립성을 보장하기 위해, 메모리 기능이나 후속 프롬프트를 사용하지 않고 새로운 시크릿 모드 세션에서 질문을 입력하였다.
• 평가 지표: 두 명의 블라인드 처리된 소아 치과 전문의가 다음 세 가지 주요 영역을 사용하여 응답을 독립적으로 평가하였다:
  1. 유용성(Usefulness): 수정된 4점 척도 (1 = 매우 유용함 ~ 4 = 유용하지 않음).
  2. 전반적 품질 척도(GQS): 전반적인 흐름과 포괄성을 평가하는 5점 척도.
  3. CLEAR 점수: 콘텐츠 품질과 신뢰성을 평가하는 25점 도구 (완전성, 허위 정보 부재, 근거 기반, 적절성, 관련성).
• 가독성 및 길이: 응답은 단어/문자 수와 함께 Flesch Reading Ease (FRE), Flesch–Kincaid Grade Level (FKGL), SMOG 지수를 사용하여 가독성을 분석하였다.
• 통계 분석: 데이터는 네 모델 간의 옴니버스 비교를 위해 Friedman 검정을 사용하였고, 쌍체 비교를 위해 Bonferroni 교정된 Wilcoxon 부호 순위 검정을 사용하였다. 효과 크기로는 Kendall's W를 계산하였다. 평가자 간 신뢰도는 내적 상관 계수(ICC)를 통해 평가되었다.

주요 결과

• 전문가 평가: 유용성, GQS, CLEAR 점수 모두에서 모델 간 유의미한 차이가 관찰되었다 (p < 0.001).
  • ChatGPT-5.5 Thinking은 중앙값 유용성 점수 1.0("매우 유용함"), GQS 5.0, CLEAR 점수 22.0("매우 좋은 콘텐츠")을 기록하며 가장 우수한 결과를 달성하였다. 이는 다른 모든 모델을 유의미하게 앞선 결과이다.
  • DeepSeek-V4는 가장 긴 응답을 생성했음에도 불구하고, 전문가 평가 품질(중앙값 CLEAR 점수 15.0, "평균적인 콘텐츠")과 유용성(중앙값 2.0)에서 가장 낮은 성적을 보였다.
  • Claude Opus 4.7과 Google Gemini 3.1 Pro는 중간 정도의 성능을 보였으며, 교정 후 유용성이나 GQS 측면에서 두 모델 간의 통계적으로 유의미한 차이는 없었으나 CLEAR 점수에서는 차이를 보였다.
• 가독성 및 길이:
  • DeepSeek는 가장 긴 응답(중앙값 약 608단어)을 생성했으며 가장 높은 가독성 점수(가장 높은 FRE, 가장 낮은 FKGL 및 SMOG)를 기록하여 가장 쉬운 읽기 수준을 나타냈다.
  • ChatGPT는 가장 짧은 응답을 생성하였다.
  • 결정적으로, 모든 모델의 읽기 수준(FKGL 및 SMOG)은 환자 교육 자료에 일반적으로 권장되는 수준보다 유의미하게 높았다.
• 시간적 변동성: 일별 전문가 평가 결과에서 통계적 차이는 있었으나, 효과 크기(Kendall's W ≈ 0.06)는 미미하여 7일간의 수집 기간 동안 단기적 성능이 실질적으로 안정적임을 나타냈다.
• 신뢰도: 두 평가자 간의 평가자 간 신뢰도는 매우 우수하였다 (모든 지표에서 ICC > 0.97).

주요 기여

• 본 연구는 소아 레이저 치의학에 관한 부모 대상 질문에 대해 네 가지 고급 유료 LLM을 체계적으로 평가하고 비교한 최초의 연구이다.
• 본 연구는 단일 사례 평가에서 자주 간과되는 요소인 단기적 시간적 변동성을 평가하기 위해 7일간의 매치 블록 설계를 활용하였다.
• 본 연구는 언어적 접근성과 콘텐츠 품질 사이의 결정적인 괴리를 소개한다: 가장 읽기 쉽고 장황한 응답을 생성한 모델(DeepSeek)이 사실적 정확성과 임상적 적절성 측면에서 가장 낮은 전문가 평가를 받았다.
• 본 연구는 특정 고위험 소아 치과 하위 분야에 적용된 검증된 블라인드 평가 프레임워크(유용성, GQS, CLEAR)를 도입하였다.

의의 및 주장
본 논문은 현재의 LLM이 부모 교육을 지원할 수는 있지만, 전문적인 소아 치과 진료를 대체해서는 안 된다고 주장한다. 연구는 귀무가설을 기각하며, 모델 간에 상당한 성능 격차가 존재함을 입증하였다. 저자들은 ChatGPT-5.5 Thinking이 이 특정 주제에 대해 현재 가장 신뢰할 수 있고 고품질의 정보를 제공하는 반 반면, DeepSeek의 장황함이 임상적 정확성을 의미하지는 않는다고 강조한다.

저자들은 LLM이 교육 도구로서의 잠재력에도 불구하고, 콘텐츠 품질의 변동성과 응답을 이해하는 데 일관되게 높은 읽기 수준이 요구된다는 점을 들어 주의를 당부한다. 이 도구를 사용하는 부모들은 특히 어린이 대상 레이저 사용의 한계 및 안전 고려 사항과 관련하여 정보가 불완전하거나, 지나치게 복잡하거나, 잠재적으로 오해의 소지가 있을 수 있음을 인지해야 한다. 본 연구는 LLM이 소아 치과 케어에서 신뢰할 수 있는 보조 도구로 간주되기 전에 주제별 평가가 반드시 필요함을 강조한다.