Quality and Readability of Artificial Intelligence Chatbot Responses to Patient Questions About Exocrine Pancreatic Insufficiency: A Comparative Study

기술 요약: 췌장 외분비 부전증(EPI)에 관한 환자 질문에 대한 AI 챗봇 응답의 품질 및 가독성

문제 제로 (Problem Statement)
췌장 외분비 부전증(EPI)은 소화 및 흡수 장애를 특징으로 하는 임상 증후군으로, 췌장 효소 대체 요법(PERT), 식단 조절, 영양 모니터링을 포함한 복잡한 관리가 필요하다. 효과적인 관리는 환자의 이해에 크게 의존하지만, 환자들은 종종 비특이적 증상과 복잡한 진단 경로에 직면한다. 생성형 인공지능(AI) 및 ChatGPT, Copilot, Gemini, Perplexity와 같은 대규모 언어 모델(LLM)이 건강 정보 제공을 위해 점점 더 많이 사용되고 있으나, 특히 EPI와 관련하여 추적 가능하고, 잘 구조화되었으며, 이해하기 쉬운 정보를 제공하는 능력에 대한 표준화된 다중 모델 비교 연구는 부족한 실정이다. 선행 연구에 따르면 AI는 고품질의 텍스트를 생성할 수 있지만, 환자 교육을 위한 권장 가독성 수준(통상 초등학교 6학년 수준)을 충족하지 못하는 경우가 많으며 출처 투명성이 결여되어 있다.

연구 방법론 (Methodology)
본 연구는 2026년 7월에 수행된 웹 기반 단면 비교 설계를 채택하였다.

• 질문 생성: 연구진은 Google Trends(5년간의 글로벌 검색 관심도), 의학 주제 표목(MeHS), 임상 가이드라인(post-ERCP 췌장염 및 PERT 관리 포함), 환자 커뮤니티 포럼(Inspire 및 HealthUnlocked)의 데이터를 합성하여 EPI에 관한 20가지 핵심 환자 질문을 식별하였다.
• 평가 대상 모델: 네 가지 널리 사용되는 AI 챗봇을 테스트하였다: ChatGPT 5.6, Microsoft Copilot, Google Gemini 3.6 Flash, 그리고 Perplexity.
• 데이터 수집: 20개의 질문 각각을 역할 지정, 단어 수 제한, 또는 인용 요청 없이 표준화된 기본 설정으로 각 모델에 한 번씩 제출하였다. 이를 통해 총 80개의 응답을 얻었다.
• 품질 평가: 응답은 다음 네 가지 도구를 사용하여 평가되었다:
  • DISCERN: 치료 정보의 품질, 근거 출처 및 불확실성을 평가함 (16–75점 척도).
  • EQIP: 환자 교육 자료의 완결성, 구조 및 제시 방식을 평가함 (0–100점 척도).
  • GQS (Global Quality Score): 전반적인 품질, 조직화 및 유용성을 평가함 (1–5점 척도).
  • JAMA 벤치마크: 저자, 속성, 공개 및 최신성을 평가함 (0–4점 척도).
• 가독성 평가: Python과 textstat 라이브러리를 사용하여 6가지 지표를 계산하였다: Automated Readability Index (ARI), Gunning Fog Index (GFI), Flesch-Kincaid Grade Level (FKGL), Coleman-Liau Index (CL), Simple Measure of Gobbledygook (SMOG), 그리고 Flesch Reading Ease Score (FRES). 목표 임계값은 6학년 읽기 수준(FRES ≥ 80; 기타 지수는 < 6)이었다.
• 통계 분석: 품질 점수는 효과 크기($\epsilon^2$)를 포함한 Kruskal-Wallis 검정으로 비교하였다. 가독성 측정치는 Wilcoxon 부호 순위 검정을 통해 임계값과 비교하였다.

주요 결과 (Key Results)

• 정보 품질: 네 모델 간에 DISCERN ($P=0.187$), EQIP ($P=0.529$), JAMA ($P=0.392$), 또는 GQS ($P=0.467$) 점수에서 통계적으로 유의미한 차이가 발견되지 않았다.
  • DISCERN: 중앙값은 35.00(Perplexity)에서 38.50(Copilot) 사이로 나타났으며, 이는 "낮음"에서 "낮음과 보통의 경계" 범위에 해당하여 치료 정보 품질이 제한적임을 나타낸다.
  • EQIP: 중앙값은 52.50에서 55.00 사이로, 구조와 제시 방식에 있어 사소한 문제가 있는 "좋은" 품질을 나타냈다.
  • GQS: 모든 모델이 중앙값 4.00을 기록하여, 양호한 조직화와 유용성을 시사했다.
  • JAMA: 모든 모델이 중앙값 0.00을 기록하였으며, 이는 저자, 출처 속성, 공개 및 업데이트 날짜가 거의 완전히 결여되어 있음을 의미한다.
• 가독성: 어떤 모델도 권장되는 6학년 읽기 수준을 충족하지 못했다.
  • 모든 학년 지수(ARI, GFI, FKGL, CL, SMOG)의 중앙값은 6보다 상당히 높았다(대략 13에서 19 사이).
  • 모든 FRES 중앙값은 80 미만이었다(Gemini의 13.04에서 Perplexity의 30.76 사이). 이는 텍스트가 읽기에 "매우 어렵다"는 것을 나타낸다.
  • 모델 간 차이: Perplexity와 Copilot은 Gemini에 비해 일반적으로 더 높은 가독성(더 낮은 복잡도 점수)을 보였다. 그러나 "가장 쉬운" 응답조차 6학년 임계값을 충족하지 못했다.

주요 기여 (Key Contributions)

• 다중 모델 비교: 본 연구는 높은 환자 교육 요구가 있음에도 불구하고 AI 평가가 미비했던 질환인 EPI와 관련하여, 네 가지 주요 AI 챗봇을 체계적으로 비교한 최초의 연구 중 하나이다.
• 차원의 분리: 본 연구는 "표면적 사용성"(높은 GQS 점수)과 "근거 추적 가능성"(낮은 JAMA 점수) 사이의 결정적인 괴리를 강조한다. 이는 AI 응답이 잘 조직되고 유창할 수 있으면서도 동시에 검증 가능한 출처가 결여될 수 있음을 보여준다.
• 가독성 격차: 본 연구는 AI 생성 의료 콘텐츠와 환자 교육을 위해 권장되는 문해력 수준 사이의 상당한 격차를 정량화하며, 더 접근하기 쉬운 것으로 인식되는 모델(Perplexity, Copilot)조차 대학 수준의 복잡성을 가진 텍스트를 생성한다는 것을 보여준다.

의의 및 주장 (Significance and Claims)
저자들은 AI 챗봇이 EPI에 대해 잘 구조화되고 광범위하게 유용한 정보를 생성하지만, 현재 치료 정보의 품질과 출처 투명성 측면에서 상당한 한계를 가지고 있다고 주장한다. 연구는 이러한 응답들이 전문가에 의한 검증을 거친 후 보조 정보로만 사용되어야 한다고 결론짓는다.

논문은 다음과 같이 단언한다:

1. 현재의 한계: 높은 구조적 품질(GQS)과 낮은 출처 투명성(JAMA)의 결합은 환자가 그 타당성이나 최신성을 확인하지 않고 유창한 응답을 신뢰하게 만드는 위험을 초래한다.
2. 가독성 장벽: 응답의 언어적 복잡성은 일반적인 환자 교육 권장 수준을 크게 상회하며, 이는 어떤 모델을 사용하든 이해를 저해할 가능성이 있다.
3. 개발자를 위한 권장 사항: 임상적 유용성을 높이기 위해 개발자는 권위 있는 인용을 통합하고, 가이드라인의 최신성을 표시하며, 평이한 언어의 콘텐츠를 생성하고, 환자의 건강 문해력 수준에 맞게 응답을 조정해야 한다.
4. 임상적 시사점: 의료 전문가는 환자들이 이러한 도구를 자기 관리(예: PERT 용량 조절)에 사용할 수 있음을 인지하고, 정보를 선제적으로 검증하고, 오해를 바로잡으며, 적절한 읽기 수준의 검토된 자료를 제공해야 한다.

저자들은 본 연구가 특정 모델 버전에 대한 스냅샷이며 사실적 의료 정확성이나 가이드라인 준수 여부를 검증하는 것이 아님을 명시하며, 품질 및 가독성 점수만으로는 독립적인 치료 지침으로서의 적합성을 확립할 수 없다는 점에서 연구 결과에 대해 겸허한 태도를 유지하고 있다.