Quality and Readability of Artificial Intelligence Chatbot Responses to Patient Questions About Exocrine Pancreatic Insufficiency: A Comparative Study

技术摘要：人工智能聊天机器人在回答患者关于胰外分泌功能不全问题时的质量与可读性

问题陈述
胰外分泌功能不全（EPI）是一种临床综合征，其特征是消化和吸收功能受损，需要复杂的管理，包括胰酶替代疗法（PERT）、饮食调整和营养监测。有效的管理高度依赖于患者的理解，但患者经常面临非特异性症状和复杂的诊断路径。虽然生成式人工智能（AI）和大型语言模型（LLM，如 ChatGPT、Copilot、Gemini 和 Perplexity）越来越多地被用于获取健康信息，但目前仍缺乏针对 EPI 提供可追溯、结构良好且易于理解的信息能力的标准化、多模型比较研究。既往研究表明，虽然 AI 可以生成高质量的文本，但往往无法达到患者教育推荐的可读性水平（通常为六年级阅读水平），且缺乏来源透明度。

研究方法
本研究采用了基于 Web 的横断面比较设计，于 2026 年 7 月进行。

• 问题生成： 研究人员通过综合 Google Trends（过去 5 年的全球搜索兴趣）、医学主题词表（MeSH）、临床指南（包括术后胰腺炎及 PERT 管理）以及患者社区论坛（Inspire 和 HealthUnlocked）的数据，确定了 20 个核心患者问题。
• 评估的模型： 测试了四个广泛使用的 AI 聊天机器人：ChatGPT 5.6、Microsoft Copilot、Google Gemini 3.6 Flash 和 Perplexity。
• 数据收集： 将这 20 个问题分别提交给每个模型一次，使用标准化的默认设置，不进行角色分配、字数限制或引用请求。这共产生了 80 个响应。
• 质量评估： 使用四种工具对响应进行评估：
  • DISCORN： 评估治疗信息的质量、证据来源和不确定性（16–75 分）。
  • EQIP： 评估患者教育材料的完整性、结构和呈现方式（0–100 分）。
  • 全球质量评分 (GQS)： 评估整体质量、组织结构和实用性（1–5 分）。
  • JAMA 基准： 评估作者身份、归属、披露和时效性（0–4 分）。
• 可读性评估： 使用 Python 和 textstat 库计算了六项指标：自动可读性指数 (ARI)、Gunning Fog 指数 (GFI)、Flesch-Kincaid 年级水平 (FKGL)、Coleman-Liau 指数 (CL)、简单衡量胡言乱语指标 (SMOG) 以及 Flesch 阅读易读性评分 (FRES)。目标阈值为六年级阅读水平（FRES ≥ 80；其他指数 < 6）。
• 统计分析： 使用 Kruskal-Wallis 检验及效应量 ($\epsilon^2$) 对质量得分进行比较；使用 Wilcoxon 符号秩检验将可读性指标与阈值进行比较。

关键结果

• 信息质量： 四个模型在 DISCERN ($P=0.187$)、EQIP ($P=0.529$)、JAMA ($P=0.392$) 或 GQS ($P=0.467$) 得分方面均未发现统计学上的显著差异。
  • DISCORN： 中位数得分在 35.00（Perplexity）到 38.50（Copilot）之间，处于“差”到“差与良好之间”的范围，表明治疗信息质量有限。
  • EQIP： 中位数得分在 52.50 到 55.00 之间，表明质量“良好”，但在结构和呈现方面存在轻微问题。
  • GQS： 所有模型的得分中位数均为 4.00，表明组织结构和实用性较好。
  • JAMA： 所有模型的得分中位数均为 0.00，表明几乎完全缺乏作者身份、来源归属、披露信息和更新日期。
• 可读性： 没有模型达到推荐的六年级阅读水平。
  • 所有年级指数（ARI, GFI, FKGL, CL, SMOG）的中位数均显著高于 6（大约在 13 到 19 之间）。
  • 中位数 FRES 得分均低于 80（从 Gemini 的 13.04 到 Perplexity 的 30.76 不等），表明文本“非常难以阅读”。
  • 模型差异： 与 Gemini 相比，Perplexity 和 Copilot 通常产生更具可读性的响应（复杂度较低）；而 Gemini 的语言复杂度最高。然而，即使是“最容易”的响应也未能达到六年级水平的阈值。

主要贡献

• 多模型比较： 本研究提供了首个专门针对 EPI（一种具有高患者教育需求但 AI 评估较少的疾病）对四种领先 AI 聊天机器人进行系统比较的研究之一。
• 维度分离： 研究强调了“表面可用性”（高 GQS 得分）与“证据可追溯性”（低 JAMA 得分）之间的严重脱节。研究证明，AI 响应可以组织良好且流畅，但同时缺乏可验证的来源并未能达到基本的可读性标准。
• 可读性差距： 研究量化了 AI 生成的医学内容与患者教育推荐的识读水平之间的显著差距，表明即使是被认为更易于理解的模型（Perplexity, Copilot），其产生的文本仍具有大学水平的复杂度。

意义与主张
作者声称，虽然 AI 聊天机器人能生成关于 EPI 的结构良好且广泛适用的信息，但它们目前在治疗信息质量和来源透明度方面存在显著局限。研究结论认为，这些响应仅在经过专业核实后，才可作为补充信息使用。

论文断言：

1. 当前局限性： 高结构质量 (GQS) 与低来源透明度 (JAMA) 的结合造成了风险，即患者可能会信任流畅的响应，却不去验证其有效性或时效性。
2. 可读性障碍： 响应的语言复杂度大幅超过了通用患者教育的推荐水平，无论使用哪种模型，都可能阻碍理解。
3. 对开发者的建议： 为了提高临床实用性，开发者应整合权威引用、标明指南的时效性、生成通俗易懂的内容，并根据患者的健康素养水平调整响应内容。
4. 临床意义： 医疗专业人员应意识到患者可能会使用这些工具进行自我管理（例如调整 PERT 剂量），并应主动核实信息、纠正误解，并提供阅读水平适中的经过审核的资料。

作者对研究结果保持审慎态度，指出本研究仅代表特定模型版本的快照，并未验证事实上的医学准确性或是否符合指南，并强调仅凭质量和可读性评分无法确立其作为独立治疗指导的适用性。