Can Parents and Patients Understand Myopia Using Large Language Model-Based Chatbots?

这项前瞻性比较研究表明，ChatGPT 和 DeepSeek 在回答家长及患者关于近视的常见问题时表现一致且高质量，而 Gemini 评分略低但仍属可接受，总体证实了 AI 聊天机器人能有效辅助近视知识的普及与理解。

要点

这是一篇关于**“家长和孩子能不能靠 AI 聊天机器人来搞懂近视（Myopia）”**的研究论文。

为了让你轻松理解，我们可以把这项研究想象成一次**“三巨头美食大比拼”，而评委则是“资深美食家（眼科医生）”**。

🍽️ 故事背景：近视是个大麻烦

现在的孩子近视率越来越高，家长们很焦虑，想上网查资料。但网上的信息五花八门，有的像“路边摊”一样不靠谱。于是，大家开始转向AI 聊天机器人（就像现在的 ChatGPT、Gemini 和 DeepSeek），想问问它们：“我孩子近视了怎么办？”“近视能治好吗？”

但是，这些 AI 真的像“米其林大厨”一样靠谱吗？还是只是“厨房里的新手”？

🥊 比赛规则：三台 AI 的“限时烹饪”

研究人员（来自印度和英国的眼科专家）设计了一场特殊的比赛：

1. 出题人：他们找了一群真正的家长，收集了20 个大家最关心的问题（比如“看手机会不会近视？”“近视能逆转吗？”）。
2. 参赛选手：三台当时最先进的 AI 聊天机器人：
   • ChatGPT (OpenAI 出品)
   • Gemini (Google 出品)
   • DeepSeek (中国出品)
3. 特殊限制：为了模拟家长在手机上快速阅读的习惯，研究人员要求 AI 的回答必须控制在 50 个字以内。这就像要求大厨在 1 分钟内做出一道既好吃又营养的菜肴，难度很大！
4. 评委团：4 位眼科专家（2 位资深老专家，1 位年轻医生，1 位研究员）。他们不知道每个回答是谁写的（盲测），只根据回答的质量打分（1 分“很难吃”到 5 分“米其林三星”）。

🏆 比赛结果：谁赢了？

经过专家们的一番“品尝”和打分，结果出来了：

• 🥇 冠军组：ChatGPT 和 DeepSeek

  • 表现：它们的表现非常稳定，大部分回答都被评为**“好”甚至“非常好”**。
  • 比喻：它们就像两位经验丰富的老厨师，虽然受限于"50 字”的篇幅，但依然能把复杂的医学知识讲得通俗易懂、准确无误。
  • 数据：超过 66% 的回答都拿到了高分。

• 🥈 亚军组：Gemini

  • 表现：它的表现**“勉强及格”**。虽然大部分回答也没大问题，但被评为“好”的比例明显低于前两名，而且偶尔会出现一些让人困惑的“翻车”回答。
  • 比喻：它像一位很有天赋但有点急躁的新手厨师。有时候能端出美味佳肴，但有时候会忘记放盐，或者把“低浓度阿托品”（一种控制近视的药）直接说成“阿托品”，让家长误以为随便用就行，这有点危险。
  • 数据：只有 40% 的回答拿到了高分，且“难吃”（低分）的比例最高。

🔍 有趣的发现（细节里的魔鬼）

1. 关于“近视能不能逆转”：
   • 这是一个家长最关心的问题。有的 AI 回答得模棱两可，而表现好的 AI 能清晰地告诉家长：“近视就像长高了，缩不回去，但可以控制它别长得太快。”
2. 关于“重复性”：
   • 研究人员发现，如果你今天问 AI 同一个问题，明天再问，它的回答可能会变。这就像同一个厨师，今天心情好做得好吃，明天心情不好可能就做咸了。这说明 AI 的回答不是 100% 稳定的。
3. 关于“评委”：
   • 即使是专家，对同一个回答的打分也不完全一样。这说明医学知识的传播本身就有主观性，但好在大家的大方向是一致的。

💡 结论：家长能用吗？

答案是：可以用，但要小心。

• 好消息：ChatGPT 和 DeepSeek 确实能帮家长快速了解近视的基本知识，就像一位随时待命的“科普小助手”，能解答很多基础疑问。
• 坏消息：AI 不是医生。它们偶尔会犯错（比如 Gemini 偶尔会漏掉关键细节），而且它们不能替代真正的眼科检查。
• 建议：家长可以把 AI 当作**“预习课”**，用来了解大概概念。但一旦涉及到具体的治疗方案（比如要不要配镜、用什么药），一定要去正规医院找医生，就像你不能只靠看菜谱就觉得自己是特级厨师一样。

📝 一句话总结

这项研究告诉我们：现在的 AI 聊天机器人（特别是 ChatGPT 和 DeepSeek）已经能很好地充当近视知识的“入门向导”了，但它们还不是完美的“医疗专家”。家长可以听它们讲故事，但看病还得找真人医生。

技术摘要

以下是基于该预印本论文《Can Parents and Patients Understand Myopia Using Large Language Model-Based Chatbots?》（家长及患者能否利用基于大语言模型的聊天机器人理解近视？）的详细技术总结：

1. 研究背景与问题 (Problem)

• 背景：近视已成为全球性的公共卫生问题，其患病率上升且伴随严重的眼部并发症。尽管临床医生对近视管理的意识在提高，但家长和患者的认知水平仍然不足。随着人工智能（AI）的发展，公众倾向于通过互联网和社交媒体获取健康信息，但信息的可靠性参差不齐。
• 核心问题：新兴的大型语言模型（LLM）聊天机器人（如 ChatGPT、Gemini、DeepSeek）能否为家长和患者提供准确、可靠且易于理解的近视相关信息？目前缺乏针对多种主流模型在近视这一特定领域进行系统性对比评估的研究。
• 研究目标：评估并比较 ChatGPT (GPT-5)、Gemini (Gemini 2.0) 和 DeepSeek (DeepSeek-R1) 三种 AI 聊天机器人在回答家长和患者常见近视问题时的可靠性和质量。

2. 研究方法 (Methodology)

本研究是一项前瞻性比较可靠性研究，于 2025 年 2 月至 3 月在印度 LV Prasad 眼科研究所进行。

• 问题构建：
  • 通过专家小组讨论（包括资深眼科医生、初级医生和研究人员）以及针对 25 名近视儿童家长的访谈，最终确定了20 个由患者/家长视角提出的真实问题。
  • 问题分为三类：(1) 近视基础知识（8 题）；(2) 近视防控与预防（7 题）；(3) 近视并发症（5 题）。
• 数据生成：
  • 将上述 20 个问题输入到三个 AI 模型中。
  • 约束条件：为模拟患者阅读习惯并降低认知负荷，要求所有模型的回答限制在50 个单词以内。
  • 回答被随机化并匿名处理（标记为 Chatbot-1, 2, 3），以避免评估者偏见。
• 评估体系：
  • 评估者：4 名评估者（2 名资深临床医生、1 名初级临床医生、1 名近视研究员），均具备 3 年以上近视管理经验。
  • 评分标准：采用 5 点李克特量表（1=非常差，2=差，3=可接受，4=好，5=非常好）。
  • 可靠性测试：
    • 内部一致性：使用 Cronbach's α 评估。
    • 重复性：在不同时间点和不同登录 ID 下重复提问 5 个问题，测试模型回答的一致性。
    • 评分者间/评分者内信度：使用组内相关系数（ICC）评估。
• 统计分析：使用 Kruskal-Wallis H 检验和 Mann-Whitney U 检验比较不同模型间的评分差异。

3. 主要发现与结果 (Key Results)

• 总体评分：
  • 所有测试模型的综合评分中位数为 4.0（“好”）。
  • ChatGPT 和 DeepSeek 表现优异，中位数评分均为 4.0（“好”），且两者之间无显著差异（p=0.48）。
  • Gemini 表现相对较弱，中位数评分为 3.0（“可接受”），显著低于其他两个模型（p≤0.001）。
• 具体类别表现：
  • 基础知识：ChatGPT 和 DeepSeek 被评为“好”，Gemini 为“可接受”。
  • 防控与预防：三个模型均被评为“好”。
  • 并发症：ChatGPT 被评为“好”，而 Gemini 和 DeepSeek 被评为“可接受”。
• 评分分布：
  • ChatGPT 和 DeepSeek 获得“好”和“非常好”评价的比例较高（分别为 66.0% 和 67.5%）。
  • Gemini 获得“好/非常好”的比例较低（40.0%），且“差/非常差”的比例最高（7.5%）。
• 一致性与重复性：
  • 内部一致性：Cronbach's α 为 0.70，表明可接受。
  • 重复性：在不同时间点重复提问时，各模型的 Cronbach's α 值为负或较低（ChatGPT: -0.26, Gemini: -0.11, DeepSeek: 0.37），表明AI 生成的回答具有不稳定性，同一问题在不同时间可能得到不同的回答。
  • 评分者信度：评分者间信度（ICC）在 ChatGPT (0.61) 和 DeepSeek (0.57) 上表现较好，而在 Gemini 上较差 (0.13)。

4. 关键贡献 (Key Contributions)

1. 多模型横向对比：这是首批同时对比 ChatGPT (GPT-5)、Gemini (2.0) 和 DeepSeek (R1) 在近视领域表现的研究之一，特别是纳入了 DeepSeek 这一新兴模型。
2. 真实场景导向：问题设计基于真实的临床对话和家长访谈，而非凭空捏造，确保了评估内容的临床相关性。
3. 严格的盲评设计：评估者对模型来源完全盲测，且对回答长度进行了标准化控制（50 词），提高了评估的公平性和可比性。
4. 揭示不稳定性：研究不仅评估了回答质量，还通过重复性测试揭示了当前 LLM 在医疗问答中存在的“幻觉”或回答不一致的风险。

5. 研究意义与局限性 (Significance & Limitations)

• 意义：
  • 研究证实，ChatGPT 和 DeepSeek 可以作为辅助工具，帮助家长和患者快速、准确地获取近视基础知识及防控建议，有助于弥补医患沟通中的信息缺口。
  • 尽管 Gemini 表现稍逊，但其回答总体仍处于“可接受”范围，表明 AI 在眼科健康教育中具有广泛应用潜力。
  • 研究建议未来应加强 AI 模型的循证训练、上下文理解能力及多语言支持，以提升其在公共卫生沟通中的效用。
• 局限性：
  • 字数限制：强制 50 词的限制可能牺牲了回答的深度和细微差别，导致部分复杂问题（如并发症机制）解释不够充分。
  • 问题样本：虽然基于真实访谈，但 20 个问题可能无法覆盖所有家长可能提出的长尾问题。
  • 模型版本：AI 模型更新迅速，研究结果可能随模型迭代而变化（文中提及使用的是 2025 年版本的模型）。
  • 非临床建议：作者强调，AI 回答不能替代专业医疗建议，仅作为信息补充。

结论：ChatGPT 和 DeepSeek 在回答近视相关问题时表现出高度一致的高质量，是家长了解近视的潜在有效工具；Gemini 表现稍弱但依然可用。然而，由于 AI 回答存在不稳定性，临床医生仍需引导患者正确解读 AI 生成的信息。