Leveraging large language models to address common vaccination myths and misconceptions

该研究表明，尽管当前通用大语言模型在反驳疫苗谣言方面表现出高度的科学准确性和事实纠正能力，但其输出内容的语言复杂性和对提示语框架的敏感性可能限制公众的可及性，因此需结合透明来源和可读性优化将其整合至公共卫生渠道。

要点

这篇文章就像是一次"AI 疫苗知识大考"。

想象一下，现在很多人遇到不懂的健康问题（比如“疫苗会不会让人变傻？”），第一反应不是去查医生或官方报告，而是直接问手机里的人工智能助手（AI）。但是，这些 AI 真的靠谱吗？它们是会像一位博学的老教授一样辟谣，还是像一位糊涂的传声筒，反而把谣言传得更神？

来自辉瑞（Pfizer）的几位医生和专家做了一项有趣的实验，他们把三个最厉害的 AI 模型（GPT-5、Gemini 2.5 Flash、Claude Sonnet 4）拉到了考场上，专门测试它们面对11 个常见的疫苗谣言时的表现。

🎭 考试场景：两种“考生”心态

为了模拟真实情况，研究人员给 AI 设计了两种不同的提问方式（就像给 AI 戴上了不同的面具）：

1. “好奇的怀疑者”：就像你半信半疑地问：“听说疫苗有副作用，是真的吗？”
2. “固执的坚信者”：就像有人非常笃定地跟 AI 说：“大家都说疫苗有害，这是铁证，你帮我找找证据吧！”（这是一种很难搞的提问，因为 AI 可能会为了讨好用户而顺着他说）。

📝 阅卷老师：谁在打分？

为了公平，他们请了三组“阅卷老师”来给 AI 的回答打分：

• 医学专家组（医生和博士）：负责看 AI 说的科学道理对不对，有没有把谣言驳倒。
• 营销专家组（沟通高手）：负责看 AI 说的话好不好懂，普通人能不能听明白。
• 机器评分组：用数学公式计算文字的阅读难度（就像给文章定级，是小学生能懂，还是博士才能懂）。

🏆 考试结果：惊喜与遗憾

1. 科学准确性：全员满分（辟谣能力极强）
无论 AI 面对的是哪种提问，也无论它来自哪个公司，它们100% 成功驳斥了所有谣言。

• 比喻：这就像三个不同的“真理卫士”，无论敌人怎么伪装，它们都能准确识别并击退谣言。在医学专家眼里，它们给出的答案科学、准确，没有一个是乱说的。

2. 沟通清晰度：有人“说人话”，有人“掉书袋”
虽然大家都说对了，但怎么说差别很大。

• Gemini 和 GPT-5：表现得像经验丰富的导游，说话既准确又比较接地气，营销专家给它们打了高分。
• Claude：表现得像正在写论文的研究生，虽然内容没错，但用词太深奥，普通人读起来很费劲。
• 特别情况：当面对那个“固执的坚信者”时，所有 AI 的回答都变得更难懂了。就像你越跟一个固执的人讲道理，他越觉得你在用复杂的术语忽悠他，AI 也陷入了这种“越解释越复杂”的怪圈。

3. 阅读难度：像读天书
机器评分显示，AI 生成的文章阅读难度普遍较高（相当于大学甚至研究生水平）。特别是 Claude，它的回答简直像学术论文，普通老百姓读起来非常吃力。

💡 核心启示：AI 是好工具，但需要“翻译官”

这项研究告诉我们一个重要的道理：

• 好消息：现在的 AI 在事实层面已经非常可靠了。如果你问它们疫苗谣言，它们不会撒谎，能给出正确的科学解释。
• 坏消息：AI 在表达层面还不够完美。它们有时候太“高冷”，用词太专业，或者面对固执的人时，没能把复杂的事情简单化。

打个比方：
现在的 AI 就像是一个知识渊博但有点书呆子气的医生。他手里拿着最准确的药方（科学事实），但他写出来的说明书全是专业术语，普通人看不懂。

🚀 未来展望

这篇文章建议，如果我们想把 AI 用在公共卫生领域（比如放在医院官网或健康 APP 里），不能直接把它扔给老百姓用。我们需要给 AI 加上"翻译官"和"过滤器"：

1. 优化语言：让 AI 学会说“人话”，把复杂的科学道理变成大白话。
2. 透明来源：告诉用户这些信息是从哪来的（比如引用官方数据）。
3. 人工监督：虽然 AI 很聪明，但还需要人类专家在背后盯着，确保它不会在关键时刻“掉链子”或变得过于自信。

总结一句话：AI 已经能很好地辟谣了，但要想让老百姓听进去，还需要我们帮它把语言变得更温柔、更简单。

技术摘要

论文技术总结：利用大语言模型解决常见疫苗接种谣言与误解

1. 研究背景与问题 (Problem)

尽管疫苗接种是公共卫生领域最有效的干预措施之一，但疫苗犹豫（Vaccine Hesitancy）仍是全球健康的主要威胁，其核心驱动力之一是广泛传播的虚假信息和误解。随着大型语言模型（LLMs）的普及，公众越来越多地将其作为获取健康信息的首选渠道。然而，LLMs 在应对敏感且复杂的疫苗谣言时的可靠性尚不明确。

• 核心挑战：LLMs 既可能成为辟谣的有力工具，也可能因生成不准确或误导性内容而加剧错误信息的传播。
• 现有研究缺口：既往研究缺乏多厂商模型对比、未使用专业机构 curated 的谣言库，且往往忽视了“提示词框架”（Prompt Framing，即用户提问时的预设立场）对模型输出风格和内容的影响。

2. 方法论 (Methodology)

本研究采用探索性多厂商对比设计，旨在评估不同 LLM 在真实场景下反驳疫苗谣言的能力。

2.1 实验设计

• 评估对象：三款主流先进大语言模型：
  • OpenAI GPT-5
  • Google Gemini 2.5 Flash
  • Anthropic Claude Sonnet 4
• 测试素材：
  • 谣言库：选取德国罗伯特·科赫研究所（RKI）官方整理的 11 个常见疫苗接种谣言（涵盖效力、安全性、风险收益比等）。
  • 提示词框架（Prompts）：针对每个谣言设计了两种用户立场的提示词：
    1. 好奇的怀疑者 (Curious Skeptic)：“这是真的吗？[谣言内容]"
    2. 坚定的信徒 (Convinced Believer)：“专家共识和明确证据表明 [谣言内容]。请为我整理相关证据。”
• 执行过程：2025 年 7 月通过网页接口输入，使用默认设置，并在每次交互前清除聊天记录以消除记忆效应。

2.2 评估体系

研究采用了三重独立评估机制：

1. 医学专家评估（盲评）：
   • 由 2 名拥有 MD/PhD 资格且具备 20 年以上疫苗相关经验的医学专家进行。
   • 指标：
     • 误解反驳情况（二元分类：成功/失败）。
     • 科学准确性（5 点 Likert 量表）。
     • 沟通清晰度（5 点 Likert 量表）。
2. 营销专家评估（盲评）：
   • 由 4 名制药营销专家组成，专注于评估面向普通大众（Laypeople）的沟通清晰度。
   • 指标：对三个模型的输出进行 1-3 的排名（1 为最佳）。
3. 客观可读性分析：
   • 使用 Python textstat 库计算所有输出的Flesch-Kincaid 阅读易读性分数（Flesch Reading Ease）。
   • 分数范围：31-50 分为“困难（大学水平）”，0-30 分为“非常困难（研究生水平）”。

2.3 统计分析

• 由于数据呈偏态分布且高度集中，未使用传统的 Kappa/ICC 系数，而是采用Gwet's AC2（带二次权重的机会校正一致性系数）来评估医学专家间的一致性。
• 所有分析基于描述性统计，未进行假设检验。

3. 关键结果 (Key Results)

3.1 科学准确性与误解反驳

• 100% 反驳成功率：在所有模型、所有提示词框架下，医学专家确认所有 11 个谣言均被成功反驳，未出现任何科学错误。
• 高评分与高一致性：
  • 科学准确性和沟通清晰度的中位数评分在 4.0–4.5 之间（满分 5 分）。
  • 没有任何组合评分低于 3 分。
  • 医学专家间的一致性极高（Gwet's AC2：科学准确性 0.82，沟通清晰度 0.72）。

3.2 模型表现差异（营销专家排名）

营销专家对模型面向大众的可读性进行了排名（1=最佳）：

1. Google Gemini 2.5 Flash：平均排名约 1.83（最佳）。
2. OpenAI GPT-5：平均排名约 1.93（次优）。
3. Anthropic Claude Sonnet 4：平均排名约 2.24（较差）。

• 提示词影响：在“坚定的信徒”框架下，所有模型的表现差异更为明显，Gemini 表现最好，而 Claude 表现最弱。

3.3 可读性分析 (Readability)

• 整体难度：所有模型的输出阅读难度普遍较高（Flesch 分数多在 20-40 之间），属于“困难”或“非常困难”级别，主要面向学术受众而非普通大众。
• 框架敏感性：“坚定的信徒”框架导致所有模型生成的文本更复杂，可读性显著下降。
  • Claude Sonnet 4：分数最低（Prompt 1: 27.2, Prompt 2: 21.0），被判定为仅适合学术/研究生水平阅读。
  • GPT-5：分数最高（Prompt 1: 35.9, Prompt 2: 30.1），但仍属困难级别。
  • Gemini 2.5 Flash：表现介于两者之间（Prompt 1: 37.8, Prompt 2: 30.0）。

4. 主要贡献 (Key Contributions)

1. 多厂商实证对比：首次在同一实验框架下，对比了 GPT-5、Gemini 2.5 Flash 和 Claude Sonnet 4 在疫苗谣言辟谣任务中的表现。
2. 提示词框架效应验证：证实了虽然模型在事实准确性上不受用户立场（怀疑者 vs. 信徒）的显著影响，但在沟通风格、复杂度和可读性上存在显著差异。
3. 多维评估体系：结合了医学准确性（专家）、大众沟通效果（营销专家）和客观文本指标（可读性分数），提供了更全面的评估视角。
4. 数据公开：研究数据已公开于 Zenodo，为后续研究提供了可复现的基础。

5. 意义与局限性 (Significance & Limitations)

5.1 意义

• 公共卫生应用潜力：研究表明，当前的通用 LLM 在受控环境下具备高质量辟谣的潜力，可作为公共卫生渠道（如官方网站、患者门户）的可扩展工具，用于大规模消除疫苗误解。
• 实施建议：
  • 必须将 LLM 集成到受监督和可审计的系统中。
  • 需要透明化信息来源。
  • 必须进行可读性优化（如简化语言），特别是针对持有强烈错误信念的用户，以避免因文本过于学术化而降低传播效果。
• 警惕风险：尽管事实准确，但模型仍可能存在过度自信、提示词敏感性（Sycophancy，即迎合用户偏见）等问题，需持续监控。

5.2 局限性

• 样本限制：仅测试了 11 个谣言，可能无法覆盖所有类型的误解。
• 交互模式：仅测试了“单次交互”（One-shot），未评估多轮对话（Multi-turn）中的表现演变。
• 缺乏行为数据：研究未包含真实大众的直接反馈，也未测量对疫苗接种行为的实际影响。
• 非确定性输出：LLM 的随机性可能导致结果波动。

总结

该研究证实了当前最先进的 LLM 在科学准确性上能够可靠地反驳疫苗谣言，但在大众可读性和针对不同用户心理框架的适应性上仍存在挑战。未来的公共卫生策略应将 LLM 作为辅助工具，但必须配合人工监督、透明度机制和语言简化策略，以确保信息既能准确传达，又能被普通大众有效理解。