Quantifying Hallucinations in Language Language Models on Medical Textbooks

该研究通过两项实验量化了医学教科书问答中大型语言模型的幻觉现象，发现 LLaMA-70B-Instruct 在提供高可信度回答时仍存在约 19.7% 的幻觉率，且幻觉率越低通常对应更高的临床实用性评分。

要点

这篇论文就像是在给现在的"AI 医生”做一场严格的“体检”，目的是看看它们会不会“胡说八道”（也就是所谓的幻觉）。

想象一下，你家里请了一位博学多才的管家（AI 大模型），他说话流利、引经据典，看起来像个医学专家。但是，如果他在给你看病时，把“感冒”说成“癌症”，或者编造一种不存在的药，那后果就太可怕了。

这篇论文就是为了解决这个问题，他们做了一件非常聪明的事：

1. 他们造了一个“防作弊”的考场

以前的考试，AI 可能偷偷背过答案（因为训练数据里就有），所以分数很高，但一遇到新题就露馅。

• 做法：研究人员从公开的医学教科书里，随机抽取一段段从未被 AI 专门“背诵”过的原文。
• 比喻：这就像老师不让学生背题库，而是现场给一段课文，让学生根据这段课文回答问题。如果学生没读懂课文，瞎编答案，那就是“幻觉”。

2. 第一次实验：给“优等生”做突击检查

他们先拿了一个很出名的开源模型（LLaMA-70B）来做测试。

• 结果：这个模型看起来非常聪明，98.8% 的回答都写得像模像样，术语专业，语气像医生。
• 真相：但是，仔细一查，每 5 个回答里就有 1 个是瞎编的（幻觉率约 19.7%）。
• 启示：这就好比一个学生，作文写得文采飞扬，但里面的事实全是错的。对于不懂医的普通人来说，很难发现这些“美丽的谎言”。

3. 第二次实验：八位“选手”大比拼

他们把这套“防作弊”考题，扔给了 8 个不同大小、不同品牌的 AI 模型，并邀请了真正的临床医生来当裁判。

• 裁判的任务：不仅要看谁回答得对，还要给回答打分（好、中、差），并指出哪些是瞎编的。
• 发现一：越大越稳，但也会犯错
  • 模型越大（参数越多），瞎编的概率越低。小模型（10 亿参数）瞎编率高达 27%，大模型（700 亿参数）降到了 9%。
  • 但是！ 哪怕是最大的模型，依然会犯错。没有一个是完美的。
• 发现二：医生更喜欢“诚实”的 AI
  • 医生们发现，那些少编造事实的模型，得分最高。
  • 这就验证了一个道理：在医疗领域，“不说假话”比“说得好听”更重要。
• 发现三：有些题目专门“坑”AI
  • 如果题目是“列出所有禁忌症”或者用否定句（比如“哪种药不安全？”），AI 最容易犯晕，编造的内容也最多。这就像让 AI 做“找茬”游戏，它很容易漏掉或者乱指。

4. 核心结论：现在的 AI 还不能独自行医

论文最后得出了一个很严肃的结论：

• 目前的 AI 就像刚毕业、还没拿到执照的实习医生。他们虽然背了很多书，说话很溜，但绝对不能在没有真人医生监督的情况下，直接给病人看病。
• 最大的成本不是算力，而是“人”：要确保 AI 不胡说八道，必须有人类专家去逐字逐句地检查。这就像为了防错，每生产一个零件都要请一位老工匠亲自打磨，成本极高。

总结

这篇论文告诉我们：AI 在医学上很有潜力，但它现在还是个“容易嘴瓢的学霸”。

如果你看到 AI 给出的医疗建议，哪怕它说得头头是道，也千万不要全信。它可能会在 20% 的情况下，用极其专业的语气，编造一个完全错误的医疗方案。在人类专家亲自审核之前，AI 只能做“助手”，不能做“主治医生”。

技术摘要

这是一份关于论文《Quantifying Hallucinations in Language Models on Medical Textbooks》（量化语言模型在医学教科书上的幻觉）的详细技术总结。

1. 研究背景与问题 (Problem)

• 核心问题：大型语言模型（LLM）在医学问答（QA）任务中虽然能取得高分，但存在严重的“幻觉”问题（即生成事实错误或缺乏证据支持的内容）。现有的医学基准测试（如 MedQA）多基于多项选择题，难以有效评估模型在开放生成任务中的幻觉行为，且容易受到训练数据污染（记忆而非推理）的影响。
• 现有局限：
  • 传统基准测试无法区分“记忆”与“基于证据的推理”。
  • 自动生成的数据集往往缺乏专家验证，导致错误和幻觉在数据集中传播。
  • 缺乏针对医学领域、基于权威文本来源的、可量化幻觉的评估标准。
• 研究目标：构建一个抗数据污染、基于文本的评估框架，量化 LLM 在医学教科书内容上的幻觉发生率，并分析模型规模、架构与幻觉及临床医生偏好之间的关系。

2. 方法论 (Methodology)

研究团队构建了一个名为 ClinIQLink 的管道，主要包含以下步骤：

2.1 数据构建 (Corpus & Prompt Construction)

• 数据源：使用公共领域的医学教科书段落作为权威知识源。
• 筛选标准：剔除短段落和模板文本，保留信息密度高（命名实体密度、语义连贯性等指标达标）的段落。
• QA 对生成：利用 LLaMA-70B-Instruct 从筛选出的段落中自动生成问答对。
  • 格式多样性：包括是非题、列表题、选择题、简答题、多跳推理题，以及两种逆序变体（Inverse variants，如将“什么药是安全的”改为“什么药是不安全的”）。
  • 质量控制：通过自动结构检查，生成 5,543 个结构有效的 QA 对。

2.2 实验设计

• 实验 1：基线幻觉检测
  • 对象：LLaMA-70B-Instruct（开源指令微调模型）。
  • 流程：将生成的 QA 对及其源段落提交给经过医学培训的标注员进行盲审。
  • 标注：标注员评估相关性（1-5 分）、标记事实错误（Dispute）或明显幻觉（Feedback）。
  • 目的：确定基线模型在零样本（Zero-shot）设置下的幻觉发生率。
• 实验 2：跨模型比较与临床偏好研究
  • 对象：8 种不同规模和训练策略的模型（包括 Phi-4, LLaMA 3.3/4, Qwen, Mistral, Falcon 及两个内部模型）。
  • 流程：临床医生在盲测环境下对模型的回答进行排序（1-8），并标记质量（好/一般/差），同时识别不支持的声明。
  • 目的：比较不同模型的幻觉频率、严重程度，并分析其与临床医生偏好（有用性）的相关性。

2.3 评估指标

• 幻觉率 (Hallucination Rate)：不符合定义（包含 plausible 但非事实、捏造信息、与输入指令不符等）的回答比例。
• 可信度与可答性 (Plausibility & Answerability)：基于标注员评分。
• 一致性指标：使用二次加权 Cohen's $\kappa$ 和 Fleiss' $\kappa$ 评估标注员间的一致性。
• 相关性分析：使用 Spearman 秩相关分析幻觉率与临床医生有用性评分之间的关系。

3. 关键贡献 (Key Contributions)

1. 构建抗污染基准：提出了一个基于公共领域医学教科书、经过严格人工验证的 QA 基准（5,543 个条目），每个问题都链接到权威源段落，有效避免了训练数据污染问题。
2. 量化幻觉与可信度的脱节：揭示了模型回答的“表面可信度”（Plausibility）与“事实准确性”之间的巨大鸿沟。
3. 发现逆序提示的敏感性：证明**逆序提示（Inverse prompts）和列表型问题（List-type questions）**是诱发模型幻觉最有效的“压力测试”手段。
4. 建立临床偏好与幻觉的关联：通过实证数据证明了幻觉率越低，临床医生认为的有用性越高，但同时也指出即使最好的模型仍无法完全消除幻觉。
5. 成本分析：量化了人工验证在自动数据生成流程中的主导成本，指出在缺乏可靠自动化验证前，人工监督是医学部署的瓶颈。

4. 主要结果 (Results)

4.1 实验 1：基线幻觉率

• LLaMA-70B-Instruct 的表现：在 5,543 个 QA 对中，19.7% (95% CI: 18.6% - 20.7%) 的回答被判定为包含幻觉。
• 高可信度陷阱：尽管幻觉率接近 20%，但 98.8% 的回答获得了最高的“医学相关性”评分（Plausibility = 5）。这意味着非专家很难从语言流畅度上区分幻觉。
• 标注一致性：标注员在有效性判断上的一致性极高（$\kappa = 0.92$），在相关性判断上也很高（$\kappa = 0.94$）。

4.2 实验 2：跨模型比较

• 模型规模与幻觉：幻觉率与模型规模呈负相关。
  • 1B 参数模型幻觉率高达 27.1%。
  • 70B 参数模型幻觉率降至 9.3%。
  • 尽管大模型表现更好，但所有测试模型（包括最大的模型）仍会产生幻觉和“差（Bad）”的回答。
• 问题格式的影响：
  • 逆序提示（如“什么药不安全”）比正向提示多诱发 6-9% 的幻觉。
  • 列表型问题（要求列出所有禁忌症）最容易暴露模型的不完整性或捏造内容。
• 临床偏好与相关性：
  • 幻觉率与临床医生评分的有用性呈显著负相关（Spearman $\rho = -0.71, p = 0.058$）。
  • 幻觉率越低，模型被临床医生评为“好（Good）”的比例越高（从 1B 模型的 4.6% 到 70B 模型的 15.4% 的“差”标签减少）。
  • 临床医生对逆序问题中的错误惩罚更重。

4.3 成本分析

• 人工验证成本远高于 GPU 计算成本。
• 单个 QA 对的验证成本（Task 1 + Task 2）约为 $3.33，而 GPU 生成成本仅为 $0.001 - $2.09 不等。验证环节占据了总成本的绝大部分（超过一个数量级）。

5. 意义与结论 (Significance & Conclusion)

• 临床部署风险：研究结论明确指出，当前的 LLM 在任何规模下都不适合在无监督的情况下进行临床部署。即使是最先进的模型，每 5 个回答中仍有 1 个可能包含幻觉。
• 评估方法的革新：传统的多项选择题基准不足以评估医学 LLM 的安全性。必须引入基于权威文本的、包含逆序和列表等复杂格式的评估，以有效“压力测试”模型的幻觉倾向。
• 人机回环的必要性：由于幻觉难以被非专家识别，且自动化验证尚不可靠，人类专家监督是医学领域应用 LLM 的绝对必要条件。
• 成本瓶颈：目前医学 LLM 部署的主要障碍不是模型训练或推理成本，而是高质量的人工验证成本。在实现可靠的自动化验证之前，大规模自动化部署在高风险医疗场景中是不可行的。

总结：该论文通过严谨的基于教科书的评估，揭示了 LLM 在医学领域“看似完美实则危险”的幻觉现状，强调了逆序提示作为检测工具的重要性，并呼吁在医疗 AI 应用中必须保持严格的人工监督。