💬 NLP

Healthier LLMs: Retrieval-Augmented Generation for Public Health Question Answering

本文将 PubHealthBench 基准测试扩展到了检索增强设置中，证明了混合检索和精细的上下文选择通过使较小的模型能够超越较大的模型，显著提高了公共卫生问答的准确性和可靠性，同时引入了一个用于评估自由形式回答的经过验证的 LLM-as-a-judge 框架。

原作者： Felix Feldman, Joshua Harris, Timothy Laurence, Leo Loman, Ollie Higgins, Fan Grayson, Poonam Soma, Bethany Pace-Bonello, Michael Borowitz, Toby Nonnenmacher

发布于 2026-07-09

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Felix Feldman, Joshua Harris, Timothy Laurence, Leo Loman, Ollie Higgins, Fan Grayson, Poonam Soma, Bethany Pace-Bonello, Michael Borowitz, Toby Nonnenmacher

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你有一位才华横溢但有点健忘的图书管理员，名叫“LLM”。这位图书管理员读过数百万本书，几乎可以回答任何问题。然而，有两个大问题：

“幻觉”问题： 当管理员不知道答案时，他们有时会自信地胡编乱造。
“过时”问题： 管理员的记忆是时间静止的。如果今天出台了一项新的健康规定，在经过数年重新训练之前，管理员都不会知道。

这篇论文是关于给这位管理员一个神奇的索引卡系统（称为检索增强生成，或 RAG），这样他们就可以在回答问题前查阅到确切的最新规则。作者使用大量的英国政府公共卫生指南测试了这个系统。

以下是他们的研究结果，使用了简单的类比：

1. 搜索策略：如何找到正确的一页

研究人员测试了管理员寻找图书馆正确页面的不同方法。

“关键词”搜索（稀疏搜索）： 就像通过搜索特定单词（例如“流感”、“口罩”）来找书。这很有效，但如果你使用的词汇不同，有时会错过重点。
“语义”搜索（稠密搜索）： 就像向管理员说：“我需要关于如何保护自己免受病毒侵害的信息，”而他们能理解这些词背后的含义。这通常效果更好。
“混合”搜索： 这是获胜者。这就像拥有一个超级聪明的管理员，他们同时检查特定关键词和您问题的含义。
- 结果： 将这两种方法结合起来，比只使用其中一种方法能更有效地找到正确信息。这种混合搜索非常有效，以至于一个使用这种混合搜索的较小、较便宜的管理员（较小的 AI 模型），其表现甚至超过了一个没有查阅资料、只能靠猜测的庞大且昂贵的管理员（巨大的 AI 模型）。

2. “块”的大小：每一页应该有多大？

图书馆的书被切成了较小的碎片（块），以便于搜索。研究人员发现，大小很重要。

太小： 你可能会丢失上下文。
太大： 如果一个块是一整章的内容，那就好比在干草堆里找一根针。管理员会被过多的额外文本搞糊涂。
黄金分割点： 他们发现中等大小的块效果最好。有趣的是，他们尝试将长块总结成短笔记以辅助搜索。虽然这有一点帮助，但并不能完全解决问题。最好的方法是保持块的大小适中，并使用“混合”搜索方法。

3. 多选题测试 vs. 真正的对话

研究人员用两种方式测试了管理员：

多选题 (MCQA)： 就像一场测验，管理员从选项 A、B、C 或 D 中选择一个。
- 结果： 当管理员可以先查阅资料再回答时，即使是较小的、廉价的模型也能获得接近完美的得分（约 99%）。他们击败了那些不允许查阅任何资料的巨型模型。
自由回答： 就像一场真正的对话，管理员必须写出完整的段落。
- 结果： 这更难了。虽然管理员可以找到正确的信息，但他们有时会变得“话多”。他们会加入一些并非严格必要的建议，或者混入来自书本其他部分的细节。
- “忠实度”问题： 最大的问题不在于找到了错误的信息，而在于管理员添加了太多信息。如果正确答案在第 50 页，但管理员同时也读了第 1 到 49 页，他们可能会不小心把第 10 页并不适用的建议也混进来。正确答案在列表中的位置越靠后，管理员就越容易变得“困惑”，并加入额外的、可能具有误导性的细节。

4. “裁判”问题：谁来给答案评分？

为了观察管理员做得好不好，研究人员使用了一个“裁判”（另一个 AI）来给答案评分。他们还让专家进行人工评分，以检查 AI 裁判是否公正。

裁判做得好的地方： AI 裁判非常擅长识别管理员是否紧扣主题（忠实度）以及是否涵盖了所有要点（完整性）。
裁判挣扎的地方： AI 裁判不太擅长识别管理员是否表达清晰（清晰度）以及事实是否完全准确（事实一致性）。甚至人类专家在这些点上也存在分歧。
教训： 你可以信任 AI 裁判告诉你管理员是否紧扣主题，但你不能完全信任它来告诉你答案是否完美清晰或在事实层面无懈可击。

核心结论

论文得出结论，对于公共卫生问题，你如何搜索信息比 AI 模型有多大更重要。

小模型 + 聪明搜索 > 大模型 + 无搜索： 一个拥有优秀“混合”搜索系统的轻量级、经济型 AI 模型，比一个仅依靠记忆的庞大、昂贵 AI 模型更安全、更准确。
保持专注： 为了获得最佳结果，你需要喂给 AI 恰到好处的信息量（不要太少，也不要太多），并确保最相关的信息位于列表的最顶端。
安全第一： 通过将 AI 建立在官方、最新的政府文件中，我们可以防止它编造内容或提供过时的建议，这对于公共卫生至关重要。

简而言之：不要仅仅让管理员变得更聪明；给他们一个更好、更有组织的索引卡系统。

技术摘要：更健康的 LLM：用于公共卫生问答的检索增强生成

问题陈述

大语言模型（LLMs）在医学问答方面展现出潜力，但在公共卫生应用中面临关键局限性：幻觉以及无法跟上快速演变的官方指南。与通常针对个体患者的临床决策支持不同，公共卫生指南是面向人群层面的、具有预防性的，且更新频繁。仅依赖参数记忆存在传播过时或错误建议的风险，这可能导致有害的个人决策或危险的群体行为。虽然检索增强生成（RAG）通过将响应锚定在外部语料库中提供了解决方案，但其在公共卫生领域的端到端性能高度依赖于特定的检索配置和超越标准多项选择格式的评估方法。

方法论

作者将 PubHealthBench（一个包含 7,929 个多项选择题 (MCQA) 和 760 个自由文本问题的基准测试，源自英国政府公共卫生指南）扩展到了检索增强设置中。

1. 数据集与语料库

来源： 涵盖 10 个主题领域的 687 份英国政府公共卫生指南文件。
语料库构建： 将文档转换为 Markdown 格式，并基于标题层级进行切片（chunking），最终生成 5,358 个切片。
语料库变体：
- CF (全量语料库)： 原始切片。
- CS (仅摘要)： 由 GPT-4o-mini 生成摘要后的切片，用于检索。
- CR (缩减语料库)： 将长度超过 512 个 token 的切片替换为摘要，以适应嵌入模型的上下文限制。

2. 检索策略

研究系统地评估了跨多个嵌入模型（如 NV-Embed-v2, Multilingual-E5, ModernBERT）和稀疏索引（BM25, TF-IDF）的五种检索配置：

仅稠密检索 (Dense-only)： 使用稠密嵌入进行余弦相似度计算。
仅稀疏检索 (Sparse-only)： 基于关键词重叠（BM25/TF-IDF）。
混合检索 (Hybrid)： 对稠密和稀疏检索结果进行加权倒数排名融合 (RRF)。
基于摘要的混合检索 (Summary-based Hybrid)： 在摘要语料库上进行混合检索，并将完整的切片传递给生成器。
缩减语料库混合检索 (Reduced-corpus Hybrid)： 在长切片已被摘要化的语料库上进行混合检索。

3. 生成与评估

模型： 11 个参数量从 1B 到 70B 不等的 LLM（例如 Llama 3.3, Phi-4, Gemma-3, MedGemma）。
MCQA 评估： 在 PubHealthBench-Full 上测量准确率，涉及不同的上下文切片数量 ( $k \in \{1, 3, 5, 10\}$ )。
自由文本评估： 引入了基于评分标准的 LLM-as-a-Judge（GPT-OSS-120B），从四个维度评估响应：忠实度（Faithfulness，无新增主张）、完整性（Completeness，包含所有关键点）、事实一致性（Factual Consistency，相对于指南的准确性）和清晰度（Clarity）。
验证： 通过对 100 个响应样本进行双专家人工标注，利用 Cohen's $\kappa$ 和 macro-F1 对 LLM 评判员进行了验证。

关键结果

检索性能

混合检索的优越性： 在所有指标（Recall@k, MRR, nDCG@10）上，混合检索始终优于仅稠密或仅稀疏的方法。
模型敏感性： 虽然 NV-Embed-v2 是最强的稠密模型，但混合检索显著缩小了大型和小型嵌入模型之间的性能差距（例如，使较小的编码器性能提升了 5–10 个百分点）。
切片长度的影响： 当目标切片长度超过 700–800 个单词时，排名质量（Precision@1, MRR）急剧下降。基于摘要的检索部分缓解了这一问题，但未能完全消除。
主题差异： 虽然召回率在不同主题间基本独立，但排名质量在不同主题间表现出系统性偏差（例如，结核病与血液安全），这表明特定主题的语言或结构会影响嵌入性能。

生成性能 (MCQA)

检索的影响： 提供检索到的上下文显著提高了 MCQA 的准确率。配备高质量检索的小型开源模型（如 Phi-4-14B, Gemma-3-12B）可以达到甚至超过仅依赖参数记忆的大型模型（如 GPT-4.5）的表现。
最佳上下文： 最大准确率通常在 $k=3$ 到 $k=5$ 个切片时达到。当 $k$ 增加到 10 时，会引入噪声并产生收益递减。
排名敏感性： 在排名第 1 位检索到正确切片带来的收益最大。较小的模型比大型模型对排名位置更敏感，而大型模型能够从更嘈杂的上下文中提取相关信息。

自由文本评估与评判员验证

评判员可靠性： LLM 评判员在忠实度 ( $\kappa \approx 0.64$ ) 和完整性 ( $\kappa \approx 0.59$ ) 上与人类表现出强一致性。但在事实一致性 ( $\kappa \approx 0.06$ ) 和清晰度上的表现较弱，表明这些维度难以实现可靠的自动化评估。
模型行为： 中型和大型模型实现了较高的完整性和清晰度，但在忠实度方面表现挣扎；即使是顶尖模型也仅在约 64% 的案例中满足忠实度标准，经常会引入无关的指南内容。
排名对忠实度的影响： 随着目标切片排名的上升，忠实度急剧下降，这证实了模型严重依赖早期上下文，当最相关的证据被埋没时，模型会产生幻觉。

重要性与主张

本文声称，检索配置是实现可靠公共卫生问答的主要杠杆，其影响力往往超过模型规模本身。

RAG 作为稳定器： 将 LLM 锚定在明确维护的官方指南语料库中，可以减轻幻觉并避免过时的建议，使系统能够在无需模型重训的情况下，保持与不断演变的公共卫生政策一致。
通过 RAG 实现高效： 设计良好的检索栈允许较小的开源模型超越仅依赖参数记忆的大型闭源模型。这为预算和基础设施受限的公共卫生机构提供了一条切实可行的路径。
评估的细微差别： 研究强调，标准 MCQA 基准测试可能会因为选项提示而高估能力。自由文本评估是必要的，但需要精细的评分标准设计；目前，对“事实一致性”的自动化评估仍不可靠，因此需要人工监督或进一步的方法开发。
实践指导： 对于部署，作者建议使用混合检索、精细的切片处理（避免过长的长度），并将上下文限制在前 3–5 个切片内，以获得最佳的性能-成本比。

研究结论指出，虽然 RAG 显著提高了可靠性，但未来的基准测试必须解决多证据支持和语料库外查询问题，以充分测试系统在真实公共卫生场景中的鲁棒性。