VerifAI: A Verifiable Open-Source Search Engine for Biomedical Question Answering

本文介绍了 VerifAI，这是一个开源的生物医学问答专家系统，它通过结合检索增强生成（RAG）与新颖的事后声明验证机制，将生成答案分解为原子声明并利用自然语言推理引擎进行验证，从而显著减少幻觉并确保证据的可追溯性与事实一致性。

要点

这篇文章介绍了一个名为 VerifAI 的开源系统，它就像是一个拥有“超级侦探”能力的生物医学搜索引擎。

想象一下，现在的普通 AI（比如聊天机器人）在回答医学问题时，就像是一个记忆力超群但偶尔会“胡编乱造”的学生。它可能记得很多知识，但有时候会自信地编造一些不存在的药物或错误的实验数据（这就是所谓的“幻觉”）。在医学领域，这种错误可能是致命的。

VerifAI 就是为了解决这个问题而生的“严谨学霸”。它不仅仅会回答问题，还会像侦探一样，对每一个答案进行严格的“背景调查”。

我们可以把 VerifAI 的工作流程想象成三个步骤：

1. 第一步：超级图书管理员（信息检索模块）

• 普通做法：就像你在图书馆随便找几本看起来相关的书。
• VerifAI 的做法：它有一个双管齐下的搜索策略。
  • 一方面，它像传统的图书管理员，精准地寻找包含特定关键词（比如“阿司匹林”、“心脏病”）的书籍。
  • 另一方面，它像一位懂“言外之意”的专家，即使你没提到某个词，只要意思相近，它也能找到相关的书。
  • 结果：它把这两种方法结合起来，从 PubMed（全球最大的生物医学文献库）中，精准地捞出最相关的 10 篇论文摘要，作为回答问题的“证据”。

2. 第二步：严谨的撰稿人（生成模块）

• 普通做法：AI 直接凭记忆写文章，容易编造。
• VerifAI 的做法：这位“撰稿人”被严格训练过：“没有证据，不许下笔”。
  • 它只使用第一步找到的那 10 篇论文来写答案。
  • 它写出的每一句话，后面都必须像脚注一样，标注出这句话是出自哪篇论文的（比如：[PubMed:12345]）。
  • 如果它发现证据不足，它会老实说“我不知道”，而不是瞎编。
  • 比喻：这就像是一个带着脚注写论文的博士生，绝不敢在没有参考文献的情况下乱说话。

3. 第三步：铁面无私的质检员（验证模块）

• 这是 VerifAI 最厉害的地方！
• 普通做法：写完就发，没人检查。
• VerifAI 的做法：在答案发给用户之前，会经过一位**“逻辑侦探”**的审查。
  • 这位侦探会把撰稿人写的每一句话（假设），和它引用的那篇论文（证据）进行逐字逐句的对比。
  • 它会判断：这句话是完全支持论文的？是完全反对论文的？还是论文里根本没提？
  • 颜色标记：
    • 🟢 绿色：这句话有证据支持，放心看。
    • 🟡 黄色：证据有点勉强，或者只支持了一部分，要小心。
    • 🔴 红色：这句话和证据矛盾，或者是瞎编的，千万别信！
    • ⚫ 灰色：这句话没给出处，存疑。

为什么 VerifAI 很牛？

1. 它比“大模型”更懂行：
   通常大家觉得模型越大越聪明（比如 GPT-4），但在“找证据”和“验证逻辑”这种具体任务上，VerifAI 专门训练的小模型（DeBERTa）表现甚至超过了 GPT-4。这就像是一个专门练过逻辑题的专科医生，比一个什么都懂但没受过专业训练的通才，在诊断特定疾病时更靠谱。

2. 它透明、可追溯：
   普通 AI 给你答案，你不知道它从哪来的。VerifAI 给你答案的同时，把证据链全摆在你面前。你可以随时点击那个绿色的脚注，直接看到原始论文里的原话，自己判断它有没有撒谎。

3. 它是开源的：
   就像把食谱和厨房都公开了。任何人都可以下载它的代码，看看它是怎么工作的，甚至把它用到法律、金融等其他需要“严谨”的领域。

总结

如果把普通 AI 比作一个口才好但偶尔会吹牛的导游，那么 VerifAI 就是一个带着地图、拿着证据、并且会随时核对行程的“严谨向导”。

它不追求“说得最漂亮”，而是追求“说得最真”。在关乎人类健康的生物医学领域，这种**“可验证的诚实”**比什么都重要。

技术摘要

VerifAI 技术总结：面向生物医学问答的可验证开源搜索引擎

1. 研究背景与问题 (Problem)

大型语言模型（LLM）在生物医学领域的应用面临一个核心挑战：幻觉（Hallucinations）。即模型生成的文本虽然流畅，但包含事实错误或无中生有的信息。在生命科学领域，这种错误可能导致严重的后果。
现有的检索增强生成（RAG）系统虽然通过引入外部文档提高了事实性，但仍存在以下不足：

• 引用不忠实：生成的答案往往无法正确引用检索到的文档，或者引用了不相关的文档。
• 缺乏事后验证：大多数系统仅依赖生成过程，缺乏对生成内容是否真正被检索证据支持的严格验证机制。
• 信任缺失：用户难以验证生成答案的来源和真实性，阻碍了生成式 AI 在高 stakes（高风险）领域的部署。

2. 方法论 (Methodology)

VerifAI 是一个开源的专家系统，旨在通过**检索增强生成（RAG）与事后声明验证（Post-hoc Claim Verification）**的集成，解决上述问题。系统采用模块化架构，包含三个核心组件：

A. 混合信息检索组件 (Information Retrieval, IR)

• 数据源：基于 PubMed 数据库，索引了约 2550 万篇摘要（截至 2024 年 2 月）。
• 检索策略：采用混合检索机制，结合：
  • 词汇检索：使用 OpenSearch 和 BM25 算法，进行关键词匹配。
  • 语义检索：使用 Qdrant 向量数据库和 HNSW 算法，基于 Sentence Transformer 模型生成的稠密向量进行相似度搜索。
• 融合机制：对词汇得分和语义得分进行归一化后加权融合（$Score = \alpha \cdot Lexical + \beta \cdot Semantic$），以平衡精确匹配和语义理解。

B. 生成组件 (Generative Component, GC)

• 模型：基于 Mistral-7B-Instruct-v0.2 进行微调。
• 训练数据：使用自定义数据集 PQAref（包含 9,075 个从 PubMedQA 随机选取的问题，每个问题关联 10 篇相关摘要及 GPT-4 生成的带引用答案）。
• 微调技术：采用 QLoRA（4-bit 量化）在单张 NVIDIA A100 GPU 上进行微调，参数包括 LoRA rank 64, alpha 16。
• 输出特性：模型生成的每个事实性陈述后都强制附带 PubMed ID 引用，确保答案可追溯。

C. 验证组件 (Verification Component, VC)

• 核心任务：将生成的答案分解为原子声明（Claims），并验证每个声明是否被其引用的摘要（Premise）所支持。
• 任务定义：形式化为三分类自然语言推理（NLI）任务：支持 (Support)、矛盾 (Contradict)、无证据 (No Evidence)。
• 模型选择：在 SciFact 数据集（经改造以适应整篇摘要验证）上微调了多个 Transformer 模型（RoBERTa, XLM-RoBERTa, DeBERTa 等）。
• 最佳模型：DeBERTa-large 在验证任务上表现最佳，特别是在 HealthVer 基准测试中超越了 GPT-4。
• 可视化：用户界面通过颜色编码直观展示验证结果（绿色=支持，黄色=部分支持，红色=矛盾，灰色=无引用）。

3. 关键贡献 (Key Contributions)

1. 小模型实现高保真引用：提出了一种微调策略，使小型语言模型（SLM，如 Mistral-7B）在引用忠实度上达到甚至超越前沿大模型（如 GPT-4），挑战了“只有大模型才能处理可验证 QA"的假设。
2. 专用 NLI 判别器优于通用模型：实证表明，在生物医学基准测试（如 HealthVer）上，经过领域微调的专用 NLI 判别器（DeBERTa）在幻觉检测和事实验证方面显著优于通用生成式验证模型（包括 GPT-4）。
3. 首个端到端开源可验证 QA 流水线：发布了首个集成了混合检索、引用感知生成和事后蕴含验证的模块化开源系统，代码、模型和数据集均已公开。

4. 实验结果 (Results)

检索性能 (IR)

• 在 BioASQ 数据集上，混合检索策略（词汇权重 0.7，语义权重 0.3）取得了 MAP@10 42.7% 和 P@10 30.8% 的成绩。
• 该性能显著优于直接使用 PubMed 搜索（MAP@10 19.1%）。

生成性能 (GC)

• 引用减少幻觉：微调后的模型（M2）将无引用答案的比例从零样本基线的 18.2% 降低至 0.6%。
• PMID 幻觉：微调将幻觉 PubMed ID 的数量从 26 个降至 3 个。
• 相关性：微调模型在引用最相关摘要方面的表现（Missed most relevant abstract: 1.2%）远优于零样本基线（22.5%）。

验证性能 (VC)

• 领域内表现：在 SciFact 测试集上，DeBERTa 模型达到了 0.88 的宏观平均 F1 分数。
• 跨域表现：在 HealthVer 基准测试上，该模型达到了 0.48 F1 和 0.52 准确率，显著优于之前的 SOTA（F1 0.36）。
• 对比 GPT-4：在零样本设置下，微调的 DeBERTa 模型在 F1 分数和准确率上均超越了 GPT-4、GPT-4 Turbo 和 GPT-4o。

端到端评估

• 在 BioASQ 子集（178 个问题）的完整流程测试中，系统生成的答案在 81.46% 的情况下得出了与参考答案一致的结论。
• 验证组件在端到端设置下保持了 81%-84% 的准确率，证明了各组件集成的有效性。

5. 意义与影响 (Significance)

• 提升可信度：VerifAI 通过“生成 - 验证”解耦的架构，为生物医学问答提供了透明的证据链，显著降低了虚假信息传播的风险。
• 可解释性与透明度：系统不仅提供答案，还通过颜色编码和悬停提示，让用户能直接查看每个声明的证据来源及验证状态，符合可解释 AI（XAI）原则。
• 领域适应性：虽然目前专注于生物医学，但其模块化设计（IR-GC-VC）使其易于扩展至法律、金融等其他高风险领域，只需替换相应的语料库和微调验证模型。
• 开源生态：通过开源全链路代码和数据，降低了高可靠性 AI 系统的部署门槛，促进了科学界对可验证生成式 AI 的研究。

总结：VerifAI 证明了通过精心设计的模块化流水线，结合混合检索、领域微调的生成模型以及专用的 NLI 验证器，可以有效解决生物医学领域的幻觉问题，为构建高可信度的专业 AI 助手提供了可行的技术路径。