💬 NLP

DrugClaw and DrugAudit: A Primary-Source-Grounded Agent and Authority-Aware Benchmark for Drug-Information Question Answering

本文介绍了 DrugClaw，这是一个多智能体检索增强系统，该系统能够生成基于原始监管或同行评审来源的药物信息回答，并通过全新的权威感知基准 DrugAudit，验证了其在准确性、来源忠实度和证据质量方面相对于现有模型的优越性能。

原作者： Qing Wang, Bo Li, Jialu Liang, Daling Shi, Bob Zhang, Qianqian Song

发布于 2026-06-02

📖 1 分钟阅读☕ 轻松阅读

原作者： Qing Wang, Bo Li, Jialu Liang, Daling Shi, Bob Zhang, Qianqian Song

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是使用简单语言和创意类比对该论文进行的解释。

核心问题：那个“自信却犯错”的医生

想象一下，你向一位博学多才、见多识广的图书管理员（大语言模型）询问关于某种药物的具体问题：“这种药会导致肝损伤吗？在哪里可以找到相关说明？”

这位图书管理员可能会给你一个非常流畅且自信的回答。但问题在于：

幻觉（Hallucinations）： 有时，图书管理员会编造一些听起来很真实、但完全是凭空捏造的数字或事实。
糟糕的信息源： 即便事实本身是真的，图书管理员引用的可能也只是关于该药物的“摘要博客”或“新闻文章”，而不是原始的、官方的政府报告或同行评审的医学研究。在医学领域，引用摘要就像是引用天气预报而不是实际的雷达数据一样，这是有风险的。

该论文指出，在医学领域，获取答案的途径与答案本身的内容同样重要。

解决方案：“DrugClaw”（超级严谨的侦探）

作者构建了一个名为 DrugClaw 的新系统。不要把它看作一个单一的图书管理员，而要把它看作一个在安全、高科技办公室里协同工作的专业侦探团队。

团队构成： DrugClaw 不再由一个 AI 在那里瞎猜，而是使用了八个不同的“智能体”（Agent，即专业人员）。其中一个负责规划调查方案，一个负责检索文件，一个负责核实证据，还有一个充当“反思者”（质量控制检查员）。
安全办公室（沙盒/Sandbox）： 为了防止 AI 运行失控或访问错误的档案，这些侦探在一个“沙盒”中工作。这就像一个封闭的房间，他们只能使用特定的、经过预先批准的工具和数据库。他们不能随意“谷歌搜索”任何内容；他们必须从一个包含 70 多个受信任来源（如 FDA、官方药物标签和医学期刊）的严格注册库中提取数据。
“反思”循环（The "Reflection" Loop）： 这是该系统的杀手锏。在团队收集完事实后，“反思者”智能体会询问：“这些证据足够吗？是否来自原始出处？我们是否需要进一步挖掘？”
- 如果答案是“不，我们需要更多证据”，团队就会返回去继续工作。
- 如果答案是“我们找不到相关信息”，系统则会拒绝回答。它宁愿说“我不知道”，也不愿编造谎言。这被称为“校准式弃权”（calibrated abstention）。

衡量标准：“DrugAudit”（严格的评分系统）

为了证明 DrugClaw 的有效性，作者构建了一个名为 DrugAudit 的新测试。想象一位老师正在给学生的作文打分，但有一个特别之处：

传统评分： 老师只检查答案是否正确。
DrugAudit 评分： 老师会检查三项内容：
1. 来源权威性（Source Authority）： 学生引用的是原始政府文件，还是仅仅是一个复制了该内容的网站？（DrugClaw 非常擅长寻找原始出处）。
2. 片段匹配度（Snippet Match）： 学生是否真的阅读了他们所引用的那个特定段落，还是仅仅复制了标题？
3. 忠实度（Faithfulness）： 学生是否编造了原文中并不存在的事实？

作者使用了两个不同的“AI 裁判”（就像两位不同的教务主任）来为答案打分。这两个裁判的意见几乎完全一致（98% 的一致性），这使得结果非常可靠。

结果：金牌选手

当他们将 DrugClaw 与其他智能 AI 系统（包括大型语言模型的直接版本）进行对比测试时：

原始来源率： DrugClaw 引用原始官方文件的比例高达 91.8%。排名第二的系统仅能达到约 81.7%。
真实性： DrugClaw 编造事实的可能性要低得多。
拒绝回答： 当没有相关数据时，DrugClaws 在 91-97% 的情况下能正确表示“我不知道”。而其他系统则倾向于猜测并导致错误。

权衡（Trade-Off）

论文指出了一个小小的缺点：其“图谱模式”（Graph Mode，即深度挖掘的侦探团队）需要更长的思考时间（约 46 秒），并且生成的回答较长，有时会导致评分 AI 解析起来不够完美。然而，作者认为，对于高风险的医学问题，准确性和证据的可追溯性远比节省时间更重要。

一句话总结

本文介绍了 DrugClaw，这是一个由 AI 侦探组成的团队，它拒绝猜测，仅引用原始的政府和医学记录，并使用一套严格的新型评分系统（DrugAudit）来证明它是回答药物问题且不编造事实的最可靠工具。

技术摘要：DrugClaw 与 DrugAudit

问题陈述

药物信息问答（QA）运行在一个高风险环境中，其中幻觉事实可能直接误导临床决策。虽然大型语言模型（LLMs）展现出强大的通用生物医学知识，但其参数化知识在资源匮乏的疾病领域会迅速退化，且缺乏针对监管或同行评审来源的天然审计追踪。此外，现有的工具增强型智能体往往通过跳过初级监管来源而转向第一个可用的 URL，或者编造看似合理的数值却缺乏引用，从而导致失败。

在评估层存在一个关键差距：目前的生物医学问答评分通常仅评估表面答案的正确性，却无法区分对上游初级来源（如 FDA Label、FAERS）的引用与对这些相同来源的下游聚合器封装（aggregator wrappers）的引用。在受监管的药物信息设置中，溯源不仅是一种呈现方式的选择，更是一个基本的评估维度。

方法论

DrugClaw 系统

DrugClaw 是一个多智能体检索增强系统，旨在通过基于反射的状态机工作流来查询药物及药物警戒技能注册表。其架构构建在三个设计目标之上：

初级来源可追溯性： 每一个生成的断言必须携带一个可针对初级监管或同行评审记录进行解析的标识符。
校准式弃权： 当底层技能返回无支持证据时，系统必须拒绝回答，而非伪造事实。
自适应检索深度： 检索-推理循环在证据充足时终止，但在证据稀薄时自动加深。

架构与工作流：
该系统作为一个离散动力系统运行，状态为 $S_t = (P_t, E_t, G_t, a_t, r_t)$ ，其中 $P_t$ 是查询计划， $E_t$ 是证据池， $G_t$ 是断言-证据子图， $a_t$ 是中间文本答案， $r_t$ 是反射充分性得分。工作流通过六个专门的智能体（计划、检索、图构建、重排序、响应、反射器）进行迭代，直到 $r_t \geq \tau_{suff}$ 或达到最大迭代次数。

技能注册表： DrugClaw 访问一个包含 57 个活跃技能的封闭注册表，这些技能提取自 70 多个精选资源（例如 openFDA、ChEMBL、DrugBank、PharmGKB、SIDER）。它们被组织在 15 个子类别分类法中。
沙盒代码智能体： 为确保安全性和确定性，检索通过一个代码智能体进行中介。该智能体将子查询转换为受限的 Python 子语言（ $L_{safe}$ ），该语言禁止无界迭代和动态执行。代码在仅代理的沙盒中执行，并设有硬性超时限制。如果验证或运行时失败，系统将回退到直接 API 调用。
反射机制： 反射器智能体基于覆盖度、完整性、来源质量、一致性和可操作性计算充分性得分 $\rho_{t+1}$ 。如果新得分低于前一个得分，则应用回归惩罚，以防止迭代过程中的“震荡”。
推理模式： 系统支持三种模式：
- 线性（Linear）： 单次通过的工作流，优先考虑低延迟。
- 图模式（Graph）： 全迭代工作流，包含断言-证据图构建和重排序。
- 仅网页模式（Web-only）： 一种绕过注册表直接进行网页搜索的回退模式（仅在注册表不足时使用）。

DrugAudit 基准测试

为了评估这些系统，作者引入了 DrugAudit，这是一个源自九个数据库、包含 3,772 个条目的权威感知基准测试。与标准基准不同，DrugAudit 包含了带有字段级定位器和 URL 的金标准引用。

权威感知指标面板：
该评估框架引入了四个指标来解决先前评分中的结构性偏差：

来源权威匹配度： 使用等价桶规则和非对称的“上游于”关系。如果系统引用了一个初级上游来源（如 FAERS），即使金标准引用的是下游聚合器（如 SIDER），只要该上游来源对于该查询具有权威性，则授予信用。
片段语义重叠度： 用非停用词标记的 Token-Jaccard 相似度取代严格的子字符串匹配。
初级来源率： 根据层级结构计算所引用来源的平均权重（对于监管/同行评审为 1.0，对于精选知识库为 0.7，对于聚合器为 0.5）。
忠实度率： 衡量预测引用中基于金标准宇宙或答案文本的比例。

评估协议：
论文采用双判官 LLM-as-judge 协议，使用 Llama-3.1-70B-Instruct 和 gpt-oss-120b。这些判官独立于所有候选系统，以消除自我偏好偏差。它们根据事实等价规则（单位转换、舍入容差、顺序无关性）和校准拒绝逻辑对答案正确性进行评分。判官间的一致性（ $\kappa$ ）报告为 0.88（近乎完美）。

核心贡献

DrugClaw： 一个基于权威的多智能体系统，通过查询经过验证的监管和同行评审来源的封闭注册表，确保每个断言都能追溯到初级记录。
DrugAudit： 一个包含 3,772 个条目的基准测试，其评估面板明确对“上游于金标准”的来源匹配、Token 级语义重叠以及引用忠实度进行评分。
双判官协议： 使用两个独立的开源权重 LLM 实现可扩展的评估方法，实现了近乎完美的协议一致性（ $\kappa = 0.88$ ）。
实证结果： 对七个系统进行了全面比较，证明 DrugClaw 在初级来源率和证据密度方面优于基线。

结果

在 DrugAudit、MedQA（药物相关子集，751 项）和 PubMedQA（药物相关子集，512 项）上的评估显示，DrugClaw 在所有核心指标上均取得了 Top-1 性能：

初级来源率： DrugClaw-graph 达到了 0.918，比次优系统（0.817）高出 10.1 个百分点 (pp)。
忠实度： DrugClaw-linear 达到了 0.887，比次优系统高出 5.9 pp。
综合证据指数 (EI)： DrugClaw-graph 分别在 Llama 判官（0.632）和 gpt-oss 判官（0.623）下得分领先所有基线。
闭合形式准确率： DrugClaw-graph 在 MedQA 上达到 0.920，在 PubMedQA 上达到 0.693。
校准式拒绝： DrugClaw 在 41–48% 的条目上拒绝回答。在这些拒绝项中，91–97% 与指示“无数据”的金标准答案一致，而基线系统的对齐率仅为 1–5%。这表明该系统能有效地在证据不足时进行弃权。

结果表明，虽然闭合形式准确率的领先优势在基线置信区间内处于竞争态势，但权威感知指标（初级来源率和证据指数）显示出与基线系统的显著分离。

意义

论文声称 DrugClaw 和 DrugAudit 解决了药物信息问答中对溯源性的关键需求。通过区分初级监管记录与下游聚合器，该系统使循证医学报告的标准得以具象化。结果表明，采用封闭注册表结合自适应检索与校准式拒绝的方法，与开放网络或纯参数化方法相比，能够产生更高结构的引用质量和更低的幻觉率。双判官协议和权威感知指标为未来受监管领域的检索增强系统评估提供了稳健的框架。

作者指出了一些局限性，包括 LLM 判官解析图模式下多断言文本的难度，以及封闭注册表固有的覆盖率权衡（可能会遗漏尚未进入注册表的长尾药物）。然而，他们断言该方法不需要重新训练模型，并为实现更具可审计性的临床 AI 提供了一条具体的路径。