DrugAgent: Reliable Multi-Agent Integration of Conflicting Biomedical Evidence for Drug-Target Interaction Assessment

技术摘要：DrugAgent

问题陈述
药物-靶点相互作用（DTI）评估是早期药物研发中的一项关键任务，需要综合异构数据源：来自机器学习（ML）模型的定量预测、来自知识图谱（KG）的精选关系，以及来自科学文献的实验发现。这些来源通常是互补但并不完美的。ML 模型可能在训练分布之外缺乏校准；KG 可能暗示了连通性但未必存在直接结合；文献证据分布不均，且可能包含冲突或特定于测定（assay）的发现。目前的方法通常依赖于单一模态（例如数值型 ML 预测），或者缺乏显式协调这些不同来源之间的共识、冲突和不确定性的机制。因此，需要一种能够将这些来源整合为可解释、基于证据的评估，而非仅仅作为独立预测器的系统。

方法论
作者引入了 DrugAgent，这是一个基于大语言模型（LLM）的多智能体系统，旨在整合异构生物医学证据进行 DTI 评估。该系统采用了一个由四个关键组件组成的结构化、模块化流水线：

1. 协调器智能体（Coordinator Agent）： 编排工作流，调用专门的智能体，并强制执行共享的 JSON 模式以确保输出的一致性，从而实现下游处理。
2. 专业化证据智能体（Specialized Evidence Agents）：
   • ML 智能体： 利用预训练的 DeepPurpose 模型（针对药物使用消息传递神经网络，针对蛋白质使用 CNN）在 BindingDB 上进行训练，生成定量亲和力预测（如 pKd），并将其离散化为活性标签（强、中、弱）。
   • KG 智能体： 构建一个整合了 DrugBank、CTD 和 BindingDB 的异构知识图谱。它执行多跳广度优先搜索（最大深度为 5）以寻找机制路径。路径根据长度进行评分，并对经过高度数“枢纽”节点的路径施加惩罚，以减少非特异性连通性。该智能体输出结构化证据，包括路径描述和置信度分数。
   • RAG 智能体（检索增强生成）： 通过多渠道策略从 PubMed Central (Open Access) 检索全文文章：药物-靶点对查询、仅药物查询和仅靶点查询。查询会通过特定于测定的术语（如 IC50, Kd, inhibition）进行富化。检索到的文本块根据章节类型（倾向于结果部分）和实体共现情况进行重排序。
3. 推理智能体（Reasoning Agent）： 该模块执行核心集成工作，分为两个阶段：
   • 结构化摘要： 将智能体输出转换为共享表示，显式地总结各来源之间的共识、冲突和不确定性。
   • 基于规则的决策制定： 应用基于优先级的逻辑（首先考虑多数共识，然后进行平局决胜）来生成最终标签。如果规则无法得出结论，则使用受限的 LLM 回退机制。这种设计将证据合成与最终决策分离，以确保可解释性。

核心贡献

• 多智能体集成框架： DrugAgent 是首个将 ML 预测、基于路径的 KG 证据和基于 RAG 的文献检索共同整合到统一、结构化推理过程中的 DTI 系统。
• 显式冲突建模： 系统显式地对不同证据来源之间的共识和冲突进行建模与总结，而不是将其视为单一的输入流。
• 可解释性与忠实度： 通过将智能体输出转换为结构化表示并使用基于规则的决策制定，DrugAgent 提供了基于特定证据的、可复现的原理，避免了不受约束的 LLM 推理所具有的“黑盒”性质。
• 证据可用性的评估： 研究系统地分析了检索到的文献可用性如何影响系统输出的生物学合理性和连贯性。

结果
系统在两个基准数据集上进行了评估：激酶抑制数据集（900 对，178 种激酶，42 种抑制剂）和 Tox21 安德罗根受体（AR）拮抗剂筛选数据集（500 对）。

• 忠实度： 在 LLM 作为评判者（LLMaJ）的评估中，DrugAgent 的输出在激酶案例中对输入证据的忠实度达到 98.8%，在落地性和低不支持声明率方面得分很高。
• 生物学合理性： 98.9% 的 DrugAgent 输出被判定为至少具有合理性。系统表现出高度稳定性，在重复运行中实现了 98% 的标签一致性。
• 证据动态：
  • 冲突解决： 当证据来源发生冲突时，DrugAgent 倾向于分配中间标签（如“中等”）而非极端标签。在完全冲突的情况下，68% 的输出被分配为“中等”。
  • 文献的影响： 存在直接的药物-靶点文献显著提高了生物学合理性和机制连贯性得分。没有 RAG 的系统（例如 ML+KG）有时会产生较高的合理性得分，但伴随着更高的“矛盾且不合理”输出率，这表明文献起到了至关重要的落地约束作用。
  • 分层性能： 虽然 ML+KG 基准模型在总体上表现具有竞争力，但当存在直接文献证据时，包含 RAG 的 DrugAgent 表现优于基准模型。采用混合策略（仅在存在配对级论文时使用 DrugAgent，否则使用 ML+KG）在 Tox21 数据集上取得了最佳结果（准确率：0.67，F1：0.67）。
• 健全性检查： 合理性得分与地面真值（ground-truth）活性标签并不直接相关，这表明合理性反映的是给定证据下的论证连贯性，而非直接的预测准确度度量。

意义与主张
作者将 DrugAgent 定位为一种补充性的证据集成工具，而非旨在独立于专门 ML 模型之外超越其性能的独立 DTI 预测器。其主要意义在于其能力：

1. 提供异构且基于证据的评估，这些评估是可解释且可复现的。
2. 提供建模生物医学数据中的共识、冲突和不确定性的策略，解决了协调不同生物学模态和来源的挑战。
3. 证明检索到的文献在存在直接证据时最为有益，强调了 RAG 式集成中证据可用性的重要性。

论文得出结论，虽然该系统提高了可靠性和可解释性，但它仍然是基于规则的而非统计校准的，未来的工作需要在解决计算成本、预训练组件中的数据泄露担忧，以及在未见药物-靶点对和靶点类别上的更广泛泛化能力方面做出努力。