💬 NLP

SSE-Bio: A Structured Self-Evolving Agent with Agentic Retrieval Policy for Multi-Hop Biomedical Reasoning

本文介绍了 SSE-Bio，一种结构化自进化智能体，它利用可训练的代理策略和细粒度模板编辑来优化检索决策并提升多跳生物医学推理能力，在关键基准测试上优于现有的基准模型。

原作者： Zhaohan Meng, Zaiqiao Meng, Siwei Liu, Hao Xu, Ke Yuan, Iadh Ounis

发布于 2026-08-25

📖 1 分钟阅读☕ 轻松阅读

原作者： Zhaohan Meng, Zaiqiao Meng, Siwei Liu, Hao Xu, Ke Yuan, Iadh Ounis

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

在现代医学的广袤领域中，发现新疗法或理解复杂疾病的过程，往往感觉就像是在解一个拼图，而拼图碎片则散落在不同的知识领域之中。一位医生可能知道某种特定药物可以治疗某种症状，而一位研究人员可能知道某种特定蛋白质会导致该症状，但将药物与蛋白质联系起来则需要跨越一道并不总是显而易见的鸿沟。这种被称为“多跳推理”（multi-hop reasoning）的过程对于医学发现至关重要，但对计算机而言，掌握这一过程却极其困难。传统的人工智能系统通常难以应对，因为它们往往遵循僵化的、预设的路径，或者进行广泛的猜测，从而在面对复杂的证据时误入歧途。如果计算机遗漏了逻辑链条中哪怕一个关键环节，整个结论就可能崩塌，从而导致不完整或错误的医疗建议。

为了应对这一挑战，研究人员开发了一种名为 SSE-Bio 的新型人工智能智能体，专门用于应对这些复杂的医学谜题。与以往依赖静态指令或在出错时对自身记忆进行大规模改动的旧系统不同，这种新智能体采用了一种更为严谨的方法。它维持着一份清晰、结构化的当前思维过程记录，并使用一个专门的决策者来精确选择何时以及检索什么信息。它不会在每次尝试后都从头开始重写其整套规则，而是根据有效经验对记忆进行细微且精准的编辑。这使得系统能够在不迷失方向或凭空捏造事实的前提下，从经验中学习。

SSE-Bio 的核心创新在于它如何管理其记忆和信息检索。该系统围绕一个中央规划器构建，该规划器维护着一个结构化的状态，就像一本短期笔记，记录着推理在任何给定时刻的具体进展。当系统需要解决问题时，该规划器会参考一个由过往成功方案组成的长期库，即“模板”。然而，系统并不会盲目复制这些旧方案。相反，一个专门的组件（充当检索策略的角色）会决定是去获取关于疾病和药物的具体事实，还是调取过去的通用策略。这一决策针对每一个推理步骤都经过仔细考量，确保系统只收集其真正需要的信息。如果系统犯错，它不会丢弃整个记忆；相反，它会执行精细的编辑，仅更新模板中错误的部分，从而保持其余知识的完整性。

为了教会这个智能体如何做出关于检索内容的最佳决策，研究人员使用了一种涉及比较系统可能采取的不同路径的训练方法。他们创建了一些场景，让智能体尝试“查找事实”与“查找策略”的不同组合。通过分析哪些路径导向正确答案，哪些路径导致了死胡同，系统学会了识别出表明其需要更多信息的迹象。这一训练过程非常严格，既关注最终答案的正确性，也确保每一步推理都有实际证据支撑。结果表明，该智能体不仅准确，而且在得出结论的过程中具有透明度，因为它能够指出用于构建论据的具体证据片段。

在旨在评估医学推理能力的三个不同基准测试中，SSE-Bio 的表现始终优于现有系统。在一个包含数千个复杂医学问题的名为 BioHopR 的数据集上，这种新智能体的准确率较之前表现最好的自我进化系统有了显著提升。它在处理需要寻找多个正确答案的问题时表现尤为出色，而许多其他系统在面对此类任务时往往会过早放弃或提供不完整的列表。该系统还展示了其技能泛化能力，在处理从未见过的医学问题时表现良好，这表明其学习方法具有鲁棒性和适应性。

研究人员发现，系统的成功并非归功于单一特征，而是源于其结构化记忆与智能检索策略的结合。当他们移除使其能够进行精细编辑记忆的能力，或者移除决定搜索内容的组件时，系统的性能明显下降。这证实了精确更新知识以及明智选择信息来源的能力对于其成功都是必不可少的。研究还显示，该系统仍有提升空间；即使具备目前的能力，若为其提供完美的信息，其表现将会更好，这表明瓶颈不在于其推理逻辑，而在于其获取信息的质量。

在更广泛的人工智能背景下，这项工作代表了一种转变——即不再试图通过大范围重写指令的方式来学习一切。相反，SSE-Bio 表明，一种更受控、更结构化的记忆与信息检索方法可以带来更可靠、更可信的结果。通过保持清晰的推理步骤记录并对其知识库进行细小且有针对性的调整，该系统避免了经常困扰更混乱的学习方法的混乱与错误。这种方法为构建能够辅助高风险领域（如医学，其中准确性和解释推理过程的能力与答案本身同样重要）的人工智能提供了一条充满前景的路径。研究人员承认，虽然他们的系统是一个重要的进步，但在优化信息获取方式以及管理不断增长的知识库以确保其高效且实时更新方面，仍有大量工作要做。

技术摘要：SSE-Bio

问题陈述

生物医学多跳问答（QA）要求模型跨越复杂的实体链（例如：疾病、药物、蛋白质）进行推理，以连接证据。虽然检索增强生成（RAG）和多智能体系统提高了性能，但现有方法面临两个关键局限性：

静态检索工作流： 大多数智能体依赖于固定的检索计划或粗粒度的提示词重写，而非显式学习的检索控制，导致证据选择并非最优。
内存更新中的指令漂移： 自进化智能体通常通过全局提示词重写来更新其推理记忆。这种粗粒度的方法会导致由于局部失败而改变整个推理架构，从而引发指令漂移并增加幻觉风险。

这些局限性导致了未解决的中间“桥接”实体、多答案场景下的不完整答案，以及在不同问题间缺乏推理策略的适应性。

方法论：SSE-Bio

作者提出了 SSE-Bio，一种专为生物医学多跳推理设计的结构化自进化智能体。它在一个由 Manager（管理者）、Proxy（代理）、Dev（开发） 智能体和 Critic（评论家） 组成的统一智能体框架内运行。

1. 结构化记忆架构

与自由文本生成不同，SSE-Bio 维护两种截然不同的记忆形式：

短期记忆（结构化状态）： Manager 为当前问题维护一个结构化状态 ( $u_t$ )，捕捉任务类型、信息缺口、来自 Critic 的反馈以及检索历史。这种显式结构为检索决策和规划提供了依据。
长期记忆（模板演化）： 系统存储从成功轨迹中提炼出的可重用推理模板。至关重要的是，SSE-Bio 采用细粒度模板编辑而非全局重写。当一条轨迹与检索到的模板对齐时，系统仅更新特定的局部字段（例如：验证标准、失败警告）。这约束了记忆的演化，以防止指令漂移。

2. 智能体检索策略

一个可训练的 Proxy 模型在每个推理步骤显式控制检索过程。基于结构化状态，Proxy 决定是否进行检索：

知识三元组： 用于支持特定步骤推理的事实性生物医学关系（例如：疾病-药物-表型）。
先验模板： 来自长期记忆的可重用推理流，用于指导规划过程。
Proxy 从四种动作中进行选择：既不检索、仅检索三元组、仅检索模板，或两者皆检索。

3. 训练策略：基于决策对比轨迹的 GRPO

Proxy 是唯一的训练组件；Manager、Dev、Critic 和检索器保持固定。训练遵循两个阶段的过程：

监督微调 (SFT)： 通过比较替代检索分支以识别导致更好结果的决策，从而初始化 Proxy 的伪标签。
群体相对策略优化 (GRPO)： 使用 GRPO 对 Proxy 进行精炼。作者引入了决策对比轨迹生成，即从相同的推理状态扩展出替代的检索动作，形成对比性的展开分支。
奖励塑造： 优化过程使用基于答案的复合奖励 ( $R$ $R$ )，该奖励结合了：
- 结果奖励 ( $R_{out}$ )：基于最终答案的正确性。
- 行为奖励 ( $R_{beh}$ )：衡量关键推理步骤（例如：桥接解析）是否得到检索到的证据或模板的支持，从而鼓励有据可依的推理而非单纯增加检索量。

核心贡献

统一的智能体框架： SSE-Bio 将短期结构化状态跟踪、长期模板记忆和显式检索管理集成到一个系统中。
细粒度模板演化： 本文引入了一种机制，通过从成功轨迹中局部更新检索到的模板，降低了与全局重写相关的指令漂移风险。
基于 GRPO 的检索优化： 一种针对 Proxy 的新型训练策略，将决策对比轨迹生成与基于答案的奖励相结合，以提高匹配推理上下文下的检索决策能力。

实验结果

作者在三个生物医学基准测试上评估了 SSE-Bio：BioHopR、MedHop 以及 Humanity's Last Exam: Biomedicine (HLE)。

在 BioHopR 上的表现： SSE-Bio 一致优于强基线模型，包括通用 LLM、医学 LLM、RAG 模型以及现有的自进化智能体（如 STELLA）。
- 在单答案设置下，SSE-Bio 在 Bothcor 指标（即 1 跳和 2 跳问题均正确的比例）上比最强的自进化基线（STELLA）提升了 6.56 个绝对百分点，从 9.96% 上升至 16.52%。
- 在多答案设置下，SSE-Bio 在所有指标上均取得了最高分，展示了检索多个有效答案的鲁棒性。
泛化能力： 该模型展现了强大的零样本迁移能力，在无需针对任务进行微调的情况下，在 MedHop 和 HLE 上表现优于智能体基线。
消融实验：
- 移除 Proxy（使用固定检索）会导致性能显著下降，证实了学习型检索控制的必要性。
- 使用自由形式状态和粗粒度重写取代结构化状态和细粒度编辑会降低性能，验证了记忆和状态管理的设计选择。
- Oracle（先知）实验表明，虽然 SSE-Bio 学到了有效的检索，但随着更强的证据和模板匹配，仍存在可观的提升空间。

意义与主张

本文声称，将结构化检索控制与细粒度自进化相结合，为生物医学推理智能体提供了一种更具可控性的方法。通过通过可训练的 Proxy 显式管理检索决策，并通过局部编辑而非全局重写来演化记忆，SSE-Bio 减轻了指令漂移和幻觉的风险。结果表明，这种架构能够实现既有证据支撑又具备长期策略适应能力的自适应推理，解决了当前静态或粗粒度自进化系统的关键局限。

作者承认存在一些局限性，包括对当前检索质量的依赖、随时间推移可能出现的记忆冗余，以及如何进一步扩大 Proxy 主干网络规模对性能影响的开放性问题。他们还指出，该系统目前依赖于固定的商业智能体来承担 Manager、Dev 和 Critic 的角色。