🤖 AI

Experience Makes Skillful: Enabling Generalizable Medical Agent Reasoning via Self-Evolving Skill Memory

本文介绍了 SkeMex，这是一个部署后自我演进的框架，它通过将交互轨迹蒸馏为结构化的多分支技能记忆，并采用闭环的“读取-写入-评估-管理”生命周期，在不更新模型权重的情况下，持续优化可复用的知识，从而增强医疗智能体的长程推理能力。

原作者： Haoran Sun, Wenjie Li, Yujie Zhang, Zekai Lin, Fanrui Zhang, Kaitao Chen, Xingqi He, Yichen Li, Mianxin Liu, Lei Liu, Yankai Jiang

发布于 2026-06-09

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Haoran Sun, Wenjie Li, Yujie Zhang, Zekai Lin, Fanrui Zhang, Kaitao Chen, Xingqi He, Yichen Li, Mianxin Liu, Lei Liu, Yankai Jiang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是对论文 "Experience Makes Skillful: Enabling Generalizable Medical Agent Reasoning via Self-Evolving Skill Memory" (SkeMex) 的解释，使用了通俗易懂的语言和富有创意的类比。

核心问题：那个“健忘”的实习生

想象一位才华横溢的医学生（AI 智能体），他非常聪明，但记忆力极差。每当看到新病人时，他都要从零开始。他记不起上周自己是如何成功诊断出一种罕见病的，也记不起自己曾因为在类似的病例中搜索错误信息而浪费了时间。

目前的 AI 医疗工具就像这样。它们可以回答问题，但它们并不能真正从过去的错误或成功中“学习”并将其转化为对未来的帮助。它们只是存储着原始、混乱的笔记（就像一本杂乱无章的日记），这些笔记难以阅读，且往往包含无用的信息。

解决方案：SkeMex（那位“技艺精湛的图书管理员”）

作者创建了一个名为 SkeMex 的系统。不要把 SkeMex 看作是一个新的大脑，而要把它看作是一个坐在医学生身边的、高度组织化且能自我更新的图书馆。

SkeMex 不仅仅是保存发生过的原始故事，它会将这些故事转化为技能 (Skills)。

原始记忆： “我看到一个头痛的病人，我询问了他们的眼睛情况，然后检查了血压，结果发现是压力导致的。”（太长，太具体）。
SkeMex 技能： “当患者出现头痛但生命体征正常时，在订购昂贵的扫描检查之前，先检查压力诱因。”（简短、可复用、具操作性）。

它是如何工作的：“读-写-评估-管理”循环

SkeMex 运行在一个闭环内，就像一位不断完善食谱的厨师。

1. 读 (智能搜索)

当新病人到来时，智能体不会盲目猜测。它会询问图书馆：“针对这种特定类型的问题，我需要哪些技能？”

类比： 想象一名侦探走进犯罪现场。他不会去翻阅大楼里所有的文件，而是询问图书管理员：“请只给我看上个月成功破获的关于‘入室盗窃’的文件。”
SkeMex 会根据技能的实用程度（而非仅仅是文字上的相似度）来挑选最相关的“技能”。

2. 写 (提炼教训)

在智能体完成病例后，SkeMex 会观察发生了什么。是成功了，还是失败了？

类比： 如果智能体解决了一个棘手的病例，SkeMex 不仅仅是保存整个过程的记录。它扮演着总结者的角色，提取出让结果产生差异的一两个关键动作，并将其转化为一张新的“技能卡”。
如果智能体犯了错，SkeMex 会向现有的卡片写入一个“补丁”（修正），以确保以后不再犯同样的错误。

3. 评估 (计分卡)

并非所有的技能都是好的。有些技能可能适用于某种类型的患者，但在另一种患者身上却会失效。

类比： 想象一位教练在观察球员。如果一个特定的战术在 10 次中有 9 次奏效，教练就会给它高分。如果失败了，分数就会下降。
SkeMex 为每个技能赋予一个效用得分 (Utility Score)。如果一个技能帮助智能体获得了更好的结果，它的分数就会上升；如果导致了错误，它的分数就会下降。

4. 管理 (清洁工)

图书馆随着时间的推移会变得混乱。旧的、无用的或危险的技能会堆积起来。

类比： 一位不断清理书架的图书管理员。
- 合并 (Merging)： 如果两个技能表达的是相同的内容，它们会被合并为一个。
- 废弃 (Deprecating)： 如果一个技能的分数很低（经常出错），它会被扔进垃圾桶。
- 晋升 (Promoting)： 如果一个技能被证明非常出色，它会获得“成熟”勋章并被优先考虑。

为什么这很特别

无需“脑外科手术”： 大多数 AI 系统需要重新训练（就像给学生换个全新的大脑）才能学习新知识。SkeMex 完全没有改变 AI 的大脑。它只是更新了它身边的图书馆。这更加安全且成本更低。
不只是记忆： 它不仅仅是保存“发生了什么”。它保存的是“如何去做”。它将经验转化为了程序性知识（类似于食谱），而不仅仅是一个故事。
它具有泛化能力： 论文表明，在一种医疗任务上学到的技能可以帮助处理完全不同的任务。如果智能体学会了如何组织复杂的诊断流程，那么这种“组织技能”即使在医疗主题发生变化时依然有效。

实验结果

作者在许多不同的医疗基准测试（如医生执业考试）上测试了 SkeMex。

更高的分数： 拥有 SkeMex 的智能体表现持续优于没有 SkeMex 的智能体，也优于其他记忆系统。
稳定的增长： 在“在线”测试（即智能体在工作中边做边学）中，SkeMex 随着时间的推移变得越来越好，而其他系统有时会变得混乱甚至表现变差。
跨模型魔力： 他们使用一个 AI 模型（DeepSeek）构建了图书馆，然后将这个图书馆交给另一个不同的 AI 模型（Qwen）。第二个模型立即变得更聪明了，这证明了这些技能是真正的通用技能，并不受限于特定的 AI 模型。

总结

SkeMex 就像是给医疗 AI 提供了一个“第二大脑”，这个大脑不在其头部，而是一个不断进化、自我清理、自我完善的最佳实践图书馆。 它将混乱的过往经验转化为干净、可复用的技能，使 AI 能够在无需从头开始重新训练的情况下，随着时间的推移变得越来越聪明。

技术摘要：SkeMex – 以经验铸就技能

1. 问题陈述

本文指出，在医疗大语言模型（LLM）智能体部署方面存在一个关键差距。虽然目前的医疗 LLM 在静态、单轮问答（如 MedQA、MedMCQA）方面表现出色，但现实世界的临床决策是动态的、多步骤的，并且需要持续的交互、证据收集和假设修正。

现有的记忆增强型智能体试图解决这一问题，通过存储过去的交互记录来应对，但它们面临三个主要局限性：

冗余与噪声： 它们通常保留原始的历史轨迹（整个过程），这些信息具有噪声、针对特定实例且难以管理，导致信息的冗余积累。
缺乏效用意识： 它们很少区分哪些记忆对未来的推理真正有用。低质量或有害的条目会随时间累积，从而降低性能。
代价高昂的适配： 许多最先进的方法将记忆改进与策略训练或自我蒸馏耦合在一起，这需要更新参数。这种方式计算成本高昂，并存在灾难性遗忘或跨领域迁移能力弱的风险。

核心挑战在于，如何在不修改骨干模型权重的情况下，使医疗智能体能够积累紧凑、可靠且可复用的经验，从而支持长程临床推理。

2. 方法论：SkeMex

作者提出了 SkeMex，这是一个后部署自进化框架，通过基于技能的记忆来提升医疗智能体，而无需更新模型权重。SkeMex 将交互轨迹视为可复用经验的来源，将其蒸馏为结构化的“技能”，这些技能编码了可操作的推理和决策程序。

核心组件

该框架基于**基于记忆的马尔可夫决策过程（M-MDP）运行，并遵循闭环的“读取–写入–评估–治理”**生命周期：

多分支技能库：
SkeMex 不仅仅存储原始轨迹，而是将蒸馏后的技能组织成三个层级分支，以分离抽象程度：
- 通用分支 ( $M^{gen}$ )： 存储可迁移的推理策略和广泛的临床原则。
- 任务级分支 ( $M^{task}$ )： 捕捉与特定任务族相关的模式（例如，鉴别诊断、治疗计划）。
- 动作级分支 ( $M^{act}$ )： 记录工具使用的操作知识（例如，参数格式化、特定的工具调用）。
读取：价值感知检索：
在回合开始时，智能体根据语义相关性和上下文相关的效用进行技能检索。检索评分结合了：
- 与当前查询的语义相似度。
- 从特定临床类别内的环境反馈中估计的历史效用。
- 记忆强度（基于艾宾浩斯遗忘曲线的时间衰减）。
  这确保了只有高价值、上下文相关的技能会被注入到智能体的提示词中。
写入：轨迹到技能的蒸馏：
并非所有的交互都会被写入记忆。一个门控轨迹缓冲区会过滤掉基础设施错误、机械性重复和琐碎的成功。只有具有信息量的轨迹（例如，揭示了误诊原因或成功的多步推理的轨迹）才会被保留。
- 两阶段蒸馏： 分析阶段提取可复用的模式并确定意图（创建 CREATE、修补 PATCH 或无 NONE）。随后，变异阶段生成新的技能草案或更新现有技能。
- 评审门控： 草案需经过新颖性和质量检查，以防止冗余并确保其包含具体的场景触发器和步骤，而非模糊的原则。
评估：效用驱动的估值：
技能不是静态的；其价值会被持续评估。SkeMex 使用窗口级估值来聚合多个轨迹的反馈。
- 优势估计： 效用根据轨迹的相对优势（ $A_\tau = r_\tau - \bar{r}$ ）而非绝对奖励进行更新，从而确保在不同难度的任务中实现公平的信用分配。
- 信用分配： 正向采用会增加效用；有害采用则会降低效用。一种风险敏感的正则化机制会阻止高效用技能积累不安全行为。
治理：闭环库维护：
定期，治理算子管理知识库以保持紧凑性和可靠性：
- 合并 (Merge)： 合并高度相似的技能。
- 废弃 (Deprecate)： 移除低效用或有害的条目。
- 提升 (Promote)： 将持续有效的技能提升为“成熟”状态。
- 容量控制 (Capacity Control)： 对分支大小实施限制，以防止无限制增长。

3. 核心贡献

SkeMex 框架： 一种新型的后部署自进化框架，使医疗智能体能够通过基于技能的记忆进行改进，而无需更新模型权重，实现了记忆进化与策略训练的解耦。
非参数化强化： 将技能记忆进化公式化为一个非参数化过程，其中临床反馈提供奖励信号以估计上下文相关的效用，从而指导检索和知识库治理。
“读取–写入–评估–治理”生命周期： 引入了一个闭环机制，将交互轨迹转化为可复用的技能，并通过迭代过滤、蒸馏、估值和剪枝来维护一个受良好治理的记忆库。
即插即用的泛化能力： 证明了 SkeMex 是一个模块化框架，它能持续提升多种不同临床任务的性能，能有效地在不同模型骨干间进行泛化，并支持异构任务设置间的可迁移技能记忆。

4. 实验结果

作者在九个不同的医疗基准测试上评估了 SkeMex，包括交互式临床环境（AgentClinic, LiveClin）、知识密集型推理（MedXpertQA, MMMU）以及基于评分标准的评估（HealthBench, LiveMedBench）。

离线性能： SkeMex 始终优于代表性的基于记忆的智能体和无记忆基线。
- 使用 DeepSeek-V3.2 骨干模型时，SkeMex 将平均得分从 48.20% (ReAct) 提高到 56.08%（提升 7.88 个百分点），超过了最强的非 SkeMex 记忆基线 3.84 个百分点。
- 使用 Qwen3.6-Plus 骨干模型时，得分从 48.63% 提升至 59.22%（提升 10.59 个百分点）。
- 在分布外（OOD）设置中，SkeMex 展示了卓越的可迁移性，比 ReAct 高出 13.78 个百分点，显著优于其他常因负迁移而表现不佳的记忆方法。
在线性能： 在知识库在交互过程中不断更新的流式任务设置中，SkeMex 从第 1 个 epoch 到第 3 个 epoch 表现出稳定的持续提升，而几种基线方法在记忆更新后出现了性能倒退。
消融实验：
- 缓冲区管理： 移除门控机制（即不进行噪声轨迹过滤）会导致性能大幅下降，证实了选择性保留轨迹的必要性。
- 多分支结构： 完整的三个分支设计（通用、任务、动作）显著优于单分支或双分支变体，凸显了分离抽象层级的必要性。
- 效用估值： 移除类别感知奖励归一化或危害钳制会导致性能显著下降，验证了上下文相关效用估计的重要性。
跨骨干模型迁移： 使用 DeepSeek-V3.2 蒸馏出的技能在应用于其他骨干模型（如 Qwen3.6-Max, Kimi-2.6, GLM-5.1）时，依然能成功提升性能，这表明所学习的技能捕捉的是可迁移的程序性知识，而非特定模型的模式。

5. 重要性与主张

本文声称 SkeMex 为“能够通过持续临床经验实现成熟”的医疗智能体提供了一个可扩展的步骤。通过将原始交互历史转化为结构化技能的演进式、受治理的记忆，SkeMex 实现了：

经验驱动的学习： 智能体可以积累并复用可靠经验，而无需承担微调模型权重带来的计算成本和风险。
鲁棒的泛化： 结构化的技能抽象和效用引导的检索减少了负迁移，使智能体能够适应未见的临床场景和多样化的模型骨干。
可靠性： 闭环治理确保了记忆保持紧凑、具有选择性且在临床上可靠，随着时间的推移过滤掉有害或冗余的条目。

作者将 SkeMex 定位为一种决策支持工具，而非专业医疗判断的替代品，它通过利用积累和蒸馏的经验，增强了医疗推理系统的连贯性和可靠性。