🤖 machine learning

Knowledge is Not Enough: Injecting RL Skills for Continual Adaptation

本文提出了参数化技能迁移（PaST）框架，该框架通过线性注入源自强化学习的领域无关技能向量，解决了监督微调在适配大语言模型方面的局限性，从而为实现知识整合与智能体工具使用的高效且有效的持续适应提供了支持。

原作者： Pingzhi Tang, Yiding Wang, Muhan Zhang

发布于 2026-05-12

📖 1 分钟阅读☕ 轻松阅读

原作者： Pingzhi Tang, Yiding Wang, Muhan Zhang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是用通俗易懂的语言和生动的类比对论文《知识不足：注入强化学习技能以实现持续适应》的解读。

核心难题：“聪明却无知”的学生

想象你有一位天才学生（即大型语言模型，LLM），他在某个截止日期前几乎读遍了图书馆里的所有书籍。这位学生非常擅长基于已有知识回答问题。

然而，世界在不断变化。每天都有新事实出现（比如昨天通过的一项新法律，或今天早上发布的一款新应用）。

旧方法（SFT，监督微调）： 为了让学生掌握这些新事实，我们通常只是让他们死记硬背新文本。这就像强迫他们在考试前一晚突击背诵一本新教材。他们能完美地复述事实，但如果考试要求他们在棘手的情境中运用这些事实，他们往往会僵住、猜错，或者胡编乱造（产生幻觉）。他们拥有知识，却缺乏运用这些知识的技能。
昂贵的方法（RL，强化学习）： 为了教会他们如何思考和解决问题，我们通常使用强化学习（RL）。这就像聘请一位私人教练，让学生反复练习解决问题，并在他们做对时给予奖励。这种方法效果很好，但需要耗费巨大的时间和金钱。你不可能为世界上出现的每一个新事实都聘请一位教练。

发现：两种截然不同的“大脑”变化

北京大学的研究人员发现了一个关于学生“大脑”在上述两种过程中如何变化的有趣现象。

他们发现，当学生记忆事实（SFT）和当学生学习推理技能（RL）时，变化发生在他们“大脑”中两个完全不同的区域。

类比： 想象学生的“大脑”是一座巨大的图书馆。
- SFT 就像在书架上添加新书。它改变了图书馆的内容。
- RL 就像训练图书管理员如何寻找书籍、交叉引用它们，并利用它们解决谜题。它改变了图书馆的组织结构和逻辑。
- 关键洞察： 这两种变化互不干扰。它们是“正交”的，意味着它们发生在独立且不重叠的空间里。你可以在不破坏图书管理员逻辑的情况下添加新书，也可以在不变动书架上书籍的情况下训练图书管理员。

解决方案：PaST（参数化技能迁移）

由于这两种变化是分离的，研究人员想出了一个巧妙的捷径，称为PaST。

它是如何工作的：

提取“技能向量”： 他们不再针对每个新主题重新训练学生，而是先利用昂贵的“教练”方法（RL）在一个主题（例如电影）上训练好一个模型。然后，将这个“聪明”的模型与一个仅记忆了事实的“笨”模型进行比较。两者之间的差异就是一个“技能向量”。
- 类比： 可以将这个技能向量想象成一本通用的**“操作指南”或一块“肌肉记忆芯片”**。它包含了“如何解决问题”的纯粹逻辑，而不依附于任何具体事实。
注入技能： 当新主题出现时（例如一份新的法律文件），他们首先快速教会学生新事实（轻量级的 SFT）。然后，他们只需将“技能向量”插入学生的“大脑”中。
- 类比： 这就像给学生一本新教科书（事实），然后瞬间插入他们在电影训练中习得的“解题芯片”（技能）。学生现在既掌握了新事实，又确切知道如何运用它们，而无需新的教练。

为何这意义重大

该论文在三个不同的挑战中测试了这种方法：

阅读理解（SQuAD）： 模型必须记忆一段文章并回答问题，且不能回看文本。与单纯记忆相比，PaST 使模型在找到正确答案方面表现大幅提升。
长文档（LooGLE）： 当文本非常庞大时（例如一份 2 万字的文档），标准方法往往会迷失方向。PaST 帮助模型保持专注并找到正确的信息。
使用工具（ToolBench）： 模型必须使用 API（例如下载 Instagram 帖子）。当 Instagram 账户设为私密时，普通模型会胡乱猜测一个新的、虚假的工具来使用。而 PaST 模型则意识到账户是私密的，停止猜测，并给出正确答案：“我无法做到，因为该账户是私密的。”

结论

该论文证明了知识和技能是两回事。每次给予模型新信息时，你无需花费巨资重新训练其“思考”能力。相反，你可以一次性学会“思考”技能，将其提取为一种便携工具，然后将其插入任何新情境中。这使得 AI 在适应现实世界时变得更快、更便宜、更智能。

技术摘要：知识不足：注入强化学习技能以实现持续适应

问题陈述

大语言模型（LLMs）面临一个根本性的“知识截止”挑战：其参数化记忆在预训练后被冻结，阻碍了对新信息或工具的本地化内化。虽然检索增强生成（RAG）试图通过外部上下文来缓解这一问题，但它存在长程依赖建模问题和推理开销。因此，研究已转向参数化知识更新（例如知识编辑、测试时训练）。

然而，当前的适应范式存在一个关键局限：知识与推理技能之间的功能脱节。

监督微调（SFT） 能有效记忆事实内容（即“是什么”），但往往无法教导模型如何在下游任务中推理或操作这些知识。通过 SFT 训练的模型可能“知道”事实，但在遇到错误时无法动态利用它们，导致幻觉或行为僵化。
强化学习（RL） 对于获取稳健的推理和执行技能（即“怎么做”）至关重要，但其高昂的计算成本（需要策略内探索和交互数据）使其难以高效地针对每个新场景进行持续的在线适应。

核心问题在于：如何在不为每个新领域从头训练 RL 所付出的高昂成本的情况下，使模型具备新领域知识以及使用这些知识的程序性技能。

方法论：参数化技能迁移（PaST）

作者提出了参数化技能迁移（PaST），这是一个模块化框架，它将知识获取与技能获取解耦，允许在不针对目标领域进行显式 RL 的情况下跨领域迁移推理能力。

1. 理论基础：更新的正交性

该方法基于一个经验观察：由 SFT（ $\Delta W_{SFT}$ ）和 RL（ $\Delta W_{RL}$ ）引起的参数更新是近乎正交的。

经验证据：跨模型层（例如在 LooGLE 和 ToolBench 任务上）的余弦相似度分析表明， $\Delta W_{SFT}$ 和 $\Delta W_{RL}$ 位于参数景观中解耦的子空间内。它们的相关性始终接近于零，而两个独立的 SFT 更新则显示出显著的相关性。
启示：知识（事实注入）和技能（程序逻辑）可以分别优化并线性组合，而不会产生破坏性干扰。

2. PaST 框架

PaST 分两个阶段运行：

阶段 I：源领域技能提取

SFT 锚定：在源领域的知识语料库（ $C_S$ ）上对基础模型进行微调，以获得 $\theta^S_{sft}$ 。
RL 精炼：SFT 模型在源领域交互轨迹（ $T_S$ ）上进行 RL 训练，以内化推理策略，从而得到 $\theta^S_{rl}$ 。
技能向量提取：通过从 RL 参数中减去 SFT 参数，提取一个与领域无关的技能向量（ $v_{skill}$ $v_{s k i l l}$ ）：
$v_{skill} = \theta^S_{rl} - \theta^S_{sft}$
该向量捕捉了推理改进的“梯度”方向，剥离了特定领域的陈述性事实。
- 精炼：为防止对特定源内容过拟合，采用迭代自举策略。将源领域划分为子集；技能向量在多轮中迭代精炼，将上一轮的向量作为下一轮 RL 阶段的预热启动。

阶段 II：目标领域适应

轻量级 SFT：在目标领域的新文档（ $C_T$ ）上对目标模型进行微调，以获得 $\theta^T_{sft}$ 。这将新事实锚定在模型中。
线性注入：将提取的技能向量线性注入到目标模型中：
$\theta_{final} = \theta^T_{sft} + \lambda \cdot v_{skill}$
（其中 $\lambda$ 是缩放系数，实验中设为 1）。这将源领域学到的推理几何结构嫁接至目标知识流形上，从而实现复杂任务的零样本执行。

主要贡献

识别推理与知识的脱节：论文强调，仅靠 SFT 不足以将程序逻辑迁移到新领域，因为它主要引发的是表面层面的记忆。
正交性的经验证据：作者提供了严格的证据，证明 SFT 和 RL 更新占据近乎正交的子空间，验证了分离和重组知识与技能的可行性。
PaST 框架：一种利用任务向量算术将 RL 习得的技能从源领域迁移到目标领域的新方法，绕过了对昂贵的目标领域 RL 的需求。
解耦与可迁移性：证明了知识操作与执行技能可以被有效解耦并迁移，从而在数据稀缺的目标领域中实现稳健的适应。

实验结果

作者在三个基准测试中评估了 PaST：

知识整合（SQuAD）：
- 设置：闭卷问答，模型必须通过测试时更新记忆段落，并在无上下文的情况下回答问题。
- 结果：PaST 达到了 56.9% 的准确率，显著优于最先进的自编辑基线 SEAL（47.0%）和标准的“在段落上训练 + 合成”基线（39.7%）。这比合成基线提高了 17.2 个百分点的绝对值，证明了技能向量提供了必要的推理逻辑。
长上下文推理（LooGLE）：
- 设置：在超过 21k 个 token 的文档上进行问答。
- 结果：PaST 将准确率从标准 SFT 的 30.1% 提升至 38.1%（+8.0 个百分点）。该方法成功扩展到海量文档，将模型从被动的知识容器转变为能够进行精确参数化检索的专家。
跨领域工具使用（ToolBench）：
- 设置：闭卷执行，模型仅根据名称使用 API（无上下文），将技能从“电影”源领域迁移到 20 个未见过的目标类别。
- 结果：PaST 将平均成功率从目标 SFT 的 21.9% 提升至 32.2%（+10.3 个百分点）。它在基线完全失败的领域实现了零样本激活（例如：广告领域：0% $\to$ 16.7%）。
效率比较：
- PaST 的性能与在目标领域训练约 75 步的 RL 相当（44.0% 对比 44.6%），但在目标领域上产生了零额外训练时间。目标 RL 每份文档需要约 72 分钟，而 PaST 不需要。

意义与主张

论文声称，PaST 为持续适应提供了一种计算高效且可扩展的替代方案，以取代策略内 RL。通过利用参数更新的正交性，该方法允许模型通过轻量级 SFT 获取新知识，同时从预训练源继承稳健的推理能力。这弥合了“知道”事实与“使用”它们之间的差距，解决了在动态、现实世界环境中部署 LLM 的关键瓶颈，在这些环境中，知识和推理技能都必须快速演变。

作者谦逊地指出了局限性，包括需要在问答和工具使用之外进行更广泛的实验领域，使用静态缩放系数（ $\lambda=1$ ），以及主要依赖 Qwen2.5-7B 架构，这表明未来工作需要在更广泛的模型规模上确认这些动态特性。