💬 NLP

Neural Procedural Memory: Empowering LLM Agents with Implicit Activation Steering

本文介绍了神经程序记忆（Neural Procedural Memory, NPM），这是一个无需训练的框架，它通过利用从历史经验中蒸馏出的隐式激活转向向量来取代显式的文本指令，从而增强自主大语言模型智能体，进而通过直接激活任务相关的神经机制来实现稳健且一致的任务执行。

原作者： Chengfeng Zhao, Yuqiao Tan, Shizhu He, Yequan Wang, Jun Zhao, Kang Liu

发布于 2026-06-30

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Chengfeng Zhao, Yuqiao Tan, Shizhu He, Yequan Wang, Jun Zhao, Kang Liu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

核心问题：“教科书”与“肌肉记忆”之间的鸿沟

想象一下，你正在教一个机器人如何烹饪一道复杂的菜肴。

陈述性记忆（事实手册）： 你告诉机器人，“用户对花生过敏。”机器人读取了这条信息，记住了它，并完美地避开了花生。这对于处理事实类信息非常有效。
程序性记忆（技能）： 你告诉机器人，“先切洋葱。然后，加热平底锅。接着，加入油。”

论文指出，当我们以文本形式给机器人这些逐步进行的指令时，它们往往会失败。它们读了文本，点头表示理解，然后却忘记了按正确的顺序执行步骤。它们可能会切好了洋葱，却忘了开火，或者可能会陷入反复切同一个洋葱的死循环中。

作者称之为**“文本-行动脱节”（Text-Action Disconnect）**。这就像是在阅读一本关于如何骑自行车的说明书。你可以完美理解其中的文字，但这并不意味着你的双腿知道如何踩踏板。文本对于教授机器人完成任务所需的“感觉”来说太笨拙了。

解决方案：神经程序记忆 (Neural Procedural Memory, NPM)

与其每次都给机器人一本冗长的文字手册，作者提出了神经程序记忆 (NPM)。

不要把 NPM 看作一本书，而要把它看作一次肌肉记忆注射。

训练（从错误中学习）：
系统会观察机器人过去的尝试。它会寻找机器人失败（例如陷入循环）和成功的情况。
- 类比： 想象一位舞蹈教练在观察学生。教练不仅仅是说“迈出左脚”。相反，教练会分析学生笨拙踉跄与优雅旋转之间的差异。他们能识别出导致这种差异的极其细微的平衡变化。
提取（将经验转化为向量）：
系统将这些“失败”与“成功”之间的差异转化为一个数学箭头（称为转向向量/Steering Vector）。
- 类比： 这个箭头不是一个句子；它是一个特定的“推力”。它就像一个 GPS 信号，不会说“500 英尺后左转”，而是现在就轻轻地将汽车方向盘向左推一点，以保持车辆行驶在道路上。
应用（无形的推动）：
当机器人面对新任务时，系统会寻找一个相似的过去场景，抓取那个“推力”（向量），并将其直接注入机器人的大脑（其内部激活空间）中。
- 类比： 机器人不再需要阅读“不要掉落碗”的告示，而是突然感觉到一种强烈的内在冲动，去稳稳地端住碗。它不需要阅读规则；规则现在已成为它的本能。

工作原理：两种类型的“推力”

论文使用了一种巧妙的两步策略来创造这些推力：

间轨迹（Inter-Trajectory，宏观层面）： 对比整个成功的旅程与整个失败的旅程。
- 类比： 对比一名跑完全程的马拉松选手与一名中途放弃的选手。这里的“推力”有助于规划并让机器人时刻铭记大目标。
内轨迹（Intra-Trajectory，微观层面）： 观察单次失败尝试，并找到出错的具体时刻（例如，机器人绕圈走）。
- 类比： 在跑步者即将绊倒的一瞬间抓住他，并给他一个微小的推力以恢复平衡。这里的“推力”用于修复局部错误并阻止循环。

实验结果：阅读 vs. 感知

研究人员在四个不同的“世界”（如虚拟房屋、购物网站和科学实验室）中进行了测试。

文本指令： 机器人阅读规则。在长任务中，它们经常感到困惑或忘记步骤。
NPM（推力）： 机器人不需要阅读额外的文本。它只需获得内在的“推力”。
- 结果： 机器人的表现与阅读文本的机器人一样出色，但没有了冗长指令带来的干扰。
- 最佳组合： 当他们同时使用两者时（用文本进行大局规划 + 用 NPM 进行肌肉记忆），机器人的成功率最高。这就像是有教练在大声讲解比赛策略（文本），同时你的身体本能地知道如何执行战术（NPM）。

为什么这很重要

无需重新训练： 你不需要从头开始重新教机器人。你只需要即时提供这些“推力”。
速度更快： 阅读长篇文本指令会减慢机器人的速度。注入数学推力是瞬时完成的。
更像人类： 它模仿了人类学习技能的方式。我们不会在每次系鞋带时都背诵一遍教科书；我们之所以能“做到”，是因为大脑激活了正确的模式。

简而言之： 论文表明，要让 AI 智能体做得更好，我们不应仅仅给它们更多的文本去阅读。相反，我们应该给它们以“肌肉记忆”的形式，通过无形的数学推力来直接引导它们的行动。

技术摘要：神经程序记忆 (Neural Procedural Memory, NPM)

问题陈述

尽管大语言模型（LLMs）在作为静态求解器方面表现出色，但要将其转化为能够在动态、开放式环境中运行的自主智能体仍然具有挑战性。一个关键的瓶颈在于缺乏持久的程序记忆（persistent procedural memory）。目前的智能体架构主要依赖于检索增强生成（RAG），通过将显式的文本指南（例如：工作流、见解）注入上下文窗口来提供信息。

然而，本文指出，仅仅依赖符号化文本指令会导致**“文本-动作脱节”（text-action disconnect）**。程序性知识通常是隐式且抽象的；将复杂的推理模式压缩为离散的自然语言 Token 必然会导致信息丢失。因此，智能体可能能够理解检索到的指令，却无法严格地执行这些指令，经常出现遗漏关键中间步骤或无法将检索到的工作流与执行轨迹对齐的问题。这种脱节在长程任务中尤为显著，因为通过纯文本来维持状态和遵循顺序逻辑是非常困难的。

方法论：神经程序记忆 (NPM)

为了解决这些局限性，作者提出了神经程序记忆（NPM），这是一个无需训练的框架，它通过**隐式激活转向（implicit activation steering）**而非显式文本指令来表示智能体的记忆。NPM 不是检索文本供智能体阅读，而是将程序性技能从历史对比经验中提炼为模型激活空间中的转向向量（steering vectors）。

该框架分为三个阶段运行：

1. 对比经验构建

NPM 通过从历史失败案例中分离出有效的推理模式，构建了一个由配对推理片段 $(x^+, x^-)$ 组成的数据库。它采用了双粒度策略来捕捉程序信号：

轨迹间对比（Inter-trajectory Contrast）： 将针对特定任务的成功轨迹 ( $\tau^+$ ) 与失败尝试 ( $\tau^-$ ) 进行对齐，以捕捉全局行为转变。
轨迹内对比（Intra-trajectory Contrast）： 利用单个失败轨迹内的步级差异。它识别“退化步骤”（例如：冗余循环、无效动作），并将这些步骤与同一轨迹内的“有效步骤”进行对比。这使得即使在成功轨迹稀缺的情况下也能从失败中学习。

2. 程序记忆提取

该框架将文本对比映射为表示空间中的连续几何变换。

表示（Representation）： 对于轨迹间对，它提取完整轨迹最后一个 Token 的隐藏状态。对于轨迹内对，它对 Token 进行平均池化以获得步级表示。
向量推导（Vector Derivation）： 系统计算成功状态 ( $h^+$ ) 与退化状态 ( $h^-$ ) 之间的表示差异。通过主成分分析（PCA），提取变化的主导方向，从而形成代表从失败向成功转变的转向向量 $v$ 。这些向量被存储在特定任务的仓库中。

3. 推理时干预

在推理过程中，NPM 动态地合成并注入转向向量，而无需修改模型权重或扩展上下文窗口：

检索： 稠密检索器识别与当前查询最相似的前 $K$ 个历史任务。
合成： 系统获取检索任务中存储的表示，以形成一个集体记忆池。通过提取函数推导出特定任务的共识方向 $v_l(q)$ 。
转向： 在每个时间步 $t$ ，将合成的向量注入目标层 $l$ 的残差流中：
$\tilde{h}_{l,t} = h_{l,t} + \alpha \cdot v_l(q)$
其中 $\alpha$ 控制干预强度。这直接调节了智能体的推理过程和动作选择。

核心贡献

NPM 框架： 提出了一种将隐式激活转向集成到智能体记忆中的无需训练的框架，实现了有效的内在行为调节，而无需更新参数。
双粒度提取： 引入了一种结合轨迹间和轨迹内对比的方法。这提供了一种灵活的干预机制，通过实现从失败中学习，减轻了对成功演示的依赖。
实证验证： 通过广泛的实验证明，激活转向是有效的智能技能载体，能够产生与特定任务行为相关的可解释向量。

实验结果

作者在四个智能体基准测试上评估了 NPM：ALFWorld、WebShop、ScienceWorld 和 BabyAI，使用了 MiniCPM3-4B 和 Qwen3 (4B/8B) 模型。

性能对比基线： NPM 优于静态隐式基线（CAA、Mass-Mean），并达到了与显式文本记忆基线（Insights、Workflows）相当的性能。在某些设置下（例如使用 Qwen3-4B 的 WebShop），NPM 的表现甚至超过了显式工作流。
混合协同效应（Hybrid Synergy）： 将隐式转向与显式工作流相结合（混合配置）在所有模型中均获得了最高的整体性能。这表明，显式文本提供了高层级的符号规划，而隐式转向则通过直接调节神经表示来强化程序遵循。
效率： 不同于文本记忆会因上下文窗口扩大而显著增加预填充延迟，NPM 保持了与“无记忆”基线几乎一致的延迟，因为向量注入仅为简单的元素级加法。
可解释性： 表示分析（PCA 投影、线性可分性测试）证实，成功模式和失败模式在激活空间中占据不同的区域。特征分解显示，转向向量编码了连贯的任务逻辑，例如抑制“冗余观察”或放大“系统性搜索”。

重要性与主张

本文声称，隐式激活转向为管理 LLM 智能体的程序记忆提供了一种极具前景且实用的方法。通过从外部言语化转向内部激活调节，NPM 解决了基于 RAG 的程序记忆中固有的“文本-动作脱节”问题。

作者强调，其方法提供了互补优势：虽然文本记忆提供符号引导，但隐式转向通过直接调节生成路径，确保了在长执行周期内对这些计划的遵循。该框架为管理程序记忆提供了一个基础，且无需承担微调的计算开销或基于文本检索的上下文限制。

承认的局限性：
论文指出，NPM 需要访问内部激活空间（限制了其在闭源架构上的应用），依赖启发式方法来识别退化步骤（可能会遗漏细微的逻辑错误），并且在智能体最初难以生成成功轨迹的环境中面临冷启动问题。此外，当前的静态调节缺乏在不同执行阶段之间动态切换行为原语的灵活性。