🤖 AI

LatentSkill: From In-Context Textual Skills to In-Weight Latent Skills for LLM Agents

LatentSkill 是一个通过预训练超网络将文本技能转换为即插即用 LoRA 适配器的框架，它使 LLM 智能体能够将可重用的任务流程存储在权重空间而非上下文空间中，从而显著降低了 Token 开销，同时提升了性能并实现了模块化的技能组合。

原作者： Aofan Yu, Chenyu Zhou, Tianyi Xu, Zihan Guo, Rong Shan, Zhihui Fu, Jun Wang, Weiwen Liu, Yong Yu, Weinan Zhang, Jianghao Lin

发布于 2026-08-18

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Aofan Yu, Chenyu Zhou, Tianyi Xu, Zihan Guo, Rong Shan, Zhihui Fu, Jun Wang, Weiwen Liu, Yong Yu, Weinan Zhang, Jianghao Lin

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

大语言模型在处理复杂问题方面已变得异常出色，它们通常扮演着数字智能体的角色，能够进行规划、搜索并与软件交互以完成任务。为了处理专业化工作，这些智能体经常依赖“技能”——本质上是书面的指令或程序，告诉模型如何解决特定类型的问题，例如整理虚拟房间或回答多步骤问题。传统上，这些技能在每次需要使用时都会被直接输入到模型的输入中，就像在采取行动前逐页阅读说明书一样。虽然这种方法可行，但它造成了一个显著的瓶颈：任务越复杂、技能库越大，模型必须处理的文本就越多，这会降低运行速度并消耗大量的计算资源。此外，将这些指令作为纯文本保留在输入中，会使它们暴露在风险之下，容易被系统中的其他部分误读或劫持。

上海交通大学和 OPPO 研究院的研究人员提出了一种被称为 LatentSkill 的不同方法，该方法将这些指令从文本输入转移到了模型的内部记忆结构中。系统不再每次都阅读技能描述，而是使用一个专门的生成器将技能的文本转换为一组紧凑的内部调整（即适配器），并将这些适配器永久地附加到模型的“大脑”上。这使得智能体能够“知晓”这项技能，而无需再次阅读指令。研究团队发现，这种方法不仅提高了速度并减少了模型需要处理的数据量，还创造了一个隐藏且有序的空间，使不同的技能可以以极高的数学精度进行混合与匹配。

这项工作的核心思想是将技能视为一组待加载的权重，而非一份待阅读的文档。在他们的框架中，一个“技能编译器”接收任务的书面描述，并立即生成一组独特的模型内部修改。这些修改是微小、高效且模块化的，这意味着它们可以从主模型中附加或分离，而无需重新训练整个系统。一旦技能被转换为这种内部格式，原始文本就会从输入流中丢弃。随后，模型利用这些隐藏的调整进行操作，这些调整能像文本一样有效地引导其行为，但无需为任务的每一步都承担处理数千个额外单词的沉重代价。

为了测试这一点，研究人员将该系统应用于两个截然不同的挑战：一个关于机器人通过文本模拟在房屋中导航完成家务的任务，以及一系列需要搜索多个信息源的复杂问答任务。在房屋导航任务中，系统必须学会如何拿起物体、清洁物体并将它们放置在特定位置。在问答任务中，它必须找到需要连接多条信息的答案。与将技能指令粘贴到提示词（prompt）中的标准方法相比，这种新方法证明了其显著的效率。在房屋导航任务中，该系统在熟悉任务上的成功率提升了超过二十个百分点，在处理新任务时提升了超过十三个百分点，同时使用的输入 Token 数量减少了近三分之二。在问答基准测试中，它在提高准确率的同时，将每步处理的 Token 数量减少了百分之七十以上。

除了节省时间和资源外，研究人员还发现这些内部技能调整具有惊人的结构性。当他们绘制出这些技能所处的数学空间时，发现属于同一类别的技能（如清洁任务或搜索任务）会自然地聚集在一起，形成明显的簇。这表明系统不仅仅是在记忆文本，而是在学习程序的底层逻辑。这种结构实现了高度的可控性；研究人员发现，他们只需通过一个代表缩放数值的“旋钮”即可调节技能的强度。如果数值过低，技能则不起作用；如果数值过高，模型则会产生混乱。然而，在合适的设置下，模型的表现最为理想，且这种“甜点位”（sweet spot）在不同类型的任务中保持一致。

或许最令人感兴趣的发现是，这些内部技能是可以组合的。正如人们可以通过混合食材来烹饪新菜肴一样，研究人员展示了可以将两种不同技能的内部调整相加，从而创造出一种复合技能。然而，只有在将技能分解为最小且对齐的组件后再进行混合时，这种做法才能可靠地奏效。如果只是简单地将整个技能块相加，结果往往效果不佳。通过仔细对齐这些部分，他们能够创造出一种能够执行复杂序列动作且不会丧失单个步骤执行能力的技能。这表明，系统可以通过组装模块化的知识碎片，以一种既灵活又精确的方式构建复杂的行为。

该研究还强调了一个重要的安全优势。由于技能是以内部调整而非可见文本的形式存储，因此它们很难被篡改。当研究人员针对试图劫持指令或提取隐藏知识的攻击进行测试时，新方法表现得非常出色。传统的基于文本的方法在受到攻击时往往会崩溃或泄露秘密，而内部技能版本则保持了性能并隐藏了其指令。这表明，将技能从可见的提示词转移到模型的内部权重中，为给人工智能智能体配备专业知识提供了一种更稳健、更安全的方式。

研究人员总结道，这种方法为构建更强大、更高效的 AI 智能体提供了一条切实可行的路径。通过将程序性知识的存储从输入流转向模型的内部参数，他们证明了一种让智能体更快、更安全且更擅长组合不同能力的方法。结果表明，AI 智能体的未来可能不在于喂给它们更多的文本，而在于教会它们将技能内化，并随时准备通过一个简单、隐形的开关进行部署。

技术摘要：LatentSkill

问题陈述

大型语言模型（LLM）智能体日益依赖外部文本技能——即编码了策略、工具使用模式和启发式方法的重用型程序。主流的设计方案是从库中检索这些技能，并在每个决策步骤将其作为纯文本注入提示词（prompt）中。虽然这种方法具有模块化特征，但存在三个关键局限性：

上下文开销：重复插入技能文本会消耗大量的上下文窗口空间，并增加预填充（prefill）成本，尤其是在技能库不断增长且交互过程变长的情况下。
鲁棒性：长输入会降低模型稳健利用所提供的所有信息的能力。
安全性：将技能保持为可读的提示词内容，会暴露专有程序，并产生指令劫持或技能提取攻击的漏洞。

相反，像全量微调或课程学习这类参数化替代方案，会将技能融合进模型权重中，导致其难以进行模块化的更新、移除或组合。这造成了一个三难困境：现有方法难以在避免重复技能文本的同时，保持在推理过程中动态更新和组合技能的能力。

方法论：LatentSkill

LatentSkill 提出了一个框架，通过预训练的超网络（hypernetwork）将文本形式的智能体技能转换为模块化 LoRA（低秩自适应）适配器，从而有效地将技能知识从上下文空间转移到权重空间。

核心架构

技能编译器（超网络）： 一个基于 Transformer 的超网络 $G_\phi$ 将文本技能文档 $s$ 映射为一组 LoRA 更新 $\Delta_s$ 。
$\Delta_s = G_\phi(s)$
生成的更新遵循标准 LoRA 形式 $\Delta W_s = B_s A_s$ ，作用于目标模块（查询、键、值、输出、门控、上投影、下投影）。
推理机制： 该机制不再通过提示词中的技能文本来对模型进行条件化约束，而是将生成的适配器挂载在冻结的骨干 LLM $\theta$ 上。模型根据任务历史 $h_t$ 和增强后的权重预测输出：
$p_{\theta, \phi}(y_t | h_t, s) = p_{\theta \oplus \alpha \Delta_s}(y_t | h_t)$
此处， $\alpha$ 是控制注入强度的缩放系数。

训练流水线

该框架对技能编译器采用两阶段训练过程，同时保持骨干 LLM 处于冻结状态：

文档级预训练： 编译器在包含文本技能文档的语料库（ $D_{pre}$ ）上进行训练，使用重构（重现完整文档）与补全（预测截断的后缀）的 1:1 混合目标。这初始化了从程序性文本到可用适配器权重的映射。
轨迹监督微调（SFT）： 使用教师智能体轨迹（ $D_{sft}$ ）对编译器进行微调。对于每个技能文档和轨迹对，生成的相同适配器会被应用于所有决策步骤。其目标是最小化适配器输出与教师轨迹之间的损失，从而促使适配器捕捉稳定的、技能层级的策略信息，而非仅进行单步适配。

推理时的控制与组合

模块化加载： 技能被编译并缓存。在推理时，选择器挂载相关的适配器（或多个适配器），而无需在提示词中包含技能文本。
权重空间组合： 可以通过对 LoRA 更新求和来组合多个技能： $\Delta_K = \sum \alpha_k C[k]$ 。
组件级组合： 为了避免过度放大共享行为，可以将技能分解为语义组件（例如，通用原则与特定策略），分别进行编译并以特定的注入系数进行重组。

核心贡献

框架提案： 引入了 LatentSkill，它通过超网络将文本技能转换为模块化、即插即用的 LoRA 适配器，消除了在推理提示词中使用技能文本的需求。
性能与效率： 证明了 LatentSkill 在 ALFWorld 和 Search-QA 基准测试中优于直接的上下文内（in-context）技能提示，同时显著降低了上下文开销（预填充 Token 数）。
结构化分析： 研究发现生成的技能 LoRA 展现出一种结构化的语义几何特性，允许通过缩放系数进行连续控制，并支持在参数空间进行语义对齐的算术组合。

实验结果

该框架在 ALFWorld（具身 AI 任务）和 Search-QA（多跳问答）上进行了评估，使用 Qwen3-8B 作为冻结的骨干模型。

ALFWorld 性能： LatentSkill 实现了 74.3%（已见）和 69.4%（未见）的成功率。这分别比上下文内技能基线提高了 21.4 和 13.4 个百分点。同时，它将平均预填充 Token 数减少了 63.9%。
Search-QA 性能： LatentSkill 实现了平均 35.6% 的精确匹配（EM），分别超过 RAG 1.2 个百分点和上下文内技能基线 3.0 个百分点，同时每步使用的 Token 数减少了 71.8%。
分布外（OOD）泛化能力： 在 WebShop 基准测试（未使用训练轨迹的情况下）中，LatentSkill (SFT) 得分为 23.9，显著优于上下文内技能基线 (6.7)，这表明将技能编译入潜空间可以减轻长提示词导致的注意力稀释问题。
鲁棒性： LatentSkill 在面对技能文本扰动（改写、噪声、重排序）和提示词级攻击（劫持、提取）时表现出一致的性能；相比之下，上下文内技能则遭受了严重的性能下降（例如，在 ALFWorld 的劫持攻击下，性能从 52.9% 骤降至 8.57%）。

意义与主张

论文指出，LatentSkill 为扩展 LLM 智能体提供了一个实用的底层架构，解决了当前技能系统在效率、模块化和安全性方面的权衡问题。

效率： 通过将技能存储在权重空间中，该框架移除了每步对 Token 化和处理技能文本的成本，从而实现了更快的推理速度和更低的上下文占用。
模块化： 与微调不同，技能与骨干模型保持分离，允许在不重新训练基础模型的情况下加载、卸载、替换或缩放技能。
结构化表示： 生成的 LoRA 权重不仅仅是压缩的提示词；它们形成了一种结构化的语义几何体，其中技能按领域聚类。这种结构实现了：
- 可控性： 技能的注入强度可以通过缩放系数 $\alpha$ 进行连续调节。
- 可组合性： 只要语义组件是对齐的，技能就可以在参数空间进行算术组合，从而允许利用简单的模块构建复杂的行为。

作者总结道，对于构建鲁棒的 LLM 智能体而言，潜在技能权重（latent skill weights）是替代纯文本提示词的一种高效、模块化且暴露风险较低的选择。