技术摘要：SoftSkill：用于上下文适应的行为压缩

1. 问题陈述

作为智能体（Agent）的大语言模型（LLM）越来越多地依赖于暴露了工具、文件和长程交互轨迹的执行环境。在这些场景中，适应能力不仅需要提出正确的问题，还需要编码程序性知识（例如：何时检查证据、如何调用工具、如何验证输出）。目前的系统通常将这些知识封装在自然语言 Markdown 文件（即“技能”）中，并在推理时加载。

虽然文本技能具有可读性和可编辑性，但它们存在一个关键的低效问题：文本本身并不是行为本身。在推理时，冻结的模型必须反复内化冗长的文本人工制品，决定哪些部分相关，并将指令转化为隐藏状态的动力学过程。这一过程消耗了大量的上下文预算，并且如果文本过于冗长或与模型的内部控制方向对齐不佳，效率也会很低。

本文探讨了一个问题：能否用一个紧凑的连续上下文对象（即“软技能”）来替代自然语言技能，该对象由一个可训练的软增量（soft delta）进行优化，同时保持基座模型冻结。其目标是行为压缩：用一个短的、学习到的前缀来替换长文本技能人工制品，从而引导生成向先前成功的行为偏移。

2. 方法论：SOFTSKILL

作者提出了 SOFTSKILL，这是一种用于上下文智能体适应的软前缀嵌入学习训练程序。该方法在**冻结骨干网络（frozen-backbone）**的约束下运行，这意味着目标语言模型的权重永远不会被更新。

2.1 核心机制

软技能被定义为一个由 $m$ 个虚拟 Token 嵌入组成的序列，其分解形式为：
$$p = p_0 + \Delta p$$

• $p_0$ (初始化)： 源自自然语言技能文档（Markdown）或均值池化嵌入。这提供了一个结构化的起点。
• $\Delta p$ (软增量)： 一个可训练的向量序列。在训练期间仅优化此增量。

2.2 训练目标

主要的训练目标是在真实答案或记录的成功轨迹上的下一 Token 预测（NTP）。损失函数为：
$$\mathcal{L}_{NTP}(\Delta p) = -\sum_{t=1}^{T} \log p_f(y_t | y_{<t}, x, s, p_0 + \Delta p)$$
其中 $f$ 是冻结的模型，$x$ 是任务输入，$s$ 是可选的硬技能，$y$ 是目标序列。

• 单轮问答（Single-Round QA）： 目标序列是真实答案。前缀学习回答风格、证据依赖以及直接给出最终答案的行为。
• 智能体执行（Agentic Execution）： 目标序列是从成功的轨迹（动作、工具调用、推理过程）中提取的。前缀试图编码程序性的工具使用行为。

2.3 基于验证选择的检查点

至关重要的是，该方法并不针对任务奖励进行在线优化。相反，它使用**留出任务验证（held-out task validation）**来选择部署的检查点。在训练期间，通过在验证集上评估检查点，并导出任务准确率最高的那个。这解决了这样一个发现：较低的 NTP 损失并不一定与更高的任务成功率相关，尤其是在智能体设置中。

2.4 部署

在推理时，自然语言技能文本被学习到的软前缀 $p$ 所取代。模型保持冻结。系统可以保留原始的 Markdown 技能作为检索和审计的元数据，同时将紧凑的前缀注入模型上下文。

3. 核心贡献

1. 行为压缩框架： 本文引入了一种方法，将长自然语言人工制品中的可重用程序性知识蒸馏为紧凑的连续前缀（例如 32 个 token），该前缀作为一个潜在的行为先验发挥作用。
2. 冻结骨干网络适配： 与 LoRA 或全量微调不同，SOFTSKILL 通过仅调整输入侧的前缀来适应行为，从而保持了基座模型的完整性。
3. 在问答和智能体任务上的实证验证： 作者在单轮问答（SearchQA, LiveMath, DocVQA）和更难的智能体执行任务（OfficeQA, Spreadsheet, ALFWorld）上评估了该方法。
4. 初始化与几何性质分析： 研究调查了收益是来自于学习到的增量还是来自文本初始化，并分析了学习到的前缀的几何特性。

4. 实验结果

4.1 单轮问答（主要结果）

使用 Qwen3.5–4B，长度为 32 的 SOFTSKILL 前缀显著优于“无技能”提示词，并能与 SkillOpt（一种优化 Markdown 文本本身的强基线）竞争或超越。

• SearchQA： SOFTSKILL 达到 76.4 准确率（对比：无技能 68.1，SkillOpt 71.2）。
• LiveMath： SOFTSKILL（技能部分位置）达到 64.5（对比：无技能 22.4，SkillOpt 52.0）。
• DocVQA： SOFTSKILL 达到 88.2（对比：无技能 86.9，SkillOpt 89.0）。
• 与 LoRA 的比较： SOFTSKILL 在不更新模型权重的情况下接近 LoRA 的性能（SearchQA 为 78.6），尽管当可以使用全参数高效微调时，LoRA 仍然更优。

4.2 压缩诊断

最重要的发现是上下文开销的减少：

• 上下文长度： SOFTSKILL 将数百至数千个 Markdown token 替换为 32 个虚拟 token。
  • SearchQA: 2035 tokens $\to$ 32 tokens（约 63.6 倍缩减）。
  • LiveMath: 671 tokens $\to$ 32 tokens（约 21.0 倍缩减）。
  • DocVQA: 407 tokens $\to$ 32 tokens（约 12.7 倍缩减）。
• 输出长度： 由于采用了直接回答监督（无思维链/CoT），平均生成的 token 数也显著下降（例如，LiveMath 从 4422 降至 6.0），尽管这在一定程度上是监督格式导致的产物。

4.3 智能体执行（压力测试）

在多步智能体任务（OfficeQA, Spreadsheet, ALFWorld）上的结果表现不一。

• OfficeQA： SOFTSKILL 优于基线（33.8 对比 26.7 硬人工制品）。
• Spreadsheet & ALFWorld： SOFTSKILL 无法稳健地压缩长程程序性行为，其表现往往低于最终的硬人工制品甚至低于无技能基线。
• 结论： 稀疏的轨迹模仿提供了有用的信号，但尚未能稳健地压缩复杂的长程程序性行为。

4.4 消融研究

• 初始化： 自然语言初始化通常很强，但均值池化初始化在 DocVQA 上表现得惊人地好。这表明学习到的增量是必不可少的，而不仅仅是文本初始化的平凡结果。
• 前缀长度： 性能与长度并非强单调关系。32 的长度是一个实用的默认值，因为将其扩展到 256 或“自动”长度并不会一致地提高准确率。
• 模型规模： 扩展到更大的模型（Qwen3.5–9B, Qwen3.6–35B）通常会提升性能，但在 LiveMath 上表现出非单调行为，表明软技能的有效性不仅取决于骨干网络的强度。

5. 意义与主张

论文将 SOFTSKILL 定位为一种针对冻结骨干网络服务的紧凑上下文适配机制，而非通用型的文本技能、适配器或奖励优化的替代品。

• 主要主张： 一个短的学习到的前缀可以在保持或提高单轮问答任务准确率的同时，替代长篇的自然语言技能人工制品。
• 次要主张： 该方法提供了一条部署路径，使“技能”成为一种潜在的行为先验而非可读文本，从而将上下文开销降低了一个数量级。
• 局限性： 论文对智能体任务持谨慎态度，承认当前的 NTP 配方尚未能稳健地压缩长程程序性行为。它还指出，学习到的前缀是特定于模型的，不能直接跨不同的嵌入空间或分词器进行迁移。
• 可审计性： 作者提出了一个混合方案，即保留自然语言技能作为检索和人工审计的元数据，同时在推理时注入学习到的前缀。

总之，SOFTSKILL 证明了行为压缩对于特定类型的任务是可行的，它提供了一种权衡方案：在保持模型冻结且任务不需要超出短前缀容量的复杂多步程序性推理时，用一个小的、可训练的连续对象取代冗长的文本指令。