技术摘要：提示词侧智能体剧本（Playbooks）何时可以迁移？

问题陈述

提示词侧剧本——即从先前的智能体失败与成功案例中提炼出的紧凑、冻结的指令——正越来越多地被用于在不进行重训的情况下提升工具使用型语言智能体的能力。尽管这种方式因其即时部署和跨系统复用的特性而极具吸引力，但其超越源设置（source setting）的可移植性尚不明确。本文旨在解决的核心问题是：确定在一个环境中学习到的剧本在迁移到另一个环境后，何时仍然有效。具体而言，作者研究了冻结的剧本能否成功地在不同的目标领域、模型规模、模型家族以及运行时机制之间进行迁移，或者它们是否会面临注入错误动作模式、浪费轮次或破坏停止行为的风险。

方法论

本研究采用了一个跨越三个不同基准测试的共享**“蒸馏–验证–迁移”协议**，每个基准测试在论证中承担特定角色：

1. 协议：

   • 蒸馏（Distillation）： 源智能体（如 Qwen2.5-7B/14B/32B, Tongyi-DeepResearch-30B）执行轨迹。一个更强的闭源蒸馏器（Claude Opus 4.6 或通过 Codex 调用 GPT-5.4）挖掘全失败（all-fail）和混合结果（mixed-outcome）的数据包，将循环出现的规则、搜索优先级和恢复启发式逻辑抽象为紧凑的剧本。
   • 验证（Validation）： 生成的剧本在源数据集拆分上进行验证，随后被冻结。
   • 迁移（Transfer）： 冻结后的产物被插入目标智能体的提示词中，期间不进行任何目标侧的重调优或微调。

2. 基准测试：

   • ALFWorld： 作为受控的存在性测试，用于测试在场景分布外（OOD）、目标规模及模型家族变化，以及匹配解码方式（贪婪解码 vs 采样解码）下的迁移情况。
   • TAU2-Bench： 主要的服务型智能体基准，用于评估跨业务领域（航空、零售、电信）、模型大小和模型家族的迁移情况。它对 135 个路由级假设进行了严格的统计校正（Holm, Benjamini-Hochberg），以区分信号与噪声。
   • XBench-DeepSearch： 运行时偏移压力测试，通过在不同上下文预算（32K vs 128K）下评估单个产物，来测试其运行稳定性。

3. 指标：

   • 成功率： 归一化成功率（ALFWorld），Pass@1/Pass@3（TAU2, XBench）。
   • 成本/操作： 轨迹长度、Token 数量、工具调用次数以及停止行为（例如：延迟终止、重复查询）。
   • 对照组： 包括无剧本基线、等长安慰剂（通用工作流建议）以及与固定少样本示例（few-shot demonstrations）的对比。

核心贡献

1. 面向部署的协议： 本文定义了一个专门用于评估冻结提示词侧迁移的协议，这与目标侧提示词重调优或新的学习算法有所区别。
2. 条件性迁移的现实情况： 作者证明了迁移是真实存在的，但具有高度非均匀性。在受控条件下（如 ALFWorld 使用贪婪解码）存在正面案例，但在异构的服务型智能体设置中（TAU2），证据较为有限且对兼容性高度敏感。
3. 蒸馏引导 vs 固定示例： 在 ALFWorld 上进行近乎预算匹配的对比实验中，蒸馏引导的表现优于五个固定的示例，从而在兼容设置中确立了增量价值。
4. 将操作成本作为关键指标： 研究强调，部署评估必须包含操作成本和终止行为。剧本可以在保留有用启发式逻辑的同时，破坏停止行为，从而导致成本膨胀（在 XBench 中观察到）。

实验结果

ALFWorld：受控下的成功

在受控的贪婪解码（$t=0$）条件下，迁移的剧本在场景 OOD、模型规模和模型家族变化下一致地提高了成功率。增益在较大的目标模型上最为显著（在 Qwen3-32B 上提升高达 23.6 个百分点），并伴随着更短的交互轨迹。然而，鲁棒性依赖于解码方式；在较小的模型配合较高温度（$t=0.3$）时，特定的产物（如 X7D）会变得有害，增加轨迹长度并提高失败率。

TAU2-Bench：兼容性敏感的异构性

在现实的服务型智能体设置中，迁移结果表现不一：

• 总体优势： 观察到了轻微的平均匹配领域优势（+1.72 pp），但这并未推广到大多数单个路由。
• 统计显著性： 在对 135 个路由假设进行全局 Holm 校正后，仅有一个正向路由存活。两个负向的跨家族路由在家族特定校正下被保留，但在全局校正下则被剔除。
• 成本概况： 当迁移产生帮助时，通常是成本中性的。然而，负面配置表现为性能下降并伴随成本上升。
• 安慰剂对照： 等长的通用安慰剂未能复制领域特定剧本的效果，这表明导入的程序性内容（procedural content）至关重要，而非仅仅是提示词的长度或结构。

XBench-DeepSearch：运行时偏移导致的失稳

一个从 32K 上下文轨迹中蒸馏出的单一剧本，在迁移到 128K 上下文时，表现出准确度虽有起伏但操作极不稳定的现象：

• 行为转变： 在 128K 环境下，该剧本保留了激进的搜索行为，但诱发了重复查询和延迟停止。
• 成本膨胀： 搜索调用次数从 5.9 次上升到 15.7 次，且过长轨迹率（>30 轮）从 8% 跳升至 25%。
• 结论： 该产物变得“缺乏边界”，在没有带来相应准确度提升的情况下，产生了巨大的成本膨胀。

意义与实践启示

本文得出结论：冻结的剧本迁移是一种“有条件的冷启动方案”，而非“默认复用策略”。

• 并非普遍优选： 迁移后的产物并不自动优于目标侧的再蒸馏。一旦获得了目标侧的失败轨迹，重新蒸馏或修复该剧本通常是更好的选择。
• 验证是强制性的： 团队必须在目标侧的切片数据上验证迁移效果，检查成功率、终止行为、协议兼容性以及成本。
• 操作兼容性： 当剧本中所编码的假设（工作流、目标能力、解码机制、运行时预算）保持一致时，迁移才会奏效。当这些假设发生错位时，相同的剧本可能会注入错误的动作模式或破坏智能体的稳定性。

本研究并非提出一种新的学习算法，而是提供了一个诊断框架：提示词侧剧本是一种部署产物，在投入使用前需要经过严格的筛选，特别是在异构或运行时发生偏移的环境中。