技术摘要：SkillFlow：面向智能体编排的流驱动递归技能演化

1. 问题陈述

近期基于大语言模型（LLM）的智能体系统进展，已通过任务编排实现了复杂任务的自动化。然而，现有的编排方法面临三个关键挑战：

1. 策略坍塌：基于 REINFORCE 族目标（例如 GRPO）的强化学习（RL）方法倾向于收敛至单一的最大奖励模式。这消除了多样化且同样有效的策略，导致智能体在执行器能力演变或存在多条有效路径时变得脆弱。
2. 高梯度方差与不透明的信用分配：仅基于终点的奖励造成了漫长的信用分配视野。当多步轨迹成功或失败时，无法明确具体哪一步负责，导致策略梯度方差高且归因不透明。
3. 无指导的技能演化：拥有动态技能库的框架通常依赖启发式触发器、固定时间表或直接使用"LLM 作为裁判”的提示来更新其库。这些方法缺乏原则性的训练信号，无法确定何时演化、创建或剪枝哪些技能，以及关键决策缺口位于何处。

2. 方法论：SkillFlow

SkillFlow 是一个基于流的框架，旨在通过多轮交互自动化任务编排，同时递归地演化其自身的技能库。它通过监督者 - 执行者范式运行，其中可训练的监督者（$\pi_\theta$）与包含动态技能库和冻结执行者的结构化环境进行交互。

2.1 核心架构

• 编排状态图：任务过程被建模为有向无环图（DAG），其中节点代表交互历史（$H_t$），边代表编排动作。
• 动态技能库：环境维护一个“原子提示”（简短、自包含的战略指导）库。该库与策略共同演化，但在每个训练阶段内保持固定，以确保动作空间恒定。
• 后见之明反向策略：一个学习到的反向策略（$P_\phi$）以“后见之明状态”（$H_{t-1} \oplus o^{exec}_t$）为条件，结合了正向策略在决策时无法获得的执行反馈。

2.2 调和轨迹平衡（TTB）

SkillFlow 的核心是调和轨迹平衡（TTB），这是一种基于回归的流匹配损失。与将概率质量推向单一最佳轨迹的 REINFORCE 不同，TTB 驱动轨迹的采样概率与其奖励成正比：
$$\pi^*(\tau | q) \propto \tilde{R}(\tau)^\beta$$
其中 $\tilde{R}(\tau)$ 是平滑后的奖励，$\beta$ 控制多样性与质量的权衡。

TTB 损失定义为轨迹平衡条件的平方、长度归一化残差：
$$L_{TTB}(\tau) = \left( \frac{\Delta(\tau)}{T} \right)^2$$
$$\Delta(\tau) = \log Z_\theta(q) + \sum_{t=1}^T \log \pi_\theta(a_t | r_t, H_{t-1}) - \beta \log \tilde{R}(\tau) - \sum_{t=1}^T \log P_\phi(a_t | H_{t-1} \oplus o^{exec}_t)$$
在收敛时（$\Delta(\tau) = 0$），正向策略按奖励比例采样轨迹，从而保留策略多样性。

2.3 零成本信用分配

相同的流目标联合训练反向策略，实现了零额外推理成本的单步信用分配。通过比较正向策略的决策与后见之明反向策略的评估，SkillFlow 计算步骤重要性（$I(t)$）：
$$I(t) = \frac{\pi_\theta(a_t | r_t, H_{t-1})}{P_\phi(a_t | H_{t-1} \oplus o^{exec}_t)}$$
$I(t)$ 的显著偏差表明，在执行后评估发生了显著变化的决策，从而有效标记了驱动成功或失败的关键步骤。

2.4 流驱动递归技能演化

SkillFlow 利用流诊断驱动策展算子 $\Phi$，将训练信号闭环至自主能力增长：

• 何时演化：当 TTB 残差（$\Delta(\tau)^2$）相对于平台期饱和时触发演化，表明当前库限制了策略的表达性。
• 创建/剪枝什么：技能根据其技能边际流（$\hat{F}(s)$）进行排名，该指标衡量技能吸引的平均流。持续贡献为负的技能被剪枝；流高的技能被保留。
• 何处演化：新技能在“触发步骤”生成，这些步骤由来自同一查询的成功与失败轨迹分叉处的高步骤重要性（$I(t)$）识别。技能创建器（$\Psi$）从这些决策缺口合成新的原子提示。

3. 主要贡献

1. 用于编排的 TTB：引入一种流匹配损失，保留与奖励成比例的多样化编排策略，避免了 REINFORCE 族目标固有的模式坍塌。
2. 零成本信用分配：一个联合学习的反向策略，提供透明的、单步的轨迹结果归因，无需额外的 rollout 或推理。
3. 原则性技能演化：一种递归机制，基于流诊断（TTB 残差、步骤重要性和边际流）自主扩展、剪枝和细化技能库，消除了对启发式触发器或"LLM 作为裁判”提示的需求。
4. 实证验证：全面的评估表明，SkillFlow 在 14 个基准测试中优于直接 LLM、RL 基线（GRPO, Tree-GRPO）及现有的技能演化方法。

4. 实验结果

SkillFlow 在涵盖四个类别的 14 个数据集上进行了评估：问答（HotpotQA, TriviaQA, MuSiQue, NQ-Open）、数学推理（AIME 2026, MATH-Hard, GPQA Diamond）、交互决策（WebShop, ALFWorld, ScienceWorld, Mind2Web）和代码生成（SWE-bench, HumanEval）。

• 性能：SkillFlow 显著优于所有基线。在分布内（IID）基准测试中，其平均精确匹配（EM）达到94.14%（Qwen3.5-9B 为 73.34%，AgentFlow 为 90.63%）。在分布外（OOD）基准测试中，它保持了强劲优势，平均 EM 为83.99%（AgentFlow 为 76.96%）。
• 多样性与鲁棒性：该框架展示了卓越的策略多样性，特别是在 WebShop 和 ALFWorld 等任务中，REINFORCE 基线遭受了策略坍塌。
• 可迁移性：SkillFlow 提升了各种 LLM 骨干网络（包括 Qwen3.5、Claude 和 Gemini）的性能，其中较弱的骨干网络显示出最显著的增益，表明该方法弥补了基础推理能力的局限性。
• 效率：与其他技能演化基线相比，SkillFlow 以较低的计算成本（更少的 token 和时间）实现了这些结果，这归功于流信号驱动演化的效率。

5. 意义与主张

该论文主张 SkillFlow 为自演化、基于流的智能体编排奠定了基础。其意义在于将编排训练和递归技能演化统一在单一理论框架（GFlowNets）之下。

• 多样性保留：通过按奖励比例采样轨迹而非坍塌至单一模式，SkillFlow 保持了策略库，使智能体更能适应工具能力变化或任务变异。
• 透明学习：零成本信用分配机制提供了可解释性，允许系统精确识别哪些决策至关重要，这是终点奖励 RL 中常缺失的功能。
• 自主增长：递归技能演化机制将训练信号与能力增长闭环，使智能体能够在无人干预或启发式调度的情况下自主识别并填补决策缺口。

作者指出，虽然 SkillFlow 有效增强了编排和工具使用，但它依赖于底层骨干网络的长上下文记忆和推理能力；它并不取代核心推理技能的需求，而是优化了这些技能的组合与演化方式。