技术摘要：AgensFlow——面向多智能体系统的协调策略基底

1. 问题陈述

基于大语言模型（LLM）构建的多智能体系统（MAS）面临一个关键瓶颈：协调选择的爆炸式增长，且难以在事前（a priori）固定。设计者必须决定调用哪些技能协议、哪些智能体角色执行子任务、哪些模型绑定到特定角色、角色如何交互（拓扑结构），以及何时利用检索、验证或完全省略某些步骤。

这些选择并非相互独立；它们与任务类型和运行约束相互作用。因此，静态流水线式的架构和一次性模型比较仅提供了对设计空间的有限视角。针对一种任务特征（例如单文档事实性任务）的最优配置，可能在另一种任务特征（例如跨文档综合任务）下失效。本文认为，核心技术挑战已从孤立的智能体能力转向动态协调，这需要一种能够主动学习针对特定任务类型，何种技能、模型和拓扑的组合效果最佳。

2. 方法论：AgensFlow 框架

AgensFlow 是一个开源框架，它将多智能体编排重新定义为部分可观测条件下的在线策略学习问题。AgensFlow 不硬编码流水线，而是将协调决策视为策略图（policy graph）内可学习的动作。

2.1 核心公式

该系统基于折叠后的任务特征（$s_t$）而非单个提示词运行。该特征是从以下要素抽象得出的：

• 类型标签（Regime Label）： 由任务特征（歧义性、矛盾风险、证据可用性）决定。
• 交接掩码（Handoff Mask）： 目标、子问题、证据、批判、验证和答案字段的二进制状态。
• 信念估计（Belief Estimates）： 关于正确性、不确定性、矛盾风险和证据充分性的启发式连续估计值。

在每个路由步骤中，策略从合法动作集 $A(s_t)$ 中选择一个动作：

1. Invoke(k, m)： 执行绑定到模型 $m$ 的特定技能协议 $k$。
2. skip:X： 从轨迹中省略一个计划中的单元格（例如，跳过检索或冗余求解器）。
3. Terminate： 由预算耗尽或治理规则隐式触发。

2.2 学习机制

该框架学习一个以折叠后特征为键的策略图。

• 动作选择： 使用一种可靠性感知的 UCB1 变体，平衡平均奖励、探索（随访问次数衰减）以及失败惩罚。
  $$score(s, a) = \bar{r}(s, a) + c_s \sqrt{\frac{\log(N_s + 1)}{N_{s,a}}} - \lambda f(s, a)$$
• 奖励信号： 一种混合奖励，由以下部分组成：
  • RelativeJudge 质量（$Q$）： 使用明确的评分标准（目标达成、依据、协调、恢复），将轨迹与同类其他轨迹进行比较得出的相对分数。
  • 运行惩罚： 归一化的 token 成本和重试/失败惩罚。
• 可审计性： 奖励信号并非黑盒；它支持跨评估者平均（使用多个 LLM 家族）和按轴分解，以检测偏差。

2.3 架构层

AgensFlow 分为六个依赖层：

• 第 0 层： 网络搜索包装器。
• 第 1 层： 模式、类型和技能注册表。
• 第 2 层： 智能体、传输和追踪。
• 第 3 层： 策略图、路由器和 LangGraph 集成。
• 第 4 层： 奖励计算和 RelativeJudge。
• 第 5 层： 预飞检查、治理和报告。

3. 主要贡献

1. 作为在线策略学习的协调： 将多智能体编排表述为部分可观测条件下的序列决策过程，摆脱了静态流水线。
2. 可检查的策略图： 一种持久化、可审计的结构，记录了针对哪些任务类型选择了哪些动作（技能、模型、拓扑），包括访问次数、奖励和失败率。
3. 作为可学习变量的拓扑结构： 引入 skip:X 动作，允许策略学习对于特定任务类别，某些步骤（如检索或验证）可以完全省略，而不仅仅是重新排序。
4. 奖励信号的可审计性： 将评估层视为系统设计的一部分，利用跨评估者集成以确保学习信号对模型家族偏差具有鲁棒性。

4. 实证结果

该框架在两个包含 60 个任务的语料库上进行了评估：分布式系统故障任务和合成安全建议任务。

4.1 性能与基线对比

• 学习路由 vs. 固定流水线： 在安全建议语料库上，学习到的策略（主臂）在跨家族三评估者审计下，显著优于固定的 7 单元格流水线基线。
  • 质量提升： 学习到的策略获得的 RelativeJudge 得分为 0.817，而基线为 0.749（+0.068）。
  • 效率： 这一改进伴随着适度的 token 成本增加（+15%），而“不跳过”的学习变体则产生了 +94% 的 token 成本惩罚。
• 特定类别的增益： 改进主要集中在协调密集型类别：
  • 跨文档多厂商推理（C3）：+0.181
  • 跨厂商配对任务（C8）：+0.156
  • 缓解措施正确性（C7）：+0.131
  • 程序类（C1, C6）差异微乎其微，因为静态流水线在这些领域表现尚可。

4.2 热启动迁移

在分布式系统任务上学习到的策略图被用于热启动安全建议评估。

• 成本降低： 热启动减少了探索成本，在平台期使用了约少 10% 的 token，在整个运行过程中使用了约少 21% 的 token，与冷启动相比。
• 质量保持： 虽然单一评估者分数显示出巨大的质量优势，但跨家族审计揭示平台期的质量增益 modest（+0.012），证实热启动的主要益处在于降低探索成本，而不会降低最终质量。

4.3 奖励鲁棒性

研究强调，奖励信号对评估者模型家族敏感。单一评估者信号高估了热启动相对于三评估者集成的质量优势。这验证了本文的观点，即奖励审计是协调基底中必要的组成部分。

5. 意义与主张

本文主张，AgensFlow 证明了可学习、可审计的路由可以在协调密集型多智能体工作流中优于静态连接。

• 瓶颈的转变： 核心瓶颈不再是基础模型的能力，而是系统导航庞大且不断变化的协调表面（任务 × 技能 × 模型 × 拓扑）的能力。
• 拒绝直觉： 交互表面过于庞大且充满噪声，无法通过工程直觉或一次性拓扑选择可靠地导航。
• 可审计设计： 通过使协调决策可观察并从重复轨迹中学习，AgensFlow 允许操作者检查和改进路由先验。
• 适度范围： 作者承认局限性，指出当前的评估仅涵盖带跳过的线性拓扑。并行执行、群集式协调和分层分解属于设计表面的一部分，但未在这些实验中进行测试。

总之，AgensFlow 提供了一个基底，其中“最佳”工作流不是预定义的，而是动态学习和审计的，旨在针对各种类型优化任务性能和运行约束。