技术摘要：学习交接

问题陈述

本文解决了在序列式去中心化多智能体系统（特别是多智能体大语言模型流水线）中学习最优工作流的挑战。与拥有智能体轨迹全局视野的单一设计者的集中式体制不同，目标运行体制涉及跨越组织、供应商或信任边界的智能体。在此设定下：

1. 序列交接：控制权通过共享工件（例如消息或代码片段）从一个专用智能体转移到另一个。
2. 去中心化：在训练或执行过程中，没有任何一方能够访问联合轨迹。
3. 接口约束：每个智能体仅观察其接收到的工件及其自身的私有状态；内部状态、思维链和专有提示词不跨越边界暴露。
4. 有限样本要求：部署在受限的计算和 API 预算下运行，因此需要保证样本效率，而不仅仅是渐近收敛。

现有框架未能解决这种特定的约束组合。去中心化部分可观测马尔可夫决策过程（Dec-POMDPs）假设并发动作；集中式训练与去中心化执行（CTDE）要求在训练期间访问联合轨迹；而选项（Options）框架假设在决策时刻拥有完整状态观测。此外，先前关于多智能体大语言模型编排的工作依赖于手工设计的自适应规则，缺乏决策理论基础或收敛保证。

方法论

形式化模型：IC-SMDP

作者将问题形式化为接口约束半马尔可夫决策过程（IC-SMDP）。

• 结构：系统在原始时间尺度上演化，但在交接时刻做出决策。每次智能体调用被视为一个时间扩展的“选项”。
• 状态：
  • 全局潜在状态 ($x_t$)：未被任何智能体观测。
  • 接口状态 ($m_t$)：智能体之间传递的工件（唯一的跨智能体信息通道）。
  • 私有状态 ($\ell^{(i)}_t$)：智能体 $i$ 本地特有。
• 观测：智能体 $i$ 观测到 $o_t = \phi_i(m_t, \ell^{(i)}_t)$，其中 $\phi_i$ 是特定于智能体的观测映射。这强制执行了接口约束：智能体无法直接查看原始接口状态或其他智能体的私有状态。
• 动作：智能体选择一个本地动作和一个后继智能体（或停止信号）。
• 目标：在观测约束下，最大化工作流的期望折扣回报。

算法：IC-Q

作者提出了IC-Q，这是一种专为预配置体制（其中本地动作固定，仅学习后继选择）设计的异步去中心化 Q 学习算法。

• 机制：每个智能体在其自身的 AIS（近似信息状态）观测上维护一个本地 Q 函数。
• 价值传递：在每次交接时，后继智能体计算标量自举目标 $b_{k+1} = \max_{c'} \hat{Q}_{c'}(o'_{k+1}, c')$，并将该标量连同选项持续时间 $\tau_{k+1}$ 和累积奖励 $R_k$ 一起传回前驱智能体。
• 更新：前驱智能体使用回归目标 $y_k = R_k + \gamma^{\tau_{k+1}} b_{k+1}$ 更新其本地 Q 函数。
• 通信开销：跨智能体协调被限制为每次交接恰好三个标量，确保最小的带宽和 API 成本。

理论框架

该分析将**近似信息状态（AIS）**框架从单智能体原始步骤 MDP 提升到了多智能体 SMDP。

• AIS 条件：作者在选项尺度上定义了奖励充分性（$\epsilon_\phi$）和演化充分性（$\delta_\phi$），考虑了随机选项持续时间和随机折扣因子 $\gamma^{\tau_{k+1}}$。
• 收敛证明：本文在标准假设下（一致遍历性、有界奖励/持续时间、良好条件的特征以及特定的 SMDP 级贝尔曼收缩条件）建立了 IC-Q 的有限样本收敛界。

主要贡献

1. 形式化模型（IC-SMDP）：引入了接口约束下序列交接的决策理论模型，表明其在交接时刻诱导出一个具有可量化接口间隙的明确定义的 SMDP。
2. 去中心化算法（IC-Q）：设计了一种异步 Q 学习算法，其中跨智能体协调被最小化为每次交接一个标量，严格遵守隐私和带宽约束。
3. 有限样本收敛保证：这是去中心化部分可观测性下神经 Q 学习的第一个有限样本界。该界分解为三个可独立控制的误差源：
   • 神经近似误差：随网络变宽而消失。
   • 接口表示间隙：因观测受限而付出的代价，受 AIS 条件约束。
   • 混合时间残差：以 $O(1/T)$ 的速率衰减，取决于选项的随机持续时间。
4. 理论新颖性：该证明解决了先前工作未面临的三个挑战：
   • 在随机折扣（取决于选项持续时间）而非固定折扣下的贝尔曼收缩。
   • 在选项尺度而非原始步骤尺度上 AIS 间隙的传播。
   • 在随机选项持续时间下对马尔可夫噪声的控制。

实证结果

作者在四个实验中验证了该框架和理论：

1. 合成 IC-SMDP：一个包含 10 个智能体的受控环境，用于隔离理论界中的三个误差项。
   • 结果：随着接口观测退化，经验价值间隙与 AIS 间隙呈现强相关性（$\rho \approx 0.916$）。误差缩放符合预测的 $O(1/T)$ 混合残差以及对混合时间的依赖性。
2. 多大语言模型数学推理：四个大语言模型智能体（指挥官、思考者、检查者、编辑者）解决数学问题。智能体仅看到 4 位 AIS 编码（答案状态、修改、检查、正确性），而非完整对话。
   • 结果：IC-Q 与集中式神谕相匹配，并恢复了最优预定义工作流（例如，对难题启用检查者，对简单问题跳过），且没有任何智能体观测到联合轨迹。
3. 多智能体路由：100 个智能体在随机图中路由任务，具有精确的 AIS 观测（$\epsilon_\phi = \delta_\phi = 0$）。
   • 结果：IC-Q 在各种图分布下实现了 100% 的路由准确率，验证了该算法在 AIS 间隙项消失的体制下的有效性。
4. 多智能体 CPU 编程：六个智能体协作转换内存状态。本地动作和后继选择均被学习（可适应体制）。
   • 结果：IC-Q 在未见过的目标状态上实现了约 80% 的准确率，证明了超出形式化定理预配置范围的实证泛化能力。

意义与主张

本文声称提供了首个框架，尊重序列式去中心工作流的四个不同运行条件（序列交接、完全去中心化、接口受限观测和有限样本保证）。

• 理论意义：它提供了去中心化部分可观测性下神经 Q 学习的第一个联合渐近和有限样本界。它将 AIS 框架扩展到具有随机持续时间的多智能体 SMDP，填补了此前未解决的空白。
• 实践意义：结果表明，无需集中式数据访问或暴露智能体内部状态即可实现高性能工作流学习。该算法在遵守严格隐私和通信约束的同时，在复杂的大语言模型任务中与集中式神谕相匹配。
• 谦逊声明：作者明确指出，形式化收敛证明适用于预配置体制（固定本地策略）。在可适应体制（CPU 编程）中的成功被作为泛化的实证证据提出，而可适应情况的形式化收敛留待未来工作。