技术摘要：利用过程奖励扩展多智能体系统 (MAPPA)

1. 问题陈述

多智能体系统 (MAS) 通过利用专业化和多样化的视角，为解决复杂的长程任务提供了一种极具前景的范式。然而，同时微调多个智能体面临着两个阻碍其规模化的关键瓶颈：

1. 信用分配 (Credit Assignment)： 在涉及多个智能体的多步轨迹中，很难将整个系统的成功或失败归因于特定智能体所采取的具体行动。传统的基于结果的奖励（在轨迹结束时的稀疏信号）无法区分失败是由上游智能体的错误造成的，还是由下游智能体无法恢复造成的。
2. 样本效率 (Sample Efficiency)： 多智能体展开（rollouts）计算成本高昂，通常需要数分钟甚至数小时。现有的依赖于每次展开仅获得单一结果奖励的强化学习 (RL) 方法，从这些昂贵的轨迹中提取的训练信号极少，导致样本效率低下。

目前的方法通常依赖于提示工程来编排预训练的智能体，但并不更新智能体权重，从而限制了真正的专业化。相反，最近尝试同时微调智能体的尝试在上述信用分配和效率挑战面前显得力不从心。

2. 方法论：MAPPA

作者提出了 MAPPA（基于 AI 反馈的每动作过程奖励的多智能体系统），这是一个利用密集、逐动作监督来微调工具增强型多智能体系统的框架。

核心机制：“教练” (The "Coach")

MAPPA 不再是在轨迹结束时分配单一的稀疏奖励，而是采用一个“教练” LLM 来评估每个智能体采取的每一个动作。

• 上下文感知评估： 教练根据智能体的特定角色、观察到的输入上下文、动作本身以及环境反馈（例如：工具执行结果、错误信息），在 0–10 的量表上对每个动作进行评估。
• 隐式信用分配： 教练通过分析因果链来进行隐式信用分配。例如，如果下游智能体遇到“文件未找到”的错误，教练会将低分分配给未能生成该文件的上游智能体，而不是惩罚正确报告该错误的下游智能体。
• 与真值无关性 (Ground Truth Agnosticism)： 虽然教练可以在可用时结合真值指标（如 RMSE、F1）来合成奖励，但它也可以在没有真值的情况下通过评估动作相对于上下文的“合理性”来发挥作用。这使得即使在任务完全失败的情况下也能进行训练。

训练算法

• REINFORCE++： 作者使用的是 REINFORCE++ 而不是组相对策略优化 (GRPO)。GRPO 假设共享同一提示词的样本具有相同的输入状态，但在多智能体系统中，上游随机输出产生的分歧中间状态会打破这一假设。REINFORCE++ 在所有经验中应用全局批归一化，自然地处理了状态多样性。
• 奖励计算： 每个动作 $t$ 接收的奖励为 $r_t = r_{coach}^t - \beta \cdot D_{KL}(\pi_\theta || \pi_{ref})$，其中 $r_{coach}^t$ 是教练的分数，KL 项则惩罚对参考策略的偏离。优势函数 (Advantages) 通过未折扣的剩余回报 (return-to-go) 计算，并在全局批次内进行归一化。
• 分布式架构： 系统使用 Ray 进行协调，vLLM 进行推理，并使用 DeepSpeed ZeRO-3 进行内存高效的更新。训练循环紧密耦合了并行轨迹收集、异步教练评估和同步梯度更新，以实现效率最大化。

3. 核心贡献

1. 逐动作过程奖励： 引入了来自 AI 教练的密集、上下文感知的过程奖励，这通过将成功/失败归因于特定的智能体动作而非最终结果，解决了多智能体系统中的信用分配问题。
2. 样本效率： 通过为每一个动作生成训练信号（而非仅仅是最终结果），MAPPA 大幅提高了样本效率，使昂贵的多智能体展开成本在微调过程中变得可行。
3. 无需担心灾难性遗忘的专业化： 该框架证明了在不同智能体之间分离权重可以实现专业化（例如，一个智能体负责推理，另一个负责编码），而不会出现单模型扩展时常见的干扰或灾难性遗忘。
4. 通用框架： 一个领域无关的训练流水线（包括智能体拓扑、奖励结构、训练循环），适用于多种任务，并在数学推理和数据科学流水线上得到了验证。

4. 实验结果

作者在两个不同的领域验证了 MAPPA：

A. MathChat (带有代码执行的竞赛数学)

• 设置： 一个三智能体流水线（问题解决者、代码执行器、验证者），用于解决 AIME 和 AMC 问题。
• 性能：
  • 在 AIME 上，相比基准模型，MAPPA 提升了成功率：DeepSeek-R1-Distill-Qwen-1.5B 提升了 +5.0pp，Qwen3-4B 提升了 +17.5pp。
  • 在 AMC 上，提升幅度在 +7.8pp 到 +17.2pp 之间。
• 行为洞察： 较大的模型（Qwen3-4B）表现出显著的行为适应，增加了工具使用频率并缩短了响应长度。较小的模型在提高准确性的同时没有发生剧烈的行为转变，这表明过程奖励即使在能力受限的情况下也能驱动性能提升。

B. DSBench (端到端数据科学流水线)

• 设置： 一个三智能体流水线（数据工程师、建模师、分析师），执行特征工程、模型训练和预测生成。
• 性能：
  • 训练将整体成功率提高了 +16.7pp。
  • 质量指标提升高达 47%（例如，Fair RMSE）。
• 专业化观察： 系统表现出一种专业化模式，即回归任务持续改进，而分类指标退化至基准水平。分析显示，教练系统性地为回归任务分配了更高的分数，导致智能体利用了这种偏差。这凸显了无状态评估的一个局限性：教练无法意识到其自身的评分偏差正在驱动梯度更新。

5. 重要性与主张

论文将 MAPPA 定位为实现以极少人类监督来处理复杂长程任务的多智能体系统规模化的“第一步”。

• 新的规模化维度： 作者认为，扩展专业化智能体的数量（而非仅仅是模型参数）是一个极具前景的前沿领域。通过使用过程奖励微调智能体，系统可以实现超越单一强大模型的性能，无论是在效率还是能力上限方面。
• 从“评判者”到“教练”： 这项工作将范式从“LLM 作为评判者”（对最终输出进行被动的、无状态的评估）转向了“智能体作为教练”（对中间步骤进行主动的、战略性的反馈）。
• 局限性与未来工作： 作者承认了包括教练评分偏差（如冗长偏好、自我增强偏好）以及奖励作弊 (reward hacking) 风险在内的局限性。他们提出了以下未来方向：
  • 可训练的教练： 实现智能体与教练的协同进化。
  • 奖励反向传播： 一种自上而下的方法，用于更精确地将结果追溯到特定的错误。
  • 战略性评判： 根据训练动态调整评估标准的教练（例如，早期优先考虑可靠性，后期优先考虑质量）。

论文总结道，尽管挑战依然存在，但能够使用 AI 生成的过程奖励来端到端地训练多智能体系统，代表了构建用于企业和科学工作流的自我改进 AI 系统方面的关键进展。