🤖 AI

MARFT: Multi-Agent Reinforcement Fine-Tuning

本文介绍了多智能体强化微调（MARFT），这是一个综合性框架，其特点是引入了一种名为 Flex-MG 的新型马尔可夫博弈形式化方法，以及一种旨在克服将强化学习应用于基于大语言模型的多智能体系统所面临的独特挑战的通用算法方法。

原作者： Junwei Liao, Muning Wen, Jun Wang, Weinan Zhang

发布于 2026-06-02

📖 1 分钟阅读☕ 轻松阅读

原作者： Junwei Liao, Muning Wen, Jun Wang, Weinan Zhang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

核心理念：教导 AI 专家团队如何协同工作

想象一下，你拥有一支由高度智能的机器人（即大语言模型，LLM）组成的团队，它们非常擅长交谈和写作。就个体而言，它们很聪明。但当你要求它们共同解决一个复杂问题时——比如规划一次旅行、编写一段复杂的计算机程序或进行科学研究——它们往往会表现挣扎。它们可能会互相抢话、忘记谁该做什么，或者对目标感到困惑。

这篇论文介绍了一种名为 MARFT（多智能体强化微调）的新型训练方法。你可以将 MARFT 视为一种专门的“团队教练”系统，旨在教导这些 AI 智能体如何在不丢失各自聪明才智的前提下，有效地进行协作。

问题所在：为什么旧方法会失败

作者解释说，我们不能直接将用于训练机器人团队的旧规则（称为多智能体强化学习，或 MARL）应用在这些新型 AI 团队上。原因如下：

“同时性”与“顺序性”的错位：
- 旧方法： 传统的训练假设所有人都在同一时刻行动，就像一支足球队同时踢球一样。
- 现实情况： AI 智能体通常按顺序工作。一个智能体可能会说：“我需要日期”，而下一个智能体会等待听到信息后再说：“好的，我会预订机票。”
- 解决方法： MARFT 将团队视为一场接力赛或一场对话（一个人说话，然后下一个人说话），而不是所有人同时大声喊叫。
“身份危机”：
- 旧方法： 在传统训练中，智能体通常是同卵双胞胎。
- 现实情况： 在真实的 AI 团队中，一个智能体是“规划者”，一个是个“编码员”，还有一个是“检查员”。它们拥有不同的职责和不同的“个性”（提示词）。
- 解决方法： MARFT 教导系统去尊重这些特定的角色。它确保“编码员”不会试图去扮演“规划者”。
“遗忘”风险：
- 旧方法： 如果你为了让机器人赢得比赛而过度训练它，它可能会忘记如何说人类语言。
- 现实情况： 我们希望这些 AI 智能体在提高解决任务能力的同时，不会忘记如何写出优美的句子或理解上下文。
- 解决方法： MARFT 是一种“微调”方法。它更像是一种温柔的引导，而不是彻底的大修。它在提升团队协作能力的同时，保持了它们原有的语言能力。

解决方案：MARFT 如何运作

论文提出了一个名为 Flex-MG（灵活马尔可夫博弈）的新框架。以下是用通俗易懂的语言解释其运作方式：

“依赖图谱” (The Dependency Map)： 想象一个流程图。MARFT 创建了一张地图，规定“智能体 B 在智能体 A 完成任务之前不能行动”。这处理了 AI 智能体经常依赖彼此输出结果的情况。
“教练” (中央评论家/Central Critic)： MARFT 使用一个中央“教练”（一个神经网络）来观察整个团队。教练不仅仅是表扬某个智能体完成了自己的工作，而是表扬该智能体为整个团队获胜所做的贡献。
Token 级训练： 传统的奖励可能只看最终答案（例如：“机票订好了吗？”），而 MARFT 则观察智能体生成的每一个词（token）。这就像老师在给学生的作文打分时，是逐句进行评判，而不仅仅是看最后的总分。这有助于智能体学习“如何思考”，而不只是“说什么”。

实验验证：它真的有效吗？

作者在两个困难任务上测试了这种方法：数学和编程。

实验设置： 他们创建了具有不同角色（如规划者、求解者、验证者）的 AI 智能体团队（2、3 或 4 个智能体）。
对比实验： 他们将 MARFT 与标准的独立 PPO 方法（即智能体被单独训练后然后被扔在一起）进行了对比。
实验结果：
- 更高的分数： 与标准团队相比，MARFT 团队在数学问题和编程基准测试中的得分始终更高。
- 稳定性： 标准方法在训练过程中有时会崩溃或产生混乱。MARFT 的进步则更加稳定且平滑。
- “匿名”带来的惊喜： 在一个有趣的实验中，他们尝试在不给予具体职位名称（如“规划者”或“求解者”）的情况下训练团队。令人惊讶的是，匿名团队学会了摸索并确定自己的角色，在某些情况下甚至比预先分配角色的团队表现得更好。这表明 MARFT 足以让 AI 自行摸索其组织方式。

“Flex-MG”的概念

论文引入了一个新的数学模型，称为 Flex-MG。你可以将其视为一本新的棋类游戏规则书。

在旧的规则书中，每个人同时移动。
在 Flex-MG 规则书中，游戏会随着你的进行而改变。有时你独自行动；有时你必须等待队友。有时规则会根据前一回合发生的情况而改变。这本规则书是专门为真实 AI 团队那种混乱且动态的工作方式而设计的。

下一步方向（挑战）

作者承认，虽然 MARFT 是向前迈出的一大步，但仍存在障碍：

难以寻找“练习场”： 构建现实、动态的环境（例如模拟城市或复杂的办公室）来让这些 AI 团队进行练习是非常困难的。
数据饥渴： 与所有 AI 训练一样，它需要大量高质量的示例来进行学习。
缺乏标准工具： 目前还没有一个统一、易用的“工具箱”能将所有这些特性整合在一起供大家使用。

总结

简而言之，MARFT 是一种训练 AI 智能体团队的新方法。它不再将它们视为玩同步游戏的相同机器人，而是将它们视为一组按顺序工作的多样化人类专家。它利用一位“教练”来引导它们，尊重它们的特定角色，并确保它们在提高团队协作能力的同时，不会忘记如何说人类语言。结果表明，这种方法使 AI 团队在解决数学和编程等复杂问题时变得更聪明、更稳定。

技术摘要：MARFT：多智能体强化微调

问题陈述

基于大语言模型（LLM）的多智能体系统（LaMAS）在解决需要多维推理和协作的复杂智能任务方面展现了巨大潜力。然而，优化这些系统仍然具有挑战性。虽然强化学习（RL）已在单智能体 LLM 的强化微调（RFT）中被证明是有效的，但将传统的多智能体强化学习（MARL）直接应用于 LaMAS 会引入显著的摩擦。

核心问题在于传统的 MARL 假设与 LaMAS 的独特特性之间存在不匹配。传统的 MARL 通常假设同步智能体执行、同质化智能体结构以及静态系统组织。相比之下，LaMAS 具有以下特点：

异步交互： 智能体通常以顺序方式行动，或者依赖于其他智能体的输出。
异构性： 智能体可能拥有不同的基座模型、词表、外部工具以及输入/输出格式。
角色感知设计： 智能体需要特定的系统提示词（角色配置文件/Profiles）来定义其角色，这在标准 MARL 基准测试中并不存在。
动态组织： 任务分解和智能体协调可以根据问题上下文进行动态变化。

将单智能体 RFT 或标准 MARL（如 Independent PPO）天真地应用于这些场景，会导致训练不稳定、智能体失活以及通信效率低下。目前缺乏一个能够将 RFT 原理与多智能体 LLM 特定动态相结合的统一框架。

方法论

1. 理论公式化：Flex-MG

为了解决这些差异，作者提出了 Flex-MG（灵活马尔可夫博弈），这是一个新的博弈论公式，表示为 $\langle V, N, S, A, T, R, \gamma, D \rangle$ 。

依赖函数 ( $D$ )： 一个全新的组件 $D: A \times A \rightarrow \{0, 1\}$ ，显式地对智能体间的依赖关系进行建模。如果 $D(a_i, a_j) = 1$ ，则智能体 $j$ 的决策在条件上依赖于智能体 $i$ 的动作。这使得框架能够捕捉 LaMAS 工作流中的异步和顺序特性。
状态与动作空间： 该框架容纳了异构智能体，其中动作空间和观测空间可以在不同智能体之间变化，并将智能体角色配置文件纳入观测向量中。

2. MARFT 框架

本文引入了 多智能体强化微调（MARFT），这是一种将 RFT 适配到多智能体领域的范式。其核心方法论组件包括：

顺序决策重构： 利用多智能体优势分解定理（Multi-Agent Advantage Decomposition Theorem），MARFT 将多智能体问题重构为一个顺序决策过程。智能体按特定顺序（或排列）生成动作，并将其策略以先验智能体动作 ( $a_{1:m-1}$ ) 为条件。
逐个智能体更新： 为了确保单调改进和稳定性，MARFT 采用了一种顺序更新方案，即智能体逐一进行更新，而非同时更新。这缓解了并发更新中常见的非平稳性问题。
动作与 Token 归一化： 为了处理 LLM 生成输出长度不一的问题（例如，思维链 CoT 与直接回答），该框架引入了归一化技术，通过将联合概率除以 token 或单词长度，防止对较短或较长序列产生偏差。
两种实例化方式：
- 动作级（Action-Level）： 在完整智能体动作（token 序列）的层面上优化策略。
- Token 级（Token-Level）： 将每个 token 视为一个独立的动作。这把优化复杂度从 $O(|V|^L)$ 降低到了 $O(|V| \times L)$ ，但也引入了奖励稀疏性。作者推导了针对这种 token 级 MG 的特定 Bellman 回传，以处理延迟奖励信号。
实现策略： 该框架利用 LoRA（低秩自适应） 进行高效微调，允许智能体共享基座模型，同时保持用于特定角色的独立适配器。它采用中心化评论家（Centralized Critic）进行全局价值估计，同时保持去中心化执行。

核心贡献

概念化 MARFT： 本文正式定义了多智能体强化微调，通过强调 LaMAS 的独特约束（异步性、异构性和角色依赖性），将其与单智能体 RFT 及传统 MARL 区分开来。
Flex-MG 公式化： 引入了灵活马尔可夫博弈，提供了一个能够显式建模智能体间依赖关系的数学基础，弥合了静态 MARL 环境与动态 LaMAS 工作流之间的鸿沟。
算法框架： 作者提出了一个可扩展、模块化的算法（算法 3），该算法集成了顺序优势分解、逐个智能体更新以及 token 级适配。
开源实现： 提供了一个完整的开源 MARFT 框架实现，以促进该领域的采用和进一步研究。

实验结果

作者使用 Qwen2.5 基座模型，在数学推理（DeepScaler, AIME2024, MATH500 等）和编程任务（DeepCoder, LiveCodeBench, CodeForces）上对 MARFT 进行了评估。

性能对比 Independent PPO (MAPoRL)： 在各种基准测试中，MARFT 的表现始终优于 Independent PPO（多智能体 LLM 的标准基准）。随着智能体数量增加（从 Duo 到 Quad 配置），性能差距进一步扩大，这表明 MARFT 随系统复杂度的提升具有更好的扩展性。
训练稳定性： 训练曲线表明，MARFT 实现了单调改进，并避免了 Independent PPO 在训练过程中观察到的“崩溃”或不稳定现象。
角色设定消融实验： 消融实验对比了预配置的角色描述（如“规划者”、“求解者”）与匿名智能体。令人惊讶的是，在训练早期和中期，匿名设置（即智能体未通过系统提示词被明确分配角色）的表现优于预配置设置。这表明在微调过程中，允许智能体自我演化角色分工可能比固定的、由人类定义的角色更有效。
扩展观察： 虽然增加同质智能体的数量并未带来比例性的性能提升（由于边际收益递减和冗余推理路径），但 MARFT 在每个规模下都持续提升了系统的绝对能力。

意义与主张

本文将 MARFT 定位为智能体系统领域的一次必要进化。其意义在于：

架起理论与实践的桥梁： 它提供了一种原则性的方法，将 RL 微调应用于多智能体 LLM 复杂的现实世界动态中，超越了同步、同质化 MARL 假设的局限性。
实现韧性协作： 通过在增强协作推理能力的同时保留预训练 LLM 的基础语言能力，MARFT 旨在创建鲁棒、自适应且符合人类价值观的系统。
未来研究路线图： 作者指出了关键的开放性挑战，包括缺乏动态训练环境、样本效率低、缺乏统一通信协议以及对标准化框架的需求。他们提出将 MARFT 作为实现能够应对复杂开放世界问题的可扩展、协作式 AGI 系统的一项基础性工作。

研究结论认为，尽管仍面临重大挑战，但 MARFT 范式为提升基于 LLM 的多智能体系统的集体智能提供了一种强大的机制，特别是在需要分布式推理和动态协调的领域。