🤖 machine learning

Multi $^2$ : Hierarchical Multi-Agent Decision-Making with LLM-Based Agents in Interactive Environments

本文介绍了 Multi $^2$ ，这是一个结合了经过监督微调的高层规划器与基于强化学习的底层执行器的分层多智能体框架，旨在减轻目标漂移并在动态交互环境中实现鲁棒的长程决策，并随之发布了三个新的基准数据集。

原作者： Sangeun Park, Minhae Kwon

发布于 2026-06-03

📖 1 分钟阅读☕ 轻松阅读

原作者： Sangeun Park, Minhae Kwon

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图教一个非常聪明但有点丢三落四的机器人如何在电子游戏中完成一项复杂的、多步骤的任务。也许目标是“寻找一种稀有植物，将其与水混合，然后酿造药剂”。

如果你只是告诉机器人“去做吧”，并让它自己摸索每一个动作，它往往会感到困惑。它可能会忘记药剂是用来做什么的，开始原地转圈，或者尝试喝掉水而不是混合它。在研究领域，这被称为**“目标漂移”（objective drift）**：机器人在旅程开始时有一个明确的目标，但在中途时却失去了对目标的追踪。

这篇论文介绍了一个名为 Multi2 的新系统来解决这个问题。把 Multi2 想象成不是一个单一的机器人，而是一个由两名专业人员组成的协作团队，他们像老板和熟练工匠一样协同工作。

两个角色：老板与建筑师

1. 老板 (System 1)：负责“大局观”的规划者

职责： 这个角色不接触控制键。相反，他们观察宏观目标，并将其分解为细小、易于管理的块状任务。
类比： 想象你在盖房子。老板是建筑师。他们不搬砖，而是绘制蓝图并说道：“首先，我们需要浇筑地基。一旦完成后，我们再建造墙壁。”
学习方式： 老板通过向他们展示数千个优秀蓝图的示例来进行训练（一种称为监督微调的方法）。他们学会了给出清晰且具备上下文意识的指令，确保团队永远不会偏离主目标。

2. 建筑师 (System 2)：负责“动手操作”的执行者

职责： 这个角色实际动手使用工具并开展工作。他们接收老板的指令（例如“浇筑地基”），并弄清楚为了实现这一目标需要按下哪些具体的按钮。
类比： 建筑师是施工队。他们是那些亲自动手干脏活、处理泥浆并在混凝土洒出时进行修复的人。
学习方式： 建筑师分两个阶段进行训练：
- 第一阶段（离线）： 他们研读一个过去的施工视频库，在不犯真实错误的情况下学习基础知识。
- 第二阶段（在线）： 他们进入真实的外部世界（游戏环境）并进行练习。如果他们搞砸了，他们会立即从中学习。至关重要的是，他们被教导要紧贴在库中学习到的内容，以免表现得过于狂野而忘记了基础知识。这被称为离线到在线强化学习（Offline-to-Online Reinforcement Learning）。

为什么这个团队更有效

论文指出，以往的方法试图让一个机器人同时承担规划和建造的任务。这就像要求建筑师同时也去铺设每一块砖头。这工作量太大了，而且建筑师在挥动锤子钉钉子时，往往会忘记蓝图。

Multi2 通过分离角色解决了这个问题：

稳定性： 因为老板（System 1）专注于规划，团队永远不会丢失主目标，即使任务耗时很长。
效率： 建筑师（System 2）通过实践变得更加擅长特定动作。这意味着机器人不需要像以前那样费力“思考”或使用大量的计算机词汇（token）来完成任务。这就像一位经验丰富的木匠可以一气呵成地切割木板，而新手则需要不断测量和重新测量。

实验结果

研究人员在三个不同的“电子游戏”世界（ScienceWorld、ALFWorld 和 TextCraft）中测试了这个团队，这些任务都需要许多步骤。

更高的成功率： Multi2 解决了比其他方法更多的任务，尤其是在那些其他机器人通常会放弃或产生困惑的长距离、高难度任务中。
更少的混乱： 当其他机器人开始陷入循环（重复做无意义的动作）时，Multi2 依然能保持在轨道上。
节省能量： Multi2 使用更少的计算机资源（token）就达到了同样的结果，这使得它更快、更高效。

“秘诀”所在

论文还发布了一套全新的训练数据（就像是为机器人专门设计的教科书），专门用于教授这种“老板与建筑师”的协作模式。他们发现，如果混淆训练内容——比如试图教老板如何铺砖，或者教建筑师如何画蓝图——系统就会失败。特定的角色必须保持分离，并针对其职责进行专门训练。

简而言之，Multi2 是一种构建 AI 智能体的方法，让它们不仅仅是靠“猜测”来完成长任务，而是拥有一位清晰的管理者来洞察目标，以及一位通过经验学习以高效完成工作的熟练工人。

技术摘要：Multi2 – 基于 LLM 智能体的分层多智能体决策框架

1. 问题陈述

本研究解决的核心挑战是大型语言模型（LLM）智能体在长程交互环境（long-horizon interactive environments）中的脆弱性。尽管近期的基于 LLM 的智能体展现出了强大的上下文推理能力，但它们在持续交互方面表现挣扎，主要受困于目标漂移（objective drift）。随着交互轮次的增加，由于执行误差的累积以及内部状态与初始意图的失配，智能体往往会偏离原始目标。

此外，现有方法通常依赖不断增长的交互历史来维持上下文，导致了Token 效率低下的问题。虽然层次化分解（将任务拆分为子目标）已被提议用于缓解规划失败，但现有方法往往无法确保执行稳定性。具体而言，许多层次化系统中的“执行器（executor）”组件并未经过显式训练以在交互过程中纠正复合误差，这使得系统在面对任务时程延长时，极易出现循环、违反约束和性能退化等问题。

2. 方法论：Multi2 框架

作者提出了 Multi2，这是一个层次化的多智能体决策框架，通过角色专业化实现了任务分解（规划）与动作执行的显式解耦。该框架运行在两个不同的系统之上：

系统 1（高层智能体）： 专注于具备上下文感知能力的子目标生成。它接收任务描述和当前观测作为输入，并输出一个子目标。该系统通过**监督微调（SFT）**进行训练，以确保一致且结构化的语义规划。
系统 2（底层智能体）： 负责在动态环境中执行原子动作，以实现系统 1 提供的子目标。该系统通过**离线到在线强化学习（Offline-to-Online RL）**流水线进行训练。

训练流水线

训练过程分为三个阶段，以确保稳定性和持续改进：

离线训练（系统 1）： 系统 1 使用包含任务描述和“观测-子目标”序列的高层数据集（ $D_{sys1}$ ）进行行为克隆（SFT）微调。其目标是最小化交叉熵损失，以模仿专家级的子目标。
离线训练（系统 2）： 系统 2 使用包含以子目标为条件的转移数据（观测、动作、奖励、下一观测）的低层数据集（ $D_{sys2}$ $D_{sy s 2}$ ）进行离线强化学习初始化。作者采用了**演员-评论家（actor-critic）**结构及一种新颖的损失函数设计：
- 评论家（Critic）训练： 通过分布内（ID）价值学习来最小化时序差分（TD）误差，以稳定训练。
- 演员（Actor）训练： 使用策略锚定优势项（policy-anchored advantage term）。该项结合了对离线动作的模仿与一个加权优势项，后者鼓励那些被估计能产生更高回报的动作，从而减轻过度模仿和模板化行为。
在线训练（系统 2 自我改进）： 为了实现持续适应，系统 2 进行在线强化学习精炼。通过混合离线数据和新在线轨迹的经验回放池来更新新策略（ $\pi_{on}$ $π_{o n}$ ）。其损失函数包括：
- 一个强化高优势动作的加权对数似然项。
- 一个 KL 正则化项，用于约束在线策略保持接近离线训练后的策略（ $\pi_{off}$ ）。这防止了模式崩溃和剧烈的策略偏移，确保了稳定的自我改进。

架构

Multi2 利用共享的预训练 LLM 主干网络（如 Qwen-2.5, Mistral, Llama-3.1）配合 低秩自适应（LoRA） 技术。至关重要的是，系统 1 和系统 2 使用独立的 LoRA 适配器，从而实现了角色特定的参数化，而无需更新整个主干网络。

3. 核心贡献

Multi2 框架： 一种角色专业化的层次化框架，将子目标规划（系统 1）和动作执行（系统 2）作为不同的优化问题进行解耦，解决了长程交互的不稳定性问题。
原则性的离线到在线 RL 目标： 为执行器（系统 2）设计了一种新颖的训练流水线，结合了策略锚定离线学习与 KL 正则化在线精炼。该设计通过显式对齐执行器的角色，实现了稳定且样本高效的自我改进。
层次化基准数据集： 发布了三个结构良好的层次化数据集，用于在多个环境（ScienceWorld, ALFWorld, TextCraft）中训练和评估交互式 LLM 智能体，填补了一致性层次化数据可用性的空白。
实证验证： 证明了 Multi2 在性能、Token 效率以及对目标漂移的鲁棒性方面均持续优于强基准模型。

4. 实验结果

该框架在 ScienceWorld、ALFWorld 和 TextCraft 上使用多种主干模型（Qwen-2.5 3B, Mistral 7B, Llama-3.1 8B）进行了评估。

性能： Multi2 在大多数主干模型和评估集（分布内和分布外）上均取得了最高的成功率。例如，在 Llama-3.1 8B 的 ScienceWorld ID 分割集上，Multi2 的成功率为 67.61%，而层次化基准模型 Glider 为 60.48%，基于提示词的 ReAct 为 23.23%。
对目标漂移的鲁棒性： Multi2 在需要更长时程的困难任务中表现出卓越的性能。当基于提示词的智能体随任务难度增加而性能骤降，且其他微调基准模型在从中等难度转向困难任务时出现下降时，Multi2 保持了稳定的性能，表明其有效地缓解了目标漂移。
Token 效率： Multi2 比基准模型显著更具 Token 效率。通过使用层次化的按需调用和经过 RL 调优的动作生成，它比依赖长上下文窗口和上下文示例（in-context demonstrations）的提示词方法实现了更高的性能，同时消耗更少的推理时 Token。
消融实验：
- 角色专业化： 交换训练范式（用 RL 训练系统 1，用 SFT 训练系统 2）导致性能最差，证实了 SFT 用于规划和 RL 用于执行的必要性。
- 架构： 具有角色特定适配器的层次化结构优于单模型和共享适配器的基准方案。
- 损失设计： 所提出的策略锚定离线损失和 KL 正则化在线损失对于降低方差以及防止相比于原生 IQL 或 AWAC 变体出现的低性能失效至关重要。

5. 重要性与主张

论文声称 Multi2 为构建能够解决长程任务的可靠且高效的交互式 LLM 智能体提供了一种解决方案。其意义在于：

解决根本局限性： 它超越了简单的层次化分解，通过显式训练执行层来纠正复合误差，填补了先前工作（如 Glider）中识别出的空白。
交互稳定性： 通过用于保持意图的 SFT 和用于执行精炼的 KL 正则化 RL，为长程交互中的稳定协作提供了原则性的机制。
资源效率： 该框架在降低 Token 消耗的同时实现了最先进的性能，使其在实际部署中更具实用性。
社区资源： 通过发布层次化数据集和代码，作者旨在促进层次化决策 LLM 智能体领域的广泛采用和公平比较。

作者将这项工作定位为迈向能够维持意图并在动态环境中有效适应的智能 AI（Agentic AI）的一步，为交互式系统的更有效学习算法做出了贡献。