💻 computer science

CHMAS: A Coupled Hierarchical Framework for Multi-Agent Reinforcement Learning

本文介绍了 CHMAS，这是一种新型的耦合分层多智能体强化学习框架，它通过双向反馈和异步更新协议，将集中式战略规划与分布式战术执行相结合，从而在确保理论收敛性的同时，有效地平衡全局协调性与局部适应性。

原作者： Dongming Wang, Jie Xu, Yanyu Zhang, Wei Ren

发布于 2026-07-23

📖 1 分钟阅读☕ 轻松阅读

原作者： Dongming Wang, Jie Xu, Yanyu Zhang, Wei Ren

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一个由成千上万个微型机器人、自动驾驶汽车，甚至连电子游戏角色都需要协同工作来解决一个巨大谜题的世界。这就是**多智能体强化学习（Multi-Agent Reinforcement Learning, MARL）**的领域，它是人工智能的一个分支，其中的计算机程序通过尝试各种做法并根据表现好的动作获取奖励来学习如何做出决策。这就像一群孩子在学习踢足球：他们并不是一开始就拥有一套完美的战术手册；相反，他们在奔跑、踢球的过程中，慢慢明白比起单纯的带球过人，传球的效果会更好。

但棘手之处在于：在现实世界中，这些智能体通常需要同时做出两种截然不同的决策。有些决策就像教练的比赛计划——宏大、缓慢且具有战略性，着眼于整个赛场来决定进攻位置。而另一些决策则像是球员的瞬间反应——躲避一次铲球或接住一个球。科学家面临的挑战在于，如何让“教练”和“球员”进行沟通而不产生混乱。如果教练改变计划过于频繁，球员就会感到迷茫；如果球员忽视教练，他们可能会互相碰撞。这篇论文探讨的正是一个这样的问题：如何构建一个团队，让宏观层面的领导者与执行层面的工作者能够共同学习，而不至于互相干扰。

核心理念：机器人团队的双向通道

本文的作者王东明及其团队引入了一个名为 CHMAS（耦合分层多智能体系统，Coupled Hierarchical Multi-Agent System）的新框架。你可以将 CHMAS 理解为一个用于机器人团队的超级智能管理系统，它解决了 AI 中的一个常见问题：通常情况下，“老板”告诉“员工”该做什么，但员工却无法向老板反馈计划是否真的奏效。

在许多旧系统中，信息流是单向的，就像将军通过无线电向下传达命令。将军说：“向北边前进！”然后士兵们就跑向那里。如果士兵们陷入了沼泽，将军在为时已晚之前是不会知道的。CHMAS 通过创建一个双向通道改变了这一点。“战略层”（老板）观察全局地图并提供指导，但“战术层”（工作者）会将反馈传回上方。如果工作者遇到了困难，老板会收到信号并调整计划。这就像一位不仅会制定战术，还会倾听球员反馈的教练——当球员说“教练，那块草地太滑了，没法做那个动作”时，教练会据此调整策略。

运作方式：教练与小队

为了实现这一目标，团队将决策过程分为两个不同的时间尺度，通俗地说就是“快”与“慢”。

战略层（慢速教练）：
这部分系统充当着国际象棋大师的角色。它能看到整个棋盘，包括单个机器人无法看到的全局信息，比如所有资源的位置或整个团队已经走过的路径。每隔若干步（具体来说是每 T 个时间步），这一层就会生成一个“指导动作”。想象一下教练在地图上画了一个 9x9 的方格，并告诉特定的玩家：“你负责这个区域。”这种指导会在一段时间内保持不变，给球员提供一个稳定的目标。

战术层（快速球员）：
这些是正在奔跑的个体智能体。它们只能看到眼前的景象以及周围邻居的行为。它们利用教练的指导（即 9x9 的方格）作为提示，但会根据如何移动、抓取物品或避免碰撞来做出自己的快速决策。它们学习得非常快，在每一个动作之后都会更新自己的技能。

秘诀：反馈循环
奇迹发生于这两个层级如何进行沟通。论文引入了一个特殊的“耦合系数”，称之为 $\lambda$ (lambda)。你可以把它想象成反馈的音量旋钮。

如果球员在分配的方格内成功收集了资源，老板会获得一份满意的奖励。
如果球员陷入困境或失败，老板会收到一个计划行不通的信号。
老板随后利用这种反馈来调整下一组指令。

这创造了一个循环：老板从球员在现实世界中的挣扎中学习，确保宏大的计划在执行层面是切实可行的。

“先别急着改！”规则

在教导 AI 团队时，最大的难题之一是：如果老板改变计划太频繁，球员就永远没有机会去学习。这就像老师每五分钟就更换一次家庭作业，学生永远无法完成任何任务。

为了解决这个问题，作者创建了一个异步更新协议。这是一个高级规则，其含义是：“老板只有在球员经过一段时间练习之后才会改变策略。”具体来说，老板会在更新自己的大脑之前，等待 $N_f$ 个回合（即一定数量的练习轮次）。在此期间，球员可以沉淀下来，学习如何在当前的指令下发挥出最佳水平。这使得学习过程更加稳定，防止团队因混乱而原地打转。

研究发现：机器人学习觅食

为了测试这个想法是否奏效，团队将他们的 CHMAS 系统放入了一个名为 25x25 GridWorld 的虚拟世界中。想象一个巨大的棋盘，上面有 4 个智能体（机器人）和大量散落的苹果（资源）。目标是让机器人协同工作，尽可能多地吃掉苹果，同时避免互相踩踏。

结果非常令人振奋。在模拟中：

机器人学会了将棋盘划分为互不重叠的区域。与其让四个机器人都在同一个角落争夺，不如由“教练”为每个机器人分配一个特定的 9x9 区域进行巡逻。
该系统成功平衡了全局覆盖（确保检查整个棋盘）与局部效率（确保机器人确实能触及苹果）之间的需求。
学习曲线显示，“教练”和“球员”都随着时间的推移而进步。球员在收集苹果方面变得更出色（他们的奖励从约 -80 提升到了 -10，在这个游戏中这意味着表现大幅提升），而教练在分配区域方面也变得更强（其奖励从 -10 提升到了 15）。

论文还进行了严密的数学证明来验证该方法的稳定性。他们展示了在某些标准假设下，该系统保证会在特定的速率下收敛（即稳定到一个好的解），大约为在 $K$ 次战略更新后的 $O(\log K / \sqrt{K})$ 。虽然这听起来很深奥，但它基本上意味着只要球员在教练改变指令之间有足够的学习时间，系统在数学上就被证明会不断变好，而不会陷入混乱。

这为何重要

这篇论文并不声称已经解决了 AI 的所有问题，也不认为这是唯一的解决之道。相反，它提出了一种处理复杂团队的稳健新方法，即不同部分需要以不同速度思考的情况。通过让“老板”和“员工”进行双向沟通，并给予他们学习且不受频繁干扰的时间，CHMAS 为构建更聪明、更具协作性的机器人团队提供了蓝图。无论是用于运送包裹的无人机集群，还是在繁忙城市中行驶的自动驾驶汽车，协调宏观战略与地面现实的能力，都是向前迈出的关键一步。

技术摘要：CHMAS —— 一种用于多智能体强化学习的耦合分层框架

1. 问题陈述

多智能体强化学习（MARL）系统面临着一个根本性挑战：如何在不同时间尺度和空间尺度上平衡全局协调与局部执行。纯粹的中心化方法受制于“维度灾难”，即联合状态-动作空间随智能体数量（ $N$ ）呈指数级增长，导致计算上难以处理。相反，纯粹的分布式方法往往会为了实现长程目标而牺牲协调质量。

现有的分层 MARL 方法试图解决多尺度决策问题，但通常依赖于单向控制，即高层策略在缺乏反馈的情况下指导底层动作。这产生了两个主要问题：

非平稳性： 战略层面的变化改变了战术智能体所感知的环境，违反了稳定学习所需的平稳性假设。
可行性差距： 高层计划可能与战术现实脱节，因为它们缺乏关于底层策略执行质量的反馈。

本文认为，需要一种能够支持战略层与战术层之间双向耦合的框架，以管理信息不对称（全局 vs. 局部）和时间抽象（慢速 vs. 快速更新），同时确保理论上的收敛性。

2. 方法论：CHMAS 框架

作者提出了**耦合分层多智能体系统（CHOMAS）**框架，该框架将决策过程分解为一个中心化的战略层和一个具有双向信息流的分布式战术层。

A. 架构组件

战略层（低频）：
- 状态： 访问排他的全局环境状态（ $S_{env}$ ）以及所有智能体状态的组合（ $S_{str} = S_{env} \times \prod S_i$ ）。
- 动作： 每隔 $T$ 个时间步为每个智能体生成个性化的引导动作（ $a^{str}_i$ ）。这些动作在区间 $[kT, (k+1)T)$ 内持续有效。
- 奖励： 集成全局目标（ $R_{global}$ ）与通过耦合系数 $\lambda$ 加权的累积战术反馈。
- 策略： $\pi_{str}$ 将完整的状态观测映射到引导分布。
战术层（高频）：
- 状态： 智能体仅观察局部状态、邻居状态（通过通信图 $G$ ）以及当前的战略引导（ $o^{tac}_i$ ）。
- 动作： 基于增强的局部观测执行分布式策略（ $\pi^{tac}_i$ ）。
- 奖励： 包含战略目标但进行局部优化的局部奖励（ $R^{tac}_i$ ）。
- 转移： 在通信图上进行因子分解以保持可处理性。
双向耦合：
- 向下： 战略引导通过观测增强和奖励调制来塑造战术行为。
- 向上： 累积的战术奖励通过战略奖励函数中的耦合系数 $\lambda$ 影响战略目标：
  $R_{str} = R_{global} + \lambda \sum_{t,i} r^{tac}_{i,t}$
  这确保了战略计划始终基于战术可行性。

B. 异步分层策略梯度（AHPG）

为了解决非平稳性问题，本文引入了一种异步更新协议：

时间分离： 战略参数仅在每 $N_f$ 个战术回合后进行更新。在两次战略更新之间的 $N_f$ 个回合内，战术智能体在固定引导的平稳环境中运行，从而使其能够收敛到拟平稳点。
更新调度：
- 战术参数在每个回合使用局部梯度进行更新。
- 战略参数在每个周期结束时使用衰减步长（ $\eta_{str} \propto 1/\sqrt{k}$ ）进行更新。
信息流： 战略层维持对 $S_{env}$ 的排他性访问，作为一个信息瓶颈，从而实现可扩展的分布式执行。

3. 理论贡献

本文对所提出的框架进行了严谨的分析：

问题形式化： 将分层 MARL 问题形式化为一个具有双向耦合和信息不对称的双层优化程序。它提供了一个通用的形式化表达以及一个可处理的加法近似，其中全局目标是战略目标与战术目标的总和。
收敛保证： 在标准假设（平滑性、有界性、战术层的 Polyak-Łojasiewicz 条件以及 Lipschitz 耦合）下，作者证明了 AHPG 算法在经过 $K$ 次战略更新后，战略层的收敛率为 $O(\log K / \sqrt{K})$ 。
偏差处理： 分析明确考虑了使用未收敛的战术参数评估战略梯度的偏差，并表明由于异步更新调度，该偏差会随着学习的进行而消失。

4. 实验验证

该框架在 $25 \times 25$ 的 GridWorld 环境中，针对 4 个智能体的协作多智能体觅食任务进行了验证。

设置：
- 全局状态： 追踪单元格访问情况（ $S_{env}$ ）以衡量系统范围的覆盖率。
- 战略角色： 每 5 个时间步为每个智能体分配一个特定的 $9 \times 9$ 区域进行探索。
- 战术角色： 智能体在分配的区域内导航以收集资源（苹果），同时避免边界违规。
- 耦合： $\lambda = 0.5$ 平衡了全局覆盖奖励与局部收集奖励。
结果：
- 战术层： 智能体成功学习了高效的资源收集策略，同时遵守区域约束，其 Q 值趋于稳定，回报从 $\approx -80$ 提升至 $\approx -10$ 。
- 战略层： 异步更新允许战略层优化全局覆盖率，使回报从 $\approx -10$ 提升至 $\approx 15$ 。
- 行为： 训练后的模型展示了成功的空间划分行为，即智能体通过不重叠的区域对网格进行平铺，并根据未探索区域调整分配，验证了双向分层控制的有效性。

5. 重要性与主张

本文声称 CHMAS 提供了一种全新的架构范式，用于协调跨越多个时间尺度的智能体。其重要性在于：

双向反馈： 与传统的自上而下的层次结构不同，CHMAS 建立了一种反馈机制，即战术执行质量可以告知战略规划，从而确保可行性。
可扩展性： 通过保持分布式的战术执行，并将中心化计算限制在频率较低的战略层，该框架解决了维度灾难问题。
理论严谨性： 它首次为具有双向信息流的耦合分层 MARL 系统提供了严谨的收敛性分析，证明了异步更新下的稳定性。
原则性的约束处理： 该框架提供了一种处理约束强化学习的原则性方法，其中战略引导编码了全局约束，而战术反馈则通过 $\lambda$ 可调地确保局部可行性。

作者总结道，该框架成功学习了空间划分的探索策略，并且尽管存在分层耦合固有的非平稳性，两个层级都能稳定收敛。