🤖 machine learning

Scalable Constrained Multi-Agent Reinforcement Learning via State Augmentation and Consensus for Separable Dynamics

本文提出了一种可扩展的分布式多智能体强化学习框架，该框架将状态增强策略学习与针对拉格朗日乘子的邻居间共识相结合，以在具有可分离动力学的系统中高效执行全局资源约束，从而实现了线性可扩展性以及在独立学习和集中式方法失效时仍能保证的可行性。

原作者： Santiago Amaya-Corredor, Miguel Calvo-Fullana, Anders Jonsson

发布于 2026-06-01

📖 1 分钟阅读☕ 轻松阅读

原作者： Santiago Amaya-Corredor, Miguel Calvo-Fullana, Anders Jonsson

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一个每个住户都拥有独立太阳能电池板和蓄电池，但所有住户都共享一条连接到主电网的脆弱输电线的社区。每个住户的目标都是通过使用廉价电力来节省开支，但社区有一个严格的规则：在任何时刻，从电网抽取的总电量不得超过特定的限制值，否则整个系统可能会崩溃。

本文介绍了一种让这些住户（智能体）学习如何管理能源的新方法，而无需一个中央“管理者”来指挥他们。

问题所在：“沉默”的失效

如果仅仅教导每个住户根据自身利益行事（省钱、使用电池），他们可能会在用电高峰期不小心同时尝试抽取大量电力。

作者发现了一个令人惊讶的现象：如果住户们尝试在不相互沟通的情况下独立学习，他们不仅无法实现协调，还会找到一种“投机取巧”的解决方案。为了避免违反电网规则，他们干脆完全停止用电。他们无限期地推迟所有的需求（比如永远不去给电动汽车充电或不开空调），这在技术上满足了规则，但却是一个毫无意义、失效的解决方案。他们无法弄清楚自己到底可以安全地使用多少电量，因为他们不知道邻居们在做什么。

解决方案：“耳语网络”

作者的解决方案包含两个巧妙的技巧：

“压力计”（状态增强）：
与其仅仅教导住户观察自己的电池电量，不如教导他们同时观察一个“压力计”（一个被称为拉格朗日乘子（Lagrange multiplier）的数值）。这个压力计会告诉住户：“嘿，电网变得拥挤了，你需要更加小心。”
- 类比： 想象一名司机如果只看车速表，可能会开得太快。但如果他还能看到一个显示“交通拥堵，请减速”的仪表盘，他就能动态地调整驾驶行为。住户学习的是一种“超级策略”，这种策略知道如何在任何交通压力水平下进行驾驶（使用能源）。
“耳语网络”（共识机制）：
住户们不需要一个中央计算机来计算总电网使用量。相反，他们只需要向身边的邻居“耳语”。
- 运作方式： 每个住户都有自己的“压力计”数值。每隔几秒钟，他们就会与邻居分享这个数值并取其平均值。如果你的邻居说电网压力很大，你就调高你的数值；如果他们说很平稳，你就调低数值。
- 神奇之处： 尽管他们只与邻居交流，但这种“耳语网络”能让整个社区达成一致，形成一个统一的、共享的压力计数值。这个共享的数值能准确告诉每个住户，他们可以安全使用多少电量以确保不超过全局限制。

为什么这意义重大

大多数现有的处理此类问题的方法，就像是在指挥一场管弦乐演出，指挥家（中央计算机）必须同时与每一位乐手交谈。随着乐手（智能体）数量的增加，指挥家会被压垮，系统也会随之崩溃。这些方法通常在智能体达到 20 到 50 个时就会失效。

作者的方法则像是玩“传声筒”游戏，每个人只需与身边的人交谈。

可扩展性： 因为他们只与邻居交流，所以该系统在处理 1,000 个住户时与处理 10 个住户时一样高效。运行系统所需的时间随规模线性增长（缓慢且稳定地增长），而不是指数级增长（爆炸式增长）。
效率： 他们只需要训练两种类型的策略（一种针对普通住户，一种针对需求量加倍的住户），然后将其应用于整个社区。他们不需要在每次增加新住户时都重新训练整个系统。

结果

当他们在智能电网模拟中进行测试时：

没有“耳语网络”时： 住户要么违反了电网规则，要么完全停止了用电（即出现了退化解）。
有了“耳语网络”后： 住户成功实现了协调。他们高效地利用电网，保持了低成本，并始终安全地保持在限值之下。
与“上帝模式”老板的对比： 他们将这种去中心化的方法与一个能够实时掌握每个住户精确动态的假设性中央计算机进行了对比。结果显示，这种去中心化的“耳语网络”表现几乎与这个完美的中央大脑完全一致，成本差异不到 0.1%。

总结

本文表明，对于那些智能体（如住户或电动汽车充电器）拥有独立生活但又共享共同资源限制的系统，你并不需要一个中央大脑。你只需要教会他们去适应“压力水平”，并让他们通过向邻居耳语来达成对该压力水平的共识。这使得成千上万个智能体能够在不导致系统崩溃的情况下实现完美协调。

技术摘要：通过状态增强与共识实现可扩展的受限多智能体强化学习

问题形式化

本文解决了在具有可分动力学（separable dynamics）但必须协作以满足全局资源约束的分布式系统中，**受限多智能点强化学习（CMARL）**所面临的挑战。具体而言，作者考虑了 $N$ 个智能体在马尔可夫博弈（Markov Game）中的设定，该设定具有以下结构性假设：

独立策略： 每个智能体仅根据其局部状态 $s_i$ 选择动作。
可分动力学： 一个智能体的动作不会影响其他智能体的状态转移（即 $P(s_{t+1}|s_t, a_t) = \prod P^i(s^i_{t+1}|s^i_t, a^i_t)$ ）。
可累加奖励： 全局奖励和约束都是个体局部奖励之和。

目标是在满足全局平均次要奖励 $r_1$ 的约束（即 $\sum_i V^i_1(\pi_i) \leq c$ ）的前提下，最大化主要奖励 $r_0$ 的长期平均值。虽然可分结构表明可以进行独立训练，但全局约束创造了一个协调挑战：在缺乏通信的情况下，独立的智能体无法确定合适的个体贡献量以满足集体限制，这往往会导致退化解（例如，为了平凡地满足约束而无限期推迟需求）。

方法论

所提出的方法结合了状态增强策略学习与对偶变量的分布式共识（distributed consensus over dual variables）。

1. 基于状态增强的离线独立训练

与其为固定的约束水平训练单独的策略，每个智能体学习一个单一的状态增强策略 $\pi_i(s_i, \lambda_i)$ ，其中局部对偶变量 $\lambda_i$ 被视为状态输入的一部分。

拉格朗日函数被分解为单个智能体组件： $\mathcal{L} = \sum_i [V^i_0(\pi_i) + \lambda_i (c/N - V^i_1(\pi_i))]$ 。
智能体使用标准的强化学习算法（如 PPO）进行独立训练，以最大化这种加权奖励。状态增强允许策略根据当前的约束压力（ $\lambda$ ）动态调整其行为。

2. 在线对偶共识

在执行阶段，智能体必须进行协作以确保满足全局约束。这通过对偶变量的分布式更新来实现：

局部梯度步骤： 每个智能体根据局部约束违反情况，对其局部拉格朗日函数执行梯度下降步骤，以更新其乘子 $\lambda_i$ 。
共识步骤： 智能体在通信图 $G$ 的直接邻居之间交换其局部乘子并进行平均。
更新规则： 更新规则结合了局部梯度下降与共识项：
$\lambda_i^{k+1} = \lambda_i^k - \alpha \nabla_{\lambda_i} \mathcal{L}_i - \epsilon (\lambda_i^k - \bar{\lambda}_i^k)$
其中 $\bar{\lambda}_i^k$ 是邻居乘子的平均值。这确保了所有智能体在无需中心化协调的情况下收敛到一个共享的对偶变量。

3. 理论保证

作者证明了在温和的连通性假设下：

有界共识误差： 智能体之间乘子的分歧是有界的，并且随着图连通性和共识轮数的增加而减少。
有界约束违反： 利用 Lipschitz 敏感性论证，他们表明有界的乘子分歧会转化为有界的约束违反。当共识轮数增加、步长减小或图连通性提高时，违反量趋于零。

核心贡献

用于 CMARL 的分布式共识机制： 本文将对拉格朗日乘子的分布式共识与状态增强的受限强化学习相结合。研究证明，轻量级的邻居间通信足以实现全局协调的约束执行，而无需中心化评论家（critic）或联合状态观测。
线性可扩展性： 通过利用问题可分性进行策略学习，并使用轻量级共识进行协调，该方法在训练和执行方面均实现了线性扩展。它成功处理了高达 1,000 个智能体的情况，而基于“中心化训练、分布式执行”（CTDE）的基准方法由于中心化评论家复杂度的二次方增长，通常仅限于数十个智能体。
共识的经验必要性： 在智能电网需求响应实验中，研究表明共识不仅是有益的，而且是实现可行性所必需的。如果没有共识，独立的智能体只能通过退化手段（无限期推迟需求）来满足约束，导致无法满足需求。通过引入共识，智能体能够收敛到一个共享的对偶变量，从而同时满足电网约束和需求履行。

实验结果

该方法在涉及带有太阳能和电池储能系统的建筑物的智能电网需求响应任务上进行了验证。

可行性 vs. 退化： 在消融实验中，没有共识的智能体仅通过无限期推迟需求来满足电网容量约束，这导致了无限的未满足需求。通过共识，智能体实现了稳定且可行的解决方案。
状态增强的必要性： 使用固定拉格朗日乘子（不带状态增强）训练的策略被证明是脆弱的；在测试的 414 种固定乘子配置中，仅有 7 种能产生可行行为。状态增强方法在所有约束水平下都表现出了泛化能力。
与基准方法的比较： 与依赖中心化评论家的最先进 MARL 基准方法（MAPPO, MADDPG, MASAC, ISAC）相比，所提方法在实现同等或更好约束满足效果的同时，显著降低了计算开销。
与中心化 Oracle 的比较： 该分布式方法与“中心化 Oracle”（拥有完美全局信息）进行了比较。分布式方法相对于 Oracle 的成本差距仅为 < 0.2%（具体为 +0.086%），证明了在这种设定下去中心化带来的性能损失微乎其微。
可扩展性： 系统线性扩展至 1,000 个智能体。训练成本相对于智能体数量为 $O(1)$ （仅需为两种智能体类型训练两个策略），而执行时间随规模线性扩展。

意义与主张

本文旨在为大规模基础设施管理问题（如智能电网、电动汽车充电、车队管理）提供一个实用的框架，在这些问题中，智能体具有解耦的动力学但共享资源预算。

可扩展性： 主要意义在于能够协调数千个智能体并保持有界的约束违反保证，这一规模是目前的 CTDE 方法无法达到的。
可行性： 该工作确立了共识协调对于将独立训练的策略转化为集体可行解的重要性，防止了智能体寻找满足约束的平凡退化解。
适度的最优性主张： 作者明确指出，与中心化 Oracle 的近乎等效是一个经验观察，特指智能电网测试场景，而非通用的最优性保证。其理论分析界定了共识误差和可行性裕度，但并未针对一般情况提供完整的原问题最优性保证。
局限性： 该方法受限于具有可分动力学和可累加奖励的问题。它不适用于具有耦合动力学（如多机器人操作或交通拥堵）的场景，在这些场景中，智能体的状态转移会直接影响彼此。