🤖 machine learning

Constraint-Aware Aggregation for Federated Reinforcement Learning in Microgrid Energy Coordination

本文提出了一种用于联邦强化学习的轻量级、基于惩罚项的聚合规则，该规则将估计的约束违反情况纳入服务端更新中，并在合成数据集和真实数据集的微网能量协调任务中，展示了其相对于 FedAvg 等标准方法在安全性与奖励权衡方面的优越性。

原作者： Usman Haider, Karl Mason

发布于 2026-07-15

📖 1 分钟阅读☕ 轻松阅读

原作者： Usman Haider, Karl Mason

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一个每个住户都配备了智能电池和灵活家电（例如可以在电价便宜时运行的洗衣机）的社区。目标是让所有住户协同工作以节省开支，同时又不会使连接到主电网的单条输电线路过载。如果总用电量过高，线路就会跳闸，导致所有人停电。这就是“微电网”（Microgrid）问题。

通常情况下，我们会有一个中央管理者（服务器）来指挥所有人。但在现实世界中，住户并不希望向陌生人分享自己的私人能源数据。因此，他们使用了一种巧妙的技巧，叫做联邦强化学习（Federated Reinforcement Learning）。这就像一群学生在独立进行测试，然后只将他们的最终答案（而不是草稿纸上的演算过程）发送给老师，由老师将这些答案组合起来，为下一轮制定一个更好的“班级平均”答案。

问题所在：“天真”的老师

这种组合学生答案的标准方式被称为 FedAvg（联邦平均）。这就像老师说：“我直接取所有人的分数平均值，并假设那就是最好的策略。”

但问题在于，在这次能源游戏中，一名学生可能会通过一些冒险的行为（比如在所有人都在充电的同一时刻也进行充电）来获得高分（节省大量资金）。在局部看来，这个学生是个天才。但当老师将这个“天才”的举动与其他人进行平均时，整个社区会突然尝试同时充电，从而烧断共享输电线路的保险丝。标准的老师并不会检查这个“天才”的举动是否违反了规则；他们只是将其纳入平均值中。

解决方案：“安全第一”的老师

本文的作者提出了一种新型的老师，他使用约束感知聚合（Constraint-Aware Aggregation）。这位老师不再仅仅关注谁的分数最高，而是会对每位学生提出两个问题：

你节省了多少钱？（奖励/Reward）
你对引发保险丝熔断的风险贡献了多少？（违规/Violation）

他们引入了一个简单的规则：基于惩罚的聚合（Penalty-based Aggregation）。可以把它想象成一个计分卡，老师会针对学生每一次冒险行为导致的电网风险扣除分数。其公式大致为：
最终权重 =（节省的金额）−（风险惩罚）

如果一名学生节省了大量资金但造成了巨大的风险，那么他们的“权重”就会下降，他们的策略就会被忽略。如果他们既省钱又安全，他们的策略就会被放大。

实验：奶牛场测试

为了测试这种方法，研究人员构建了一个名为 DairyGridEnv 的视频游戏。想象有 5 个奶牛场（智能体）通过一条容量限制为 12（归一化单位）的单条输电线路连接在一起。

目标： 每个奶牛场控制一个电池进行充放电。
转折点： 他们只能看到自己奶牛场的数据，看不到其他人的数据。
约束条件： 5 个奶牛场合并后的总功率消耗不得超过 12。如果超过，则会发生“违规”。

他们运行了 30 轮 通信模拟，测试了 5 个不同的随机种子（起始点），以确保结果并非偶然。他们还使用来自芬兰和德国农场的真实电力数据测试了这些规则，以观察游戏逻辑在复杂的现实世界中是否依然成立。

结果：安全至上

实验结果在模拟和真实数据中都表现得清晰且一致：

旧方法 (FedAvg)： 平均违规次数为 9.77。奶牛场不断导致电网跳闸。
新方法 (基于惩罚)： 平均违规次数降至 0.90。这是一个巨大的进步！
得分： 不仅新方法阻止了电网跳闸，它实际上还帮助奶牛场节省了更多的资金。平均奖励（即负成本，越接近零越好）从旧方法的 −50.71 提升到了新方法的 −16.06。

他们还尝试了一种更复杂的“组合聚合”（Combined Aggregation）方法，该方法使用一个调节旋钮（称为 λ）来平衡安全与奖励。虽然他们发现了一个甜点值（在 λ = 1.5 时，违规次数为 0.90，奖励为 −15.99），但这种方法“稳定性较差”。有时效果很好，有时却表现不佳。简单的“惩罚”规则是最可靠的。

他们排除了什么

论文明确反对了“需要复杂、重型数学工具来解决问题”的观点。

他们没有使用“对偶优化”（一种同时处理两个不同目标的复杂数学技术）。
他们没有改变奶牛场的局部学习方式。奶牛场仍然使用相同的标准训练方法（PPO）。
他们没有要求奶牛场分享其私密数据或完整的行动历史。他们只分享了两个微小的数字：他们的总分和总风险。然而，为了计算每个奶牛场的“风险”（违规情况），系统需要进行一次同步运行，即服务器需要同时看到所有奶牛场的综合行动，以确定是否突破了总限制。

他们有多确定？

作者对这些发现非常有信心，但也设定了一个特定的边界：

在模拟中得到证实： 结果是基于 DairyGridEnv 模拟器和输入到该模拟器中的真实数据得出的。
具有统计学意义： 他们进行了统计检验（如 t 检验），发现这种改进是真实的，而非随机偶然（奖励的 p 值为 0.0126，违规情况的 p 值为 0.0103）。
并非万能灵药： 他们指出，虽然他们的方法很棒，但一个“中心化”的老师（能看到一切的老师）表现仍然略好（违规次数接近于零）。这表明主要挑战在于问题的“去中心化”性质，而非控制任务本身。

总结

论文表明，你不需要彻底改造整个系统，就能让联邦强化学习在能源电网中变得安全。你只需要改变服务器组合答案的方式。通过简单地在混合策略的数学运算中加入一个“安全惩罚”，你就可以在保持赚钱能力的同时，防止电网跳闸。这是一种轻量级的、仅在服务端进行的修复，既保持了隐私，又保证了电力供应。

技术摘要：面向微网能源协调的约束感知联邦强化学习聚合方法

问题陈述

分布式能源（DERs），例如农场级电池，正越来越多地部署在农业微网中，以优化成本和韧性。然而，这些系统面临着一个受限的协调问题：虽然单个农场在优化其本地能源使用，但它们的集体行为可能会违反共享的全局基础设施限制（例如馈线容量）。

标准的强化学习（RL）方法通常依赖于具有全局数据访问权限的集中式训练，这在分布式环境中由于隐私、所有权和通信限制而变得不切实际。联邦强化学习（FedRL）提供了一种去中心化的替代方案，其中智能体进行本地训练并共享模型参数。然而，现有的 FedRL 聚合策略（如联邦平均 FedAvg）对所有客户端更新进行统一处理。它们未能考虑到特定客户端的策略是否不成比例地导致了全局约束违规。因此，朴素的聚合可能导致不安全的全局行为，其中高额的本地奖励掩盖了系统性的安全风险。

方法论

作者提出了一种约束感知聚合框架，该框架修改了服务端更新过程，而不改变本地训练目标或要求共享原始轨迹。

1. 环境：DairyGridEnv
本研究引入了 DairyGridEnv，这是一个用于受限联邦控制的基准测试。它模拟了 $N=5$ 个连接到共享电网（容量限制为 $L$ ）的农场。

本地观测： 每个智能体观测随时间变化的电价、其电池荷电状态（SOC）以及本地需求。
动作： 智能体控制连续的电池充放电速率。
全局约束： 如果所有智能体的净电网贡献之和超过馈线容量，则发生违规。
数据来源： 实验利用了合成随机需求过程以及来自芬兰（农场负荷、光伏、风能）和德国 FIELD 数据集（30 个农场，1 秒分辨率）的真实世界负荷剖面。

2. 聚合机制
服务器不再采用标准平均法，而是根据每个客户端在展开（rollout）后报告的两个轻量级标量摘要来计算聚合权重 ( $w_i$ )：

$R_i$ ：平均本地奖励。
$V_i$ ：归因于该客户端的估计约束违规量。

违规归因是一种启发式方法： $V^t_i = \text{viol}_t \cdot \frac{g^t_i}{\sum g^t_j}$ ，其中 $g^t_i$ 是智能体的净电网贡献。这使得服务器能够在没有完整轨迹可见性的情况下分配责任。

3. 评估的聚合规则
论文评估了几种加权策略：

基于性能： $w_i \propto e^{R_i}$
基于违规： $w_i \propto \frac{1}{1+V_i}$
组合型： $w_i \propto \frac{e^{R_i}}{1+\lambda e^{V_i}}$ （引入了一个可调的权衡参数 $\lambda$ ）
基于惩罚（提出的方法）： $w_i \propto \max(\epsilon, R_i - \alpha V_i - \min_j(R_j - \alpha V_j))$ $w_{i} \propto max (ϵ, R_{i} - α V_{i} - min_{j} (R_{j} - α V_{j}))$
- 该规则通过惩罚项 $\alpha V_i$ 直接在性能和安全性之间进行权衡。它不需要对偶优化变量，也不需要修改本地 PPO 算法。

主要贡献

框架提议： 一个用于 FedRL 的约束感知聚合框架，它通过重新加权服务端更新来利用奖励和违规摘要，同时保持标准的通信协议和本地学习程序。
基准引入： 创建了 DairyGridEnv，并将评估扩展到来自芬兰和德国的真实农场负荷数据集，以测试其在合成设置之外的泛化能力。
实证演示： 证据表明，一种简单的基于惩罚的聚合规则（ $w_i \propto R_i - \alpha V_i$ ）能够提供比 FedAvg 和其他聚合策略更优且更稳定的奖励与安全性权衡。
设计洞察： 研究发现，聚合设计是确保联邦 RL 安全性的关键杠杆，能够在不修改本地训练或显著增加通信开销的情况下提高经验安全性。

结果

实验在 30 个通信轮次和 5 个种子下进行，将所提方法与 FedAvg 和集中式 PPO 基准进行了比较。

合成基准： 基于惩罚的聚合实现了最佳的整体权衡。相对于 FedAvg，它将平均违规量从 9.77 降至 0.90，同时将平均奖励从 -50.71 提升至 -16.06。它在奖励和安全性指标方面始终优于 FedAvg、基于性能加权和基于违规加权的聚合。
真实世界数据： 这种优势在实测负荷驱动的设置中依然存在。
- 芬兰剖面： 将平均违规量从 12.90 (FedAvg) 降低到 2.26。
- 德国 FIELD 剖面： 将平均违规量从 0.92 (FedAvg) 降低至 0.00，有效地消除了违规。
稳定性： 虽然“组合型”规则（带有调优后的 $\lambda$ ）可以实现低违规，但与基于惩罚的方法相比，它在不同种子间表现出更高的方差。
集中式基准： 集中式 PPO 实现了接近零的违规，这突显了在联邦设置中的主要挑战在于如何在去中心化更新下强制执行约束，而非控制任务本身。

意义与主张

论文声称，将系统级约束直接纳入聚合步骤对于在安全关键型能源系统中部署 FedRL 至关重要。作者强调，他们的方法是轻量级的：它增加的通信成本微乎其微（仅需标量摘要），并且不需要修改本地策略优化或进行对偶变量交换。

结果表明，简单的服务端聚合策略可以显著提高联邦强化学习中的经验安全性。基于惩罚的规则被强调为一种鲁棒且可调的机制，它在无需复杂的对偶优化或面对组合型奖励-违规方案的不稳定性时，能够平衡性能与安全性。这项工作将聚合设计定位为确保分布式能源协调安全性的一个关键且常被忽视的组成部分。