⚡ electrical engineering

Byzantine-Resilient Federated Multi-Agent Optimization Framework for Cyber-Secure Interconnected Microgrids

本文提出了 BR-FedMAPPO，一种具有拜占庭容错能力的联邦多智能体强化学习框架，该框架通过结合隐私保护的模型分区、自适应隔离策略以及两阶段聚合规则，在保障互联微电网免受隐蔽式虚假数据注入攻击的同时，缓解网络威胁并维持成本效益型的调度。

原作者： Ali Peivand, Seyyed Mostafa Nosratabadi

发布于 2026-08-10

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Ali Peivand, Seyyed Mostafa Nosratabadi

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

不要把电网想象成一台巨大的、沉默的机器，而要把它想象成一座由被称为“微电网”的小型、独立社区组成的繁华城市。每个社区都有自己的发电机、电池和灯光，但它们都通过道路（输电线路）连接在一起，以便在一个社区电力不足时共享能源。在过去，这些社区是简单且封闭的。而今天，它们变得超级智能并接入了互联网，这使得它们能够相互交流并自动平衡电力。这虽然提高了效率，但也为数字窃贼打开了大门。这些窃贼并不使用撬棍破门，而是使用“隐蔽式虚假数据注入”攻击。这就像是一个黑客向交通摄像头低声说谎，让它以为道路畅通，而实际上路面已被封堵。因为这个谎言如此完美，以至于城市的安保系统（坏数据检测器）甚至没有察觉，导致交通（电力）最终引发了危险的碰撞。

为了阻止这些隐形的黑客，科学家们一直在尝试两种主要方法。首先，他们试图建造更好的锁（检测机制），但黑客总能找到新的开锁方式。其次，他们尝试使用“移动目标防御”，这就像是一场音乐椅游戏，规则不断变化，让黑色的黑客无法记住棋盘。然而，大多数此类解决方案都需要一个掌控一切的单一、全能的“大老板”来控制，这违反了各社区的隐私。他们不想向中央机构展示自己的秘密蓝图。本文提出了一个聪明的想法：一个团队，在从不向彼此展示秘密计划的情况下共同学习，同时还要足够聪明，能够忽略试图欺骗群体的邻居。

本文作者 Ali Peivand 和 Seyyed Mostafa Nosratabadi 提出了一个名为 BR-FedMAPPO 的系统。这个名字很拗口，但你可以把它理解为一个“拜占庭容错联邦多智能体”团队。“联邦化”（Federated）意味着社区共同学习，但保留各自的私有数据（例如电池的位置）；“多智能体”（Multi-Agent）意味着每个微电网都有自己的一个小机器人大脑（AI 智能体）在做决策；“拜占庭容错”（Byzantine-Resilient）是最酷的部分：这意味着系统可以处理叛徒。在这些社区的世界里，“拜占庭”故障是指一个社区被黑客入侵或陷入疯狂，试图向整个群体发送错误的指令来破坏聚会。该系统旨在识别出那个叛徒并忽略它，从而保护剩余团队的安全。

以下是他们的“超级团队”是如何运作的。与其只有一个大脑袋，不如每个微电网都有自己的局部大脑。这些大脑共享一个对世界的共同“理解”（共享编码器），但保留各自特定的“行动计划”（私有头部）作为秘密。通过这种方式，它们可以在不泄露独特布局的前提下，从彼此的经验中学习。这些机器人大脑拥有应对黑客的三重策略：

扭动导线：它们略微改变输电线的电阻（使用称为 D-FACTS 的设备），使电力地图不断发生偏移。
移动电池：它们改变社区电池充电或放电的速度，从而改变能量特征。
改变流量：它们调整发送给邻居的功率，从而扰乱黑客可能试图预测的任何模式。

如果黑客基于旧地图注入虚假数据，由于地图已经发生了变化，谎言会瞬间暴露。但如果黑客接管了一个社区的大脑，并试图毒害整个群体的学习过程呢？这就是“奖励加权”规则发挥作用的地方。中央服务器并不仅仅是平均分配每个社区的建议。相反，它会观察每个社区的表现。如果一个社区开始发出虚假警报（例如在没有攻击时大喊“有攻击！”）或表现异常，系统会自动降低其投票权重。这就像是一个小组项目，如果一名学生不断提交错误答案，老师就会停止将他的成绩计入最终得分。

研究人员在计算机模拟中使用两个著名的电网模型测试了这个想法：一个拥有 30 个连接点（节点）的小型模型和一个拥有 118 个节点的较大模型。他们模拟了一个黑客发起协同、隐蔽攻击的情景。结果非常理想。新系统成功阻止了黑客隐藏行踪，捕捉到了大约 95% 的协同式坏数据爆发。它还展示了系统如何处理试图干扰学习过程的“叛徒”社区，与标准方法相比，它将此类攻击造成的误差降低了惊人的 98.62%。

该系统最有趣的特性之一是“自适应孤岛化”。如果系统检测到某个社区确实已被攻破且威胁过大，它可以自动进行“孤岛化”。这就像是一个社区切断与其他社区的电力连接，以防止火势蔓延。论文显示，这一过程非常智能化；系统不会因为一点小故障就惊慌失措并切断电源。它会等到确定之后再行动，并且在切断连接时，仍能保持该社区自身的稳定。模拟表明，这种方法防止了混乱蔓延到相邻城镇，确保了它们的电压稳定和灯火通明。

论文还强调了一种权衡。虽然该系统在捕捉大型协同性谎言方面非常出色，但它对微小的随机噪声不太敏感。作者解释说，这是一种特性而非缺陷。如果系统试图捕捉每一个微小的闪失，它就会开始不必要地恐慌并切断电源，这既昂贵又令人恼火。相反，它专注于重大的威胁。模拟表明，这种方法在保持电网运行成本低廉的同时，也保证了安全性。例如，在小型测试系统中，与旧方法相比，新方法实际上将某些社区的运营成本降低了近 40%，证明了安全性并不一定意味着高昂的代价。

简而言之，这篇论文展示了一个智能、协作的电网防御系统模拟。它表明，通过让社区在不分享秘密的情况下共同学习，并建立起忽略“害群之马”的内置机制，我们可以创造出一个既保护隐私又极难被黑客攻击的电网。作者认为，这种“三重表面”防御——同时改变导线、电池和流量——使得黑客几乎不可能隐藏行踪。虽然这些结果目前仅为计算机模拟，但它们为我们如何保护未来互联互通的电力系统免受数字威胁提供了一个非常强大的蓝图。

技术摘要：面向网络安全互联微网的 BR-FedMAPPO

1. 问题陈述

配电网的快速数字化使互联微网（Microgrid, MG）集群转变为复杂的信息物理系统，极易受到**隐蔽性虚假数据注入攻击（Stealthy False Data Injection Attacks, S-FDIA）**的影响。与随机噪声不同，这类攻击经过精心设计，旨在通过操纵状态估计而不触发残差测试，从而绕过传统的坏数据检测器（Bad Data Detectors, BDDs）。在互联微网中，由于受损单元可能通过联络线和共享控制算法将受损测量值传播至其他单元，这一威胁被进一步放大。

现有的防御手段面临三个主要局限性：

集中式控制： 传统的移动目标防御（Moving Target Defense, MTD）策略通常依赖于集中式协调，这违反了多所有者微网集群的隐私约束。
静态防御： 经典的检测方案难以应对那些通过历史数据训练代理模型以绕过深度学习检测器的攻击者。
联邦学习漏洞： 虽然联邦学习（Federated Learning, FL）提供了隐私保护的协作方式，但标准的聚合规则（如 Federated Averaging）容易受到**拜占庭故障（Byzantine faults）**的影响，即单个受损参与者可能会破坏全局策略。此外，目前的联邦多智能体强化学习（Federated MARL）方法往往忽略了微网之间的物理耦合，且缺乏针对设备部署的结构化隐私机制。

2. 方法论：BR-FedMAPPO

本文提出了 BR-FedMAPPO，一种拜占庭容错的联邦多智能体近端策略优化框架。该系统将协同防御问题建模为一个部分可观测马尔可夫博弈，其中每个微网都托管一个本地的 Actor-Critic 智能体。

核心架构组件：

三层表面移动目标防御 (Triple-Surface MTD)： 动作空间被划分为三个物理控制表面，以动态改变攻击面：
1. 电抗控制： 通过扰动 D-FACTS 线路电抗来改变测量雅可比矩阵，使预先计算的攻击向量失效。
2. 储能调度： 重定向电池储能（BES）注入，以改变功率注入特征。
3. 微网间交换： 重塑联络线功率交换，以破坏准静态攻击者模型。
- 注：动作向量还包括一个连续的孤岛信号 ( $\alpha_{iso}$ )，通过迟滞规则触发二进制隔离状态，以防止级联故障。
具有结构化隐私的联邦架构：
- 共享编码器： 全局编码器 ( $\Phi$ ) 在所有微网之间进行联邦学习，以学习电网状态的共同表征。
- 私有头部： 每个微网保留私有的 Actor 和 Critic 头部 ( $\psi_i$ )。这种设计确保了没有任何微网会暴露其特定 D-FACTS 线路、BES 单元或联络线容量的数量、位置或配置，从而保护了结构化隐私。
拜占庭容错聚合：
- 服务器采用两阶段鲁棒聚合规则。
- 第一阶段： 采用坐标维度的 $\beta$ -修剪均值（ $\beta$ -trimmed-mean）过滤，以剔除极端异常值。
- 第二阶段： 一种新型的奖励加权聚合系数 ( $w_i$ )。该权重基于客户端的单回合奖励以及检测质量得分 ( $\eta_{q,i}$ ) 计算，后者结合了 F1 分数和假阳性率（FPR）。产生过多误报的客户端会被自动降权，从而防止其污染全局模型。
差分隐私 (Differential Privacy, DP)： 为了进一步保护隐私，在传输编码器更新之前，会对经过 $\ell_2$ 范数裁剪的更新添加高斯噪声。
自适应孤岛化： 在通过多统计量投票检测器发现关键破坏后，本地智能体会隔离该微网。迟滞机制强制执行最小保持时间 ( $T_{iso,min}$ ) 以防止快速切换振荡，同时应用比例负荷削减以维持局部功率平衡。

3. 主要贡献

本文确定了四个主要贡献：

拜占庭容错框架： 一个统一的框架，将三层表面 MTD（电抗、储能、交换）与自适应孤岛化集成在一起，专门为去中心化微网集群设计。
具有隐私性的联邦架构： 采用共享编码器/私有头部的设计，在实现协作学习的同时，保持了本地防御设备部署的结构化隐私。
奖励加权聚合规则： 一种新型聚合机制，能够惩罚导致误报或表现出受损行为的客户端，与标准的中位数或修剪均值过滤器相比，它在对抗模型投毒方面表现出更强的鲁棒性。
自主自适应隔离： 一种由多统计量检测器和迟滞控制驱动的智能孤岛化机制，能够在无需中央指令的情况下隔离威胁。

4. 实验结果

该框架在两个测试系统上进行了评估：一个由四个 IEEE 30 节点微网组成的互联集群，以及一个由四个 IEEE 118 节点微网组成的集群。

联邦 vs. 去中心化： 与去中心化基准相比，联邦方法在 118 节点系统中提高了 1.33 个百分点的平均召回率，在 30 节点系统中提高了 0.61 个百分点。至关重要的是，它展示了强大的跨微网泛化能力；当应用于从未训练过的微网时，FL 策略的召回率仅下降 0.89–1.61 个百分点，而去中心化策略的性能下降显著更高（1.17–5.36 个百分点）。
拜占庭容错性： 在严酷的投毒条件下（例如，偏差为基准 130 倍的缩放高斯攻击），标准聚合方法（FedAvg, Krum）失效或出现了巨大的误差。所提出的奖励加权规则实现了 98.62% 的聚合误差降低。
假阳性控制： 虽然标准的鲁棒过滤器（修剪均值、中位数）会激进地最大化真阳性，但也会推高假阳性率（FPR）。奖励加权规则显著抑制了误报（例如，在 118 节点系统中，相比于中位数的 914 个 FP，该规则仅产生了 520 个 FP），优先考虑系统稳定性。
攻击缓解： 该框架在所有微网中对隐蔽性 FDI 攻击实现了至少 95% 的突发召回率。MTD 机制成功迫使预先计算的攻击向量脱离了有效状态空间。
孤岛行为： 自适应孤岛化作为一种相关控制动作而非单纯的反射动作运行。在 118 节点系统中，77.8% 的孤岛事件与真实攻击同时发生。迟滞机制成功防止了快速切换，且相邻微网仅在 20.3% 的情况下发生协同孤岛，从而防止了级联故障。
成本影响： 与非联邦基准相比，该框架将运行成本增量降低了高达 39.33%（30 节点）和 12.34%（118 节点）。激活防御性隔离仅导致相邻网络的总运行成本增加了微不足道的 1.66%。

5. 意义与主张

本文声称 BR-FedMAPPO 通过在单一去中心化框架内统一结构化隐私、拜占庭容错和多表面物理防御，解决了网络物理安全领域的一个关键空白。

作者认为该框架具有重要意义，因为：

它超越了反应式检测，通过动态改变物理攻击面（雅可比矩阵）和控制拓扑，实现了主动防御。
它解决了多所有者微网中的隐私悖论，允许在不暴露敏感拓扑或设备配置的情况下进行协作学习。
它在联邦聚合中引入了行为反馈循环，服务器根据现实世界的检测质量动态调整客户端的影响力，从而有效地中和了恶意参与者，而无需复杂的密码学开销。
它证明了自适应孤岛化可以作为一种协同控制动作被学习，从而在不引起灾难性级联故障的前提下，遏制网络物理威胁，前提是采用了迟滞机制。

研究结论指出，虽然在真实攻击期间该框架会增加孤岛活动（这是一种必要的防御性支出），但它在检测精度与运行稳定性之间保持了高度的平衡，有效地中和了传统静态防御无法检测的隐蔽性漏洞。