技术摘要：具有可学习聚合权重的拜占庭鲁棒联邦学习

问题陈述

联邦学习（FL）允许多个客户端在不共享私有数据的情况下协同训练全局模型。然而，该系统容易受到拜占庭客户端的攻击——这些恶意行为者提交任意或损坏的模型更新以破坏全局模型。在数据分布在客户端间差异显著的异构环境中，这一挑战尤为严峻。在此类场景中，区分受数据异构性影响的良性更新与恶意更新十分困难。

现有的拜占庭鲁棒联邦学习方法通常遵循两步流程：首先识别并移除恶意客户端，然后对剩余的良性客户端分配均匀的聚合权重。作者认为，这种均匀加权方法在异构环境中并非最优。在移除恶意客户端后，剩余的良性客户端仍可能表现出数据分布的不平衡（例如，缺失某些标签）。分配均匀权重无法适应这种不平衡，可能因未能充分优先考虑代表性不足的类别而降低模型精度。

方法论

本文提出了FedLAW（具有可学习聚合权重的联邦学习），这是一个新颖的框架，将聚合权重视为可学习参数，而非固定值或简单的后过滤分配。

1. 问题表述

作者将联邦学习目标表述为关于全局模型参数 $\theta$ 和聚合权重 $w$ 的联合优化问题：
$$\min_{\theta \in \mathbb{R}^d, w \in \Delta^+_{t,\ell_0}} \sum_{i=1}^n w_i f_i(\theta)$$
其中 $f_i(\theta)$ 是客户端 $i$ 的损失函数。权重向量 $w$ 被约束在稀疏单位截断单纯形 $\Delta^+_{t,\ell_0}$ 上，其定义为：

• $\sum w_i = 1$ 且 $w_i \geq 0$（标准单纯形约束）。
• $w_i \leq t$（限制单个客户端的影响力）。
• $\|w\|_0 \leq s$（稀疏性约束，限制非零权重的数量）。

通过设定 $t = 1/(n - b_f)$ 和 $s = n - b_f$（其中 $b_f$ 是拜占庭客户端的数量），可行区域强制排除多达 $b_f$ 个客户端（将其权重设为零），同时将剩余权重均匀分配给选定的 $n - b_f$ 个客户端。这将“检测并移除”的二元问题转化为连续优化问题。

2. 提出的算法

为了解决这种非凸联合优化问题，作者开发了一种基于嵌套优化结构的交替最小化算法（算法 2）：

1. 内步（模型更新）： 对于固定的权重 $w$，服务器用二次代理函数近似客户端损失函数，并计算模型更新 $\theta_{k+1}(w) = \theta_k - \alpha G_k w$，其中 $G_k$ 包含客户端梯度。
2. 外步（权重更新）： 对于更新后的模型，算法优化权重 $w$ 以最小化全局目标。此步骤涉及最小化关于 $w$ 的目标函数的二次近似，随后将其投影到稀疏单位截断单纯形上。

权重更新利用了损失信息（以检测数据投毒）和梯度对齐（以检测模型投毒/逆梯度攻击）。其梯度偏离良性客户端相干簇的恶意客户端，会因稀疏性约束而被自然降权或排除。

3. 通信协议

该算法每个训练轮次需要两次通信回合：

1. 服务器广播 $\theta_k$；客户端返回梯度和损失。
2. 服务器计算临时更新 $\tilde{\theta}_{k+1}$ 并广播，客户端返回更新后的梯度和损失，以计算最终的权重更新和下一个模型状态。
   作者指出，虽然这增加了一轮通信，但全局模型加速收敛往往抵消了这一成本，导致达到目标精度所需的总通信轮次相当或更少。

主要贡献

1. 新颖的优化表述： 本文引入了一个联合优化框架，其中聚合权重是可学习参数，将拜占庭防御直接嵌入学习目标，而非将其视为单独的过滤步骤。
2. 算法开发： 提出了一种交替最小化算法，并针对稀疏单位截断单纯形设计了特定的投影算子，确保高效计算鲁棒权重。
3. 理论保证：
   • 拜占庭鲁棒性： 定理 2 证明所提出的聚合器以高概率具有 $(\zeta, b_f)$-拜占庭鲁棒性，提供了显式的误差界，该误差界分解为损失异构性、梯度异构性和采样噪声等来源。
   • 收敛性： 定理 3 证明该算法在非凸和强凸设置下均收敛至最优解的邻域，且误差半径随攻击者的影响力缩放。
4. 实证验证： 在 MNIST 和 CIFAR-10 数据集上，针对五种攻击类型（标签翻转、逆梯度、后门、双重攻击和 LIE）及不同程度的数据异构性进行了广泛实验，证明了该方法的优越性。

实验结果

作者在多种场景下将 FedLAW 与最先进的基础方法（Krum、Trimmed Mean、Bulyan、CwMed、RFA、CClip、Huber Aggregator）进行了评估：

• 性能： FedLAW 始终优于现有方法，特别是在高异构性（$q=0.9$）和高恶意比例（高达 40%）的设置下。例如，在 MNIST 上针对 40% 恶意客户端的逆梯度攻击中，FedLAW 的测试准确率比次优防御高出 3.6%。
• 稳定性： 与其他在严重攻击下（如双重攻击或高 LIE 比例）出现发散或精度急剧下降的方法不同，FedLAW 保持了鲁棒的性能，并实现了优雅降级。
• 权重动态： 可视化显示，良性客户端迅速收敛到稳定的非平凡权重，而恶意客户端在前 20 个轮次内被一致抑制至接近零的权重。
• 检测： 该方法在识别恶意客户端方面表现出高精确率和召回率，有效中和了数据投毒和模型投毒攻击。

意义与主张

本文主张，FedLAW 通过解决异构环境中均匀加权的局限性，代表了安全联邦学习的重要进展。通过将自适应加权整合到学习过程中，该方法实现了：

• 增强的鲁棒性： 无需预先知道攻击者数量或复杂的预过滤机制，即可有效中和恶意客户端。
• 公平性与适应性： 它自适应地平衡良性客户端的贡献，确保数据异构性不会导致特定数据分布被忽视。
• 理论严谨性： 该工作提供了严格的收敛性和鲁棒性保证，将聚合器的静态鲁棒性与学习算法的动态稳定性联系起来。

作者总结道，他们的研究结果突显了将自适应聚合整合到学习过程中的优势，为在现实世界、异构和对抗性环境中部署更安全、更公平的联邦学习铺平了道路。