💻 computer science

FLRSP: Privacy-Preserving Federated Learning Using Randomly Selected Model Parameters

本文提出 FLRSP，一种隐私保护的联邦学习方法，该方法随机选择模型参数进行全局更新，在不妨碍性能的前提下实现了高图像分类准确率和抗攻击鲁棒性。

原作者： Hiroto Sawada, Shoko Imaizumi, Hitoshi Kiya

发布于 2026-05-05

📖 1 分钟阅读☕ 轻松阅读

原作者： Hiroto Sawada, Shoko Imaizumi, Hitoshi Kiya

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是用通俗语言和日常类比对论文《FLRSP：基于随机选择模型参数的隐私保护联邦学习》的解释。

大局观：“小组作业”难题

想象有一群学生（客户端）想要共同构建一个超级聪明的机器人（深度神经网络）来识别图片。他们各自拥有私密的相册（敏感数据），不想与任何人分享，甚至包括老师（中央服务器）。

在**联邦学习（FL）**中，学生们不是把照片发给老师，而是只发送他们“学到的笔记”（模型更新/梯度）。老师将这些笔记汇总以改进机器人，然后将改进后的机器人发回给学生。

问题所在： 即使他们没有发送照片，一个狡猾的黑客（或爱打听的同学）有时也能通过查看这些“笔记”，在数学上逆向推导出原始照片。这就像看着厨师的购物清单，就能完美猜出秘密家庭食谱，甚至直接看到锅里的食材。

解决方案：FLRSP（“随机碎纸机”）

作者提出了一种新方法，称为FLRSP（基于随机选择模型参数的联邦学习）。

将 FLRSP 想象成学生笔记的随机碎纸机。

旧方法： 每个学生发送他们的全套笔记给老师。如果黑客截获了这些，他们就拥有了完整画面，可以重建原始照片。
FLRSP 方法： 在学生发送笔记之前，他们随机取一把剪刀，剪掉（或将）随机选择的一部分笔记置零。
- 如果学生决定隐藏 20% 的笔记（ $R=0.2$ ），他们就发送 80%。
- 如果决定隐藏 80% 的笔记（ $R=0.8$ ），他们就只发送 20%。
- 关键在于： 每个学生剪掉的是笔记中不同的部分，并且每次发送笔记时，他们都会改变隐藏的部分。

工作原理（类比）

想象这些“笔记”是一个代表机器人大脑的巨大拼图。

标准联邦学习： 你把整个拼图发给老师。黑客可以查看这些碎片，推断出拼图盒上的图案是什么。
FLRSP： 你发送拼图，但你随机移除了 50% 的碎片，并用空白方块替换了它们。
- 老师的任务： 老师收到来自 5 个不同学生的拼图。学生 A 缺失左上角；学生 B 缺失右下角；学生 C 缺失中间部分。当老师将它们组合时，一个学生缺失的碎片会被另一个学生的碎片填补。老师仍然可以构建出一个完整且能工作的机器人！
- 黑客的任务： 黑客试图仅从一个学生的碎纸笔记中重建原始照片。由于缺失了太多碎片（并被空白替换），黑客的数学推导失效了。他们再也无法在照片中看到人脸；那看起来只是静态噪点。

论文发现

研究人员在两种类型的“机器人”（AI 模型）上测试了这一想法：

ViT（视觉 Transformer）： 一种现代高科技机器人。
ResNet34： 一种经典可靠的机器人。

他们针对两种类型的黑客进行了测试：

“APRIL"黑客： 专门破解现代机器人（ViT）。
“对抗优化”黑客： 通用型黑客，试图从经典机器人（ResNet）重建图像。

结果：

准确性： 机器人仍然几乎完美地学习。即使学生隐藏了大量笔记（高达 80%），老师仍然可以训练出一个识别图片效果与标准方法一样好的机器人。
隐私性： 黑客失败了。当他们试图从“碎纸”笔记中重建照片时，生成的图像变得模糊且无法辨认。 “结构相似性”（伪造照片与真实照片的相似程度）降至接近零。
对比： 其他方法（如在笔记中添加“噪声”，即差分隐私）为了让数据更难被窥探，导致机器人变“笨”（准确性降低）。FLRSP 既保持了机器人的聪明，又确保了其安全性。

为何此法特殊

适用于所有人： 之前的“碎纸”方法仅适用于现代机器人（ViT）。FLRSP 既适用于现代机器人，也适用于经典机器人。
动态性： 与其他永久隐藏笔记某些部分（如“冻结权重”）的方法不同，FLRSP 每次都会改变哪些部分被隐藏。这确保了老师最终能看到拼图的每一块，只是不会从任何单个学生那里一次性看到所有部分。

总结

FLRSP 是一个巧妙的技巧：小组作业中的学生在提交作业前，随机隐藏部分作业内容。老师仍然可以批改全班作业并改进最终项目，因为一个学生缺失的部分会被其他人覆盖。但是，试图从单个学生那里窃取作业的间谍只能得到一堆空白页，使得窃取秘密食谱变得不可能。

技术摘要：FLRSP——基于随机选择模型参数的隐私保护联邦学习

1. 问题陈述

训练高质量的深度神经网络（DNN）通常需要海量数据，这些数据往往包含敏感或个人信息。虽然联邦学习（FL）允许多个客户端在不共享原始数据的情况下协同训练模型，但它仍然容易受到隐私攻击。具体而言，攻击者可以利用注意力隐私泄露（APRIL）攻击（针对 Vision Transformers，ViT）和对抗优化攻击（针对卷积神经网络，CNN）等技术，从共享的模型更新（梯度或权重）中重建原始训练数据。

现有的安全增强方法面临显著局限：

差分隐私（DP）： 通过向更新添加噪声来抵御攻击，但不可避免地会降低模型精度。
固定位置方法： 通过将位置嵌入更新置零，对 ViT 有效，但在模型从头训练时（因为所有层都需要更新）会失效，且不适用于 CNN。
先前的随机选择概念： 关于随机选择梯度的先前工作仅限于 ViT 架构和联邦随机梯度下降（FedSGD）算法。

核心挑战在于开发一种隐私保护的联邦学习方法，使其在不牺牲分类精度的前提下，能够针对不同的架构（ViT 和 CNN）和算法（FedSGD 和 FedAvg），抵御最先进的图像恢复攻击。

2. 方法论：FLRSP

作者提出了基于随机选择模型参数的联邦学习（FLRSP）。在该框架中，每个客户端随机选择一组模型参数（FedSGD 中的梯度或 FedAvg 中的权重）与中央服务器共享，同时将未选中的参数替换为零值。

核心机制

随机选择： 在传输之前，每个客户端将二元随机序列 $B_{n,k,i}^l \in \{0, 1\}$ $B_{n, k, i}^{l} \in {0, 1}$ 应用于模型参数 $\theta_{n,k,i}^l$ $θ_{n, k, i}^{l}$ （或权重 $W_{n,k,i}^m$ $W_{n, k, i}^{m}$ ）。
- 如果 $B=1$ ，则共享该参数。
- 如果 $B=0$ ，则将该参数设为零。
- 零值出现的概率记为 $R$ 。
服务器聚合： 中央服务器聚合接收到的更新。关键在于，聚合公式考虑了随机选择引入的稀疏性。对于 FedSGD，全局模型更新 $w_{k,i}^{l+1}$ 计算如下：
$w_{k,i}^{l+1} = w_{k,i}^l - \eta \frac{\sum_{n=1}^N \bar{\theta}_{n,k,i}^l}{\sum_{n=1}^N B_{n,k,i}^l}$
（如果分母为零，则参数保持不变）。这确保了全局模型仅使用非零梯度进行更新，从而有效地根据参与参数的数量对学习率进行归一化。
动态序列： 与“冻结权重”方法（永久排除特定层）不同，FLRSP 在每个轮次（FedAvg 中）或每个批次（FedSGD 中）使用不同的随机序列。这确保了所有参数最终都会随时间得到更新，防止永久性信息丢失。

理论基础

本文提供了收敛性分析，表明 FLRSP 保持了与标准联邦学习相似的稳定收敛特性。有效学习率通过因子 $(1 - RN) $进行调整，其中$ N$ 是客户端数量。由于学习率保持为正，该方法在数学上被证明是收敛的。

3. 主要贡献

本文概述了三项主要贡献：

新颖的联邦学习方法： 一种通过随机选择本地服务器计算的全局模型参数来防御攻击的新方法，适用于 ViT 和 CNN 架构。
泛化能力： 将随机选择概念（此前仅限于 ViT 和 FedSGD）扩展至包含 FedAvg 和 ResNet 架构。
实证验证： 全面的实验表明，FLRSP 在抵御攻击的鲁棒性和分类精度方面均优于最先进的方法（特别是差分隐私和固定位置方法）。

4. 实验结果

实验在 CIFAR-10 数据集上进行，使用了 ViT (vit_small_patch16_224) 和 ResNet34 模型，并在 FedSGD 和 FedAvg 协议下运行。

分类精度

ViT： FLRSP 在微调预训练模型和从头训练模型中均保持了与标准联邦学习相当的精度。相比之下，固定位置方法在从头训练时精度显著下降，因为它阻止了位置嵌入层的更新。
ResNet： FLRSP 在各种 $R$ 值（0.2、0.5、0.8）下均实现了高精度。虽然差分隐私（DP）随着隐私强度（ $\epsilon$ ）的增加而显示精度下降，但 FLRSP 保持了接近基线的性能。
非独立同分布（Non-I.I.D.）数据： 在异构数据分布（Dirichlet 分布， $\alpha=0.1$ ）下，FLRSP 保持了比 DP 更高的精度。

抗攻击鲁棒性

该研究使用原始图像与恢复图像之间的结构相似性指数（SSIM）评估了对两种最先进攻击的抵抗力：

APRIL（ViT）： 标准联邦学习允许完全视觉重建。FLRSP（即使 $R=0.2$ ）有效阻止了重建，实现了与固定位置方法相当的鲁棒性。
对抗优化（CNN）： 标准联邦学习和 DP（即使 $\epsilon$ 较低）允许显著的图像恢复（SSIM 值通常 > 0.6）。FLRSP 大幅降低了 SSIM 值（通常 < 0.1），使得视觉重建几乎不可能。
比较： FLRSP 始终比 DP 实现更低的 SSIM 值（表明更好的隐私性），同时保持更高的分类精度。

5. 意义与主张

本文声称，FLRSP 成功解决了联邦学习中隐私与效用之间的权衡问题。通过随机选择参数，该方法破坏了基于梯度的图像恢复攻击所需的数学方程（具体而言，打破了对抗优化中的余弦相似性以及 APRIL 中的闭式方程）。

作者强调，FLRSP 是一种可泛化的解决方案，适用于任意模型（包括 ViT 和 ResNet）和算法（FedSGD 和 FedAvg）。与那些要么降低精度（DP）要么特定于架构（固定位置）的先前方法不同，FLRSP 提供了一种能够保持模型性能的鲁棒防御机制。研究结论认为，FLRSP 是实际联邦学习场景中一种可行且有效的安全增强方法。