Federated Learning Architecture: Data Privacy and System Security Approaches

技术摘要：结合同态加密与差分隐私的联邦学习架构

问题陈述
虽然联邦学习（FL）提供了一种在不集中原始数据的情况下训练机器学习模型的范式，但它仍然容易受到安全和隐私威胁的影响。具体而言，客户端与中央服务器之间传输的模型更新可能会被拦截，从而进行模型推理或数据重构攻击，这可能导致本地数据集的敏感信息泄露。此外，中央服务器本身也是单点故障。现有方法往往难以在严格的数据隐私需求与高模型准确率及计算效率的需求之间取得平衡，尤其是在医疗和金融等敏感领域。

方法论
本研究提出了一种集成了**同态加密（HE）和差分隐私（DP）**的混合联邦学习架构，用以保障训练过程的安全。

• 架构与加密： 系统采用了 CKKS (Cheon-Kim-Kim-Song) 同态加密方案。选择 CKKS 是因为它能够对加密的浮点数进行近似计算，这对于神经网络操作至关重要。在此工作流中，客户端在本地数据上进行训练。客户端在传输前使用 CKKS 对其模型更新进行加密，而不是发送明文权重。中央服务器使用 联邦平均（FedAvg） 算法聚合这些加密后的更新。聚合结果随后被解密以更新全局模型，确保服务器无法访问明文模型参数。

• 差分隐私： 为了防止从模型更新中提取个体信息，本研究在本地训练阶段采用了 DP 机制。通过使用 PrivacyEngine 库，向梯度中添加随机噪声。系统在 $(\epsilon, \delta)$-差分隐私约束下运行，特定参数设置为 $\sigma=5.0$（噪声乘数）、最大梯度范数为 $0.5$以及$\delta=10^{-5}$。

• 实验设置： 提出的架构在三个不同的数据集上进行了评估：

  1. Framingham 心脏研究： 用于心血管疾病预测（4,240 个样本）。
  2. Pima 印第安人糖尿病数据集 (PID)： 用于糖尿病预测（768 个样本）。
  3. 银行营销数据集 (Bank Marketing)： 用于客户订阅预测（41,188 个样本）。

  实验模拟了一个具有不同客户端数量（3、5 和 10 个）的去中心化环境。训练采用了一个包含三个全连接层（隐藏层分别为 256 和 128 个神经元）的多层人工神经网络（ANN），每轮进行 5 个本地轮次（epochs），共进行 10 个全局轮次（rounds）。

核心贡献

1. 集成安全框架： 本文展示了一个功能完备的联邦学习系统，该系统同时应用了基于 CKKS 的同态加密进行安全传输，以及基于 DP 的本地梯度保护。
2. 隐私-准确度权衡的实证分析： 研究详细分析了增加客户端数量和训练时长（轮数）如何影响隐私预算 ($\epsilon$)。研究观察到，随着客户端数量增加或数据集规模减小，由于每个客户端需要增加更多的噪声，隐私预算消耗得更快。
3. 性能评估： 研究量化了这些安全措施对不同数据分布和客户端数量下的模型性能（准确率、精确率、召回率、F1 分数）的影响。

实验结果

• 隐私预算 ($\epsilon$)： 研究发现客户端数量与隐私预算之间存在直接相关性。例如，在 Bank 数据集中，将客户端从 3 个增加到 10 个，导致第 10 轮的 $\epsilon$ 值几乎翻倍（从 0.3566 增加到 0.6785）。同样，在相同的客户端配置下，较小的数据集（如 PID）比较大的数据集（如 Bank）表现出更高的 $\epsilon$ 值，这表明数据异质性和样本量显著影响了隐私消耗。
• 模型准确率： 集成 DP 导致模型准确率较非隐私基准线出现了可衡量的、虽轻微但存在的下降。
  • Bank 数据集： 表现出最高的鲁棒性，使用 DP（3 个客户端）时的准确率为 81.85%，而未使用 DP 时为 86.20%。
  • PID 数据集： 降幅更为明显，使用 DP（3 个客户端）时为 72.00%，而未使用 DP 时为 75.00%。
  • Framingham 数据集： 使用 DP（3 个客户端）时的准确率为 69.92%，而未使用 DP 时为 71.47%。
• 权衡结论： 结果证实，虽然隐私保护技术会带来性能成本，但系统仍能保持有意义的准确度水平，特别是在像 Bank Marketing 这样的大型数据集上。

意义与主张
作者声称，该架构证明了在无需依赖集中化数据收集的情况下，在医疗和金融等敏感领域部署安全、隐私保护型人工智能的可行性。研究结论指出，虽然数据异质性和客户端数量会显著影响模型性能，但通过诸如仔细选择 DP 参数和使用更大规模的数据集等策略，可以减轻效率损失。

论文也谦逊地承认了其局限性，指出实验是在一个客户端数量较少（3、5、10 个）且本地数据集相对较大的模拟环境中进行的。作者表示，在拥有数千个客户端且本地数据稀疏的真实场景中，预计会出现性能退化。因此，本文将研究结果定位为基础性的一步，并指出未来的工作必须解决扩展性、通信效率以及先进聚合算法的问题，以充分实现大规模应用中隐私保护型联邦学习的潜力。