💻 computer science

Exploring CKKS Parameter Trade-offs for Privacy-Preserving Personalized Federated Learning

本文介绍了 pFedCKKS，这是一个将 CKKS 同态加密方案集成到个性化联邦学习中的框架，并首次为选择其参数以平衡隐私、精度和计算效率提供了系统的指导。

原作者： Kamolchanok Saengtong, Phanwadee Sinthong, Norrathep Rattanavipanon

发布于 2026-06-09

📖 1 分钟阅读☕ 轻松阅读

原作者： Kamolchanok Saengtong, Phanwadee Sinthong, Norrathep Rattanavipanon

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下有一群医生，他们分别在不同的医院工作，想要构建一个超级智能的 AI 来诊断疾病。他们都拥有各自的患者数据，但由于隐私法（如 GDPR）和伦理规则的限制，他们不能将患者的实际医疗记录发送到中央服务器。

联邦学习 (Federated Learning, FL) 是他们使用的解决方案：与其共享数据，不如共享从本地 AI 中学到的“教训”（模型更新）。然而，这里有一个陷阱：即使是这些“教训”，有时也可能被逆向工程，从而泄露私密的患者细节。

个性化联邦学习 (Personalized Federated Learning, PFL) 将这一步更进一步。在标准的 FL 中，所有人最终都会得到完全相同的 AI 模型。但在 PFL 中，每位医生都会获得一个专门针对其所在医院患者构成而定制的模型，同时又能从整个群体中学习。

问题所在：“诚实但好奇”的服务器

在这种设置中，有一个中央服务器负责协调训练。该论文假设这个服务器是“诚实但好奇”的。它遵守规则且不会窃取数据，但它确实很“好奇”。它可能会试图窥探医生发送的“教训”，以查明患者的私密细节。

解决方案：“魔法信封” (CKKS)

为了防止服务器窥探，作者引入了一种被称为 CKKS（一种同态加密技术）的“魔法信封”。

它是如何工作的： 想象你可以把一封信放入一个透明的锁定的箱子中。你可以在不打开箱子的情况下，对箱子“外部”进行数学运算（加法或乘法）。服务器会对这些锁定的箱子进行聚合。只有医生持有钥匙，可以打开最终的箱子并读取结果。
为什么选择 CKKS？ 大多数加密技术擅长处理整数（比如数苹果的数量），但 AI 模型使用的是小数（比如 3.14159）。CKKS 的特别之处在于，它可以在这些小数仍处于锁定状态时对其进行数学运算。

重大发现：“金发姑娘”式的平衡设置

该论文的主要贡献在于弄清楚了如何配置这些“魔法信封”。作者发现，“锁”的大小（称为 primes/素数）会产生一种权衡：

小锁： 上锁/解锁速度快，通过互联网传输的数据量小，但内部的数学运算会变得“模糊”（精度低）。这会导致 AI 产生困惑并犯错。
巨型锁： 数学运算非常精确，但它们沉重、处理缓慢，并且占用大量的互联网带宽。

作者使用三种不同的 AI 策略（FedFinetune、FedPer 和 Ditto）以及三种不同类型的数据（手写字母、名人面部和推文情感）进行了测试。

“甜点位”的发现：
他们发现，你并不需要使用最大、最重的锁就能获得良好的结果。

如果锁太小（18 bit），AI 会崩溃且表现极差。
如果锁非常大（38+ bit），AI 的表现完美，但由于过于沉重和缓慢，在现实世界中并不实用。
建议方案： 他们找到了一个“金发姑娘”式的设置（即恰到好处的设置）：28 位外部锁和 26 位内部锁。

在这个特定的设置下：

AI 的准确度与不使用任何加密时几乎一样高。
速度和互联网使用量都低到足以投入实际应用。

总结

这篇论文提出了一个名为 pFedCKKS 的框架。它证明了你可以“鱼与熊掌兼得”：你可以在保护隐私的数据上训练个性化 AI 模型，而中央服务器永远无法看到原始数据，且不会让系统变得过于缓慢。

对于任何想要构建此类系统的人来说，核心教训是：不要仅仅选择你能找到的最大、最安全的数字。 相反，应该选择作者发现的特定的“28 和 26”这两个数字，因为它们能为这项特定工作完美地平衡安全性、速度和准确性。

技术摘要：探索用于隐私保护个性化联邦学习的 CKKS 参数权衡

问题陈述

个性化联邦学习（PFL）允许客户端在不共享原始数据集的情况下，协作训练针对其本地异构数据的模型。然而，标准的 PFL 仍然容易受到来自“诚实但好奇”服务器的推理攻击，这些攻击可以重建私有的训练数据或推断交换的模型更新中的敏感属性。虽然同态加密（HE），特别是 CKKS 方案，通过实现服务器端对加密更新的聚合提供了解决方案，但其在 PLF 中的应用缺乏系统的指导。从业者面临着一个关键差距：缺乏一个原则性的框架来配置 CKKS 参数（例如密文模数），以平衡 PFL 部署中相互竞争的需求，即隐私、解密精度以及计算/通信效率。

方法论

作者引入了 pFedCKKS，这是一个将 CKKS 同态加密方案集成到 PFL 工作流中的通用框架。该方法论包括：

系统与威胁模型： 该框架运行在跨孤岛（cross-silo）设置中，服务器为诚实但好奇型，客户端为诚实型。一个可信的领导者（或第三方）生成 CKKS 密钥，将公钥和评估密钥分发给服务器，并将私钥分发给客户端。
工作流集成： 训练过程涉及客户端解密全局参数，执行本地 PFL 更新（使用 FedFinetune、FedPer 或 Ditto 算法），加密更新后的全局参数，并将其发送给服务器。服务器在不解密的情况下执行这些密文的同态加权聚合。
参数分析： 作者在 128 位安全级别下推导了 CKKS 参数的约束条件。他们发现，对于 PFL 设置（仅需要一次同态乘法），问题简化为选择两个值：内层素数 ( $q_1$ $q_{1}$ ) 和 外层素数 ( $q_0 = q_2$ $q_{0} = q_{2}$ )。
- $N = 8192$ （为保证安全性而固定）。
- $L = 1$ （乘法深度）。
- 约束条件： $q_0 > q_1$ 且 $\log_2(q_0) + \log_2(q_1) + \log_2(q_2) < 218$ 。
实证评估： 该框架使用 Flower FL 框架和 TenSEAL 库进行实现。实验在三个数据集（FEMNIST、CelebA、Sentiment140）和三种 PFL 算法上进行。研究系统地改变了内层和外层素数的位宽，以测量：
- 通信： 带宽使用量以及相对于未加密基准的开销。
- 计算： 运行时开销（加密/解密 vs. 本地训练）。
- 精度： 参数级误差（ $L_1$ 范数）和模型级测试准确率。

核心贡献

pFedCKKS 框架： 第一个将 CKKS 集成到 PFL 中的通用框架，证明了其与主要 PFL 策略（FedFinetune、FedPer 和 Ditto）的兼容性。
系统性参数指南： 推导了完整的 CKKS 参数约束，将选择复杂度降低为仅需选择内层和外层素数。
权衡分析： 通过广泛的实证评估揭示了精度与成本之间固有的权衡关系。研究表明，内层素数是决定解密精度的主要因素，而两个素数都会显著影响通信和计算成本。
实践指南： 确定了一个平衡效率与准确性的最优操作点。

结果

通信： 通信开销随内层和外层素数大小的增加呈线性增长。例如，在固定 40 位外层素数的情况下，将内层素数从 18 位增加到 38 位，会导致超过 100% 的额外开销。PFL 算法的选择也会影响绝对带宽；FedPer 在 FEMNIST 上显著减少了开销（仅传输共享的基础层），但在 Sentiment140 上增加了开销，因为其中的共享层几乎构成了整个模型。
计算： 仅当 CKKS 操作（加密/解密）主导本地训练时间时，计算开销才较为显著。在小型模型（如 CelebA）或小型加密子集（如 FEMNIST 上的 FedPer）的设置中，本地训练掩盖了 CKKS 的开销，导致总运行时间增加微乎其微。然而，当 CKKS 操作占主导地位时，较大的素数会导致更高的运行时间。
精度：
- 内层素数： 这是精度的关键因素。18 位内层素数会导致严重的准确率下降（在某些情况下高达 80%），这是由于数值不稳定和溢出造成的。将内层素数增加到 22 位改善了准确率，但仍表现出明显的下降。26 位或更高能够始终保持与未加密基准相当的模型准确率。
- 外层素数： 对参数级和模型级精度均几乎没有影响。
- 收敛性： 使用 22 位内层素数的模型在长时间训练后会出现准确率下降（累积噪声），而 26 位及更高配置的收敛情况与基准模型相似。

意义与建议

论文得出结论，虽然 CKKS 使个性化联邦学习中的隐私保护成为可能，但天真的参数选择可能会导致难以承受的成本或无法使用的模型准确率。作者为从业者提供了一个具体的指南：

推荐配置： 密文模数配置为 (28, 26, 28)（28 位外层素数，26 位内层素数）。
原理： 该配置在确保模型级准确率与未加密基准相当的同时，最小化了通信和计算开销。它代表了一个“甜点区”（sweet spot），在此处进一步增加内层素数在准确率上的收益递减，但会产生更高的成本。

这项工作验证了通过仔细调整 CKKS 参数，可以在高效性能的前提下实现 PFL 中的隐私保护，填补了隐私增强技术在个性化联邦学习部署中的关键空白。