🤖 machine learning

AdeptHEQ-FL: Adaptive Homomorphic Encryption for Federated Learning of Hybrid Classical-Quantum Models with Dynamic Layer Sparing

AdeptHEQ-FL 是一个统一的混合经典 - 量子联邦学习框架，它集成了自适应同态加密、动态层稀疏化和精度加权聚合，旨在非独立同分布的去中心化环境中同时提升模型性能、确保形式化隐私保障并最小化通信开销。

原作者： Md Abrar Jahin, Taufikur Rahman Fuad, M. F. Mridha, Nafiz Fahad, Md. Jakir Hossen

发布于 2026-05-14

📖 1 分钟阅读☕ 轻松阅读

原作者： Md Abrar Jahin, Taufikur Rahman Fuad, M. F. Mridha, Nafiz Fahad, Md. Jakir Hossen

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一群朋友试图共同拼凑一幅巨大的拼图，但需遵守几条严格规则：

任何人不得向他人展示自己的拼图碎片（隐私）。
每个人拥有的碎片组合各不相同（非独立同分布数据）。
他们仅能通过发送简短文本消息来分享进度（通信限制）。
他们希望使用一种特殊的“量子”工具，该工具能让拼图求解变得超强，但它脆弱且难以操作（量子模型）。

本文介绍了AdeptHEQ-FL，这是一个新系统，旨在帮助这些朋友比以往更快、更准确、更安全地解决拼图。其工作原理可分解为以下简单部分：

1. 混合团队（经典 + 量子）

大多数拼图团队使用标准工具（经典人工智能）。本文提出组建一支“混合”团队。

经典部分（卷积神经网络 CNN）：将其视为团队的“眼睛”。它观察原始图像（如猫或汽车的图片），并将其分解为基本形状和纹理。它擅长完成“繁重”的模式识别工作。
量子部分（参数化量子电路 PQC）：将其视为团队的“超级大脑”。一旦“眼睛”完成工作，“超级大脑”便接手。它利用量子电路找出拼图碎片之间复杂而隐藏的关联，这些关联普通大脑可能会遗漏。
结果：通过将经典计算机稳健的“眼睛”与量子计算机的“超级大脑”相结合，该团队能够比仅使用其中一种工具的团队更好地解决更难的拼图（例如复杂的 CIFAR-10 数据集）。

2. “智能投票”系统（自适应聚合）

在普通的小组项目中，每个人的意见权重相同。但在本文中，系统意识到某些朋友的表现优于其他人。

问题：如果某位朋友遇到困难（因为其拼图碎片怪异或不完整），其糟糕的建议不应拖累整个团队。
解决方案：系统检查每位朋友在练习测试中的表现。然而，为了保护隐私，它会为分数添加一点“静态噪声”（差分隐私），从而确保无人知晓他人的确切分数。
投票：随后，系统给予分数较高（含噪声）的朋友更大的投票权重，而给予表现挣扎者较小的投票权重。这确保了最终模型建立在最佳构想之上，即使数据杂乱无章。

3. “秘密信封”（选择性加密）

通常，在群聊中保守秘密既昂贵又缓慢。如果加密所有内容，消息会变得庞大且发送耗时。

创新：系统不再将整个拼图解决方案放入沉重的保险箱（全量加密），而是仅锁定解决方案中最关键的部分：决定图像实际类别的最终层。
类比：想象寄信。你无需将整个信封锁进银行金库；只需将最终签名放入密封且防篡改的管中即可。这样既保护了最敏感部分的隐私，又不会拖慢整个流程。

4. “冻结”按钮（动态层节省）

来回发送更新既耗时又占用数据。

策略：系统观察拼图哪些部分变化剧烈，哪些部分已停止变化。
行动：如果模型的某部分（例如仅用于检测边缘的早期层）变化不大，系统便会说：“冻结该部分！无需为其发送更新。”以此节省带宽。
例外：“超级大脑”（量子层）永不冻结。它被允许持续学习和适应，因为它是团队中最灵活且最重要的部分。

他们发现了什么？

作者在三个不同的“拼图”（数据集）上测试了该系统：CIFAR-10（复杂图像）、SVHN（房屋号码）和Fashion-MNIST（服装）。

获胜者：AdeptHEQ-FL 击败了其他方法。在最难的拼图（CIFAR-10）上，其准确率比标准量子团队高出约25%，比试图加密所有内容的团队高出14%。
效率：通过冻结不重要的层并仅加密最后一步，该系统节省了大量的通信时间和数据。
资源使用：有趣的是，他们的“混合”团队使用的量子资源（4 个量子比特）少于竞争对手（6 个量子比特），但表现依然更优。这证明明智的策略比单纯拥有更多原始算力更为重要。

核心结论

AdeptHEQ-FL 就像一个高度组织化、注重隐私的学习小组。它混合使用标准工具和超级工具，更倾听最聪明成员的意见（而无需确切知道他们是谁），仅锁定最敏感的秘密，并停止浪费时间去更新那些不再变化的计划部分。其结果是，机器能够在不共享私有数据的情况下，以更快、更准确、更安全的方式共同学习。

AdeptHEQ-FL 技术摘要：面向混合经典 - 量子模型联邦学习的自适应同态加密与动态层冻结

1. 问题陈述

联邦学习（FL）面临三个相互关联的挑战：由非独立同分布（non-IID）数据引起的统计异构性、尽管数据本地化但仍固有的模型更新隐私漏洞，以及高昂的通信/计算开销。现有解决方案往往孤立地处理这些问题。量子联邦学习（QFL）框架提高了模型表达能力，但通常缺乏正式的隐私保证或对 non-IID 数据的鲁棒性。相反，差分隐私（DP）和同态加密（HE）等隐私保护技术在 non-IID 设置中往往会降低效用，或产生过高的计算成本。此外，专注于效率的方法通常忽视量子能力。目前亟需一个统一的框架，在混合经典 - 量子环境中同时优化性能、隐私和效率。

2. 方法论

所提出的框架 AdeptHEQ-FL 整合了四个核心组件以解决上述差距：

混合 CNN-PQC 架构：该模型结合用于特征提取的经典卷积神经网络（CNN）和用于增强特征处理的参数化量子电路（PQC）。
- 经典组件：一个包含三个顺序卷积块（卷积、ReLU、最大池化）后接全连接层的 CNN，用于提取局部特征（边缘、纹理）。输出被展平为向量 $f_{CNN} \in \mathbb{R}^{2^n}$ 。
- 量子组件：经典特征通过幅度嵌入编码为 4 量子比特量子态。PQC 利用两层“强纠缠层”，包含参数化单量子比特旋转（ $R_z, R_y, R_z$ ）和受控非门（CNOT）纠缠门。电路通过泡利 Z 测量输出 4 维量子特征向量，随后由经典全连接层映射为最终分类输出。
基于差分隐私的自适应精度加权聚合：为处理 non-IID 数据，服务器根据客户端的本地验证性能聚合客户端更新。
- 客户端使用拉普拉斯机制对其验证精度进行隐私化，以确保每轮满足 $(\epsilon, 0)$ -差分隐私。
- 服务器利用这些隐私化精度，通过数值稳定的平滑温度 Softmax 计算聚合权重。这优先处理高性能客户端的贡献，同时保持对噪声的鲁棒性。
选择性同态加密（HE）：为确保隐私而不产生全同态加密（FHE）的全部开销，该框架选择性地应用 CKKS 方案。仅最终全连接层（FC4）的参数在传输和聚合过程中被加密。其他层以明文形式聚合。服务器在加权求和后使用其私钥解密聚合后的 FC4 层。
动态逐层自适应冻结：为最小化通信开销，该框架采用一种机制来冻结影响较小的经典层。
- 层的重要性评分基于跨轮次参数变化的 L2 范数，并通过指数移动平均（EMA）进行平滑处理。
- 评分低于固定阈值（0.001）的层将被冻结（参数不更新也不传输）。
- 关键在于，量子层明确被排除在冻结之外，以保持其适应性和表达能力，这对于建模去中心化数据中的复杂模式至关重要。

3. 主要贡献

本文概述了四项主要贡献：

新颖的自适应聚合：一种利用差分隐私客户端验证精度和 HE 的聚合机制，有效解决 non-IID 数据分布问题，同时确保隐私。
混合架构：一个统一的经典 - 量子模型，将用于特征提取的 CNN 与用于增强联邦设置下模型表达能力的 PQC 相结合。
高效的动态层冻结：一种通过自适应冻结影响较小的经典层来减少通信开销的技术，同时保留量子层的灵活性。
理论收敛分析：建立框架收敛性的形式化证明，考虑了自适应聚合、层冻结和隐私机制之间的相互作用。

4. 实验结果

实验在 CIFAR-10、SVHN 和 Fashion-MNIST 数据集上进行，使用 10 个客户端，进行 20 轮通信，采用 non-IID 分布（Dirichlet $\alpha=0.1$ ）。

性能：AdeptHEQ-FL（配置为 4 量子比特和 2 层）在所有数据集上均优于标准 FedQNN 和最先进的 FHE-FedQNN。
- 在复杂的 CIFAR-10 数据集上，AdeptHEQ-FL 达到了 72.61% 的准确率，比标准 FedQNN（63.60%）提高了约 25.43%，比 FHE-FedQNN（57.89%）提高了 14.17%。
- 在 SVHN 和 Fashion-MNIST 上也观察到了性能提升，尽管幅度较为温和。
资源效率：尽管使用的资源较少（4 量子比特，2 层）而基线模型使用更多资源（6 量子比特，6 层），AdeptHEQ-FL 仍取得了更优的结果。这归因于自适应聚合策略，该策略基于隐私化精度对更新进行加权而非平等对待所有客户端，以及通过减少不必要通信的层冻结机制。
敏感性：进一步减少量子资源（例如 2 量子比特，1 层）会导致性能下降，特别是在复杂数据集上，这表明复杂数据需要足够的量子容量。

5. 意义与主张

本文主张 AdeptHEQ-FL 提供了一个综合解决方案，在混合经典 - 量子联邦学习范式中统一了性能、隐私和效率。其意义在于：

协同整合：成功将量子表达能力与正式隐私保证（DP 和选择性 HE）及通信效率相结合。
non-IID 鲁棒性：通过精度加权聚合展示了处理 non-IID 数据的优越性，克服了现有 QFL 和基于 FHE 方法中均匀聚合的局限性。
实用性：提供了一种资源感知的设计，通过动态层冻结减少通信开销，同时保持量子组件的适应性。

承认的局限性：
作者指出，出于可处理性考虑，HE 目前仅应用于最后一层，其他层未加密。该框架在模拟环境中进行了评估，尚未在真实量子硬件上测试。此外，收敛分析依赖于平滑性和有界梯度方差的假设，这些假设在高度非凸设置中可能不成立。未来的工作提议扩展加密覆盖范围，在物理设备上进行测试，并将其推广到更大的数据集。