技术摘要：用于单轮联邦学习的 FedKT-CSD

问题陈述

联邦学习（FL）能够在保护隐私的同时，实现跨去中心化数据的协作模型训练，但其通常面临高通信开销和收敛缓慢的问题，尤其是在客户端数据分布具有异质性的情况下。**单轮联邦学习（One-Shot Federated Learning, OSFL）**通过将交互限制在单轮内来应对通信约束。然而，现有的 OSFL 方法面临一个关键的权衡：它们往往缺乏正式的隐私保证，或者需要计算昂贵的本地训练（例如，训练本地生成器或蒸馏模型）。当将差分隐私（Differential Privacy, DP）应用于这些方法时，模型参数的高维性会放大敏感度，从而降低效用。此外，许多当前的方法传输的模型权重或蒸馏数据可能会泄露有关单个训练记录的信息。

本研究解决的核心挑战是：能否设计一种框架，在 OSFL 设置下利用表示共享（representation sharing），同时实现正式的隐私保证和轻量级的客户端计算？

方法论：FedKT-CSD

作者提出了 FedKT-CSD（基于协作合成数据的联邦知识迁移），该框架的设计灵感来源于神经图像压缩。该方法利用一个预训练且冻结的自动编码器（编码器 $E$ 和解码器 $D$）作为共享潜空间，从而消除了对设备端训练或适配的需求。

1. 客户端处理（无需训练）

每个客户端 $i$ 持有一个私有数据集 $D_i$。处理过程仅涉及一次前向传播：

• 编码： 图像被编码为紧凑的潜向量 $z_{i,j} = E(x_{i,j})$。
• 裁剪： 潜向量被裁剪至有界的 $\ell_2$ 范数 $R$，以确保 DP 的敏感度边界。
• 统计量计算： 对于客户端数据中存在的每个类别 $c$，客户端计算三个加性统计量：
  • 裁剪后潜向量之和：$m_c^i = \sum \bar{z}_{i,j}$
  • 外积之和：$M_c^i = \sum \bar{z}_{i,j}\bar{z}_{i,j}^\top$
  • 样本计数：$n_c^i$
• 传输： 客户端仅上传这些轻量级的摘要（向量和矩阵）。不传输原始数据或模型权重。

2. 服务端聚合与噪声注入

服务端使用**安全聚合（Secure Aggregation）**进行统计量聚合，该技术可以在不泄露个体贡献的情况下计算跨客户端的逐元素求和。

• 全局总和： $S_{\mu,c} = \sum m_c^i$，$S_{\Sigma,c} = \sum M_c^i$，以及 $n_c = \sum n_c^i$。
• 差分隐私： 根据裁剪阈值 $R$ 的敏感度，向聚合后的总和（$\tilde{S}_{\mu,c}$ 和 $\tilde{S}_{\Sigma,c}$）注入校准后的高斯噪声。隐私预算 $(\epsilon, \delta)$ 在均值查询和协方差查询之间进行分配。
• 后处理： 服务端恢复带噪声的均值和协方差，应用偏差校正（以补偿均值中的噪声方差）和正定（PSD）投影（以确保采样有效性）。

3. 合成数据生成

服务端从生成的类条件高斯分布 $\mathcal{N}(\mu_c^{DP}, \Sigma_c^{DP})$ 中采样潜向量，并使用冻结的解码器 $D$ 对其进行解码，从而生成受 DP 保护的合成数据集 $X^*$。该数据集随后被用于训练全局模型或下游任务。

核心贡献

1. 单轮 DP 合成数据生成： 本文证明了深度压缩自动编码器可以提供一个共享的潜空间，在该空间中可以计算并聚合类条件统计量，并具备正式的 $(\epsilon, \delta)$-DP 保证。这实现了一个仅需单轮通信且零设备端训练的流水线。
2. 在 DP 条件下的竞争性能： 尽管在严格的隐私约束下运行，FedKT-CSD 在多种数据集和异质性设置下仍优于现有的非隐私单轮 FL 基准方法（如 FedSD2C、DENSE、CoBoosting）。
3. 异质性与规模不变性： 与在异质环境下容易产生偏置局部模型的模型聚合方法不同，FedKT-CSD 对数据异质程度和客户端数量具有不变性。统计量的加性特征确保了无论数据如何划分，全局分布的重建结果都是一致的。
4. 实际效率： 该方法非常高效，客户端负载处于千字节（KB）量级（例如，对于 10 个类别约为 327 KB），计算时间在消费级硬件上仅需数秒，使其适用于带宽和计算受限的环境。
5. 多样的下游效用： 生成的合成数据集由真实的图像组成（而非固定特征），因此可用于训练任何架构、进行个性化 FL 的预训练，或作为多轮方法的辅助数据。

实验结果

作者在四个图像分类基准测试上评估了 FedKT-CSD：ImageNette、CIFAR-100、EuroSAT 和 BloodMNIST。

• 性能对比基准： FedKT-CSD 在单轮方法中达到了最先进的水平，通常优于非隐私基准方法。例如，在病理性异质性设置下（即每个客户端仅能看到 100 个类别中的 10 个），CIFAR-100 上的基准方法准确率降至约 21%，而 FedKT-CSD 保持在约 29%。在 EuroSAT 上，它达到了约 80% 的准确率，而表现最好的基准方法仅为约 55%。
• 隐私评估： 该方法满足正式的 $(\epsilon=10, \delta=10^{-5})$-DP。成员推理攻击（MIA）的 AUC 为 0.501（随机猜测水平），证实了无法推断单个记录的参与情况。
• 可扩展性： 该方法可线性扩展至 1,000 个客户端且性能不下降，而基准方法在数据稀疏化时性能显著退化。
• 消融实验：
  • 异质性： 性能在不同的 Dirichlet 浓度参数 ($\alpha$) 下保持稳定，而基准方法则呈现单调下降趋势。
  • 参与率： 即使在 10% 客户端参与率的情况下，该方法也能平稳退化。
  • 架构： 采用 $d=128$ 的潜维度配合 64x64 分辨率的自动编码器（DC-AE f32c32）在表示能力与噪声累积之间提供了最佳平衡。

意义与主张

论文声称 FedKT-CSD 缩小了差距，即在联邦学习中实现了低通信、对异质性鲁棒以及严谨隐私之间的平衡。通过利用预训练自动编码器的结构，该方法将隐私数据共享问题转化为低维加性统计量的聚合。

作者强调，合成数据集保留了分类所需的类间分离度，而不要求写实性，这也是为什么尽管单个生成的图像外观粗糙，它仍能实现高下游准确率的原因。这项工作提出了一个更广泛的设计原则：预训练自动编码器可以作为一个共享的、低维的空间，在该空间中，简单的加性统计量足以实现高质量、隐私保护的数据生成，从而在无需承担本地训练计算负担或参数交换隐私风险的情况下，实现高效且可扩展的联邦系统。