Distributed Deep Variational Approach for Privacy-preserving Data Release

技术摘要：用于隐私保护数据发布的分布式深度变分方法

问题陈述
本文解决了在保留特定效用属性的同时隐藏敏感属性，从而发布高维连续数据（例如图像、传感器读数）的挑战。虽然联邦学习（FL）将原始数据保留在本地，但它仍容易通过梯度、模型更新和表示本身遭受隐私泄露。现有的基于扰动的方法（如差分隐私）通常难以处理连续的高维特征，而简单的匿名化由于敏感数据与效用数据之间的相关性而失效。目标是学习一种随机映射，将原始数据 $X$ 转换为经过清洗的低维表示 $Z$，使得 $Z$ 保留关于效用变量 $U$ 的信息，但揭示关于敏感变量 $S$ 的信息最少。

方法论：高斯隐私保护器（GPP）
作者提出了高斯隐私保护器（GPP），这是一个基于信息论和变分推断的框架。

1. 目标公式化：核心问题被公式化为最小化清洗数据与敏感属性之间的互信息 $I(Z;S)$，同时受限于效用属性的条件熵约束 $H(U|Z) \leq \bar{\gamma}$。这被松弛为拉格朗日目标函数：
   $$\mathcal{L} = I(Z;S) + \beta \cdot H(U|Z)$$
   其中 $\beta$ 控制隐私与效用的权衡。

2. 变分界：由于真实的后验分布难以处理，作者推导了变分界：

   • 隐私项：利用对抗网络 $Q_\phi(S|Z)$ 尝试从 $Z$ 预测 $S$，获得 $I(Z;S)$ 的下界。通过最小化编码器的损失并最大化对抗者的损失（极小极大博弈）来收紧该下界。
   • 效用项：利用效用分类器 $Q_\psi(U|Z)$ 获得 $H(U|Z)$ 的上界。编码器与该分类器合作以最小化交叉熵损失。

3. 架构：该框架采用变分自编码器（VAE）结构。编码器 $T_\theta$ 将 $X$ 映射到高斯潜在空间 $(\mu, \Sigma)$，$Z$ 通过重参数化技巧从中采样。KL 散度项将潜在空间正则化，使其接近标准正态分布。总损失函数结合了效用交叉熵、负对抗交叉熵和 KL 正则化。

4. 分布式扩展：该框架被扩展到分布式设置（分布式 GPP）。在此架构中：

   • 每个客户端训练一个本地编码器和一个本地对抗分类器。
   • 敏感标签 $S$ 永远不会离开客户端。
   • 客户端仅将清洗后的表示 $Z$ 和效用标签 $U$ 传输给中央聚合器。
   • 聚合器在聚合的清洗数据上训练共享的效用分类器。
   • 这提供了实例级隐私保护，补充了标准 FL 中“原始数据保留在本地”的保证。

主要贡献
本文明确指出，其贡献并非发明各个组件（变分界、对抗学习、高斯空间），而是它们的集成与扩展：

• 统一的变分推导：自包含地推导了一个端到端的隐私 - 效用目标，将 $I(Z;S)$ 的下界和 $H(U|Z)$ 的上界结合在单个鞍点形式中，并通过单个参数 $\beta$ 控制权衡。
• 分布式框架：将 GPP 扩展到分布式设置，其中客户端保留敏感标签和本地对抗器，而聚合器仅接收清洗后的表示。这实现了实例级隐私保护。
• 理论界：在独立同分布（IID）和诚实聚合器假设下，证明了分布式设置的组合隐私界，明确考虑了来自效用标签的残留泄露。
• 通信效率：刻画了通信成本权衡，表明在特定情形下（相对于模型规模的小批量大小），传输清洗后的表示可以比传输梯度严格更高效。

实验结果
该框架在三个基准上进行了评估：MNIST（数字求和效用，奇偶性敏感）、CelebA（微笑效用，性别敏感）和 HAPT-Recognition（活动效用，主体身份敏感）。

• 隐私 - 效用权衡：GPP 实现了与无约束自编码器基线相当（约一个百分点内）的效用性能（例如，MNIST 上 0.978 对比 0.987 的 AUC），同时将对抗者的 AUC 降低至接近随机猜测（基线为 0.943，GPP 为 0.531）。
• 参数敏感性：参数 $\beta$ 有效地控制了权衡；较低的值优先考虑隐私（较低的对抗者 AUC），而较高的值优先考虑效用。
• 对抗训练：消融研究证实，对抗训练步骤至关重要；如果没有它们，即使进行了降维，对抗者也能以高精度恢复敏感信息。
• 鲁棒性：即使效用属性和敏感属性高度相关，该方法仍然有效，尽管随着相关性增加，效用性能会优雅地下降。
• 分布式性能：在分布式设置中（HAPT 上的 5 个客户端），该系统达到了与集中式隐私 - 效用工作点相匹配的效果（AUC 差异在 0.005 以内），同时确保原始数据和敏感标签永远不会离开客户端。

意义与主张
本文将 GPP 定位为分布式环境中隐私保护数据发布的实用解决方案。它声称提供了一种灵活、可调节的机制来清洗高维数据，而无需承担通常与基于扰动的方法相关的重大效用损失。分布式扩展被强调为主要贡献，它提供了“实例级隐私保护”，超越了标准 FL 的保证，防止通过梯度和模型更新进行泄露。

作者在主张方面保持谦逊，承认了局限性，例如需要与其他对抗性审查方法进行同类比较、如果对抗网络容量受限则变分界可能过于宽松，以及分布式实验的范围（作为存在性证明提出，而非对非 IID 收敛的全面研究）。他们指出，该框架并不声称有“免费午餐”，因为隐私收益是以效用为代价的，但这种权衡是明确暴露且单调的。