📊 statistics

Label Differential Privacy via Aggregation

本文提出了一种针对回归任务的标签差分隐私框架，该框架通过对训练实例或不相交的数据包进行加权线性聚合，在无需添加标签噪声的情况下，实现了更强的实际界限和效用保持，并提供了强大的隐私保证。

原作者： Anand Brahmbhatt, Rishi Saket, Shreyas Havaldar, Anshul Nasery, Yukti Makhija, Aravindan Raghuveer

发布于 2026-09-11

📖 1 分钟阅读☕ 轻松阅读

原作者： Anand Brahmbhatt, Rishi Saket, Shreyas Havaldar, Anshul Nasery, Yukti Makhija, Aravindan Raghuveer

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

在现代数字时代，每天都有海量的个人信息被收集起来，用于训练能够进行预测的计算机程序，其预测范围涵盖了从估算房价到预测销售额的各个领域。该领域面临的一个关键挑战是，如何在不暴露提供数据的个人敏感细节的情况下教导这些系统。一种被称为“差分隐私”的强大解决方案，就像是一面数学盾牌。它确保计算机分析的最终结果，无论任何单个人的数据是被包含还是被排除，看起来几乎都是一样的，从而使得外部人员无法通过逆向工程获取该特定个人的信息。虽然这一概念在处理通用数据方面已被广泛研究，但当敏感信息完全隐藏在“标签”中（即附加在数据上的答案或结果，例如患者的医疗诊断或选民的选择）时，就会出现一个特定且困难的问题。如何在保护这些标签的同时，又不破坏计算机学习有用模式的能力，长期以来一直是一个障碍。

谷歌研究印度团队（Google Research India）开发了一种新方法来解决这个问题，其核心在于改变数据在投入训练之前进行分组和组合的方式。他们并没有采用通常会模糊结果并降低准确性的“添加随机噪声”的技术，而是提出了一种加权聚合系统。想象一下，将大量的单个记录混合在一起，形成一个个小的集合，或者称为“袋子”。在他们的方法中，袋子内的每条记录都会乘以一个从特定钟形分布中随机生成的唯一随机数。系统随后对这些加权后的记录进行求和，以创建一个代表该“袋子”的新数据点。这个过程会被重复执行，以创建许多这样的聚合点。研究人员发现，这种利用随机权重进行数据混合的特定方式，建立了一道数学屏障，保护了原始标签的隐私。至关重要的是，他们证明了只要数据集足够大且标签并非完全相同，即使攻击者了解袋子中其他所有的记录，这种保护依然有效。

这项研究表明，该方法在两种不同的场景下都能有效运作。第一种场景中，整个数据集中的每一条记录都会被包含在每一个“袋子”中，从而创建一个高度混合的聚合集。第二种场景中，数据集被拆分为许多小的、互不重叠的组，并且每个组都被分别处理。在这两种情况下，研究人员都证明了使用这些聚合后的、受隐私保护的数据点进行训练的计算机模型，仍能学习到几乎与使用原始数据进行训练时相当的预测准确度。他们在大规模真实世界数据集上进行了测试，包括一份来自1940年、拥有超过1.3亿人口的人口普查数据，以及一份来自在线广告平台、拥有超过170万条记录的数据集。结果非常明确：使用聚合数据训练的模型达到了与使用原始数据训练的模型几乎相同的准确水平，同时满足了严格的隐私保证。

这项工作的一个关键发现是，如果仅仅是在一组数据中对标签进行求和，而不使用这些特殊的随机权重，则无法提供任何真正的隐私保护。如果只是简单地对数据求和，那么单个人标签的变化会导致总和发生可检测到的偏移，从而泄露其信息。研究人员证明，随机加权对于隐藏这些个体贡献是必不可少的。此外，他们还展示了这种技术不需要在标签中添加额外的噪声，而添加噪声是其他隐私方法中常见的要求，且往往会降低学习质量。通过仅依靠这种加权聚合的数学特性，他们保留了数据在回归任务（用于预测销售额或工作时长等连续数值的任务）中的效用。

该团队还探索了一种变体，即在分组之前，先有意地对一小部分标签进行噪声处理，再结合加权聚合进行处理。这种混合方法使他们能够将隐私保证扩展到涉及神经网络的更复杂的学习任务中，神经网络是能够处理复杂模式的深度学习模型。他们的实验证实，即使增加了这些复杂性，模型仍能保持很高的效用。这项工作表明，对于许多实际应用场景，特别是那些受到法规或系统限制而无法使用原始个体数据的场景，这种聚合方法提供了一条稳健的路径。它允许组织利用敏感数据构建强大的预测工具，而无需损害背后个人的隐私，同时也避免了通常伴随隐私保护技术而来的显著准确度损失。

技术摘要：通过聚合实现标签差分隐私

问题定义

本文旨在解决在保持回归任务效用的同时，保护机器学习数据集中敏感训练标签的挑战。具体而言，它关注的是标签差分隐私（Label Differential Privacy, label-DP），这是一种隐私概念，即即使单个训练标签发生变化，机制的输出分布仍保持稳定，而特征向量保持不变。

实现标签-DP 的传统方法通常依赖于向每个标签添加独立的加性噪声（例如高斯噪声）。然而，作者指出，在许多实际场景中（如 Apple SKAN、Chrome Privacy Sandbox 等广告平台或医疗数据聚合），数据自然地通过聚合机制（例如从标签比例中学习或从袋聚合中学习）进行处理，而非通过加性噪声。本文研究了这些自然的聚合机制（通常为了效率或监管合规而使用）是否本身就提供了标签-DP 保证，以及如果不是，如何在不牺牲线性或神经网络回归任务效用的情况下增强它们以达到该目标。

作者确定了在袋（bags）中对标签进行无权重求和并不能提供标签-DP 保证。核心问题在于设计能够实现 $(\epsilon, \delta)$ -label-DP 的聚合机制，且在尽量减少或不使用加性噪声的同时，确保在聚合数据上训练的最优回归模型能够逼近原始数据集上的最优模型。

方法论

本文提出了三种主要的聚合机制，这些机制利用了使用独立同分布（i.i.d.）高斯权重（ $N(0, 1)$ ）的加权线性聚合。

1. 加权-FLAG (WTD-FLAG)

该机制将整个数据集聚合为 $m$ 个袋。对于每个袋 $j$ ，机制采样 $n$ 个 i.i.d. 权重 $w_{ij} \sim N(0, 1)$ 并计算：

聚合特征向量： $x^{AGG}_j = \sum_{i=1}^n w_{ij} x_i$
聚合标签： $y^{AGG}_j = \sum_{i=1}^n w_{ij} y_i$

至关重要的是，没有添加加性噪声。隐私保证依赖于权重的随机性和数据集的非退化性（特别是线性回归损失的下界）。

2. 采样加权-FLAG (Sampled-Weighted-FLAg)

为了降低计算开销并减少聚合所需的决策数据集部分，该变体采样 $m$ 个大小为 $k$ 的不相交袋。对于每个袋，它采样 $k$ 个 i.i.d. 权重，并计算该特定子集内特征和标签的加权和。与第一种机制一样，它不使用加性噪声。该方法需要数据矩阵的最小奇异值界限来确保效用。

3. 采样噪声加权 LAg (Sampled-Noisy-Weighted LAg)

该机制适用于袋中的特征向量可以单独获取的情景（标签聚合或 LAg）。为了克服暴露单个特征带来的隐私损失，该机制：

仅对极小且固定的比例 ( $\rho$ ) 的标签添加 i.i.d. $N(0, 1)$ 噪声。
对标签应用带有高斯权重的加权聚合。
输出聚合后的标签以及每个袋对应的单个特征向量及其权重。

这种混合方法旨在为 Lipschitz 有界神经网络回归任务保留效用，同时提供标签-DP 保证。

核心贡献

本文做出了以下具体贡献：

负面结果： 它证明了仅仅聚合标签（如标准 LLP 数据集）而不进行加权或加噪，并不能提供差分隐私保证。
新颖算法： 它引入了新型聚合算法（WTD-FLAG、Sampled-WTD-FLAG 和 Sampled-Noisy-WTD-LAg），这些算法仅通过聚合生成标签-DP 数据集（第三种变体中噪声极小），避免了以往标签-DP 方法中常见的沉重加性噪声。
效用保留： 它证明了由这些算法生成的数据集能够保留具有有界范数回归器的线性回归任务的效用（最优解），并且在噪声变体中，能保留神经网络回归任务的效用。
改进界限： 理论分析表明，所提方法实现的 $(\epsilon, \delta)$ -label-DP 参数取决于线性回归损失下界 ( $\gamma$ )，而非数据矩阵的最小奇异值，从而得到了更紧凑的实际界限。

理论结果

隐私保证：
- WTD-FLAG： 如果袋的数量 $m$ 满足 $m = O(\frac{\gamma n}{B_Y^2 \log(1/\delta)})$ ，则实现 $(\epsilon, \delta)$ -label-DP，其中 $\gamma$ 是线性回归损失的下界， $B_Y$ 是标签幅度的界限。
- Sampled-WTD-FLAG： 在假设存在最小奇异值界限的情况下，实现 $(\epsilon, \delta)$ -label-DP，且袋大小 $k \geq \Omega(((1/\epsilon) \log(1/\delta))^2)$ 。
- Sampled-Noisy-WTD-LAg： 通过扰动比例为 $\rho$ 的标签来实现 $(\epsilon, \delta)$ -label-DP，其中 $k$ 随 $O(B_Y^2/\rho\epsilon^2)$ 缩放。
效用保证：
- 对于线性回归，在聚合数据上训练的最优回归器以高概率逼近原始数据集的最优回归器。误差由乘性因子 $(1+\theta)$ 限制，其中 $\theta$ 取决于袋的数量和数据集属性。
- 对于 WTD-FLAG 机制，其效用界限与输入维度 $d$ 无关，这相对于以往依赖于维度相关界限的工作是一个显著改进。

实验结果

作者在两个大规模数据集上对方法进行了实证评估：

1940 年美国人口普查数据： 基于人口统计特征预测工作时长。
Criteo 赞助搜索数据集： 预测广告销售额。

发现：

隐私与效用： 实验表明，WTD-FLAG 即使在适度的隐私预算 ( $\epsilon$ ) 下也能有效保留线性回归的效用。随着 $\epsilon$ 的增加，在原始数据集上的均方误差 (MSE) 会降低，并趋于稳定在接近原始数据的最优损失水平。
与前人工作的比较： 本文将用于给定 $\epsilon$ 的允许袋数量 ( $m$ ) 的理论上界与 Sheffet [42] 的工作进行了比较。作者展示了他们基于线性回归损失下界得出的界限，在现实世界数据集中，比基于最小奇异值的界限要好得多（允许更多的袋）。
神经网络回归： 使用 Sampled-Noisy-WTD-LAg 对神经网络进行的实验表明，即使在采样袋数量有限且袋大小变化的情况下，效用也能得到保留，证实了其对非线性任务的理论保证。

重要性与主张

本文声称其主要意义在于量化了仅通过聚合所实现的隐私。不同于以往依赖大量添加噪声或概率重采样的标签-DP 方法，这项工作证明了当辅以加权采样时，自然的聚合机制可以提供严格的隐私保证。

作者强调，其方法是受现实约束驱动的，在这些场景中，由于系统或监管限制，加性噪声是不理想或无法实现的。通过展示可以在几乎不使用或不使用加性噪声的情况下实现标签-DP，同时保留回归任务的效用，这项工作表明，工业界现有的聚合流水线可能已经提供了比此前理解更强的隐私保证，从而可能减少对额外的、高成本的隐私保护干预的需求。本文保持谦逊，侧重于量化这些保证，而非提出超出当前理论和实证分析范围的新应用或未来方向。