Large-Sample Bayesian Approximations for Privatized Data

以下是论文《大规模私有化数据的贝叶斯近似》（作者：Awan、Chen 和 Molinari）的详细技术总结。

1. 问题陈述

本文探讨了在受**差分隐私（DP）**保护的数据上进行统计推断所面临的挑战。

• 背景：主要数据生产者（如美国人口普查局、Google、Apple）使用差分隐私来发布数据集。这涉及向统计量添加随机噪声，以防止个体被重新识别。
• 挑战：添加的噪声使得原始数据不可观测，并导致私有化统计量的抽样分布难以处理。
• 现有方法的局限性：
  • 贝叶斯方法：通常要求完全生成模型、共轭先验，或受困于“维数灾难”（例如，拒绝采样在大规模下失效）。
  • 频率学派方法：渐近近似在复杂问题中往往失效，而基于模拟的方法（如参数自助法）计算成本高昂，且依赖于严格的参数假设。
• 目标：开发一种计算可行、可扩展且具有理论依据的贝叶斯推断方法，用于私有化数据，该方法需适用于大样本量（$n$）和高维统计量，且无需强参数假设。

2. 方法论：PUMBA

作者提出了PUMBA（Private Uncertainty Measurement via Bayesian Asymptotics，即通过贝叶斯渐近进行私有不确定性测量）。该方法是一种受 Guha 和 Reiter (2025) 启发的两步近似采样算法，但在大样本理论下得到了严格的论证。

核心框架

问题被建模为分层结构：

1. 参数 $\theta \sim \pi(\theta)$。
2. 充分统计量 $T_n = \sum_{i=1}^n t(x_i)$ 从 $p_n(T_n | \theta)$ 生成。
3. 私有化统计量 $s_{dp}$ 通过加性噪声机制发布：$s_{dp} = T_n + \Delta_T Z$（其中 $Z$ 是噪声，例如拉普拉斯或高斯噪声）。

目标是从私有后验 $\pi(\theta | s_{dp})$ 中采样。由于边缘似然涉及难以处理的积分，直接采样非常困难。PUMBA 通过两步过程近似联合后验 $\pi(\theta, T_n | s_{dp})$：

步骤 1：机密统计量的插补（$T_n | s_{dp}$）
作者提出了一种渐近近似，而非使用精确后验 $p_n(T_n | s_{dp}) \propto m(s_{dp} | T_n) p_n(T_n)$：
$$p_{T_n}^\infty(T_n | s_{dp}) \propto m(s_{dp} | T_n) \cdot \mathbb{I}(T_n \in \mathcal{T}_n)$$

• 依据：在温和的正则性条件下，当 $n \to \infty$ 时，先验预测密度 $p_n(T_n)$ 相对于由隐私机制 $m(s_{dp} | T_n)$ 诱导的尖锐似然变得“平坦”。因此，$p_n(T_n | s_{dp})$ 收敛于截断至 $T_n$ 支撑集的隐私机制密度。
• 机制：这使得可以直接从噪声分布（例如截断的拉普拉斯或高斯分布）中采样 $T_n$，而无需指定能产生平坦预测分布的先验。

步骤 2：参数采样（$\theta | T_n$）
一旦插补了 $T_n$，该方法便从非私有后验 $\pi_n(\theta | T_n)$ 中采样 $\theta$。

• 近似：对于大样本 $n$，作者 invoking Bernstein-von Mises (BvM) 定理。非私有后验被近似为以有效估计量 $\hat{\theta}(T_n)$ 为中心、协方差基于费雪信息量的正态分布。
• 优势：这消除了第二步中对复杂 MCMC 采样的需求，允许直接解析采样或简单的蒙特卡洛估计。

算法 1 (PUMBA)

1. 从 $p_{T_n}^\infty(T_n | s_{dp})$ 中独立同分布地采样 $T_n^{(1)}, \dots, T_n^{(R)}$。
2. 对于每个 $T_n^{(i)}$，采样 $\theta^{(i)} \sim \pi^*(\theta | T_n^{(i)})$（其中 $\pi^*$ 是精确的非私有后验或 BvM 正态近似）。
3. 集合 $\{\theta^{(i)}\}$ 近似私有后验 $\pi(\theta | s_{dp})$。

3. 关键理论贡献

本文提供了严格的渐近证明，论证了 PUMBA 中所用近似的合理性，弥补了先前工作（Guha 和 Reiter, 2025）中的空白：

1. 步骤 1 的有效性（定理 1）：作者证明了精确后验 $p_n(T_n | s_{dp})$ 与近似 $p_{T_n}^\infty(T_n | s_{dp})$ 之间的总变差距离，随着 $n \to \infty$ 几乎必然收敛于零。这依赖于局部极限定理（适用于连续和离散数据），并假设隐私机制属于位置族（例如加性噪声）。
2. 步骤 2 的有效性（定理 2）：他们证明了用 BvM 近似（$\pi_\infty$）替换精确的非私有后验在渐近上也是有效的。真实联合后验与近似联合后验之间的总变差距离收敛于零。
3. 频率学派性质：尽管由贝叶斯理论驱动，作者通过模拟表明，PUMBA 实现了保守的频率学派性质（例如，覆盖率 $\ge$ 标称水平，受控的 I 类错误率）。
4. 通用性：与先前的方法不同，PUMBA 不需要共轭先验或特定的先验规范来实现平坦的预测分布；它适用于几乎任何适当的先验。

4. 实验结果

模拟研究

• 有界数据的均值：将 PUMBA 与一种神谕方法（Wang 等人，2018）和一种插入估计量进行了比较。
  • 结果：PUMBA 实现了 95.2% 的覆盖率（目标为 95%），其区间略宽于神谕方法，但显著优于插入估计量（86.6%），后者未能考虑方差的不确定性。
• 简单线性回归：将 PUMBA 与一种“朴素”方法（忽略噪声）和带有错误指定高斯模型的数据增强 MCMC（DA MCMC）进行了比较。
  • 结果：朴素方法严重覆盖率不足（例如，在 $n=30$ 时覆盖率仅为 9.5%）。由于模型错误指定，DA MCMC 的覆盖率随着 $n$ 的增加而下降（在 $n=1000$ 时为 0.263）。PUMBA 在所有样本量下均保持了稳定且保守的覆盖率（约 95-99%）。
  • 效率：PUMBA 在计算上更优越，在 $n=1000$ 时，其有效采样速度比 DA MCMC 快高达3,800 倍。

真实数据应用：美国住房拥有率（ACS 2022）

作者应用 PUMBA 分析住房拥有率的驱动因素，使用了 2022 年美国社区调查数据（通过模拟 2020 年 DP 十年普查机制进行私有化）。

• 变量：种族、失业、贫困、保险、住房成本、人口密度。
• 比较：
  • 非 DP（真实情况）：对原始数据进行标准回归。
  • 朴素方法：对私有化数据进行回归，忽略噪声。
  • PUMBA：提出的方法。
• 发现：
  • 朴素方法得出了错误的结论，由于未考虑噪声，错误地将“失业”和“无保险”识别为统计显著的驱动因素。
  • PUMBA 与非 DP 真实情况一致，正确地将这些变量识别为不显著。
  • PUMBA 成功考虑了隐私噪声，在防止假阳性的同时，保持了对显著变量（如种族、贫困）的检验效力。

5. 意义与局限性

意义：

• 可扩展性：PUMBA 是第一种为大规模私有化数据（例如国家人口普查）提供通用、计算可行的贝叶斯框架的方法，且无需强参数假设。
• 理论严谨性：它填补了关键空白，为先前启发式使用的近似提供了渐近证明。
• 实用价值：它使研究人员能够对敏感数据（如美国人口普查数据）进行可靠的推断，而先前的方法要么限制过多，要么计算上不可行。

局限性：

• 样本量：该方法依赖于大样本渐近性（$n \to \infty$）。它可能不适用于非常小的数据集，尽管模拟表明在这种情况下它仍保持保守。
• 机制类型：目前的理论保证仅适用于加性噪声机制（拉普拉斯、高斯）。非加性机制未被涵盖。
• 隐私预算：该方法假设隐私预算 $\epsilon$ reasonably 小，以确保后验的支撑集保持可管理。

结论

本文介绍了PUMBA，一种用于分析私有化数据的稳健的大样本贝叶斯框架。通过利用渐近近似（局部极限定理和 Bernstein-von Mises），它将推断与难以处理的边缘似然解耦，提供了一种比 MCMC 更高效的计算替代方案。该方法被证明在渐近上是有效的，并在维持统计有效性（覆盖率和 I 类错误控制）方面表现出优于朴素方法的性能，使其成为从事现代隐私保护数据产品研究的学者的重要工具。