Differentially Private Nonparametric Confidence Intervals Under Minimal Distributional Assumptions

技术摘要：最小分布假设下的微分隐私非参数置信区间

问题陈述
本文探讨了为任意统计量构建微分隐私（DP）非参数置信区间（CI）所面临的挑战。虽然置信区间对于量化统计推断中的不确定性至关重要，但现有的 DP 方法存在显著局限。当前方法通常依赖强假设，例如统计量的渐近正态性，或局限于特定的隐私机制（如高斯噪声添加）。此外，基于自助法（bootstrap）或小包自助法（BLB）的方法在有限样本情形下往往不切实际，常导致区间无效（覆盖率不足）或过于保守（区间过宽）。作者旨在开发一个通用框架，将任何满足温和条件的 DP 估计量转化为有效的非参数置信区间，而无需针对目标泛函假设特定的极限分布或平滑性。

方法论：PrivSub（私有子采样）
所提出的解决方案 PrivSub 利用的是子采样（subsampling）这一统计技术，而非自助法。该算法运行步骤如下：

1. 全量估计：使用机制 $M_{full}$ 在整个数据集上计算目标量的微分隐私估计值。
2. 子采样：从数据集中无放回地抽取 $T$ 个大小为 $m$ 的子集。
3. 私有子估计：对每个 $T$ 个子集应用微分隐私估计量 $M_{sub}$。
4. 后处理：构建中心化并重新缩放的私有统计量的经验累积分布函数（CDF）。具体而言，该方法将子集估计值围绕全数据集估计值进行中心化，并按收敛速率之比 $\tau_m / \tau_n$ 进行重新缩放（其中 $\tau_n$ 为统计量的收敛速率）。
5. 区间构建：最终置信区间通过取该经验 CDF 的 $\alpha/2$ 和 $1-\alpha/2$ 分位数得出。

该框架是“黑盒”式的，意味着它无需知晓极限分布的具体形式，仅需确认其存在性及已知收敛速率。隐私保证是通过对子集计算应用标准 DP 机制，利用子采样的隐私放大效应，并结合 $T$ 次迭代的组合性来实现的。

主要贡献

• 通用框架：作者提出了一种方法，可在最小分布假设下将任何 DP 估计量转化为非参数置信区间。它不要求统计量具有渐近正态性，也不要求泛函具有平滑性。
• 理论保证：本文证明了由 PrivSub 诱导的经验 CDF 收敛于私有统计量的真实抽样分布（定理 3.3）。因此，只要隐私机制是 $\tau_n$-一致的（即隐私引入的误差阶数低于统计误差），所得置信区间被证明是渐近有效且紧致的（推论 3.4）。
• 隐私分析：作者为该算法提供了严格的隐私界限，同时考虑了纯 DP（$\delta=0$）和近似 DP（$\delta > 0$）情形，利用了子采样放大效应和高级组合定理。
• 启发式指导：虽然在最小假设下无法推导出最优的有限样本超参数（$m$ 和 $T$），但本文提供了启发式指导。它建议约束 $m \cdot T \gtrsim n$ 以平衡数据使用与隐私成本，并推荐 $m \propto n^{2/3}$ 且 $T=60$ 以确保实际稳定性。

实证结果
作者在三个任务中评估了 PrivSub 与现有通用非参数 DP 置信区间方法的对比，具体包括基于 BLB 的 BLBquant 和基于私有自助法的 PrivBoot：

1. 中位数估计：在截断正态分布下。
2. 逻辑回归斜率估计：具有正态极限分布的参数化设定。
3. Kolmogorov-Smirnov (KS) 统计量：具有非正态极限分布的非平滑泛函。

发现：

• 有效性与紧致性：PrivSub 始终生成覆盖率接近标称水平（例如 90%）的置信区间。相比之下，BLBquant 在有限样本中经常覆盖率不足（无效），而 PrivBoot 则始终过于保守，生成的区间显著更宽。
• 鲁棒性：PrivSub 在平滑（中位数、回归）和非平滑（KS）泛函上均表现良好。在 KS 实验中，由于非正态极限分布对其他方法构成挑战，PrivSub 显著优于竞争对手。
• 有限样本性能：该方法生成的区间宽度与相应的非隐私基线相当，甚至更小；而竞争性的私有方法往往因隐私组合成本或无效性而遭受区间过宽的问题。

意义与主张
本文主张 PrivSub 提供了一种模块化且通用的私有统计推断方法。其主要意义在于放宽了构建有效 DP 置信区间所需的假设。与需要渐近正态性或特定噪声机制的先前工作不同，PrivSub 仅依赖于极限分布的存在性和已知收敛速率。这使得该框架适用于更广泛的统计问题，特别是那些涉及非平滑泛函或复杂分布的问题，传统自助法或正态近似方法在此类问题上往往失效。作者强调，其理论保证转化为实际性能，为隐私敏感数据分析中的不确定性量化提供了一种稳健的替代方案。