技术摘要：用于 Rényi 鱼雷隐私的α-Wasserstein 机制

问题陈述

本文解决了校准噪声机制以满足**Rényi 鱼雷隐私（Rényi Pufferfish Privacy, RPP）**的挑战，该框架将差分隐私扩展到数据对秘密存在概率依赖的场景。虽然标准鱼雷隐私（基于$\epsilon$-不可区分性）提供了强有力的保证，但它通常需要过多的噪声，从而降低数据效用。此前利用 Rényi 散度放松这些约束的尝试（导致$(\alpha, \epsilon)$-RPP）依赖于基于$\infty$-Wasserstein 度量（$W_\infty$）的机制，或者需要额外的近似，例如$\delta$参数，以处理有限阶$\alpha < \infty$。

识别出的核心问题是，现有的实现$(\alpha, \epsilon)$-RPP 的方法要么：

1. 使用$W_\infty$度量（对应最坏情况），导致所需的噪声尺度比有限$\alpha$理论上必要的更大。
2. 引入辅助的$\delta$-近似参数，这使隐私定义和累积损失计算变得复杂。

作者旨在通过利用同阶$\alpha$的 Wasserstein 机制，推导出一种无需$\delta$等额外放松即可实现精确$(\alpha, \epsilon)$-Rényi 鱼雷隐私的机制，其中$\alpha \in (1, \infty]$。

方法论

所提出的方法论引入了$\alpha$-Wasserstein 机制，该机制基于$\alpha$-Wasserstein 度量（$W_\alpha$）而非$W_\infty$度量来校准噪声参数（拉普拉斯噪声的尺度$b$、高斯噪声的方差$\sigma^2$以及指数机制的参数$\theta$）。

理论框架

1. Hölder 不等式的应用：核心理论贡献在于将 Hölder 不等式应用于 Rényi 散度的定义。通过对噪声分布卷积积分进行界定，作者推导出了一个充分条件：如果秘密先验分布之间的$W_\alpha$度量被$\epsilon$和$\alpha$的特定函数所界定，则 Rényi 散度$D_\alpha$的上界为$\epsilon$。
2. 拉普拉斯机制：对于拉普拉斯噪声$N \sim \text{Lap}(b)$，作者证明，如果尺度参数$b$满足：
   $$\inf_{\pi} \int e^{\alpha \frac{|x-x'|}{b}} d\pi^*(x, x') \leq e^{(\alpha-1)\epsilon}$$
   则满足$(\alpha, \epsilon)$-RPP。这被重新表述为具有距离函数$d(z) = e^{|z|/b}$的$W_\alpha$条件。
3. 高斯机制：对于高斯噪声$N \sim \mathcal{N}(0, \sigma^2)$，类似的推导表明，满足$(\alpha, \epsilon)$-RPP 需要：
   $$\inf_{\pi} \int e^{\frac{\alpha(\alpha-1)(x-x')^2}{2\sigma^2}} d\pi^*(x, x') \leq e^{(\alpha-1)\epsilon}$$
   这对应于具有距离$d(z) = e^{z^2/2\sigma^2}$的$W_{\alpha(\alpha-1)}$机制。
4. 指数机制：该方法被扩展到指数机制，其中噪声分布与$e^{-\eta(\theta)c(z)}$成正比。

关键区别

• 精确性：与之前使用$W_\infty$并结合$\delta$-近似来处理有限$\alpha$的工作（例如 [16]）不同，本文提供了$(\alpha, \epsilon)$-RPP 的精确界限，无需引入$\delta$参数。
• 极限情况：当$\alpha \to \infty$时，该框架自然地恢复了用于$\epsilon$-鱼雷隐私的已确立的$W_\infty$机制。
• 确定性归约：在确定性数据（标准差分隐私）的情况下，高斯机制的条件简化为 [15] 中发现的用于确定性数据的 Rényi 差分隐私的已知闭式解。

主要贡献

1. 拉普拉斯机制的校准：本文推导了通过$\alpha$-Wasserstein 度量校准拉普拉斯噪声的充分条件。它表明，如果$W_\alpha$度量被$\epsilon^{\frac{\alpha-1}{\alpha}}$界定，则隐私保证成立。这推广了现有的$W_\infty$机制。
2. 高斯噪声的改进：作者为高斯噪声提出了一种$W_{\alpha(\alpha-1)}$机制。他们表明，这种方法与现有的确定性数据 Rényi 差分隐私结果一致，但将其扩展到了相关数据设置（鱼雷隐私），且无需$\delta$-放松。
3. 指数机制的扩展：$\alpha$-Wasserstein 方法成功扩展到指数机制，为各种噪声类型提供了统一的框架。
4. 拒绝双重放松：本文论证了将 Rényi 阶$\alpha$与$\delta$-近似结合并非必要，指出 Rényi 度量本身已是对最坏情况约束的放松。添加$\delta$会进一步使隐私核算复杂化，且缺乏内在必要性。

实验结果

作者在 UCI 仓库的三个真实世界数据集（Adult、Heart Disease和Student Performance）上评估了所提出的机制。

• 噪声减少：实验表明，与 [16, 推论 3.1] 中引用的基于$W_\infty$的方法相比，所提出的$\alpha$-Wasserstein 机制（定理 1 和定理 2）需要显著更小的噪声参数（拉普拉斯的$b$和高斯的$\sigma^2$）。
• 高斯与拉普拉斯：对于固定的$(\alpha, \epsilon)$隐私级别，高斯机制始终比拉普拉斯机制需要更少的噪声功率（方差），特别是在隐私预算$\epsilon$较小时。
• $\alpha \to 1$时的行为：结果表明，随着$\alpha$趋近于 1，所需的尺度参数增加，这反映了 Rényi 散度在$\alpha=1$处未定义，且$\alpha=1$（Kullback-Leibler 散度）代表了一种过度的放松，不适合最坏情况隐私保护。

意义与主张

本文声称，$\alpha$-Wasserstein 机制提供了一个统一且精确的框架来实现 Rényi 鱼雷隐私。其主要意义在于：

• 改进的效用：通过使用随$\alpha$单调递增的$W_\alpha$度量，而非最坏情况的$W_\infty$度量，该机制允许更小的噪声尺度，从而保留更高的数据效用。
• 理论纯粹性：它在无需辅助$\delta$-近似的情况下实现了精确的$(\alpha, \epsilon)$-RPP 保证，简化了隐私定义和核算。
• 泛化性：结果将现有的 Rényi 差分隐私发现推广到涉及概率秘密和相关数据的更复杂的鱼雷隐私设置。

作者总结道，虽然当前工作专注于$\alpha \in (1, \infty]$，但未来的研究方向包括推导噪声参数的闭式解、探索$\alpha \in (0, 1)$的操作解释，以及利用 Monge 公式为高斯先验开发$W_2$机制。