🤖 machine learning

Adaptive Sampling and Clipping for Private Worst-Case Group Optimization

本文介绍了 ASC，一种新颖的算法，它通过自适应地控制采样率和梯度裁剪阈值，在优先关注更难学习的群体而不损害整体模型效用的同时，同时确保差分隐私并改善最坏情况下的群体公平性。

原作者： Max Cairney-Leeming, Amartya Sanyal, Christoph H. Lampert

发布于 2026-05-28

📖 1 分钟阅读☕ 轻松阅读

原作者： Max Cairney-Leeming, Amartya Sanyal, Christoph H. Lampert

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是用通俗语言和日常类比对论文《用于隐私保护的最坏情况组优化的自适应采样与裁剪》的解释。

核心难题：“隐私与公平”的两难困境

想象你正在运营一所学校，训练一个机器人识别不同种类的水果。你有一大篮苹果、橙子和香蕉。然而，你只有几颗稀有的“杨桃”，却有一大堆苹果。

你希望达成两个目标：

公平性：机器人识别稀有杨桃的能力，必须与识别常见苹果的能力一样强。如果它因为苹果太多而只学习苹果，它就未能通过“公平性”测试。
隐私性：你想用人们发给你的水果照片来教机器人，但必须确保没人能猜出具体是哪个人发了哪张照片。

冲突所在：
通常，当你试图保护隐私（通过向数据添加“噪声”或杂音来掩盖个人贡献）时，机器人会感到困惑。它往往比平时更倾向于忽略稀有群体（杨桃），因为它们的信号太弱，无法穿透隐私噪声。与此同时，如果你试图强迫机器人关注稀有群体以实现公平，你可能会意外泄露那些发送了稀有照片的少数人的私人信息。

到目前为止，还没有一种好的方法能同时做到这两点。

解决方案：ASC（自适应采样与裁剪）

作者提出了一种名为ASC的新方法。可以将 ASC 想象为一位非常聪明、公平且谨慎的老师。

1. “公平性”技巧：自适应采样

在普通课堂中，老师会从整个篮子里随机挑选问题。如果有 1,000 个苹果和 1 个杨桃，老师几乎永远不会挑到杨桃。

ASC 改变了规则：
老师不再随机挑选，而是查看各组的“权重”。如果杨桃组表现吃力，老师会故意在该轮练习中挑选更多杨桃问题。

类比：想象一位教练在训练一支队伍。如果队伍左侧较弱，教练不会只是随机地让全队练习，而是确保左侧在该特定训练中获得额外的重复练习。ASC 通过每次学习时调整从每个组抽取的样本数量来实现这一点。

2. “隐私性”技巧：自适应裁剪

为了保护隐私，老师有一条规则：“没有哪个学生可以喊得太响，否则我们就能认出他们是谁。”用数学术语来说，这叫做裁剪。它限制了任何单个数据点对机器人学习的影响程度。

旧方法的问题：
如果你有一个稀有群体（如杨桃），你需要给他们一个“更大”的声音才能被公平地听到。但如果你调大他们的音量，就会破坏隐私规则，因为他们的贡献变得太大了。

ASC 的修正：
ASC 是动态的。它根据刚刚抽取的样本数量，为每个组调整“音量限制”（裁剪阈值）。

类比：想象一个调音台。如果老师挑选了 50 个杨桃问题（很多），那么每个单独杨桃问题的音量限制会略微降低，以保持总音量安全。如果只挑选了 1 个杨桃问题，音量限制则会提高，以便那一个问题仍能被清晰地听到。
结果：稀有群体获得了它们学习所需的关注，但“响度”始终经过调整，确保没有任何单个人的数据能被识别。

为何这比之前的尝试更优越

论文将 ASC 与其他方法进行了比较：

“天真”的方法（DP-SGD）：这就像老师因为稀有群体太难保护而完全忽略它们。机器人变得非常擅长识别苹果，但在杨桃上表现极差。
“重加权”方法：这就像老师试图在课程中更大声地喊“杨桃！”。这有所帮助，但会产生大量“杂音”（方差），使学习过程变得不稳定且缓慢。
“Zhou & Bassily"方法：这是一种较旧的方法，试图根据重要性随机挑选组别。论文认为，这就像一位老师在一小时内只挑选一个组。如果选了稀有组，他们只能练习 10 分钟；如果选了常见组，他们能练习 50 分钟。这种方法效率低下且不稳定。

ASC 的优势：
ASC 在每一步都将各组混合在一起。它从这儿抽几个，从那儿抽几个，并实时调整音量限制。

结果：机器人学习得更快、更稳定。它在稀有群体（即“最坏情况”群体）上实现了高准确率，同时没有牺牲整体能力或破坏隐私规则。

总结

论文声称，ASC 是一种实用且有效的算法，解决了“隐私与公平”的冲突。

它有效：在手写数字（某些数字较稀有）和人脸识别（某些人群较稀有）等数据集的测试中，ASC 在稀有群体上实现的准确率远高于任何之前的隐私保护方法。
它稳定：与其他方法相比，它受隐私噪声的干扰较小，不易困惑。
它安全：它在数学上保证了用户数据的隐私，即使在给予代表性不足群体额外关注的同时也是如此。

简而言之，ASC 是一种训练人工智能的新方法，它表明：“我们既可以保护每个人的隐私，又能确保人工智能对最微小的群体公平，而无需在两者之间做出选择。”

技术摘要：用于私有最坏情况组优化的自适应采样与裁剪

问题陈述

本文探讨了训练同时满足公平性和隐私性这两个关键要求的机器学习模型所面临的挑战。具体而言，作者聚焦于最坏情况组优化（WGO），其目标是在遵守**差分隐私（DP）**以保护用户数据的前提下，最大化表现最差的群体（即罗尔斯的极大极小准则）的准确率。

现有文献表明，这些目标之间存在根本性冲突。标准的差分隐私随机梯度下降（DP-SGD）往往会加剧公平性问题，导致少数群体的准确率显著低于标准 SGD。虽然先前的工作试图缓解 DP 引发的不公平现象，或提出了私有 WGO 算法（例如 Zhou 和 Bassily [2024]），但这些方法存在实际局限性：

不公平性缓解：仅调整 DP-SGD 内部机制的方法无法解决标准 SGD 本身就不公平的场景。
先前的私有 WGO：现有的私有 WGO 算法通常依赖于在现实世界数据集中不成立的假设（例如群体规模平衡），或者由于高方差和效率低下的采样策略而表现出较差的实验性能。

方法论

作者提出了ASC（自适应采样与裁剪的最坏情况组优化），这是一种旨在差分隐私约束下优化最坏群体准确率的实际算法。其核心创新在于超越了简单的损失重加权，从根本上改变了 DP-SGD 的采样和裁剪机制。

1. ASC 算法

ASC 通过在每个训练步骤中自适应地控制每个群体 $g$ 的两个参数来运行：

自适应采样：ASC 不是从整个数据集中均匀采样一个批次并对梯度进行重加权（这会对少数群体引入高方差），而是在单个批次内从每个群体 $g$ 中采样特定数量的点 $m_g$ 。每个群体的批次大小与当前群体权重 $\lambda_g$ 成正比（即 $m_g \approx \lambda_g M$ ）。这确保了期望更新直接匹配 WGO 目标。
平衡裁剪：为了在采样率（ $m_g/n_g$ ）变化的情况下保持一致的隐私保证，ASC 为每个群体自适应地设置梯度裁剪阈值 $\xi_g$ 。阈值的计算使得该步骤的黎尼差分隐私（RDP）保证固定在一个预定义的预算 $(\alpha, \epsilon_s)$ 上，无论群体规模或采样率如何。这使得算法能够向群体更新的总和添加噪声，而不是向单个更新添加噪声，从而减少总噪声。

2. 基线与比较

本文评估了 ASC 与以下基线的对比：

DP-SGD：标准私有训练。
DP 损失重加权（DP-LRW）：一个新的基线，应用标准 DP-SGD 但根据群体重要性对梯度进行重加权。作者指出，由于梯度的重新缩放，这会引入显著的方差。
aZB（Zhou 和 Bassily [2024]）：一种先前的私有 WGO 方法，根据类别概率从群体中采样批次。作者指出，当群体规模不平衡时，该方法遭受高方差和较差的隐私保证，因为隐私成本由最小的群体决定。
aZB-prop：aZB 的一个变体，使用比例采样以均衡隐私保证，尽管它仍然遭受高采样方差的影响。

3. 理论分析

作者为噪声 WGO 算法提供了收敛性分析，将误差分解为与优化景观和采样方差相关的项。

定理 3 表明，与 aZB 和 aZB-prop 相比，ASC 具有显著更低的采样方差。
与包含不随批次大小缩小的组间差异项的 aZB 不同，ASC 的方差仅仅是组内方差的加权组合，因为它在每一步都从所有群体中采样。
本文证明了 ASC 通过组合自适应模型更新步骤和周期性群体重加权步骤的保证，满足 $(\alpha, \epsilon)$ -RDP。

主要贡献

新基线：引入DP-LRW，这是一个简单、易于实现的基线，它私有化了损失重加权，显示出优于标准 DP-SGD 的改进，但也突显了方差问题。
ASC 算法：一种用于私有 WGO 的实际算法，使用自适应分层采样和自适应裁剪阈值。这种设计使模型能够优先处理更难学习的群体，同时不损害隐私保证或模型效用。
收敛性分析：一项理论研究确立了采样方差是 WGO 算法之间的主要区分因素，证明了 ASC 相比先前方法具有更优越的稳定性。
实验验证：首次对私有 WGO 算法进行了全面的实验比较，证明 ASC 在不过度牺牲整体平均准确率的情况下，实现了最先进的最坏情况组准确率。

实验结果

作者在三个数据集上评估了 ASC：不平衡 MNIST（对类别进行下采样的数字分类）、CelebA（存在人口统计不平衡的面部属性）和银行账户欺诈（包含欺诈/年龄组的表格数据）。

性能：ASC 始终优于所有基线。在 CelebA 数据集上，ASC 的最坏情况组准确率（WGA）比次优方法高出30%。在不平衡 MNIST 上，ASC 达到了 75.2% 的 WGA，而标准 DP-SGD 仅为 20.4%。
方差：实证测量证实了理论分析，显示与 aZB 和 aZB-prop 相比，ASC 的采样方差降低了约100 倍。
隐私预算：ASC 在一系列隐私预算（ $\epsilon \in [0.1, 5]$ ）下保持了稳健的性能，而其他方法（如 DP-SGD-F）仅在更高、隐私性较低的 $\epsilon$ 值下才显示出显著改进。

意义与主张

本文声称提供了第一种实用方法，能够同时强制执行最坏情况组公平性和差分隐私。作者认为，先前的方法要么理论健全但实际适用性差（例如在不平衡数据上失效），要么未能解决私有学习中不公平的根本原因。

通过自适应裁剪将采样策略与隐私机制解耦，ASC 解决了为公平性而需要加权少数群体与为隐私性而需要限制敏感度之间的张力。作者总结道，他们的工作通过实现公平且私有的机器学习模型的训练，产生了积极的社会影响，这是以人为本应用中可信人工智能的前提。他们承认关于极小群体的基本隐私局限性，但指出即使在具有挑战性的设置中，他们的方法也显著优于现有的基线。