💻 computer science

CoLA: A Choice Leakage Attack Framework to Expose Privacy Risks in Subset Training

本文提出了 CoLA 攻击框架，挑战了“子集训练能降低隐私风险”的直觉，揭示了子集选择过程本身会通过训练成员和选择参与两种新途径泄露敏感信息，从而扩大了机器学习生态系统的隐私攻击面。

原作者： Qi Li, Cheng-Long Wang, Yinzhi Cao, Di Wang

发布于 2026-04-15

📖 1 分钟阅读☕ 轻松阅读

原作者： Qi Li, Cheng-Long Wang, Yinzhi Cao, Di Wang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文讲了一个反直觉的真相：你以为“少用点数据”能保护隐私，结果反而可能让隐私泄露得更厉害。

为了让你轻松理解，我们把机器学习训练比作**“开一家米其林餐厅”**。

1. 背景：为什么要“挑挑拣拣”？

现在的餐厅（AI 模型）面对的数据（食材）太多了，全用不完，也没必要。

传统做法：厨师（算法）会从成千上万种食材里，精心挑选一部分（比如只选最鲜活的鱼、最嫩的肉），组成一个“精选菜单”（子集），用来训练新厨师。
大家的错觉：人们觉得，“既然我只用了 10% 的食材，那剩下的 90% 没被用到，肯定很安全，没人能猜到我用了什么，也没人能猜到我没用什么。”

2. 核心发现：被选中的是秘密，没被选中的也是秘密！

论文作者（Qi Li 等人）发现了一个大漏洞：“挑选”这个动作本身，就泄露了秘密。

想象一下，如果有一个侦探（攻击者）站在厨房门口：

情况 A（传统攻击）：侦探尝了尝端出来的菜，猜出厨师用了哪条鱼。这很常见。
情况 B（本文的新发现 - CoLA 攻击）：侦探不需要尝菜，他只需要观察**“哪些食材被扔进了垃圾桶”**。
- 如果厨师总是把“有点不新鲜的鱼”挑出来扔掉，而把“完美的鱼”留下。
- 侦探通过观察垃圾桶里的鱼，就能推断出：“哦，这家店肯定有那条鱼，只是它不够好被扔了。”
- 甚至，如果侦探知道厨师的“挑选标准”（比如：只选红色的鱼），他就能推断出：“只要不是红色的鱼，肯定都在垃圾桶里，或者根本没进过厨房。”

结论：在“子集训练”中，被选中的（训练数据）和被剔除的（未训练数据），其实都暴露了隐私。

3. 两个新的“隐私泄露面”

论文提出了两个新的概念，就像两个不同的“泄密窗口”：

窗口一：TM-MIA（训练成员泄露）
- 比喻：侦探猜出“这道菜里有这条鱼吗？”
- 解释：这是传统的隐私攻击，只关心模型是不是“记住”了某条数据。
窗口二：SP-MIA（选择参与泄露）—— 这是本文的杀手锏
- 比喻：侦探猜出“这条鱼曾经出现在采购清单上吗？哪怕它最后被厨师扔进了垃圾桶？”
- 解释：这是全新的视角。只要你的数据参与过“被挑选”的过程（无论最后是被选中训练，还是被剔除），攻击者都能通过观察“挑选模式”推断出来。
- 严重性：这就像你去医院体检，哪怕医生最后说“你没问题，不用吃药”，但“你曾经来过医院”这个事实本身，可能就已经暴露了你的健康状况（比如你可能是 HIV 携带者，只是没发病）。

4. 攻击者是怎么做到的？（CoLA 框架）

作者设计了一个叫 CoLA 的“侦探工具包”，它有两种侦查模式：

模式一：有“内鬼”情报（侧信道攻击）
- 场景：侦探知道厨师的挑选规则（比如“只选前 20% 最好的”），甚至知道具体的算法名字。
- 手段：侦探模拟厨师的挑选过程，反复试错。如果某条鱼在 100 次模拟中，有 90 次都被选中，那它肯定很“特别”（属于训练集）；如果它总是被扔进垃圾桶，那它属于“被剔除集”。
- 结果：攻击成功率极高。
模式二：完全“瞎蒙”（黑盒攻击）
- 场景：侦探什么都不知道，连厨师怎么挑都不知道，只能看端出来的菜。
- 手段：侦探利用“几何特征”。比如，被选中的食材通常长得比较“像”（在数学空间里聚在一起），而被剔除的则比较散乱。侦探通过观察这些“长相”的规律，也能猜出谁被选过。
- 结果：即使完全不知道内部规则，攻击依然有效。

5. 实验结果：现实很骨感

作者在各种模型（像识别图片的 ResNet，像写文章的 Pythia）上做了测试：

传统方法：在“子集训练”面前几乎失效，猜对的概率跟抛硬币差不多（50%）。
CoLA 方法：
- 在有情报的情况下，猜对率高达 90% 以上。
- 在完全瞎蒙的情况下，猜对率也能轻松超过 80%。
- 最可怕的是：随着挑选比例的变化（比如从选 20% 变成选 80%），隐私泄露的风险反而更严重了。

6. 总结与启示

这篇论文就像给 AI 行业敲了一记警钟：

“少即是多”在效率上是对的，但在隐私上是错的。

你以为把数据删掉一部分就安全了，其实**“删掉谁”和“留下谁”这两个动作，本身就构成了巨大的隐私泄露源**。

给普通人的启示：
以后如果你看到某个 AI 公司说“我们只用了精选数据，所以很安全”，你要多留个心眼。因为**“精选”的过程本身，可能正在把你的隐私（比如你曾参与过某项调查、你曾拥有过某种数据）大张旗鼓地展示给黑客看。**

保护隐私，不能只盯着“模型记住了什么”，还得盯着“数据是怎么被挑选的”。整个数据供应链（从采集到筛选再到训练）都需要穿上“防弹衣”。

1. 研究背景与问题定义 (Problem)

背景：
在现代机器学习（ML）实践中，由于数据规模庞大，直接在完整数据集上训练变得不切实际。因此，子集训练（Subset Training） 已成为标准预处理流程。这包括视觉领域中的核心集选择（Coreset Selection）、语言模型中的大规模去重与过滤（Filtering/Deduplication）以及主动学习等。

传统直觉与误区：
通常认为，使用更少的样本进行训练应该会降低隐私泄露风险（因为模型记忆的数据更少）。

核心问题：
本文挑战了这一假设，指出子集训练并非隐私安全。

选择泄露（Choice Leakage）： 决定哪些数据被包含（Included）或排除（Excluded）的过程本身会编码信号。
新的攻击面： 攻击者不仅可以通过模型输出推断训练数据成员，还可以推断出参与过选择过程但被排除的数据。
隐私边界的扩展： 隐私风险从单一的“模型训练成员”扩展到了整个“数据 - 模型供应链”。

定义两种隐私攻击面：

训练成员推断攻击 (TM-MIA, Training-membership MIA)： 传统攻击，判断样本是否属于最终用于训练的数据集 $I$ 。
选择参与推断攻击 (SP-MIA, Selection-participation MIA)： 本文提出的新视角，判断样本是否属于参与过选择过程的所有数据（即 $I \cup E$ ，包含被选中和被排除的数据），而不仅仅是最终训练集。这暴露了数据供应链中的选择偏好。

2. 方法论：CoLA 框架 (Methodology)

作者提出了 CoLA (Choice Leakage Attack) 统一框架，利用“选择信号”进行成员推断。该框架基于一个核心动机：选择器（Selector）在多次选择尝试中会表现出“包含稳定性”（Inclusion Stability），即某些样本由于符合选择器的隐式标准（如高信息量、低噪声），会在不同的候选子集中被反复选中。

CoLA 针对两种攻击者知识场景设计了攻击策略：

A. 子集感知侧信道攻击 (Subset-aware Side-channel Attacks)

假设： 攻击者知道选择算法（如 Glister, Craig 等）和选择比例 $r$ ，并能访问模型输出。
方法：
1. 构建重叠窗口： 将原始数据集 $D_0$ 划分为多个重叠的滑动窗口 $\{W_i\}$ 。
2. 模拟选择过程： 在每个窗口 $W_i$ 上运行已知的选择算法 $Sel(\cdot; r)$ 。
3. 统计包含计数： 记录目标样本 $x$ 在 $m$ 个窗口中被选中的次数 $t(x)$ 。
4. 打分函数： 基于二项分布假设，构建得分函数 $s_{side}(x)$ 。如果样本被选中的频率显著高于随机概率（ $r \cdot n$ ），则得分更高。
5. 决策： 通过阈值判断样本是成员还是非成员。

B. 黑盒攻击 (Black-box Attacks)

假设： 攻击者仅能查询目标模型输出，不知道选择算法、比例或任何元数据。
方法：
1. 无监督聚类： 在每个窗口 $W_i$ 中，利用嵌入模型（Embedding Model）对数据进行聚类（如 K-Means）。
2. 几何代表性推断： 假设被选中的样本通常是其所在簇的代表性样本（即距离簇中心较近）。
3. 证据构建： 计算样本 $x$ 到其所在簇中心的距离 $d(x, W_i)$ 。如果距离小于中位数距离，则视为“被选中”的证据。
4. 加权打分： 结合包含次数 $t(x)$ 和平均距离 $\bar{d}(x)$ 构建得分 $s_{black}(x)$ 。距离越近且被选中次数越多，得分越高。
5. 优势： 无需任何选择过程的元数据，仅依赖数据在嵌入空间中的几何特性即可推断。

3. 主要贡献 (Key Contributions)

首次系统定义子集训练下的成员泄露问题： 揭示了子集选择过程本身是一个严重的隐私泄露源，不仅训练数据有风险，被排除的数据（Selection Members）同样面临泄露风险。
提出 CoLA 框架： 一个统一的攻击框架，利用“选择稳定性”信号，将攻击面从模型输出扩展到数据选择过程。它无缝统一了侧信道和黑盒两种攻击设置。
实证验证： 在视觉模型（ResNet, VGG）和语言模型（Pythia, GPT-Neo）上进行了广泛实验，证明了现有威胁模型低估了子集训练的隐私风险。

4. 实验结果 (Results)

实验涵盖了视觉任务（CIFAR-10/100）和语言任务（Pythia-160M, GPT-Neo-125M 等），对比了 CoLA 与现有基线方法（如 NN, LiRA, Min-K% 等）。

侧信道攻击结果 (Table 1)：
- 在 TM-MIA 设置下，基线方法表现尚可（AUC 约 60-70%），CoLA 表现更优（AUC 可达 80-90%）。
- 在 SP-MIA 设置下，传统基线方法几乎失效（AUC 接近 50%，即随机猜测），因为它们依赖模型输出，而模型输出难以区分“被选中的训练数据”和“被排除的数据”。
- CoLA 表现卓越： 在 SP-MIA 下，CoLA 的 AUC 高达 90% 以上（例如在 Extensive 强度下达到 96.86%），证明了选择信号的有效性。
- 风险随比例增加： 随着选择比例（Intensity）增加，隐私泄露风险反而更严重。
黑盒攻击结果 (Figure 3 & 7)：
- 视觉模型： CoLA 在所有设置下比基线高出约 5% 的 AUC。
- 语言模型： 差距更为显著。除 CoLA 外，所有基线方法（包括 Loss, Min-K% 等）在 SP-MIA 下的表现均低于 Golden Baseline (Bag of Words)，甚至接近随机猜测。CoLA 在 Pythia-160M 上的 SP-MIA AUC 超过 80%。
- 这表明在缺乏元数据的黑盒场景下，仅靠模型输出无法有效攻击子集训练，但 CoLA 利用数据内在的几何/选择稳定性成功突破了防御。
消融实验：
- 窗口大小和聚类数量对性能影响较小，证明了方法的鲁棒性。
- 嵌入模型的选择会影响性能，但不同模型均能保持有效攻击能力。

5. 意义与影响 (Significance)

颠覆传统认知： 证明了“少样本训练 = 更安全”的直觉是错误的。子集选择过程引入了新的攻击面，扩大了隐私泄露的范围。
扩展隐私边界： 将隐私风险从单一的模型输出扩展到了整个数据 - 模型供应链。即使数据未被用于最终训练，只要参与了筛选过程，其存在性（Participation）就可能被推断。
现实危害：
- 敏感参与泄露： 攻击者可以推断出某条记录是否出现在候选池中（例如：是否参与了 HIV 筛查、临床试验招募或信用预审），即使该记录最终被拒绝。这可能导致污名化或歧视。
- 供应链脆弱性： 暴露了数据筛选策略的偏好，可能使系统更容易受到针对性的投毒攻击。
防御启示： 现有的防御措施（如差分隐私）主要针对模型训练阶段，而 CoLA 表明需要在数据选择阶段就引入隐私保护机制，或者对选择算法的元数据进行严格管控。

总结： CoLA 揭示了现代 ML 流水线中一个被长期忽视的隐私漏洞。它表明，仅仅减少训练数据量并不能保证隐私，反而可能因为选择机制的确定性信号而引入更广泛的泄露风险。