🤖 machine learning

TabPATE: Differentially Private Tabular In-Context Learning Without Public Data

本文介绍了 TabPATE，这是一个用于表格上下文学习（tabular in-context learning）的差分隐私框架，它利用教师-学生模型以及从特征范围或私有化边际分布中生成的合成查询，旨在无需公共分布内数据的情况下，防御成员推理攻击。

原作者： Dariush Wahdany, Matthew Jagielski, Jesse C. Cresswell, Adam Dziedzic, Franziska Boenisch

发布于 2026-07-01

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Dariush Wahdany, Matthew Jagielski, Jesse C. Cresswell, Adam Dziedzic, Franziska Boenisch

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你拥有一个超级聪明、经过预训练的“先知”（一种表格基础模型），它只需阅读你提供的几个示例，就能预测诸如贷款审批或医疗诊断之类的事情。这被称为上下文学习（In-Context Learning, ICL）。你不需要重新训练这个先知；你只需要向它的耳边低语几个例子，它就能领悟其中的规律。

问题在于？你低语的那些例子可能包含隐私秘密（比如某人的信用卡号或病史）。

问题所在：“泄露的低语”

论文首先证明，如果你使用私密数据作为这些示例，先知会无意中“泄露”这些秘密。

可以这样想：你问先知，“这个人的信用评分好吗？”

如果先知之前见过这个特定人的数据（作为“低语的示例”），它可能会以略微不同的置信度或速度来回答。
一个狡猾的攻击者（一种“成员推理攻击”）可以通过监听这些细微差别来猜测：“啊哈！那个特定的人的数据确实在给你的示例中！”

作者测试了这一点，并发现即使是处于被动监听状态的攻击者，其猜测正确率也能达到 10%（这比随机猜测要高得多）；而一个更具侵略性的攻击者，其猜测正确率甚至能达到 75%。这是一个隐私灾难。

旧的解决方案：“公共图书馆”难题

为了解决这个问题，研究人员之前使用了一种名为 PATE（教师集成私有聚合）的方法。

它是如何工作的： 他们将私密数据分配给多个“教师”先知。这些教师会对一个问题进行投票。为了保护隐私，他们在宣布结果之前会加入一点点“静态噪声”。
症结所在： 为了让教师们提出正确的问题，你需要一个包含类似非私密数据的**“公共图书馆”**来生成这些问题。
现实情况： 在医疗或金融等敏感领域，你通常没有类似的公共图书馆。你不能直接向一家公立医院索要看起来完全像你私密数据的“虚假”患者记录。

新的解决方案：TabPATE（“想象引擎”）

作者引入了 TabPATE，一种新的保护隐私的方法，它不需要公共图书馆。

以下是类比：
与其需要一个公共数据集来练习提问，TabPATE 利用游戏规则来想象出这些问题。

规则是已知的： 表格数据（如电子表格）有着严格的规则。我们知道“身高”列必须在 0 到 10 英尺之间。我们知道“年龄”是一个数字。我们知道“性别”是一个特定的类别。
生成合成查询： TabPATE 利用这些已知的规则（“边界”）来想象（生成）虚假的、合成的查询。
- 选项 A（纯粹的想象）： 它只是在允许的范围内随机选择数字（例如：“年龄：45，身高：5.8”）。这消耗的隐私成本为零。
- 选项 B（引导式想象）： 如果数据比较复杂（例如某种罕见疾病），它会花费一小部分隐私预算来学习数据的总体“形状”（例如：“大多数人处于 30 到 50 岁之间”），然后生成符合该形状的问题。
投票过程： 它让持有私密秘密的“教师”先知对这些想象出来的问题进行回答。
安全的答案： 教师们进行投票，系统会在投票中加入噪声，以确保无法通过逆向工程推导出任何单个人的秘密。
结果： 系统发布一份新的“想象的问题 + 安全的答案”列表。这份列表成为了先知的全新“上下文”。

为什么这意义重大

无需公共数据： 你不需要寻找一个看起来像你私密数据集的公共数据集。系统可以利用已知的规则（从零开始）构建自己的“练习题”。
隐私得到保护： 作者通过测试发现，使用 TabPATE 后，狡猾攻击者的成功率降到了接近随机猜测的水平（基本上是 50/50）。隐私秘密被有效地隐藏了起来。
性能依然出色： 即便有了这么多隐私保护措施，先知仍然可以做出准确的预测。在测试中，TabPATE 的表现几乎与非私密版本一样出色，并且优于其他不使用公共数据的隐私方法。

总结

TabPATE 是一个保护读取私密电子表格的 AI 隐私盾牌。它不需要公共数据集来练习，而是利用已知的数据限制（如“年龄必须为正数”）来生成自己的练习题。然后，它让一组私密的“教师”对这些问题进行投票，加入噪声以掩盖个体秘密，最后发布一份安全的标注数据集。这使得 AI 能够从私密数据中学习，而永远不会泄露这些数据属于谁，同时也无需任何外部公共数据来提供帮助。

技术摘要：TabPATE：无需公开数据的差分隐私表格上下文学习

1. 问题陈述

表格基础模型（Tabular Foundation Models, TFMs）通过上下文学习（In-Context Learning, ICL）实现精确预测，即在模型的上下文中放置一小部分带标签的数据集，以引导推理过程而无需更新参数。虽然这种范式在医疗保健和金融等领域非常有效，但它引入了一个关键的隐私漏洞：放置在上下文中的记录可能包含敏感的私人信息。

作者首先证明了这种风险并非仅仅是假设性的。通过将标准的成员推理攻击（Membership Inference Attacks, MIAs）适配到表格 ICL 设置中，他们展示了模型的预测会泄露特定记录是否被包含在私有演示上下文中的信息。

威胁模型： 研究评估了四种威胁模型，范围从被动黑盒访问（仅标签访问）到主动灰盒访问（带有上下文操纵/投毒）。
研究结果： 即使是被动灰盒攻击者，在 1% 的假阳性率（FPR）下也能达到 9.9% 的真阳性率（TPR）。主动攻击（例如使用“真理血清”投毒）的 TPR 可达 75.4%，这表明私有上下文记录通过模型行为被显著暴露。

标准的差分隐私（DP）训练方法，如差分隐私随机梯度下降（DPSGD），并不适用于此处，因为 TFMs 是作为冻结的推理时模型使用的。现有的 PATE（教师集成之私有聚合）方法，例如 PromptPATE，依赖于无标签的公开分布内数据来生成教师模型的查询。在敏感的表格领域（如金融、医疗），此类公开数据通常是不可用的，这为实际的隐私部署造成了空白。

2. 方法论：TabPATE

本文介绍了 TabPATE，一种专为表格 ICL 设计的中心化 DP 框架，它消除了对公开分布内数据的需求。它遵循教师-学生架构：

A. 教师划分与查询生成

划分： 将私密敏感数据集 $D$ 划分为 $K$ 个不相交的子集。每个子集作为单独的“教师”TFM（使用不同的数据进行提示的同一个冻结模型）的演示上下文。
合成查询生成（核心创新）： 与在公开数据上查询教师的标准 PATE 不同，TabPATE 在没有公开数据的情况下生成合成表格查询 ( $\tilde{x}$ $\tilde{x}$ )。这利用了表格数据的特定属性（有界、类型化、低维特征）：
- 数据无关先验 ( $\alpha=0$ )： 查询是从基于已知特征边界的固定先验（例如特征范围内的均匀分布或高斯分布）中采样的。这产生的隐私成本为零。
- DP 边缘统计量 ( $\alpha>0$ )： 使用一部分隐私预算 ( $\alpha\epsilon$ ) 来发布噪声化的私有数据边缘统计量（均值和方差）。然后从生成的乘积分布中进行采样。这对于不平衡数据集或回归任务是有益的。

B. 私有聚合

在合成记录上对教师进行查询。使用 Confident-GNMax 算法聚合它们的预测：

如果教师在某个标签上达成充分一致，则发布一个带噪声的多数标签。
如果置信度较低，则机制选择弃权。
生成的带标签合成对 $(\tilde{x}, \tilde{y})$ 构成了学生上下文 ( $\tilde{D}$ )。

C. 隐私保证

发布的学生上下文满足 $(\epsilon, \delta)$ -差分隐私。隐私预算被分配到可选的边缘释放和标签聚合之间。由于下游预测仅依赖于释放的学生上下文，因此不会产生额外的隐私成本。

3. 主要贡献

风险的实证验证： 作者将 MIAs 适配到表格 ICL，证明了私有上下文记录会通过预测泄露，主动攻击会导致严重的泄露。
TabPATE 框架： 一种用于表格 ICL 的中心化 DP 风格的 PATE 防御方法，它用基于特征边界或 DP 边缘生成的合成表格查询取代了对公开分布内转移数据的需求。
实证验证： 在多个表格基准测试上的评估表明，TabPATE 在保持竞争力的效用的同时，将成员推理成功率降低到了接近随机的水平。

4. 实验结果

作者在五个标准分类数据集（如 German Credit, Diabetes）和八个回归数据集上评估了 TabPATE，并将其与非私有 ICL、DP-SGD、DP-合成数据、查询时聚合以及 PromptPATE 进行了比较。

效用： 在隐私预算 $\epsilon=10$ 时，TabPATE 实现了 71.2% 的平衡准确率，优于其他无需公开数据的基线（如 Query-Time 为 61.3%），并接近需要公开数据的 PromptPATE（68.6%）。
隐私保护： TabPATE 成功缓解了成员推理。对于非私有的 TabPFN，LiRA 攻击实现的 AUC 约为 0.76。TabPATE 在 $\epsilon=1$ 和 $\epsilon=10$ 时都将其降低到了接近随机的性能（AUC $\approx$ 0.5）。
回归： 该方法通过聚合有界的、带噪声的教师预测扩展到了回归任务。虽然回归比分类更具挑战性，但分配一小部分预算用于边缘查询生成 ( $\alpha > 0$ ) 提高了相对于纯数据无关查询的性能。
基线对比： TabPATE 在维持效用方面始终优于 DP-SGD 和 DP-合成数据基线，后者在隐私约束下难以维持效用。

5. 意义与主张

本文声称 TabPATE 提供了一条实现私有表格 ICL 的实用路径，在公开分布内数据不可用的场景下尤为如此。通过利用表格特征的结构化特性（有界范围和类型），该方法在不损害隐私或需要外部数据的情况下生成有用的查询。

作者得出结论，TabPate 提供了一种可行的防御机制，该机制：

为下游任务保留了具有竞争力的效用。
将成员推理风险降低到接近随机猜测的水平。
使 TFM 能够在数据共享受限的敏感领域（如医疗保健和金融）中得以部署。

这项工作表明，无需公开数据的 PATE 风格知识转移是保障结构化数据环境中基础模型安全的一条可行途径。