Quantifying the Privacy of Counterfactuals by Leveraging Membership Inference Attacks Against Synthetic Data

技术摘要：通过利用针对合成数据的成员推理攻击来量化反事实解释的隐私性

问题陈述
反事实解释（Counterfactual explanations）被广泛应用于高风险机器学习（ML）应用中，通过展示用户如何改变其属性以实现期望结果，从而阐明模型的决策过程。然而，发布这些解释会带来隐私风险。虽然现有研究已经发现反事实解释可能通过成员推理攻击（Membership Inference Attacks, MIAs）泄露训练数据的信息，但目前的特定于反事实的攻击（例如反事实距离攻击）通常要求对手具备对目标模型的查询访问权限。这种局限性使得模型提供者可以通过限制查询频率或提供重复的反事实解释来潜在地缓解风险。本文旨在解决一个关键差距：即在“无盒”（no-box）设置下，隐私泄露是否仍然可能发生——在这种设置中，对手仅拥有发布的一组反事实解释，而无法访问底层的模型、训练数据，也无法进行任何模型查询。

方法论
作者提出了一个新的威胁模型，将发布的反事实解释视为一种形式的合成数据。基于这样一个类比：反事实解释是现实训练数据的真实替代品，类似于由生成对抗网络（GANs）或其他生成模型产生的合成数据，本文研究了为合成数据设计的尖端 MIA 向反事实领域的迁移性。

实验框架包含以下步骤：

1. 威胁模型定义： 本研究定义了一个“无盒”攻击场景，其中对手拥有一组为不同用户生成的反事实解释，但缺乏对目标模型 ($f_\theta$) 或训练数据集 ($D$) 的访问权限。这与基准的“查询访问”场景（即反事实距离攻击）形成对比，后者需要利用影子模型并需要通过查询目标模型来计算距离。
2. 攻击实现： 作者实现了一个由六种最先进的合成数据 MIA 组成的集成系统：
   • 最近记录距离（DCR/DCR-Diff）
   • 蒙特卡洛攻击（Monte-Carlo Attack）
   • DOMIAS（基于密度的 MIA）
   • 数据剽窃指数（Data Plagiarism Index, DPI）
   • Gen-LRA（生成似然比攻击）
   • LOGAN/分类器
     这些攻击被应用于由四种不同机制生成的反事实解释：
   • 基于实例的（Instance-based）： 最近实例反事实解释（NICE）以及使用 k-d 树的多元反事实解释（Dice-kdtree）。
   • 基于扰动的（Perturbation-based）： 使用梯度的多元反事实解释（Dice-gradient）以及平滑反事实解释（SCFE）。
3. 集成策略： 为了处理由于不知道哪种攻击机制对特定的反事实生成方法最有效而带来的不确定性，作者采用了集成策略（多数投票法和均值聚合法）来组合来自六种独立攻击的信号。
4. 实验设置： 实验在四个表格数据集（Adult, Acs_income, Compas, Heloc）上针对不同的反事实生成技术进行了。性能评估指标包括 ROC AUC、低假阳性率（FPR）下的真阳性率（TPR）以及精确度-召回率曲线下面积（Precision-Recall AUC）。

核心贡献

• 领域衔接： 本文建立了合成数据隐私与反事实隐私之间的理论与实践联系，证明了为合成数据设计的 MIA 直接适用于反事实解释。
• “无盒”攻击的可行性： 作者证明了即使在没有任何生成模型或训练数据访问权限的情况下，也可以对反事实解释执行成功的 MIA，这挑战了“限制查询访问足以保护隐私”的假设。
• 集成有效性： 研究表明，在大多数情况下（特别是当反事实解释是基于实例时），集成多种合成数据攻击的效果优于现有的反事实距离攻击。
• 脆弱性分析： 研究发现，反事实解释对 MIA 的脆弱程度与其与训练数据分布的相似度相关。基于实例的方法（即选择真实的训练实例）被发现比基于扰动的方法（即改变特征值）更具脆弱性。

结果
实验结果表明，在大多数数据集和反事实生成方法中，集成 MIA 的表现一致强于反向距离攻击（Dist-LRT），但在 Compas 数据集上的 dice_gradient 方法除外。

• 基于实例 vs. 基于扰动： 集成攻击在基于实例的反事实解释（NICE, Dice-kdtree）上显著优于基准攻击，其 ROC AUC 分数最高可达 0.694（Compas 上的 SCFE）和 0.624（Compas 上的 Dice-kdtree）。相比之下，对于较大的数据集，两种攻击在基于扰动的反事实方法（Dice-gradient, SCFE）上表现接近随机猜测，尽管集成攻击仍保持微弱优势。
• 数据集规模： 与较大的数据集（Adult, Acs_income）相比，攻击性能在较小的数据集（Compas, Heloc）上普遍更高，这符合“较小数据集会导致更高记忆化”的假设。
• 接近度与多样性： 研究发现，与原始实例的接近度越高，通常会增加脆弱性，尽管这种关系是非线性的。将变化限制在仅“可操作”的特征上，在 Acs_income 数据集上增加了脆弱性，但在 Compas 上则降低了脆弱性。
• “无盒”优越性： 在使用 Dice-kdtree 的 Compas 数据集中，无盒集成攻击比基于查询的基准攻击提升了 26%，凸显了即使没有模型访问权限，风险依然严峻。

意义与主张
本文声称，在没有采取稳健隐私措施的情况下发布反事实解释构成了重大的隐私风险，即使模型提供者限制了查询访问。作者认为，由于反事实解释充当了训练数据的现实替代品，它们继承了合成数据的隐私漏洞。

• 对从业者的启示： 模型开发者在发布反事实解释时应保持谨慎，因为即使不需要查询模型，攻击者也可以利用这些解释来推断成员身份。
• 对审计者的启示： 所提出的“无盒”攻击设置使外部审计人员能够在不需要访问模型本身的情况下，评估已部署模型的隐私泄露情况。
• 局限性与未来工作： 作者谦虚地指出，对于某些数据集和方法，攻击性能仅略好于随机猜测。他们澄清说，这并不意味着不存在泄露，即使特定的 MIA 失败，泄露可能仍然存在。他们建议，在反事实生成中使用差分隐私（Differential Privacy, DP）或返回原型实例而非特定于查询的反事实解释，可以减轻这些风险。