🤖 machine learning

The Unseen Hand: Manipulating Model Fairness and SHAP with Targeted Identity Re-Association Attacks

本文介绍了针对性身份重关联（Targeted Identity Re-Association, TIRA）攻击，这是一种利用概率微洗牌和排名偏移扰动来隐蔽地操纵机器学习模型的全新数据无关方法，从而人为地优化公平性指标并完全消除 SHAP 解释中的受保护特征归因。

原作者： Sannaan Khan, Muhammad U. S. Khan

发布于 2026-06-23

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Sannaan Khan, Muhammad U. S. Khan

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

大局观：AI 的“魔术戏法”

想象一下，你雇佣了一名裁判来评判一场体育比赛。为了确保裁判公平，你有两个工具：

计分板： 一份显示谁赢了以及赢了多少分的数字列表。
回放摄像机 (SHAP)： 一台慢动作摄像机，通过放大镜头来展示裁判做出特定判罚的原因（例如：“他判罚犯规是因为球员穿着红鞋”）。

在人工智能（AI）的世界里，这些工具被用来检查模型是否对不同群体（如男性与女性，或不同的族裔）是公平的。

论文的观点： 作者发现，“黑客”并不需要破坏裁判的大脑或改变比赛规则。相反，他们可以在比赛结束后，对名单和分数进行一次微妙的魔术戏法。通过仅仅对名字进行极其微小的重新排列，他们就能让计分板看起来完美公平，并欺骗回放摄像机，让它误以为裁判根本不在意玩家的身份。

问题所在：“显而易见”的把戏

以往试图欺骗这些公平性检查的方法，就像魔术师挥舞着一根巨大的、闪闪发光的魔杖。

他们会交换大块的数据。
结果： 公平性得分确实改变了，但“回放摄像机”（SHAP）仍然能看到混乱。它会尖叫道：“嘿！这里发生了奇怪的事情！”于是戏法就被识破了。

解决方案：“看不见的手”（TIRA 攻击）

作者引入了一个名为 TIRA（目标身份重关联）的新型攻击家族。请不要将其视为魔术棒，而应将其视为一名微创外科医生或一阵微风。

TIRA 并非进行大规模、明显的交换，而是使用两种特定的技术来轻微调整数据：

概率性微观洗牌 (PMiS)：
- 类比： 想象有一队人在排队买票。黑客混在人群中。每隔几秒钟，他们就掷一次硬币。如果硬币正面朝上，他们就会悄悄地将排在最前面的那个人与他身后紧跟的人进行交换——但前提是后面那个人属于“弱势”群体。
- 效果： 他们这样做成千上万次，但每次发生的概率极低。队伍看起来基本没变，但顺序已经发生了足以改变统计数据的偏移。
概率性排名偏移微扰 (PRSMP)：
- 类比： 这与前一种戏法类似，但黑客不是交换相邻的人，而是将一个人在小范围内轻轻向后（或向前）挪动几个位置。同样，这种操作是随机且罕见的。
- 效果： 它创造了一种看似自然的“漂移”，就像人群因为坐得舒服而产生的轻微挪动，而不是突发的踩踏事件。

他们取得了什么成就？

作者在真实世界的数据（如预测糖尿病风险或信用审批）上测试了这些戏法，并发现了两个主要结果：

1. 计分板看起来完美无瑕（公平性指标）
通过使用这些温和的、随机的洗牌，黑客可以将“公平性得分”推向完美的 10/10。

攻击前： 模型看起来存在偏见（例如：“它拒绝女性的比例高出 20%”）。
攻击后： 模型看起来完全公平（例如：“它对每个人都一视同仁”）。
关键点： AI 做的实际预测并没有改变；改变的仅仅是这些预测被分配给了“谁”。

2. 回放摄像机被蒙蔽了 (SHAP)
这是最危险的部分。当作者对被操纵的数据运行“回放摄像机”（SHAP）时：

攻击前： 摄像机清晰地显示：“模型正在利用‘性别’来进行决策。”
攻击后： 摄像机显示“性别”的影响力为零。看起来模型完全不在乎性别。
结论： 这种攻击成功隐藏了操纵留下的“足迹”。审计员看到一个干净、公平的模型，并认为“一切正常”，而实际上，模型的公平性是人为制造出来的。

为什么这很重要？

论文指出，我们对这些“赛后”检查过于信任了。

我们假设，如果计分板显示“公平”，且回放摄像机显示“无偏见”，那么 AI 就是安全的。
本文证明了，一个聪明的攻击者可以通过操纵名单上的姓名，让这两个工具都撒谎。

控制的“旋钮”

作者强调，这并不是一种盲目的手段。他们可以通过控制“旋钮”（参数）来控制攻击：

交换的频率是多少？（概率）
移动一个人的距离有多远？（排名偏移）
进行了多少次操作？（迭代次数）

这使得攻击者可以控制模型看起来是“稍微公平”还是“完美公平”，同时保持这些变化如此细微，以至于无人察觉到“看不见的手”正在运作。

总结

论文警告我们，AI 公平性审计是脆弱的。仅仅因为一个 AI 模型通过了公平性测试并具有可解释性，并不意味着它真的公平。通过对身份数据进行微妙的、概率性的洗牌，可以欺骗我们的最佳工具，让它们在一个实际上存在偏见的模型面前，看到一个完美的模型。

技术摘要：无形之手：通过定向身份重关联攻击操纵模型公平性与 SHAP

1. 问题陈述

随着机器学习模型在关键社会领域变得日益不透明且具有影响力，依赖算法公平性审计和事后解释工具（如 SHAP）来确保问责制的需求也随之增长。然而，本文指出一个关键漏洞：这些审计机制本身并不具备对抗操纵的鲁棒性。

先前的研究已经证明了“欺骗”策略可以操纵公平性指标，但这些现有方法通常依赖于明显的扰动，或者需要访问模型的内部数据分布。因此，它们会留下可检测的痕迹——例如公平性得分的大幅下降或异常的 SHAP 归因值——从而引发审计中的怀疑。目前缺乏一种微妙的、与数据无关的、事后操纵技术，能够既改变模型的感知公平性，又在不留下取证痕迹的情况下破坏解释工具。

2. 方法论

作者提出了一种被称为**定向身份重关联（Targeted Identity Re-Association, TIRA）**的新型攻击家族。这些攻击在黑盒威胁模型下运行，攻击者仅能访问输入实例的预测得分和受保护属性，而无法访问模型的架构、训练数据或决策逻辑。

核心框架包括：

得分排序： 获取黑盒模型的预测得分并按降序排列。
身份重关联： 在不改变得分本身的情况下，迭代且概率性地修改排序后的得分与身份（特别是受保护属性）之间的关联。
输出重组： 通过使用洗牌后的身份重新构建数据集，以重新计算公平性指标和 SHAP 值。

论文形式化了 TIRA 家族中的两种特定算法：

概率微观洗牌（Probabilistic Micro-Shuffling, PMiS）： 该算法应用局部、相邻的交换。在每次迭代中，它检查排序列表中的相邻对。如果一个弱势个体（受保护属性 = 0）与一个优势个体（受保护属性 = 1）相邻，它会以概率 $p_{swap}$ 交换它们的身份。这会在受保护属性相对于得分的分布中产生累积性的、渐进的漂移。
概率秩位移动微扰（Probabilistic Rank-Shift Micro-Perturbation, PRSMP）： 该算法通过允许在小窗口内进行秩位移动来引入更广泛的局部性。它针对弱势个体，并以概率 $p_{shift}$ 将其身份移动到预定义秩位窗口（ $k_{max}$ ）内的另一个弱势个体。与 PMiS 类似，它依赖于多次迭代来积累显著的重排，同时保持隐蔽性。

3. 主要贡献

该论文有四个主要贡献：

形式化 TIRA 攻击： 引入了作为一种新型、事后、与数据无关且具有概率性的微妙操纵方法的定向身份重关联。
公平性操纵的实证验证： 证明了 TIRA 攻击可以在多种模型-数据集配置下显著改变 AIF360 公平性指标（例如，机会平等、人口统计学平价、差异性影响），引导它们向理想阈值靠拢。
对 SHAP 归因的影响： 展示了 TIRA 攻击如何混淆基于 SHAP 的解释。攻击成功地将受保护特征的 SHAP 归因降低到实际上为零，从而创造出一种模型不依赖这些特征的假象。
对比基准测试： 证明了与现有的显性攻击（如 DomSwap 和 MixSwap）相比，TIRA 攻击提供了更细的粒度和更大的控制力，在实现同等或更优的公平性指标偏移的同时，具有更高的隐蔽性。

4. 结果与分析

作者在 孟加拉国糖尿病数据集 和 德国信用数据集 上，使用逻辑回归和神经网络模型对 TIRA 攻击进行了评估。

公平性指标： 结果显示，TIRA 攻击一致地将公平性指标推向理想值（例如，减少人口统计学平价差异和使差异性影响比例接近 1）。在许多情况下，PMiS 和 PRSMP 与基准洗牌攻击相比，实现了更精确的指标调优。例如，在糖尿病数据集上，PMiS 将机会平等差异从基准的 0.09 降低到 -0.07，而其他攻击表现出的偏移较不一致或不够极端。
SHAP 归因： 攻击后的分析显示，受保护特征的 SHAP 值实际上为零。这表明 TIRA 攻击成功地从解释工具中掩盖了模型对受保护属性的依赖，相比于此前仍存在可检测归因值的研究，这是一个显著的进步。
隐蔽性与控制力： 研究强调了由可调参数（ $p_{swap}$ , $p_{shift}$ , $k_{max}$ , 以及迭代次数 $T$ ）提供的“细粒度控制”。通过调整这些参数，攻击者可以将操纵程度从几乎不可察觉的变化扩展到显著的改变，从而在公平性偏移的幅度与攻击的隐蔽性之间进行权衡。

5. 意义与主张

论文认为，公平性评估本身是脆弱的。通过对输出排名进行微妙且非侵入性的改变，来改变模型的感知公平性和解释谱系，这种能力挑战了“仅通过事后解释方法即可实现可信 AI”的假设。

作者声称，TIRA 攻击代表了一种此前未实现的“双重威胁”：

它们可以通过将指标推向近乎理想的值来欺骗 AIF360 审计。
它们可以通过将 SHAP 归因降低到实际上为零来欺骗 XAI 审计。

这项工作的意义在于揭示了当前审计框架的不足。TIRA 攻击增强的隐蔽性表明，缺乏强归因信号并不一定意味着公平或不存在对抗性扰动。因此，论文得出结论，迫切需要开发基于完整性的评估方法论，以便检测模型输出与其解释之间的一致性，而不是仅仅依赖于当前工具提供的指标和归因值。