💻 computer science

The Attribution Impossibility: No Feature Ranking Is Faithful, Stable, and Complete Under Collinearity

本文证明，在特征共线性条件下，没有任何特征排序方法能同时实现忠实性、稳定性和完备性，从而将由此产生的设计空间刻画为不稳定的忠实方法与像 DASH 这样的稳定集成方法之间的严格二分，且所有发现均在 Lean 4 中通过机械方式验证。

原作者： Drake Caraker, Bryan Arnold, David Rhoads

发布于 2026-05-22

📖 1 分钟阅读☕ 轻松阅读

原作者： Drake Caraker, Bryan Arnold, David Rhoads

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是用通俗语言、类比和隐喻对论文《归因不可能性》的解释。

核心问题：AI 解释的“抛硬币”

想象你有一个机器学习模型（AI），用于预测贷款申请人是否会还款。你想知道 AI 做出决定的原因。你问它：“哪个特征最重要？是收入还是债务收入比？”

在现实世界中，这两个数值往往高度相关（如果你收入高，你的债务限额可能也很高）。该论文指出，当特征之间存在相关性时，要求 AI 选出一个“赢家”，就像要求裁判去判定一次抛硬币的结果一样。

重大发现：
作者从数学上证明，没有任何单一 AI 模型能同时提供满足以下三项条件的解释：

忠实性（Faithful）： 它准确反映了该特定模型所学到的内容。
稳定性（Stable）： 每次重新训练模型时，它都能给出相同的答案。
完整性（Complete）： 即使数据不支持明确的赢家，它也强制进行排名（例如声称“收入排第一，债务排第二”）。

关键限制： 你只能三选二。

如果你希望解释既忠实又完整（即选出一个赢家），那么它就不具备稳定性。如果你用略微不同的随机种子重新训练模型，AI 可能会突然决定“债务排第一，收入排第二”。这就好比抛硬币。
如果你希望解释具有稳定性（始终一致），你就必须承认无法确定赢家。你必须说：“收入和债务打平。”这牺牲了完整性（你无法强制排名）。

“罗生门”效应：多种真相，同一个故事

该论文使用了一个称为**罗生门属性（Rashomon Property）**的概念（得名于一部著名电影，其中四个人讲述了同一桩罪行的不同版本）。

在 AI 中，当特征相关时，并不存在唯一的“最佳”模型。有成千上万个近乎完美的模型，它们预测未来的能力同样出色。然而，这些模型在如何得出结果上存在分歧。

模型 A说：“我利用收入做出了决定。”
模型 B说：“不，我利用的是债务。”

这两个模型在预测贷款结果方面同样出色。但由于它们意见不一，你得到的任何单一解释都只是某个特定模型“观点”的快照。如果你重新训练模型，你可能会得到模型 B 的观点，而不是模型 A 的观点。

解决方案：“Dash"集成方法

既然无法信任单一模型的排名，作者提出了一种名为Dash（SHAP 的多样化聚合）的解决方案。

类比：陪审团
想象你试图决定运动队中谁是最佳球员，但统计数据令人困惑。

单一模型方法： 你问一位教练。他说：“球员 A 是最好的。”你明天再问他（重新训练），他说：“球员 B 是最好的。”你感到困惑。
Dash 方法： 你询问 25 位不同的教练（模型集成），并取他们观点的平均值。
- 如果教练们在球员 A 和球员 B 之间各占 50%，平均结果就是平局。
- Dash 方法会说：“我们无法区分球员 A 和球员 B。他们同样重要。”

为什么这更好：

诚实性： 它承认数据存在歧义。与其撒谎并每天选出一个变化的赢家，不如如实报告平局。
稳定性： 如果你再次询问这 25 位教练，他们仍然会说“平局”。答案是稳定的。
帕累托最优（Pareto Optimality）： 论文从数学上证明，这是处理这种权衡的最佳可能方式。如果不接受相关特征的平局，你就无法获得既稳定又诚实的答案。

其他方法呢？

该论文测试了许多流行工具（如 SHAP、Lasso、神经网络），发现当特征相关时，它们都受此问题困扰。

梯度提升（如 XGBoost）： 在重新训练运行之间，“赢家”约有 50% 的概率发生翻转。
Lasso： 它选择一个特征并完全忽略另一个，但它选择哪一个完全是随机的。
神经网络： 它们比基于树的模型更不稳定。

论文还指出，条件 SHAP（一种更复杂的解释工具版本）如果特征具有相同的因果效应，也无法解决此问题。这仍然是一次抛硬币。

“设计空间”地图

作者绘制了所有可能的 AI 模型解释方式。他们发现只有两条有效路径：

路径 A（单一模型）： 你得到一个清晰的排名（完整），且符合模型（忠实），但每次重新训练时都会变化（不稳定）。
路径 B（Dash 集成）： 你得到一个不变的稳定答案（稳定），但必须接受相关特征的平局（不完整）。

没有路径 C。 当特征相关时，你无法拥有一个始终稳定、始终忠实且始终完整的排名。

现实世界影响（如论文所述）

论文强调，这不仅仅是一个数学问题，而是一个实际现实。

普遍性： 在对 77 个公共数据集的调查中，68% 显示出这种不稳定性。它发生在医疗保健、金融和一般数据中。
监管风险： 如果银行使用 AI 拒绝贷款，而仅仅因为使用不同的随机种子重新训练模型，拒绝理由就从“收入”变成了“债务”，这就构成了合规风险。论文建议，根据《欧盟人工智能法案》等法规，公司必须披露其特征排名是不稳定的。
解决方案： 论文建议使用Dash方法（平均 25 个模型），以获得稳定、诚实的解释，并在适当时报告平局。

一句话总结

当 AI 特征相关时，要求单一模型对它们进行排名，就像要求一枚硬币决定赢家一样；唯一诚实且稳定的答案是承认硬币是公平的，并报告平局。

技术摘要：归因不可能性

1. 问题陈述

本文探讨了可解释人工智能（XAI）中的一个根本性局限：当输入特征存在共线性时，特征重要性排名的可靠性。尽管 SHAP（SHapley Additive exPlanations）等方法被广泛用于解释模型预测，但作者证明，对于共线性特征，重要性排名并非模型 - 数据关系的稳定属性，而是训练过程中的随机产物。

具体而言，本文研究特征排名是否能同时满足三个期望条件：

忠实性（Faithful）： 排名反映单个模型实例所学到的具体归因。
稳定性（Stable）： 排名在同一模型架构对同一数据的不同训练运行（例如不同的随机种子）中是可复现的。
完备性（Complete）： 排名为每一对特征提供严格的排序（无平局）。

核心论点是：在特征共线性（相关性 $\rho > 0$ ）的条件下，数学上不可能同时满足上述三个条件。

2. 方法论与理论框架

Rashomon 属性与不可能性定理

核心理论贡献是归因不可能性定理（定理 5）。该证明依赖于Rashomon 属性，该属性指出，对于共线性特征，存在多个近优模型（Rashomon 集合），它们以相反的顺序对对称特征进行排名。

证明逻辑： 如果排名是完备的，它必须选择一个顺序（例如 $j \succ k$ ）。如果它是稳定的，该顺序必须在所有模型中成立。然而，Rashomon 属性保证存在一个模型，其中 $k \succ j$ 。因此，该排名既无法忠实于该特定模型，也无法在整个集合中保持稳定。
定量界限： 本文推导了不同模型类别中这种不稳定性的严重程度定量界限：
- 梯度提升（GBDT）： 归因比率（“先行者”特征的主导地位）随 $1/(1-\rho^2)$ 发散（或在深度修正下为 $1/(1-\alpha\rho^2)$ ）。
- Lasso： 由于硬选择，对于任何 $\rho > 0$ ，比率为无穷大（ $\infty$ ）。
- 神经网络： 不稳定性取决于初始化和训练动态，但遵循类似的对称性破缺模式。
- 随机森林： 由于独立的树训练，显示出有界的违反（ $1 + O(1/\sqrt{T})$ ），这与顺序提升的发散不稳定性形成对比。

对称贝叶斯二分法

作者利用对称贝叶斯二分法（定理 37，来自不变决策理论的双族定理）将这一结果推广。他们表明，对于任何对称决策问题（其中数据分布在特征置换下保持不变），可实现解集坍缩为恰好两个族：

族 A（单模型）： 忠实且完备，但不稳定（对称对的忠实度 $U = 1/2$ ）。
族 B（集成）： 稳定且忠实于总体均值，但不完备（对对称特征报告平局， $U=0$ ）。
不存在第三种选择。

构造性解决方案：DASH

为了解决这一不可能性，本文提出了DASH（SHAP 的多样化聚合）。这是一种集成方法，通过对 $M$ 个独立训练的模型平均 SHAP 值来实现。

机制： 通过平均，DASH 抵消了单个模型中固有的随机“先行者”偏差，收敛至总体期望。
最优性： 已证明 DASH 在无偏聚合中是帕累托最优的。它实现了排名稳定性的 Cramér–Rao 方差界限（ $\sigma^2/M$ ）。
权衡： DASH 牺牲了组内完备性（它对对称特征报告平局），以换取稳定性和组间忠实性。

形式化验证

方法论的很大一部分涉及使用Lean 4进行的机械验证。

作者形式化了整个理论框架，包括不可能性定理、定量界限以及 DASH 最优性证明。
形式化工作包含分布在 54 个文件中的305 个类型检查定理，且0 个 sorry（无未证明的假设）。
该过程涉及 16 个公理（14 个领域特定公理，2 个用于查询复杂度）。值得注意的是，核心不可能性定理需要零行为公理，仅依赖 Rashomon 属性。
形式化过程本身在原有无形式公理系统中识别出了两个逻辑不一致和一个类型不匹配。

3. 关键结果与实证验证

实证发现

本文在 77 个公共数据集和多种模型实现（XGBoost、LightGBM、CatBoost、神经网络）上验证了理论。

普遍性： 在对 77 个数据集的调查中，68% 的相关特征对表现出归因不稳定性（翻转率 > 10%）。对于高维数据集（ $P \ge 20$ ），该比率上升至93%。
翻转率： 对于高度相关（ $\rho \approx 0.9$ ）且重要性相似的对，在重训练种子下的翻转率接近理论最大值50%（即抛硬币）。
DASH 效能： 使用 $M \ge 25$ 个模型的集成平均将翻转率降低至 1% 以下，有效解决了不稳定性。
诊断： 本文引入了多模型 Z 检验和单模型筛查（基于分裂频率）来检测不稳定对。Z 检验与观察到的翻转率显示出强烈的负相关（ $r \approx -0.89$ ）。

特定模型类别行为

GBDT： 表现出发散的不稳定性。“先行者”特征吸收信号，为其他特征留下残差信号，造成巨大的归因差距，该差距根据首先选择哪个特征而发生翻转。
Lasso： 表现出无限不稳定性，因为它从相关组中恰好选择一个特征。
神经网络： 显示出高不稳定性（乳腺癌数据中 87% 的对不稳定），由更大的 Rashomon 集合和 KernelSHAP 方差驱动。
随机森林： 由于缺乏顺序残差共享，显示出显著较低的不稳定性。

扩展

条件归因： 本文证明，如果特征因果效应相等（ $\beta_j = \beta_k$ ），切换到条件 SHAP 并不能摆脱不可能性。
公平性审计： 作者证明，基于单模型 SHAP 的代理歧视审计在共线性下是理论上不可靠的，因为结论（哪个特征是代理）如同抛硬币。
因果识别： 这种不稳定性反映了共线性下因果识别的困难，样本复杂度随 $1/(1-\rho)^2$ 发散。

4. 意义与主张

本文声称提供了可解释人工智能中首个经过形式化验证的不可能结果。其意义体现在三个维度：

数学必然性： 不稳定性并非工程故障（例如超参数不佳或错误），而是源于损失景观几何结构和 Rashomon 集合的数学必然性。本文将问题从“如何修复 SHAP"重构为“在给定约束下什么是可实现的”。
设计空间刻画： 通过定义归因设计空间，本文确立了从业者必须在稳定性和完备性之间做出选择。不存在“免费午餐”，即单个模型无法提供稳定、忠实且完备的排名。
监管与实践影响：
- 欧盟 AI 法案合规： 本文认为，归因不稳定性构成了欧盟 AI 法案第 13(3)(b)(ii) 条下的“已知且可预见的情形”。提供商必须披露这种不稳定性，而不是将任意排名呈现为事实。
- 公平性： 单模型公平性审计被认为对相关性特征不可靠，可能导致代理歧视检测中的假阳性或假阴性。
- 可操作工具包： 本文提供了具体的工作流程（筛查 $\to$ Z 检验 $\to$ DASH）以及实现所需稳定性水平的最小集成规模公式（ $M_{min}$ ）。

作者得出结论，在存在共线性的情况下，该领域必须摒弃用于解释的“单模型范式”，并采用如 DASH 等基于集成的方法，以提供诚实、稳定且可辩护的解释。