🤖 machine learning

Measuring Explainer Stability via Attribution Separability

本文提出了一种基于分布的框架，通过衡量排序后的归因得分的可分性并确定特征排名的可靠性，来评估归因方法的稳定性，从而为比较不同解释器的鲁棒性提供了一个补充标准。

原作者： Eddie Conti, Álvaro Parafita, Axel Brando

发布于 2026-08-05

📖 1 分钟阅读☕ 轻松阅读

原作者： Eddie Conti, Álvaro Parafita, Axel Brando

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图理解一个做出决策的神秘黑盒，比如一个机器人决定是否批准贷款或诊断疾病。在人工智能领域，这被称为“可解释人工智能”（Explainable AI）。为了窥探盒子的内部，科学家们使用一种特殊的工具，叫做“归因方法”（Attribution Methods）。你可以把这些工具想象成一束聚光灯，它能照亮机器人做出选择时所依据的具体线索（或特征）。如果机器人对贷款说“不”，聚光灯可能会高亮显示“收入低”和“债务高”作为原因。

然而，这里有一个陷阱。有些聚光灯工具有点“抖动”。因为它们使用随机步骤来寻找答案，如果你问同一个问题两次，它们可能会指向略微不同的线索，或者以不同的顺序排列这些线索。这就像问一群朋友排列他们最喜欢的冰淇淋口味：如果他们犹豫不决或者风向在变，一位朋友今天可能会说“巧克力是第一名”，而明天可能说“草莓是第一名”。这种“抖动”是一个问题，因为如果解释每次看起来都不一样，你真的能信任它吗？这篇论文探讨的正是不安的源头：我们如何知道机器人给出的理由列表是稳定的，还是仅仅是随机性导致的偶然现象？

这篇论文的作者埃迪·孔蒂（Eddie Conti）及其团队提出了一种巧妙的新方法来衡量这种稳定性。他们不仅仅是问“答案是否改变了？”，而是问“答案之间的界限有多清晰？”他们不将每个线索的重要性视为一个单一的固定数值，而是将其视为一团“可能性之云”。如果“低收入”的云团远离“高债务”的云团，那么这个排名就是稳定且值得信赖的。但如果这些云团像两片融合在一起的雾气一样重叠，那么这个排名就是摇摆不定的。

为了直观理解这一点，请想象一场比赛，参赛者就是那些线索。如果第一名选手正在飞速冲刺，远远领先于第二名，而第二名又远远领先于第三名，那么顺序就很清晰。但如果大家都在紧密地结队奔跑，就很难说谁才是真正的第一。研究人员开发了一个数学“尺子”来测量这些选手之间的距离。他们称之为“归因可分性”（attribution separability）。他们的主要发现是，他们可以计算出一个特定的数值，称之为 k-稳定性（k-stability）。这个数字会准确告诉你，在顺序开始变得模糊之前，你可以信任列表中的多少个顶层线索。例如，如果你的 k-稳定性是 3，那么你可以确信前三个理由的顺序是正确的，但在此之后的列表可能就会变得混乱。

当他们在 SHAP、LIME 和 DiCE 等流行工具上测试这把“尺子”时，发现了一些有趣的模式。他们发现 SHAP 通常是表现最稳健的选手，尤其是在处理简单数据集时，它经常能让其顶层线索保持在清晰、互不重叠的直线序列中。LIME 表现尚可，但有时会变得有些摇晃；而 DiCE 则经常跑得如此紧凑，以至于很难分辨谁在领先。他们还检查了增加运行次数是否会有所帮助。他们发现，对于大多数工具来说，运行 50 次足以获得清晰的图景，而且即使运行更多次也不会改变结果，这对于节省计算能力来说是个好消息。

这篇论文并不声称其中一个工具是宇宙中适用于所有工作的“最佳”工具。事实上，作者谨慎地指出，没有哪个工具能在所有情况下都胜出；这取决于具体的数据和模型。相反，他们提供这把新“尺子”是为了让科学家们能够公平地比较工具。他们认为，稳定性是信任的前提。如果一个工具无法在自己的顶层理由上达成一致，那么它就很难被用于重要的决策。通过使用他们的方法，研究人员现在可以说：“这个工具对于前 5 个理由是可靠的，但对于剩下的部分要小心。”这给了我们一个更清晰、更诚实的视角，去观察这些人工智能黑盒究竟是如何思考的。

技术摘要：通过归因可分性衡量解释器稳定性

问题定义
归因方法（Attribution Methods, AMs），即解释器，被广泛用于解释黑盒模型，通过为输入特征分配重要性得分来进行解释。然而，许多流行的 AM（例如 SHAP、LIME、DiCE）都包含了随机性组件，如蒙特卡洛采样或随机扰动。这种随机性导致不同执行运行之间归因得分存在差异，引发了对可复现性和特征排序可靠性的担忧。尽管以往的研究通过输入层面的扰动（测试当输入发生轻微变化时解释如何变化）来解决稳定性问题，但本文解决了另一个不同的挑战：量化针对同一实例在多次运行同一解释器时，其生成的排名本身的稳定性。核心研究问题是：给定一个由 AM 生成的有序特征重要性向量，我们能在多大程度上信任排名前列的特征确实比随后的特征更重要？

方法论
作者提出了一个基于分布的框架，通过分析归因得分分布的可分性来量化特征排名的稳定性。

分布建模： 该方法并非将归因得分视为确定性数值，而是将每个特征 $i$ 的得分建模为一个概率分布 $p_i$ ，该分布是通过对特定实例 $x$ 进行多次 AM 运行估计得出的。
归因可分性度量： 为了衡量排名列表中两个特征之间的可区分性，作者采用了基于连续化 Jaccard 距离的距离度量 $d(p, q)$ 。该度量计算两个分布 $p$ 和 $q$ 之间的重叠程度：
$d(p, q) = 1 - \frac{\int_{\text{supp}(p) \cap \text{supp}(q)} \min(p(x), q(x))dx}{\int_{\text{supp}(p) \cup \text{supp}(q)} \max(p(x), q(x))dx}$
距离值 $d(p, q)$ 接近 1 表示高可分性（低重叠），而接近 0 则表示显著重叠。
k-稳定性定义： 该框架将 k-稳定性 定义为排名特征列表中最长的前缀长度 $k$ ，使得前 $k$ 个特征中所有连续对的分布距离 $d(p_i, p_j)$ 都超过用户定义的阈值 $l$ 。这识别了由于分布重叠导致排序变得不可靠的排名位置。
比较框架： 该方法允许通过计算一个数据集中的实例比例来比较不同的 AM，即在这些实例中，一个方法是否实现了比另一个方法更高的 $k$ -稳定性。

核心贡献

新颖的稳定性度量： 本文引入了一种基于分布分析而非输入扰动来量化 AM 排名稳定性的具有数学依据的方法。
形式化验证： 作者证明了在理想情况下（即 AM 是完全忠实的且随机性消失时），所提出的距离度量会收敛至 1（最大可分性）。他们进一步通过实验证明，该度量对特征重要性值之间的分离程度具有敏感性。
比较评估工具： 该框架提供了一种机制，可以在不声称任何单一方法具有普遍优越性的情况下，跨各种模型和数据集比较不同解释器（LIME、SHAP、DiCE）的鲁棒性。

实验结果
作者使用四个基准数据集（Diabetes、Heart Disease、Mobile、Churn）以及随机森林、SVM、逻辑回归和决策树模型对该框架进行了评估。

可分性分析： 实验表明，SHAP 在较简单的数据集上通常产生近乎确定性的归因（可分性值为 1），而 LIME 和 DiCE 则表现出更多的变异性。在复杂数据集中，可分性往往随着排名的“尾部”（相关性较低的特征）而降低。
k-稳定性比较： 在大多数数据集和模型中，SHAP 展现出的 $k$ -稳定性值始终高于 LIME、DiCE 和随机基准（RAND）。在若干案例中，DiCE 显示出的稳定性水平接近随机基准。
运行敏感性： 研究发现，该度量对 LIME、SHAP 和 DiCE 的运行次数敏感性有限，这表明通过适度的执行次数（例如 15–30 次运行）即可获得可靠的估计，而随机基准则需要更多的运行次数才能趋于稳定。

意义与主张
本文将这项工作定位为评估 AM 的补充标准，特别关注诱导特征排名的可靠性。作者明确指出，其目标并非宣布某种 AM 具有普遍优越性，同时也承认了解释性领域存在“无免费午餐定理”。相反，他们认为稳定性是用户信任和洞察通用性的前提条件。

所提出的方法提供了一种原则性的方式，来确定特征排名的“收益递减点”——即识别在由于随机噪声导致排序变得模糊之前，可以信任多少个顶层特征。作者指出了局限性，包括侧重于表格数据，以及选择密度估计参数和阈值的必要性。他们强调，低 $k$ -稳定性并不一定意味着对模型决策过程的不忠实，而是表明解释器的随机性质使得特定特征的排序变得不可靠。因此，该度量应与忠实度和简洁性等其他评估维度结合使用。

技术摘要：通过归因可分性衡量解释器稳定性

类似论文