🤖 AI

PolySHAP: Extending KernelSHAP with Interaction-Informed Polynomial Regression

本文介绍了 PolySHAP，一种通过采用更高阶多项式回归来更好地捕捉特征交互作用从而扩展 KernelSHAP 的方法，同时首次提供了配对采样等价于二阶 PolySHAP 的理论证明，从而为其经验上的成功提供了依据。

原作者： Fabian Fumagalli, R. Teal Witter, Christopher Musco

发布于 2026-05-14

📖 1 分钟阅读☕ 轻松阅读

原作者： Fabian Fumagalli, R. Teal Witter, Christopher Musco

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是用简单语言和创意类比对论文"PolySHAP"的解释。

大局观：为什么我们需要这个？

想象你有一台复杂的机器（比如一个机器学习模型），它做出了一个预测，例如“这笔贷款应该被批准”或“这张图片是一只猫”。你想知道为什么。是哪些具体特征（如收入、年龄或像素颜色）对这一决定贡献最大？

在人工智能领域，我们使用一种名为**沙普利值（Shapley Values）**的数学工具来回答这个问题。可以将沙普利值想象成一种公平分配“奖励”（即预测结果）给团队成员（即特征）的方法，分配依据是每位成员对团队获胜的贡献程度。

问题所在：
计算精确的沙普利值，就像试图统计运动队中所有可能的球员组合，以找出谁最重要。如果你有 10 个特征，就有超过 1,000 种组合。如果你有 20 个特征，就有超过一百万种组合。要检查所有组合，耗时太长。

当前解决方案（KernelSHAP）：
目前流行的方法称为KernelSHAP，它就像一个聪明的捷径。它不检查每一种组合，而是随机挑选几组球员，观察他们的表现，然后在数据上画一条直线来推测其余部分。它假设特征之间的关系是简单且可加的（就像往蛋糕里添加配料：1 杯糖 + 2 杯面粉 = 特定的味道）。

局限性：
现实生活并不总是一条直线。有时，配料之间会以奇怪的方式相互作用。也许糖和面粉一起才能做出蛋糕，但糖单独什么都不是，面粉单独只是灰尘。一条直线无法捕捉这种“神奇组合”（交互作用）。

新解决方案：PolySHAP

作者引入了PolySHAP。PolySHAP 不是在数据上画一条直线，而是画一条弯曲、起伏的线（多项式）。

类比： 想象你试图根据阳光和水分来预测植物的高度。
- KernelSHAP（线性）： 假设阳光越多高度越高，水分越多高度越高，且它们只是简单相加。
- PolySHAP（多项式）： 意识到植物可能只有在同时获得阳光和水分时才会长得高。它捕捉到了这种“交互作用”。

通过使用这些曲线，PolySHAP 能够理解特征有时在一起工作比单独工作效果更好。论文证明，与旧的直线方法相比，这种方法能更准确地对预测结果进行“公平分配”。

“魔法技巧”：配对采样（Paired Sampling）

论文还研究了旧方法中使用的一种流行技巧，称为配对采样。

技巧： 你不仅仅是随机挑选球员组，而是挑选一组（例如{阳光，水分}），并立即挑选其对立组（例如{无阳光，无水分}）。你总是成对地观察它们。
谜团： 大家都知道这个技巧能让结果更好，但没人知道它在数学上为什么如此有效。

论文的发现：
作者证明了一个惊人的联系：配对采样实际上在做与 PolySHAP 完全相同的事情（使用特定类型的曲线，即二次多项式），即使它从未真正画出那条曲线。

隐喻： 这就像一位魔术师变出了一只兔子。大家都以为魔术师只是从帽子里变出一只兔子（碰巧猜对）。作者证明，魔术师实际上是利用了一个隐藏的机械活板门（二次多项式逻辑）让兔子出现的。
结果： 这解释了为什么“配对采样”技巧多年来如此成功。它一直在秘密地捕捉那些“交互”效应，只是没有付出绘制曲线所需的额外数学成本。

他们实际发现了什么？

更高的准确性： 当他们在各种数据集（如预测房价、诊断疾病或识别图像）上测试 PolySHAP 时，它始终比标准方法提供更准确的解释，尤其是在允许数学模型观察更复杂的交互（如 3 个或 4 个特征的组合）时。
“免费”的升级： 他们表明，如果你在旧方法中使用“配对采样”技巧，你就能获得与新的“二次”PolySHAP 方法相同的准确性，但你无需进行拟合曲线的额外工作。
何时使用何种方法：
- 如果你只想要一个快速、不错的答案，带有配对采样的旧方法就很棒。
- 如果你需要最准确的答案并且拥有计算能力，使用带有更高阶曲线（同时观察 3 个或 4 个特征的交互）的 PolySHAP 是获胜者。

总结

这篇论文介绍了PolySHAP，这是一种解释 AI 决策的新方法，它寻找特征之间的“团队合作”，而不仅仅是个体贡献。它证明了一种名为配对采样的流行捷径，实际上一直在秘密地承担这项新方法的繁重工作。本质上，他们为我们提供了一张更好的地图，用于导航 AI 模型内部复杂的交互，并解释了为什么特定的指南针（配对采样）一直以来都指向正确的方向。

技术摘要：PolySHAP——通过交互信息多项式回归扩展 KernelSHAP

问题陈述

Shapley 值是解释性人工智能（XAI）中用于将模型预测归因于其输入特征的核心博弈论工具。然而，精确计算 Shapley 值需要对所有 $2^d$ 个可能的特征子集进行评估，这对于特征数量 $d$ 较大的模型而言，在计算上是不可行的。

KernelSHAP（Lundberg & Lee, 2017）已成为一种高效近似 Shapley 值的领先方法。它将问题构建为加权最小二乘回归，通过对随机特征子集样本拟合线性函数来近似合作博弈 $\nu$ 。尽管该方法有效，但这种线性近似本质上假设了特征的可加性，无法捕捉特征间的非线性交互作用。因此，当底层博弈表现出显著的高阶交互作用时，KernelSHAP 可能会产生次优的估计。

方法论：PolySHAP

作者提出了PolySHAP，这是 KernelSHAP 的一种推广，它使用高阶多项式而非线性函数来近似博弈 $\nu$ 。该方法显式地对非线性特征交互作用进行建模。

核心机制

交互信息表示：PolySHAP 不是拟合线性模型 $\sum \phi_i \mathbb{1}[i \in S]$ ，而是对二元特征指示符 $\mathbb{1}[i \in S]$ 拟合一个 $k$ 次多项式。该近似包含一个“交互前沿” $\mathcal{I}$ ，即交互项（大小 $\ge 2$ 的特征子集）的一个子集。
$\hat{\nu}(S) \approx \sum_{T \in \mathcal{D} \cup \mathcal{I}} \phi_T \prod_{j \in T} \mathbb{1}[j \in S]$
其中 $\mathcal{D}$ 代表单个特征， $\mathcal{I}$ 代表交互项。
回归公式：PolySHAP 求解一个与 KernelSHAP 类似的加权最小二乘问题，但其设计矩阵扩展了，包含主效应和选定交互项的列。目标是最小化采样博弈值 $\nu(S_\ell)$ 与多项式近似之间的加权 $\ell_2$ 损失。
Shapley 值提取：一个关键的理论结果（定理 4.3）表明，原始博弈的 Shapley 值可以直接从多项式近似的系数中恢复。具体而言，特征 $i$ 的 Shapley 值等于主效应系数 $\phi_i$ 与所有包含 $i$ 的交互项系数之和，再除以这些交互集的大小：
$\phi_i^{SV} = \phi_i + \sum_{S \in \mathcal{I}: i \in S} \frac{\phi_S}{|S|}$
采样策略：该方法支持标准采样和配对采样（采样子集 $S$ 及其补集 $D \setminus S$ ）。作者利用杠杆分数采样来提高估计质量，并指出对于高阶交互作用，一阶杠杆分数（在子集大小上均匀分布）在实践中表现良好。

主要贡献

1. 理论一致性与扩展

本文证明了 PolySHAP 提供 Shapley 值的一致估计。当样本数量 $m$ 趋近于子集总数 $2^d$ 时，PolySHAP 估计值精确收敛于真实的 Shapley 值（定理 4.3）。这与某些基于树的近似方法（如 RegressionMSR）形成对比，后者需要额外的回归调整步骤才能实现一致性。

2. 配对采样与 2-PolySHAP 的理论等价性

一项主要的理论贡献是证明了带有配对采样的 KernelSHAP 在数学上等价于 2-PolySHAP（定理 5.1）。

当子集成对采样（ $S$ 和 $D \setminus S$ ）时，KernelSHAP 的线性回归解产生的 Shapley 值近似与二阶多项式回归（2-PolySHAP）完全相同。
这一发现为配对采样的经验成功提供了首个强有力的理论依据，解释了它在无需显式拟合二次多项式的情况下，如何隐式地捕捉所有二阶交互作用。

3. 实证性能

在 15 个局部解释博弈（涵盖表格、图像和语言领域）上的广泛实验表明：

高阶精度：在采样预算充足的情况下，增加多项式次数（例如 3-PolySHAP）相比 KernelSHAP（1-PolySHAP）和排列采样，始终能提高近似质量（通过均方误差 MSE、Precision@5 和 Spearman 相关性衡量）。
配对采样效率：在配对采样下，KernelSHAP 实现了与 2-PolySHAP 相当的性能，验证了理论等价性。
最先进结果：在低至中等维度的设置中，PolySHAP（特别是 3-PolySHAP）通常优于其他基线，包括依赖 XGBoost 近似的 RegressionMSR 和 SVARM。

意义与主张

本文声称提供了一种对广泛使用的 KernelSHAP 框架的原则性扩展。通过从线性近似转向多项式近似，PolySHAP 解决了忽略特征交互作用的局限性，从而为复杂模型提供更准确的解释。

至关重要的是，这项工作弥合了启发式实践与理论之间的鸿沟。通过证明流行的“配对采样”启发式方法等价于二阶交互作用建模，作者为这种采样策略在实践中为何如此有效提供了严谨的基础。作者谦逊地指出，虽然高阶交互作用能提高精度，但它们需要更大的采样预算，并且在非常高维的设置中（ $d \ge 60$ ），由于交互项的组合爆炸，收益较为有限。

本文结论认为，PolySHAP 是一种稳健、一致且在经验上更优越的 Shapley 值估计方法，特别是当底层博弈涉及非线性特征交互作用时。