📊 statistics

Proxy-Based Approximation of Shapley and Banzhaf Interactions

本文介绍了 ProxySHAP，这是一种新颖的方法，它结合了基于树的代理模型与残差校正，并针对树集成实现了多项式时间的精确计算，从而在估计 Shapley 和 Banzhaf 交互作用时达到了最先进的准确性和效率，显著优于现有的 ProxySPEX 和 KernelSHAP-IQ 等估计器。

原作者： Santo M. A. R. Thies, Hubert Baniecki, R. Teal Witter, Eyke Hüllermeier, Maximilian Muschalik, Fabian Fumagalli

发布于 2026-05-22

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Santo M. A. R. Thies, Hubert Baniecki, R. Teal Witter, Eyke Hüllermeier, Maximilian Muschalik, Fabian Fumagalli

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象你拥有一台复杂的机器，比如一个决定贷款是否获批或预测天气的先进人工智能。你想知道它为何做出某个特定决定。它是主要依据申请人的收入吗？是信用评分吗？还是两者某种奇怪的组合？

在人工智能领域，我们利用数学将这些决策分解为“贡献值”。最著名的方法是沙普利值（Shapley values），以一位诺贝尔经济学奖得主的名字命名。这就像团队合作：如果团队成功了，每个人应得多少功劳？

但问题在于：现代人工智能模型如此复杂，以至于它们不仅仅依赖单一因素。它们依赖交互作用。也许人工智能只有在收入高且信用评分高时才会批准贷款。如果单独看它们，它们显得微不足道；但如果将它们结合起来，它们就极具力量。

计算这些“联手”的交互作用极其困难。这就像试图计算运动队中所有可能的球员组合，以查看谁会获胜。对于一支小队伍，这很容易。但对于一支拥有 1000 名球员的球队（这在人工智能中很常见），组合数量如此庞大，以至于即使最快的超级计算机，要精确计算出来所需的时间也会超过宇宙的年龄。

问题：速度与准确性的权衡

科学家们曾试图通过两种主要方法来解决这个问题，但两者都有缺陷：

“猜测”法：你抽取一些随机样本并猜测其余部分。这很快，但往往不准确。这就像试图通过尝一勺汤来猜测一大锅汤的味道。
“精确”法：你尝试精确计算一切。这很准确，但速度慢到对大问题毫无用处。

解决方案：ProxySHAP

本文作者介绍了一种名为ProxySHAP的新方法。这就像一种巧妙的两步侦探策略，能兼得两者的优点。

第一步：“速写画家”（代理模型）

首先，人工智能会审视这台复杂机器，并绘制其简化速写。这个速写就是一个“代理”模型。

类比：想象一位制作百料炖菜的大厨（复杂人工智能）。与其试图品尝大锅里每一种食材，大厨会迅速制作一小锅简单的汤，其味道与那一大锅炖菜非常相似。
诀窍：作者使用一种特定类型的速写（基于树的模型，如流程图），这种模型易于分析。因为速写很简单，他们可以直接精确计算食材如何相互作用，而无需在那一大锅炖菜上进行不可能的数学运算。

第二步：“修正”（残差）

速写并不完美。它很接近，但遗漏了一些细微之处。

类比：那小锅汤有 95% 像那一大锅炖菜，但也许少了一撮盐或一丝香料。
修正：该方法随后查看真实炖菜与速写之间的差异（即“残差”）。它使用一种智能采样技术来估算那些缺失的细节。
创新点：论文表明，对于非常复杂的交互作用（如 3 种或 4 种食材协同工作），试图通过随机采样来“修正”速写实际上可能会让情况变得更糟（就像加了太多盐）。因此，ProxySHAP 足够聪明，知道何时应用修正，何时只需信任速写。

为何这很重要

论文声称 ProxySHAP 是新的“黄金标准”，原因有三：

速度快：它能在合理的时间内处理具有数千个特征（食材）的人工智能模型。
准确度高：与之前的“猜测”方法相比，它的精确度更高，特别是在你没有大量计算机时间预算的情况下。
通用性强：它适用于不同类型的人工智能，从那些观察图像和文本的（如识别河中的长颈鹿）到那些预测金融风险的。

总结

在此之前，如果你想理解一个涉及许多交互因素的人工智能是如何做出决策的，你不得不在一个快速但粗糙的答案和一个缓慢且不可能完成的答案之间做出选择。ProxySHAP 通过一种聪明的“速写加修正”策略，为你提供了一个快速且高度准确的答案。这就像拥有一位大厨，他能立即告诉你究竟是哪些食材让这道菜变得美味可口，即使食谱包含数千个步骤。

技术摘要：基于代理的 Shapley 与 Banzhaf 交互近似

问题陈述
现代机器学习应用日益依赖合作博弈论来解释模型行为，具体利用 Shapley 值和 Banzhaf 值来归因单个特征的贡献。然而，理解复杂的非线性动态通常不仅需要分析单点效应，更需要分析高阶交互（特征子集）。由于联盟空间（ $2^n$ ）呈指数级增长，对于大规模特征数量（ $n$ ），计算精确的基数 - 概率交互指标在计算上是不可行的。

现有估计器在速度与准确性之间面临关键权衡：

基于采样的方法（如 SHAP-IQ、KernelSHAP-IQ）通常准确，但需要不切实际的采样预算来拟合大量高阶项，且遭受高方差困扰，其方差随交互阶数恶化。
基于代理的方法（如 ProxySPEX）提供速度，但依赖于从树代理中提取傅里叶系数。这种方法受限于相对于树深度的指数级复杂度，且通常需要进行激进的截断，从而损害准确性。此外，现有的代理方法通常返回的是代理的交互而非底层价值函数的交互，从而引入偏差。

方法论：ProxySHAP
作者提出了ProxySHAP，这是一个框架，它将基于树的代理模型的采样效率与通过残差校正实现一致性的原则性路径相结合。该方法将目标交互指标 $\phi^p_S(\nu)$ 分解为两个部分：
$\phi^p_S(\nu) = \underbrace{\phi^p_S(\hat{\nu}_T)}_{\text{精确代理}} + \underbrace{\phi^p_S(\nu - \hat{\nu}_T)}_{\text{残差}}$

代理拟合（阶段 1）： 在采样的联盟上训练基于树的模型（如 XGBoost、LightGBM）或带有交互特征的线性模型，以近似底层价值函数 $\nu$ 。
精确代理提取（阶段 2）： 与以往提取傅里叶系数的方法不同，ProxySHAP 引入了干预式 TreeSHAP 的多项式时间推广。这允许直接从树结构中精确计算任意基数 - 概率交互指标（包括 Shapley 和 Banzhaf）。
- 该方法利用由树叶子定义的指示博弈的 Möbius 表示。
- 它避免了基于傅里叶提取的指数级 $O(4^d)$ 复杂度（其中 $d$ 为树深度），实现了每次交互 $O(n_{nodes})$ 的运行时间。
残差调整： 为了校正代理未能完美匹配 $\nu$ $ν$ 所引入的偏差，该方法使用**最大样本重用（MSR）**来估计残差博弈 $(\nu - \hat{\nu}_T)$ $(ν - \overset{ν}{^}_{T})$ 的交互。
- 论文提供了理论分析，表明 MSR 估计器对于 $k$ 阶交互的方差随 $O(n^{k-1}/|T|)$ 缩放。
- 因此，作者推导了 MSR 调整有益的条件：主要适用于低维设置（ $n < 30$ ）或当采样预算 $|T|$ 相对于 $n^{k-1}$ 足够大时。对于大型博弈中的高阶交互，校正的方差可能会超过偏差的减少量。

主要贡献

ProxySHAP 框架： 一种新颖的估计策略，结合了基于树的代理与残差校正，实现了高阶交互的高效且准确的近似。
理论进展：
- 推导了一种闭式、多项式时间的算法，用于从树集成中提取精确的基数 - 概率交互指标，绕过了先前基于傅里叶方法的指数级深度依赖。
- 形式化刻画了 MSR 对于高阶交互的方差增长，确立了明确的条件（关于 $n$ 、预算和交互阶数 $k$ ），在这些条件下残差调整会改善或降低性能。
实证性能： 在 47 个数据集（表格、视觉、语言、图以及视觉 - 语言）上的广泛基准测试表明，ProxySHAP 树立了新的最先进标准。它在小预算区域（优于 ProxySPEX）和大预算区域（优于 KernelSHAP-IQ）均实现了最低的误差。

结果

准确性： 在相对均方误差（MSE）方面，ProxySHAP 始终优于基线方法（KernelSHAP-IQ、ProxySPEX、SHAP-IQ）。在具有数千个特征的大规模应用中（例如 $n=1776$ 的 Bioresponse），当其他方法变得计算不可行或不准确时，ProxySHAP 依然有效。
效率： 与基于傅里叶的提取相比，多项式时间提取算法提供了数量级（10 倍至 1000 倍）的加速，特别是在树深度增加时。
下游任务： 在解释 SigLIP-2 视觉 - 语言模型（FIxLIP 博弈）的具体应用中，ProxySHAP 在忠实度（通过插入 - 删除曲线下的面积衡量）方面表现出优于线性回归基线和 ProxySPEX 的性能。
超参数敏感性： 研究强调代理的质量至关重要。超参数优化（HPO）显著提升了性能，并提出了一个“由 HPO 指导”的默认配置（使用许多浅层树），以平衡成本和准确性。

意义与主张
论文声称，ProxySHAP 解决了交互估计中长期存在的速度与准确性之间的权衡。通过提供树代理的精确提取机制以及具有理论依据的残差校正策略，它实现了对现代 AI 系统中复杂依赖关系的可扩展量化。作者强调，他们的方法对于以下方面特别有价值：

大规模应用： 处理具有数千个特征的数据集，在这些数据集中精确计算是不可能的。
高阶交互： 提供超越成对效应的交互的可靠估计，这对于理解跨模态依赖（例如在视觉 - 语言模型中）和复杂特征协同作用至关重要。
实际部署： 提供一种“最先进”的估计器，在各种预算约束和模型类型下均表现稳健，并得到可扩展的 C++ 实现的支持。

作者谦逊地指出了局限性，特别是近似质量取决于拟合的代理（需要仔细的超参数调整），并且残差校正的方差限制了其在非常高维设置中用于高阶交互的效用。未来的工作建议探索替代的代理类别和残差估计器，以实现更优雅的扩展。