技术摘要：标量交互的表示极限

1. 问题陈述

本文探讨了可解释人工智能（XAI）在量化深度神经网络中特征协作方面的一个根本性局限。当前的范式依赖于有符号的成对交互得分（例如，Shapley Interaction Index, Faith-SHAP）来解释特征依赖关系。这些方法为特征对分配一个单一的标量值，将正值解释为协同作用（synergy），将负值解释为冗余（redundancy）。

作者认为这种标量方法是存在根本缺陷的，因为它混淆了三种截然不同的协作机制：

1. 唯一性 (Uniqueness, U)： 一个特征提供的、其他任何特征都无法提供的预测价值。
2. 冗余性 (Redundancy, R)： 多个特征之间共享的预测价值。
3. 协同性 (Synergy, S)： 仅当特征组合时才会出现的预测价值，该价值超过了它们各自贡献的总和。

核心问题在于，单一标量无法同时编码这三个正交维度。作者证明，在极简的高阶结构因果模型（SCM）——特别是三路 XOR 模型上，忠实指数（faithful indices）会返回零（抹除了信号），而投影指数（projective indices）会将高阶信号重新分配到伪造的低阶系数中，从而无法区分底层的机制。

2. 方法论：Stochastic Hi-Fi

为了解决这一表示瓶颈，作者引入了 Stochastic Hi-Fi，这是一种无需重新训练、后验式的估计器，用于将特征重要性分解为每个特征的 U/R/S 剖面。

核心操作转变

不同于依赖于在特征子集上重新训练模型的方法（这类方法回答的是模型可能学习到什么），也不同于观测方差分解法（这类方法在没有干预的情况下无法区分协同与冗余），Stochastic Hi-Fi 使用干预式掩码推理（interventional masked inference）。

• 干预损失 (Interventional Loss)： 对于一个特征集合 $S$，该方法通过掩盖 $S$ 中的特征并用来自背景分布 $p_{bg}$（非活跃特征的边缘分布）的样本进行替换，来计算期望损失 $L(S)$。这审计了已部署的模型实际使用了什么。
• LOCO 分解： 该方法将特征 $i$ 在上下文 $C$ 中的“留一协变量出”（Leave-One-Covariate-Out, LOCO）增益定义为将 $i$ 添加到 $C$ 时损失的减少量。
  • 唯一性 ($U_i$)： 所有上下文中最小的 LOCO 增益（在最不利上下文中的预测价值）。
  • 一阶效应 ($\pi_i$)： 空白上下文中的 LOCO 增益。
  • 最大预测能力 ($L^{\max}_i$)： 所有上下文中最大的 LOCO 增益。
  • 冗余性 ($R_i$) 和 协同性 ($S_i$)： 通过代数方式导出，即 $R_i = \pi_i - U_i$ 和 $S_i = L^{\max}_i - \pi_i$。

估计策略

评估所有 $2^n$ 个集合是不可行的。Stochastic Hi-Fi 采用了随机词汇表方法：

1. 集合词汇表 (Coalition Vocabulary)： 它维护一个已访问集合的表格，在线估计其平均损失和方差（使用 Welford 算法）。
2. 探索策略： 采用带有 softmin 项的 $\epsilon$-greedy 策略，优先考虑采样不足的集合，同时确保每个集合都有非零的采样概率（正质量条件）。
3. 菱形采样 (Diamond Sampling)： 为了降低估计成对交互（混合差 $\Delta_{ij}$）时的方差，该方法使用相同的背景批次评估四个结构相邻的集合（$C, C\cup\{i\}, C\cup\{j\}, C\cup\{i,j\}$）。这种“菱形”耦合利用了相邻集合之间的正协方差来抵消噪声，前提是满足邻接主导协方差条件。

3. 主要贡献

1. 混淆定理 (理论)

作者证明了定理 1，表明在极简的三路 XOR SCM 上，没有任何标量指数能同时表示 U、R 和 S。

• 忠实指数（如 Shapley-Taylor）对于所有特征对均返回精确的零，从而抹除了高阶信号。
• 投影指数（如标准 SII）会将三路效应重新分配到量级为 $\pm 1/4$ 的伪造二元系数中。
• 结论： 这种失败是表示层面的，而非计算层面的。输出空间必须从标量转变为向量 (U, R, S)。

2. Stochastic Hi-Fi 估计器 (方法论)

论文引入了一个具有严格统计保证且无需重新训练的估计器：

• 干预语义： 它通过掩码推理审计已部署的模型，而非通过重新训练。
• 有限样本界限： 它为集合损失的蒙特卡洛近似提供了 Hoeffding 式的集中界限。
• 方差缩减： 它证明了在特定的协方差条件下，“菱形”采样比独立采样能严格降低方差（定理 3）。
• 收敛性： 它建立了有限词汇表下 U/R/S 剖面的一致收敛保证。

3. 实验验证

该方法在三个不同领域得到了验证：

• 表格型 SCM： Stochastic Hi-Fi 能够恢复 XOR 和 AND-OR 模型的真实 U/R/S 结构，而标量基准方法则无法区分机制（恢复率比基准高出高达 411 倍）。
• Transformer 电路 (GPT-2)： 应用于间接宾语识别（IOI）电路，它分离了冗余的备份头（backup heads）和具有协同作用的头部对。它识别出了那些在第一阶激活补丁（activation patching）中是隐形的（低单体效应），但携带大量成对协同作用的头部。
• 医学影像 (ChestX-ray14)： 在 DenseNet121 模型上，该方法在指向游戏（Pointing Game）上与 GradCAM 匹配，但在删除 AUC（Deletion AUC）上显著优于后者（体现了因果忠实性），证明了粗粒度的 U/R/S 剖面比标准的显著性图更好地保留了因果保真度。

4. 结果与主张

性能指标

• SCMs： 在三路 XOR 上，标量基准会将不同角色混淆，比例差异高达 411 倍。Stochastic Hi-Fi 恢复了活跃特征正确的协同主导剖面，并分离了旁观者特征。
• GPT-2 IOI： 分解显示，角色内配对（如 S-Inhibition 头部）由冗余主导，而跨角色配对（如 Induction + S-Inhibition）则由协同主导。它成功识别了具有负唯一性（表明备份行为）且尽管一阶得分较低但具有高协同性的头部。
• ChestX-ray14：
  • 定位： 指向游戏准确率与 GradCAM 在统计上无显著差异 ($p=0.140$)。IoU@15 显示出微小的显著缺陷，这归因于 $14\times14$ 的粗糙网格。
  • 因果忠实性： 删除 AUC 从 0.332 (GradCAM) 显著提升至 0.269 ($p=1.61 \times 10^{-78}$)，表明其在识别移除后会导致模型性能下降的特征方面表现更优。

意义与范围

论文声称，有符号的成对交互是一个有用的投影，但并不是对协作作用的完整解释。

• 机制解耦： 主要贡献是将输出值域从标量转向机制解耦的剖面 (U, R, S)，从而允许研究人员区分独特贡献、冗余贡献和协同贡献。
• 模型保真度： 通过避免重新训练，该方法审计的是特定的已部署模型，而非假设的重训模型。
• 局限性： 作者明确指出，当词汇表不完备时，唯一性估计 ($U_i$) 是保守的上界。在影像处理中，粗糙网格以牺牲空间分辨率为代价换取了因果保真度。该方法依赖于背景分布 $p_{bg}$ 的选择，这定义了估计量本身，并需要进行显式的敏感性报告。

论文得出结论：交互解释应当报告机制，而不仅仅是符号，而 Stochastic Hi-Fi 提供了一个具有严格干预语义且易于实现的后验框架来实现这一点。