Beyond $L_2$: Generalizing Abductive Latent Explanations to Diverse Prototype-Based Architectures

技术摘要：超越 L2：将溯因性潜空间解释推广至多样化的原型架构

问题陈述
基于原型的神经网络（PBNs）被认为是“设计即可解释”的架构，通过引用相似的训练样本（原型）来证明预测的合理性。最近，溯因性潜空间解释（Abductive Latent Explanations, ALE）被引入，通过计算潜空间距离的紧确界限，为这些网络提供形式化且具有数学保证的解释。然而，现有的 ALE 公式被僵化地限制在使用 $L_2$ 距离的欧几里得潜空间中。这造成了一个关键差距：现代最先进的 PBNs 越来越多地使用非欧几里得表示，包括球面度量（余弦相似度）、高斯密度和维度投影（softmax）。目前的正式解释方法与这些多样的几何结构不兼容，阻碍了对全谱系原型架构进行严谨的可解释性分析。

方法论
作者将 ALE 框架推广到支持非欧几里得原型架构，通过为不同的几何变体推导特定的边界算法。核心目标保持不变：通过迭代收紧激活值的界限，计算出能够保证模型预测的子集最小原型集。

1. 余弦相似度（球面几何）： 对于像 TesNet 这样在单位球面上使用点积相似度的架构，作者将其推理适配到球面几何。由于余弦相似度不满足标准的三角不等式，他们利用角距离（$d_\angle$）来推导界限。他们引入了一种球面帽交集近似（Spherical Cap Intersection Approximation），其中两个球面帽（由一个补丁和一个原型定义）的交集被一个最小半径的包围球面帽所界定。这使得推导潜空间补丁与未观察到的原型之间的紧确下界和上界成为可能。
2. 维度投影（单纯形几何）： 对于像 PIP-Net 这样通过 softmax 函数将激活映射到概率单纯形的架构，几何推理从空间距离转向了概率质量的守恒。作者提出了一个单纯形解释（Simplex Explanation），其中向解释中添加一个 $\langle \text{patch}, \text{prototype} \rangle$ 对会“消耗”一部分概率质量，从而严格限制剩余原型的上界。他们还为具有稀疏、非负分类头的模型引入了稀疏权重解释（Sparse-Weight Explanation），这允许对预测类进行精确得分计算，并对竞争类进行紧确界定。
3. 各向同性高斯相似度： 对于概率网络（如 ProtoGMM，其原型为高斯分布），作者将问题映射回一个通用的欧几里得空间。通过假设各向同性协方差，他们从相似度得分中恢复出“真实”的欧几里得距离。他们在该映射的欧几里得空间中应用标准的超球体交集近似（HIA），然后将生成的几何界限投影回模型的特定激活空间。
4. 聚焦相似度（Focal Similarity）： 对于使用聚焦池化（focal pooling）来抑制背景噪声的架构（如 ProtoPool），作者展示了现有的空间 ALE 界限可以聚合以界定聚焦池化操作所需的聚合统计量（最大值和期望值），而无需改变底层的几何求解器。

核心贡献

• ALE 的泛化： 本文将 ALE 框架从欧几里得 $L_2$ 空间扩展到了支持球面度量、高斯密度和基于单纯形的投影。
• 新型边界算法： 作者系统地推导了如何将多样化的架构映射到现有界限，或构建新的、特定于架构的边界算法（例如，球面帽交集、单纯形质量守恒）。
• 统一框架： 通过将这些多样化的模型统一在一个单一的形式化框架下，这项工作实现了首次严谨的跨架构可解释性比较。
• 经验验证： 作者通过在多个数据集（Oxford Flowers 102, Oxford IIIT Pet, CUB200）和架构（ProtoPNet, PIP-Net, TesNet, Gaussian ProtoPNet）上计算完全训练的图像分类器的子集最小形式化解释，验证了这些理论构建。

结果
实验揭示了不同范式之间在解释规模（可解释性）与计算成本之间的显著权衡：

• PIP-Net： 具有稀疏、非负线性头（PIP-Net）的模型产生的绝对解释规模最小且计算时间最快（约 0.07s），表明它们本质上更兼容形式化验证。
• 单纯形范式： PIP-Net 的单纯形解释范式实现了最小的相对解释规模（0.1%–0.2%），表明其在潜空间维度上具有极佳的可扩展性。
• 高斯模型： 缩放后的 HIA 为高斯模型提供了最小的相对解释规模（4.6%–6.2%），但产生了最高的计算开销（高达 142s），部分配置在大型数据集上会出现超时。
• 余弦/球面模型： 虽然球面 HIA 取得了具有竞争力的相对规模，但余弦 TI 和球面 HIA 都面临着高方差和可扩展性问题，在 CUB200 数据集上经常出现超时。
• 指标： 作者引入了一个“相对规模（Relative Size）”指标来归一化不同范式之间的解释规模，为独立于总原型数量的内在架构可解释性提供了一个稳健的指标。

意义
本文声称提供了对多样化原型网络进行形式化可解释性比较的首次定量比较。通过将 ALE 扩展到非欧几里得空间，本文弥合了形式化 XAI 的理论保证与现代、多样化原型架构的实际现状之间的差距。这项工作强调了特定的设计原则——例如使用稀疏、非负头——这些原则会导致更好的形式化可解释性。它表明，虽然几何精度（如高斯或球面模型）可以产生紧确界限，但这往往以显著的计算成本为代价，强调了在平衡可解释性保证与可扩展性时进行仔细架构设计的重要性。