🤖 machine learning

FRInGe: Distribution-Space Integrated Gradients with Fisher--Rao Geometry

本文提出 FRInGe，一种新颖的归因方法，该方法以预测分布空间中的最大熵参考和 Fisher-Rao 测地线插值替代启发式输入基线与直线路径，从而为深度学习模型生成更具鲁棒性且面向校准的解释。

原作者： Gabriele Martino, Sebastian Tschiatschek

发布于 2026-05-08

📖 1 分钟阅读☕ 轻松阅读

原作者： Gabriele Martino, Sebastian Tschiatschek

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是论文《FRInGe：基于 Fisher–Rao 几何的分布空间积分梯度》的解释，已用通俗易懂的语言并辅以富有创意的类比进行翻译。

核心难题：为何当前的 AI 解释如此“脆弱”

想象你有一个非常聪明的 AI，它看到一张猫的照片并说：“那是一只猫！”你想知道为什么。你要求 AI 指出是哪些像素让它做出了“猫”的判断。

一种流行的方法是积分梯度（Integrated Gradients, IG）。把 IG 想象成一位试图解释山景的徒步者。徒步者从山脚（一张空白、无聊且毫无信息的图像）出发，沿直线走向山顶（实际的猫照片）。沿途，他们测量每一步中景观的变化程度，以此判断路径的哪些部分最为重要。

问题出在哪里？ 徒步者的解释完全取决于：

起点在哪里：如果起点是黑色图像还是灰色图像，他们讲述的故事可能截然不同。
所走的路径：在山脉中沿完美直线行走，往往意味着要穿过岩石、悬崖，或者景观几乎不发生变化的区域（饱和区）。这使得“重要性”的计算变得混乱且不可靠。

解决方案：FRInGe（“智能导航员”）

作者提出了一种新方法，称为FRInGe。与在“像素世界”（图像本身）中穿行不同，FRInGe 决定在“预测世界”（AI 的内部置信度）中进行导航。

以下是其逐步工作原理：

1. 起点：“空白画布”

在旧方法中，你必须猜测一张“空白”图像长什么样（例如全黑像素）。这就像猜测一种“空白”的感觉是什么。

FRInGe 的方法：它不猜测空白图像，而是从一个空白预测开始。想象 AI 处于 100% 困惑的状态，说：“它可能是猫、狗、汽车或烤面包机——所有可能性均等。”这是“最大熵”状态。这是对“我一无所知”的数学上完美的定义，无需虚构一张假图像。

2. 路径：“弯曲的高速公路”

在旧方法中，徒步者沿直线行走。但在 AI 预测的世界里，直线往往是一条糟糕的路径。它可能会穿过 AI 感到困惑的区域，或者景观不发生变化的区域。

FRInGe 的方法：它使用Fisher–Rao 测地线。
- 类比：想象你在驾驶飞机。如果在平面地图上沿直线飞行，你可能会撞山。但如果你沿着大圆航线（球体上的最短路径）飞行，你就会顺应地球的自然曲线。
- FRInGe 沿着 AI 置信度的“弯曲高速公路”飞行。它以尊重 AI 实际思考方式的方式，从“完全困惑”平滑过渡到“完全确定”，从而避开了那些充满岩石且无信息的区域。

3. 转换：“翻译器”

这里是棘手之处：AI 生活在“预测世界”中，但我们需要将解释展示在“图像世界”（像素）中。

FRInGe 的方法：它使用拉回度量（Pullback Metric）。
- 类比：想象你在崎岖不平的地形（预测世界）上行走。你想知道你的步伐如何映射到一张平坦的地图（图像）上。FRInGe 就像一个智能翻译器。它说：“为了在预测世界中迈出平滑的一步，我需要在图像世界中迈出特定的、略微弯曲的一步。”
- 它还使用了一个信任区域（安全牵引绳）。如果转换试图在图像世界中跳跃过远（这会导致图像出现故障或怪异），牵引绳会将其拉回，以保持步伐微小且稳定。

为何这更好？

该论文在数千张图像上，针对六种不同的著名 AI 模型（如 ResNet 和 VGG）测试了这种方法。

更好的校准（“真理计量器”）：FRInGe 最大的优势在于，其解释与 AI 的置信度更加匹配。
- 类比：如果 AI 有 90% 的把握认为那是猫，一个好的解释应该显示出图片中 90% 的“猫性”。旧方法往往显示过多或过少。FRInGe 的解释“总量”与 AI 的置信度完美校准。
更少的噪声：因为它避开了穿过糟糕区域的“直线”，生成的解释图更加清晰。它们聚焦于实际物体（猫），而不是随机噪声。
不再需要猜测基线：你不再需要猜测“空白”图像长什么样。该方法在预测空间中通过数学定义了“无”。

权衡（“代价”）

论文中提到了一个缺点：速度。

类比：旧方法（IG）就像在直路上坐公交车。它很快。FRInGe 就像雇佣一位私人飞行员，他必须计算完美的弯曲飞行路径，并每秒检查天气。计算解释的时间大约要长 10 到 20 倍。
然而，作者指出，这对于“离线”用途是可以接受的——例如，当你想在模型训练完成后深入理解它时，而不是需要在 AI 运行时立即获得解释。

总结

FRInGe 是一种解释 AI 决策的新方法。它不再在图像中沿一条枯燥的直线行走，而是沿着最平滑、最自然的曲线，在 AI 内部的“置信度地图”上进行导航。它将这段平滑的旅程转换回图像，为我们提供了更准确、校准更好且更少依赖任意猜测的解释。

技术摘要：FRInGe – 基于 Fisher–Rao 几何的分布空间积分梯度

1. 问题陈述

基于梯度的归因方法（如积分梯度 IG）因其模型忠实性和可扩展性，被广泛用于解释深度神经网络的预测。然而，标准 IG 存在若干实际局限性，影响了归因的稳定性与可解释性：

基线敏感性：输入空间基线（如零图像或噪声）的选择具有启发性，可能导致定性上截然不同的解释。
路径伪影：输入空间中的标准直线插值往往穿越梯度条件不良、受伪影主导或处于饱和状态的区域。
饱和现象：沿标准路径，模型输出可能在早期迅速变化随后趋于平稳，导致信息丰富的梯度集中在狭窄段，而后续步骤仅贡献噪声。
离散化误差：使用有限黎曼和近似路径积分时，若梯度变化剧烈，可能引入显著误差。

现有尝试解决这些问题的方法通常涉及直接在输入空间设计轨迹，或依赖显式生成模型来定义数据流形，这可能导致归因质量与生成模型质量相混淆。

2. 方法论：FRInGe

作者提出了FRInGe（Fisher–Rao 积分梯度），该方法在预测分布空间而非输入空间中重新定义参考点和插值调度。该方法包含三个核心组件：

A. 预测分布参考

FRInGe 不再选择启发式输入基线，而是在预测分布空间中定义参考。它采用最大熵参考（ $q^\star = \frac{1}{C}\mathbf{1}$ ），表示类别上的均匀分布。这将“无信息”状态直接操作化于模型输出层面，消除了对特定数据类型基线设计的依赖。

B. Fisher–Rao 测地线调度

模型预测分布 $p(x)$ 与最大熵参考 $q^\star$ 之间的插值被定义为概率单纯形上的Fisher–Rao 测地线。

利用平方根嵌入 $\psi(p) = \sqrt{p}$ ，将单纯形映射到单位球面的正象限。
测地线通过在该嵌入空间中进行球面线性插值（slerp）计算，确保路径遵循预测分布的内蕴几何结构。

C. 通过拉回度量实现输入空间轨迹

为了在输入空间中实现这一分布空间轨迹，FRInGe 使用拉回 Fisher 度量。

几何感知步长：该方法最小化当前预测与测地线上下一个航点之间的球面对齐损失。下降方向使用拉回 Fisher 度量 $G(x) = J_F(x)^\top S(x) J_F(x)$ 计算，其中 $J_F$ 是 logits 的雅可比矩阵， $S(x)$ 是 softmax 分布的 Fisher 信息矩阵。
信任区域稳定化：为确保数值稳定性并防止过大且非感知的输入位移，该方法采用双重信任区域规则：
1. KL 控制：基于局部 KL 散度（由 Fisher 范数近似）限制步长，确保预测空间中的恒定进展。
2. 欧几里得上限：施加最大欧几里得步长，以防止在预测几何平坦区域出现不稳定。
空间正则化：为抑制对抗性高频扰动，在线性系统求解更新方向时加入空间平滑算子（如离散拉普拉斯算子）。

D. 归因计算

特征归因是通过对实现后的输入空间轨迹积分输入梯度获得的。由于轨迹从输入移向参考点，累积积分需取反以恢复从基线到输入的标准方向。该方法相对于轨迹实现的终点满足完备性。

3. 主要贡献

分布空间定义：FRInGe 是首个完全在预测分布空间内定义 IG 参考和插值调度的归因方法，使用了最大熵参考。
内蕴几何：它将积分调度构建为 Fisher–Rao 测地线，避免了输入空间中任意的欧几里得直线。
拉回实现：它通过拉回 Fisher 度量诱导相应的输入空间轨迹，在无需显式数据流形生成模型的情况下创建了模型感知的方向场。
稳定化机制：KL 信任区域与欧几里得上限的集成确保了路径的数值稳定实现，解决了饱和与离散化误差问题。

4. 实验结果

作者在六个架构（Inception-v3, ResNet-18/50/101/152, VGG-19）的 1,000 张 ImageNet 验证图像上评估了 FRInGe。

校准指标 (MAS)：FRInGe 在幅度对齐评分 (MAS) 指标（包括插入和删除）上表现出最显著的改进。这表明 FRInGe 归因能更好地校准模型的置信度动态；累积的归因质量紧密追踪模型置信度的实际变化。
扰动指标：FRInGe 在标准的基于扰动的 AUC（插入/删除）和不忠实度指标上保持竞争力，尽管它并未在所有基线上统一占优（例如，SmoothGrad 在删除 AUC 上有时表现更好）。
与几何基线的比较：FRInGe 在 MAS 和不忠实度上优于其他几何感知方法（如 GGIG 和 GeoIG），表明其增益源于预测空间调度与拉回几何的结合，而非单纯的路径设计。
消融研究：移除拉回几何（欧几里得跟踪）或空间正则化会导致噪声更大、高频的轨迹以及更低的校准分数，证实了所有三个组件（预测参考、Fisher 几何和正则化）对于实现最佳性能都是必要的。
计算成本：FRInGe 比标准 IG 计算成本更高（每一步需要共轭梯度求解），运行时间根据架构不同慢 4 倍至 22 倍。然而，作者指出这对于离线分析和审计是可以接受的。

5. 意义与主张

本文主张 FRInGe 通过将“进展”的定义从像素空间距离转变为模型预测状态的变化，为欧几里得积分梯度提供了一种原则性替代方案。

与模型动态的对齐：主要优势在于归因幅度与模型内部置信度动态的对齐。通过遵循 Fisher–Rao 测地线，该方法避免了直线路径中常见的饱和和伪影，生成了更忠实于模型实际信息处理方式的解释。
模态无关性：通过在分布空间（最大熵）中定义参考，该方法减少了对手工设计、特定数据模态基线的需求。
局限性：作者承认计算开销是主要的实际限制。他们建议未来的工作可专注于逆拉回度量的更廉价结构近似，或摊销预测器以加速该方法。

本文结论认为，FRInGe 成功证明了遵循模型自身预测动态（通过 Fisher–Rao 几何）的解释，比遵循任意欧几里得路径的解释能产生质量更高、校准更好的归因。