🤖 machine learning

IG-Lens: Exact Additive Probability Attribution Across Transformer Layers via Telescoping Integrated Gradients

本文介绍了 IG-Lens，这是一种通过沿单一路径应用级联积分梯度（telescoping Integrated Gradients）来实现跨 Transformer 层精确、加性概率归因的新颖方法，从而在确保无离散化误差的完备性的同时，克服了现有基于 Logit 或非加性读取工具的非线性与偏差限制。

原作者： Duc Anh Nguyen

发布于 2026-06-30

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Duc Anh Nguyen

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，将大型语言模型（比如驱动这次聊天的这个模型）想象成一座多层工厂：一个原始的想法从底层进入，而一个成品（预测出的词）从顶层产出。

长期以来，研究人员一直试图回答一个简单的问题：“在这个工厂的哪一层，‘河内’（Hanoi）这个词的决定实际上被做出了？”

现有的工具试图回答这个问题，但它们就像糟糕的会计师：

有些工具观察每一层并猜测工厂有多“自信”，但它们的猜测加起来并不等于 100%。这就像是说第一层有 40% 的把握，第二层有 60%，第三层有 80%——总计 180%，这毫无意义。
其他工具观察在转化为百分比之前的原始数值（logits）。但将原始数字转化为概率就像烤蛋糕；你不能只把面粉和鸡蛋分开相加，就指望得到成品蛋糕的重量。这种“烘焙”（被称为 softmax 的数学运算）改变了一切。
第三类工具试图衡量每一层所做的功，但它们衡量每一层时使用的起点各不相同，因此它们的数字无法累加以得出总功。

走进 IG-Lens：完美的会计师

这篇论文介绍了一种名为 IG-Lens 的新方法，它扮演着这个工厂中完美会计师的角色。它通过使用一种“伸缩”技巧（想象一下可以伸展和收缩的折叠望远镜）解决了问题。

以下是其运作方式的简单解释：

1. “单次快照”规则
IG-Lens 不会让这个词贯穿整个工厂并在每一层都与其他词混合，而是会在特定的楼层对这个词的状态进行“快照”。然后它会询问：“如果我们取第 10 层的状态，并将其运行通过最后的‘精加工’机器（即把原始数据转化为概率的部分），结果会是什么？”

2. 级数求和（Telescoping Sum）
IG-Lens 将旅程分解为若干段（例如，从第 10 层到 11 层，从 11 层到 12 层，等等）。

它计算该词在第 10 层的概率。
它计算第 11 层的概率。
两者之间的差值就是在该特定阶段所做的精确工作量。
因为它测量的是每一步的变化，所以当你把从底部到顶部的所有变化相加时，它们会完美地等于从开始到结束的总变化。这里没有遗失的数学逻辑，没有“烘焙误差”，也没有舍入问题。

3. “预测感知”过滤器
大多数方法通过观察数字如何“波动”（梯度）来猜测重要性。但有时数字波动很大，却并没有实际改变最终的决策。
IG-Lense 更聪明。只有当实际概率发生变化时，它才会将功劳归于某一层。如果数字在波动但预测保持不变，IG-Lens 会忽略这种波动。这就像一位经理，他只根据工人实际完成任务的天数来支付工资，而不是根据他们仅仅是在搬运箱子的忙碌天数。

为什么这很重要（根据论文所述）

它是精确的： 与以往那些只能提供近似值的工具不同，IG-Lens 保证了如果你将每一层的贡献相加，你会得到完全相等的最终概率。它是数学上完美的（精确到计算机数学的极限）。
它能找到“起始点”： 它可以告诉你模型“决定”一个词的确切层数。例如，它可能会显示对于“首都”（capital）这个词，决策主要是在第 12 层做出的；但对于“河内”（Hanoi），决策发生得要晚得多，大约在第 15 或 16 层。
它诚实地面对局限性： 论文承认了一个权衡。因为 IG-Lens 观察的是一个词在特定层级的“快照”，所以它不会计算该层在词向上传输到顶层过程中可能产生的后续工作。它测量的是：“给定我们的起点，这一层对最终答案贡献了多少？” 而不是 “这一层对整个系统的总影响是多少？”

核心结论

IG-Lens 是一种观察 AI 模型的新方式，它终于用一个数学上完美的“收据”回答了“模型何时做出的决定？”这一问题，且该收据总计为 100%。它不靠猜测，而是通过逐层计算概率的精确变化，过滤掉噪声，从而向你展示决策究竟发生在何处。

作者计划通过“破坏”模型在 IG-Lens 所识别的层级，来观察模型是否真的停止正常工作，以此来证明该方法找到了真正的决策点。

技术摘要：IG-Lens

问题陈述

仅解码器（Decoder-only）Transformer 通常被概念化为一个迭代推理过程，其中残差流不断细化对下一个 token 的运行估计。一个关键的可解释性问题在于：在特定的哪一层，预测 token 的概率实际上被确定了？

现有的层级读出（layer-wise readout）工具无法在概率空间中精确回答这一问题：

Logit Lens 与 Tuned Lens： 这些方法报告了每一层的概率水平，但无法提供加性分解。它们的估计存在偏差且随深度呈现非单调性，这意味着每层概率之和在数学上没有意义。
直接 Logit 归因 (DLA) 与 Embedding 方法： 这些方法具有加性，但在 Logit 空间中运行。由于 Softmax 函数具有高度非线性，Logit 的加性分解并不能转化为概率的加性分解，而概率才是具有实际意义的量。
层传导度 (Layer Conductance) 与层集成梯度 (Layer Integrated Gradients, IG)： 这些方法对每一层进行梯度积分，但将每一层归因于其独立的基准（baseline）。因此，这些逐层项无法实现“望远镜式叠加”（telescope），即它们的总和并不等于预测概率的总变化。

方法论：IG-Lens

作者引入了 IG-Lens，这是一种能够在 Transformer 层之间提供概率精确加性分解的方法。

核心概念

IG-Lens 通过在从基准到最终层的隐藏状态单路径上，应用望远镜式的集成梯度（Integrated Gradients, IG）来实现。

路径定义： 该方法选择一系列层 $0 = L_0 < L_1 < \dots < L_k = n$ ，并定义一条隐藏状态路径 $h_{L_0} \to h_{L_1} \to \dots \to h_{final}$ 。
单次头部读出 (Head-Once Readout)： 至关重要的是，读出函数 $f(h)$ 被定义为仅对单个隐藏向量应用的最终 Unembedding： $f(h) = \text{softmax}(\text{head}(\text{norm}(h)))_{y_t}$ 。该函数不包含任何注意力或 MLP；所有的跨 token 混合都被假设已在产生分离隐藏状态的前向传播过程中完成。
望远镜式归因 (Telescoping Attribution)： 第 $L_j$ 层的贡献被定义为 $f$ 在从 $h_{L_{j-1}}$ 到 $h_{L_j}$ 的直线段上的分段 IG。根据梯度定理，一段路径上的梯度积分等于端点值的差值。将这些分段求和会产生一个望远镜求和：
$\sum_{j=1}^k IGL_j = f(h_{final}) - f(h_{base}) = \Delta p$
这确保了归因之和精确地等于目标概率的变化，其中 Softmax 和 LayerNorm 是通过积分过程处理的，而非被线性化或冻结。

预测感知估计器 (Prediction-Aware Estimator)

虽然积分是精确的，但有限步数的估计器通常会引入离散化误差。IG-Lens 采用了一种预测感知估计器（受 IDGI 启发）作为其默认方式：

它不是根据原始梯度来分配权重，而是根据观察到的目标概率变化（ $f(h^{(s)}) - f(h^{(s-1)})$ ）来为每一步分配信用。
对于标量概率读出，这使得每个分段都坍缩为一个端点值的望远模型求和。
结果： 无论步数是多少（ $m \ge 1$ ），完备性都能保持在浮点精度水平。那些显示出梯度敏感性但没有输出变化的步骤会被自然过滤掉，从而消除了黎曼离散化误差。

实现

该方法使用单次通过批处理算法，无需进行反向传播（autograd）即可计算完整的逐层 token 映射。

通过将所有插值点堆叠成一个单一张量并在一次前向传播中评估逐点函数 $f$ ，该方法避免了梯度计算的开销。
这种高效性特别归功于“单次头部”设计，它确保了 token 点在批处理中的独立性。

核心贡献

精确加性分解： IG-Lens 是第一个提供概率（而非 Logit）在层间精确加性分解的方法，其归因之和等于 $\Delta p$ 。
望远镜恒等式： 论文提供了一个形式化证明（命题 1），证明了分段积分会望远式地叠加到总预测变化，从而将 Softmax 保留在积分路径之内。
预测感知估计： 默认估计器器确保了无论步数多少都能达到机器精度的完备性，并过滤掉了“有敏感性但无响应”的步骤。
高效实现： 通过单次前向评估计算完整的归因图，无需调用 backward，具有极高的计算效率。
定位： 作者清晰地阐述了现有方法为何在概率空间失效（即 Logit 空间的加性、偏差或缺乏望远式叠加特性），并将 IG-Lens 定位为 Logit 空间方法的概率空间对应物。

结果与评估计划

数值验证： 在受控测试和真实模型（Llama-3.2-1B-Instruct）上，默认估计器能将每段端点差异重现至 $\sim 10^{-7}$ （float32 精度）。望远式求和独立于步数 $m$ ，始终精确符合浮点精度。
说明性输出： 在提示词“What is the capital of Vietnam?”的实验中，该方法成功地将归因质量集中在 Logit-lens 值从低向高过渡的具体层区间。每个 token 的归因总和与 $\Delta p$ 在浮点精度下完全匹配。
评估策略： 作者承认“起始点”（onset）本身没有内在的地面真值（ground truth）。因此，他们建议通过**因果消融（causal ablation）**来验证该方法：如果 IG-Lens 将第 $L$ 层识别为起始点，那么消融第 $L$ 层对目标概率的抑制作用应比消融那些起始得分较低的层更强。这种测试旨在易于运行且能够证伪其主张。

意义与声明

论文将 IG-Lens 定位为迭代推理观点的定量细化。不同于 Logit Lens 询问“这一层的运行预测是什么？”，IG-Lens 询问“每一层对最终概率贡献了多少？”，并保证这些贡献之和等于整体。

适度的声明与局限性：

条件边际量 (Conditional Marginal)： 作者明确指出 IG-Lens 测量的是一个条件边际量：即给定 $h_{L-1}$ 时，通过 norm+head 能从 $h_L$ 中读出的额外概率。它丢弃了 $h_L$ 经过上方注意力层和 MLP 块后的效应。
权衡： 该方法选择了“总和 = $\Delta p$ ”而非“通过完整前向传播实现的完全因果效应”。对于完全的因果效应，组件分解（如 DLA）仍是合适的工具。
非单调性： 该方法通过使用有符号归因来处理非单调概率轨迹（即概率在构建过程中又被部分抵消的情况），从而提供比基于绝对值的方法更真实的层贡献视图。

核心的开放性问题仍然是经验性的：即 IG-Lens 的起始点是否能预测因果消融最能降低预测概率的层，特别是对于具有非单调轨迹的 token。