💬 NLP

Hessian-Enhanced Token Attribution (HETA): Interpreting Autoregressive LLMs

本文提出了专为自回归解码器语言模型设计的 Hessian 增强 Token 归因（HETA）框架，通过结合语义过渡向量、基于 Hessian 的敏感度评分及 KL 散度，有效解决了现有方法在捕捉生成式因果与语义复杂性方面的局限，并在归因忠实度与人类标注一致性上超越了现有方法。

原作者： Vishal Pramanik, Maisha Maliha, Nathaniel D. Bastian, Sumit Kumar Jha

发布于 2026-04-16

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Vishal Pramanik, Maisha Maliha, Nathaniel D. Bastian, Sumit Kumar Jha

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文介绍了一种名为 HETA（Hessian-Enhanced Token Attribution，海森增强型词元归因）的新方法。

为了让你轻松理解，我们可以把大型语言模型（LLM）想象成一个超级复杂的“黑盒”厨师，而 HETA 就是我们要给这个厨师配的一位**“透明化美食评论家”**。

1. 背景：为什么我们需要这位“评论家”？

现在的 AI 模型（比如写故事、做翻译的模型）非常强大，但它们像是一个黑盒子。你给它输入一句话，它吐出答案，但你不知道它为什么这么回答。

传统方法的问题：以前的解释方法（比如看“注意力机制”或简单的“梯度”）就像是在看厨师眼睛看向哪里，或者手在哪个动作上用力。
- 比喻：厨师可能盯着盐罐（注意力），但实际上决定这道菜味道的是他最后撒的那把糖（真正的因果）。或者，厨师手在抖（梯度大），但这可能只是因为他紧张，跟菜的味道没关系。
- 这些旧方法经常“指鹿为马”，在复杂的生成任务中（比如写小说、回答问题）经常出错，无法解释清楚到底是哪个词起了关键作用。

2. HETA 的核心：三位一体的“美食评论家”

HETA 之所以厉害，是因为它不再只看表面，而是结合了三个维度的深度分析，就像一位拥有“透视眼”、“味觉记忆”和“逻辑推理”的顶级评论家。

第一招：追踪“因果链条” (Semantic Transition Vector)

通俗解释：在写长句子时，后面的词往往依赖于前面的词。HETA 会像侦探一样，顺着模型的“思维路径”倒推。
比喻：想象你在玩“传话游戏”。HETA 不仅看谁在传话，还看谁的话最终传到了终点。如果某个词虽然被提到了，但它的信息在传递过程中被“过滤”掉了，没影响到最后的结论，HETA 就会忽略它。它只给那些真正对最终答案有贡献的词打分。

第二招：探测“隐藏的地震” (Hessian-Based Sensitivity)

通俗解释：这是 HETA 最独特的地方。以前的方法只看“线性”关系（比如：词 A 增加一点，结果就增加一点）。但 AI 模型是非线性的，有时候你轻轻碰一下某个词，结果会天翻地覆；有时候你用力推，结果却纹丝不动。
比喻：想象你在走钢丝。
- 旧方法（一阶梯度）就像是用尺子量钢丝的倾斜度，如果钢丝是平的，尺子就测不出危险。
- HETA 的“海森矩阵”（Hessian）就像是一个高灵敏度的地震仪。它能感觉到钢丝的弯曲程度（曲率）。即使钢丝看起来是平的，HETA 也能探测到下面隐藏的“弯曲”，知道如果稍微动一下某个词，会不会导致整个模型“崩塌”或产生巨大变化。这让它能发现那些看似不重要、实则一触即发的关键词。

第三招：计算“信息损失” (KL Divergence)

通俗解释：如果我把某个词从句子里删掉（或者换成乱码），模型的回答会变傻吗？
比喻：这就像玩“找茬”游戏。
- 如果你把句子里的“猫”字删了，模型还能猜出是“猫”吗？如果模型突然开始胡言乱语，说明“猫”这个字信息量巨大，是核心。
- 如果你把“的”字删了，模型回答几乎没变，说明这个字信息量很小。
- HETA 通过计算这种“信息损失”的大小，来给每个词打分。

3. HETA 的“终极绝招”：综合评分

HETA 不是简单地把上面三个分数加起来，而是把它们有机融合：

先用因果链条（第一招）把那些“虽然重要但跟当前问题无关”的词（比如故事里的背景描写，但跟问题无关）给屏蔽掉。
在剩下的词里，用地震仪（第二招）找出那些非线性敏感的词。
最后用找茬游戏（第三招）确认这些词到底提供了多少真实信息。

结果：HETA 能精准地告诉你：“在这个句子里，真正决定模型回答‘是’还是‘否’的，是第 3 个词和第 7 个词，而不是你直觉以为的第 1 个词。”

4. 实验结果：它真的好用吗？

作者做了一个很聪明的测试：

测试场景：给模型一段话，前半段是无关的“故事背景”（比如讲一个冬天的故事），后半段是真正的“科学事实”（比如光合作用在叶子里进行），然后问模型问题。
旧方法的表现：很多旧方法会被前半段的故事迷惑，把分数给到“冬天”、“风暴”这些词，因为它们很显眼，但实际上跟答案没关系。
HETA 的表现：它像激光一样，精准地把分数都打在后半段的“叶子”、“叶绿体”这些真正有信息的词上。

在多个模型（从小的 GPT-J 到巨大的 LLaMA-3.1）和多种任务上，HETA 都完胜了现有的所有方法。它更稳定，更诚实，也更符合人类的直觉。

5. 总结：为什么这很重要？

以前我们看 AI 就像看魔术，不知道手是怎么动的。
HETA 就像给魔术师戴上了X 光眼镜，让我们能看清：

到底是哪个词在起作用？
为什么这个词起作用？
如果去掉这个词，会发生什么？

虽然 HETA 计算起来稍微有点慢（因为它要算很多复杂的数学题，就像用显微镜看东西比肉眼慢），但它带来的透明度和信任感是巨大的。这对于医疗、金融、法律等高风险领域使用 AI 至关重要——我们需要知道 AI 为什么做决定，而不仅仅是看它做出了什么决定。

一句话总结：HETA 是一个给 AI 模型做“深度体检”的新工具，它通过结合因果追踪、非线性探测和信息损失计算，第一次让我们能真正看懂 AI 在生成文字时，脑子里到底在想什么。

1. 研究背景与问题 (Problem)

随着大型语言模型（LLM）在医疗、金融等高风险领域的部署，模型的可解释性变得至关重要。然而，现有的归因（Attribution）方法在解释**自回归（Decoder-only）**生成模型时存在显著局限性：

架构不匹配：大多数现有方法（如 LIME, Integrated Gradients, Attention Rollout）是为编码器（Encoder-based）架构设计的，假设输入是双向的且只需生成单一输出。而自回归模型是单向的、逐词生成的，需要针对每个生成位置进行归因。
线性近似失效：现有方法多基于一阶导数（梯度）或线性近似。然而，自回归生成过程具有高度的非线性和上下文依赖性。在梯度消失（Flat regions）或高度非线性的区域，一阶梯度无法捕捉真实的 token 影响力。
注意力机制的误导：注意力权重（Attention Weights）仅反映模型“关注”哪里，而非“因果影响”哪里。直接应用注意力归因往往无法区分因果路径和相关性，且容易受到未来 token 掩码（Causal Mask）的干扰。
缺乏鲁棒性：现有方法在解码超参数（如温度、Top-p）变化或句法重述下表现不稳定，归因结果不一致。

2. 方法论 (Methodology)

为了解决上述问题，作者提出了 Hessian-Enhanced Token Attribution (HETA)，这是一个专为 Decoder-only 架构设计的归因框架。HETA 通过结合三个互补的组件，构建了一个统一的影响力分解机制：

核心组件：

语义过渡影响力 (Semantic Transition Influence)：
- 目的：捕捉因果方向性。
- 机制：追踪从输入 token 到目标生成 token 的注意力 - 值流（Attention-Value Flow）。它计算注意力矩阵与值向量的加权流动，并严格限制在因果掩码（Causal Mask）内，只聚合那些最终终止于目标位置 $T$ 的路径。
- 作用：作为一个“因果门（Causal Gate）”，确保归因分数仅分配给对目标 token 有因果路径的输入 token，排除无关的上下文。
基于 Hessian 的敏感度分析 (Hessian-Based Sensitivity)：
- 目的：捕捉非线性相互作用和二阶效应。
- 机制：计算目标对数似然 $\log P(x_T | x_{<T})$ 关于输入嵌入 $X$ 的 Hessian 矩阵（二阶导数）。由于直接计算 Hessian 不可行，作者使用 Hessian-Vector Products (HVPs) 和 Hutchinson 估计器进行高效估算。
- 作用：当一阶梯度为零（如在激活函数的饱和区）时，Hessian 能捕捉到函数值的曲率变化，从而识别出那些对输出有显著非线性影响的 token。
基于 KL 散度的信息贡献 (KL Divergence for Information Contribution)：
- 目的：量化信息论层面的影响。
- 机制：通过掩码（Masking）某个输入 token $x_i$ ，计算目标 token 分布 $P_{orig}$ 与掩码后分布 $P_{masked}$ 之间的 KL 散度。
- 作用：衡量移除该 token 后预测不确定性的增加量，直接反映该 token 对目标分布的信息贡献。

最终归因公式：

$\text{Attr}(x_i \to x_T) = M_T[i] \cdot \left( \beta \cdot S^{(T)}_i + \gamma \cdot I(x_i \to x_T) \right)$
其中：

$M_T[i]$ 是语义过渡向量（因果门），限制归因范围。
$S^{(T)}_i$ 是 Hessian 敏感度。
$I(x_i \to x_T)$ 是 KL 信息贡献。
$\beta, \gamma$ 是权重超参数。

3. 关键贡献 (Key Contributions)

提出 HETA 框架：首个将语义流追踪、二阶曲率敏感度和信息论损失统一起来的归因方法，专门针对 Decoder-only 生成模型，解决了线性近似和注意力误导的问题。
构建新基准数据集：发布了一个精心策划的基准数据集（基于 NarrativeQA 和 SciQ 构建），包含 2000 个混合段落实例。该数据集设计了“干扰段”和“证据段”，用于系统性地评估归因方法是否能准确聚焦于真正的预测证据，而非无关上下文。
引入 DSA 指标：提出了 Dependent Sentence Attribution (DSA) 指标，用于量化归因质量在受控输入结构下的表现（即归因分数是否集中在证据段而非干扰段）。
广泛的实证评估：在四个不同规模和解码器的模型（GPT-J, LLaMA-3.1, Phi-3, Qwen2.5）上进行了实验，证明了 HETA 在忠实度（Faithfulness）、鲁棒性（Robustness）和人类对齐（Human Alignment）方面均优于现有最先进方法。

4. 实验结果 (Results)

归因忠实度 (Faithfulness)：
- 在 LongRA, TellMeWhy, WikiBio 等基准测试中，HETA 的 Soft-NC 和 Soft-NS 分数显著高于所有基线（如 Integrated Gradients, ReAgent, ContextCite 等）。例如，在 GPT-J 上，HETA 的 Soft-NC 达到 10.3，而次优方法 ReAgent 仅为 1.68。
- 这表明 HETA 对输入扰动的响应更加稳定，归因更忠实于模型的实际决策逻辑。
人类对齐与因果性 (Alignment & Causality)：
- 在自定义的 curated 数据集上，HETA 的 DSA 分数（衡量归因是否集中在证据段）在所有模型上均达到最高（>4.2），远超基线方法（许多基线甚至为负值，表明它们倾向于关注干扰项）。
- 干预实验（Intervention）显示，HETA 选出的 token 在被打断（Patch）后，对目标 log-probability 的下降影响最大，验证了其因果有效性。
鲁棒性 (Robustness)：
- 解码超参数：HETA 对温度（Temperature）、Top-p、Top-k 等解码参数的变化极不敏感（最大相对变化 <1%），而基线方法波动通常在 2%-5% 以上。
- 句法变换：在主动/被动语态转换下，HETA 保持了最高的归因排名一致性（Spearman 相关系数）。
效率优化：
- 虽然 HETA 涉及二阶计算，但作者提出了 低秩近似 (Low-Rank) 和 滑动窗口 (Windowing) 策略。实验表明，HETA-LR+WIN 变体在减少 40%-50% 运行时间和 30%-40% 显存占用的同时，保留了 92%-96% 的归因质量，使其在长文本场景下具有可行性。

5. 意义与结论 (Significance)

理论突破：HETA 证明了在自回归生成任务中，仅靠一阶梯度或注意力是不够的。必须结合二阶曲率信息（处理非线性）和信息论视角（处理不确定性），并辅以因果门控（处理自回归的单向性），才能获得可靠的解释。
实践价值：HETA 为理解 LLM 的生成机制提供了更可信的工具，有助于调试模型幻觉、识别偏见来源以及增强高风险场景下的模型信任度。
新标准：该工作通过引入新的基准数据集和 DSA 指标，为生成式模型的归因评估设立了新的标准，推动了可解释性 AI（XAI）从分类任务向生成任务的范式转变。

总结：HETA 通过融合因果语义流、二阶曲率敏感度和信息论损失，成功解决了自回归 LLM 归因中的非线性、因果性和稳定性难题，是目前该领域最先进且鲁棒性最强的归因框架。