💬 NLP

Faithfulness Evaluation for Decoder-only LLM Attributions with Controlled Retained Information

本文引入了 $\pi$ -Soft-NC 和 $\pi$ -Soft-NS 评估框架，以在评估仅解码器大型语言模型的归因忠实度时控制保留词数，并提出了 Grad-ELLM 方法，该方法有效结合梯度与注意力信号，实现了面向全面性的卓越性能。

原作者： Xin Huang, Antoni B. Chan

发布于 2026-05-27

📖 1 分钟阅读☕ 轻松阅读

原作者： Xin Huang, Antoni B. Chan

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是用简单语言和日常类比对该论文的解读。

核心难题：拿苹果和橙子做比较

想象你是一位法官，试图判断哪位侦探更擅长破解谜案。你有两位侦探：侦探 A和侦探 B。

侦探 A找到了 5 条线索，但每一条都非常重要。
侦探 B找到了 50 条线索，但只有 5 条真正有用；其余的都是噪音。

过去，研究人员试图通过观察“移除侦探指出的线索后，AI 的回答发生了多大变化”来衡量“忠实度”（即 AI 解释自身思维的程度）。

缺陷所在： 旧有的衡量方式是这样的：如果侦探 B 给了你 50 条线索，你移除了其中的 45 条，AI 的回答可能会发生巨大变化，但这仅仅是因为你移除了那么多文字，而不是因为这些线索本身质量差。如果侦探 A 只给了你一份简短的 5 条线索列表，移除它们可能只会让回答发生较小的变化，仅仅因为原本的文字就比较少。

旧的评估指标是不公平的。它们将一位保留了大量信息的侦探与一位保留极少信息的侦探进行比较，使得那位保留更多信息的侦探看起来在解释事物方面“更出色”，即使他们的逻辑其实很混乱。

解决方案：“等量保留”规则

本文作者为这场游戏提出了一条新规则：每个人都必须保留完全相同数量的信息。

他们引入了一种名为 $\pi$ -Soft-NC和 $\pi$ -Soft-NS的新方法。你可以将 $\pi$ （派）想象成信息的“音量旋钮”。

如果你将旋钮设为 0.5，那么侦探 A 和侦探 B 都必须保留句子中 exactly 50% 的单词。
如果你将其设为 0.1，两人都只能保留 10%。

通过强制两种方法“保留”相同数量的信息，你终于可以看出谁真正挑选了正确的单词来解释 AI 的决策，而不是谁仅仅挑选了最多的单词。

新侦探：Grad-ELLM

作者还构建了一种名为Grad-ELLM的新侦探方法来测试这条新规则。

工作原理： 想象 AI 正在像连锁反应一样逐个单词地编写故事。为了理解 AI 为何选择下一个单词，Grad-ELLM 同时观察两件事：
1. “注意力”图： AI 关注了哪些单词？（就像 AI 在房间里盯着谁看）。
2. “梯度”图： 改变这些单词在多大程度上实际改变了结果？（就像移动某个特定加热器时，房间温度会发生多大变化）。

Grad-ELLM 结合了这两种视角。它不仅仅挑选单个“最重要”的单词；而是创建了一个贯穿整个句子的平滑、连续的重要性图谱。这就像一张热力图，精确显示“热度”（重要性）在哪里，而不仅仅是指向某一个点。

他们的发现

作者使用诸如以下任务，在著名的 AI 模型（Llama 和 Mistral）上测试了他们的新规则和新侦探：

情感分析： 判断电影评论是正面还是负面。
开放式生成： 回答问题或续写故事。

结果：

旧规则存在偏差： 当他们使用旧指标时，那些保留大量单词的方法看起来人为地表现良好。
新规则揭示真相： 在“等量保留”新规则下，Grad-ELLM 被证明在寻找广泛证据方面表现出色。它表明 AI 的决策得到了大量单词协同工作的支持（就像一群人的合唱）。
没有唯一的赢家： 有趣的是，没有任何一种方法在所有方面都是最好的。
- 有些方法擅长找出一两个最关键单词（就像找到“确凿证据”）。
- Grad-ELLM 擅长展示全貌，即有多少单词共同促成了答案。

核心启示

这篇论文就像是为面包店配备的一套新秤。以前，如果你用重盘子称蛋糕，用轻盘子称饼干，你就无法判断哪种甜点实际上更重。作者在两边都加上了标准盘子。

他们还烘焙了一种新蛋糕（Grad-ELLM），其风味均匀分布在整个蛋糕中，而不是只有几个甜蜜点。他们的新秤显示，虽然有些方法擅长寻找“甜蜜点”，但他们的新蛋糕更能展示整个甜点是如何组合在一起的。

简而言之： 他们修正了我们测试 AI 解释的方式，使我们不再被单词的数量所迷惑，并引入了一种新方法，能更完整、更诚实地展现 AI 的思维方式。

技术摘要：基于受控保留信息的解码器专用大语言模型归因忠实度评估

问题陈述

大语言模型（LLM），特别是像 Llama 和 Mistral 这样的解码器专用架构，正越来越多地利用输入归因方法来解释其决策过程。然而，比较这些解释的“忠实度”（可靠性）仍然具有挑战性。

现有的软扰动忠实度指标，特别是Soft-NC（归一化软全面性）和Soft-NS（归一化软充分性），存在严重的偏差。这些指标通过基于归因分数对输入进行扰动来评估归因质量。然而，不同的归因方法通常会产生具有不同均值的分数分布。因此，平均分数较高的方法在软扰动过程中会保留更多的词，仅仅因为扰动后的输入包含更多信息，而非因为归因更准确，从而人为地 inflated 其忠实度分数。这一问题在自回归解码器专用大语言模型中尤为突出，因为在生成步骤中，归因分数分布可能存在显著差异。

方法论

1. $\pi$ -Soft-NC 与 $\pi$ -Soft-NS

为了解决现有指标中的偏差，作者提出了 $\pi$ -Soft-NC和 $\pi$ -Soft-NS。这些评估框架在**受控的目标保留概率（ $\pi$ ）**下比较不同的归因方法。

机制：该框架不使用原始归因分数进行比较，而是使用 alpha 变换（ $\tilde{s}_i = s_i^\alpha$ ）对每个归因分布进行转换。参数 $\alpha$ 通过数值求解（例如，通过二分搜索）确定，使得变换后分数的预期保留概率匹配特定的目标 $\pi \in [0, 1]$ 。
公平比较：通过强制不同方法保留相同预期量的信息（即相同的 $\pi$ ），该评估将归因分布的质量与校准度从扰动强度的差异中隔离出来。
评估协议：作者引入了两种协议来评估归因的不同方面：
- 动态路由（Dynamic-Routing）：基于扰动后的输入动态重新计算 Transformer 的注意力。这衡量了归因在模型条件变化时识别有用词的能力。
- 固定路由（Fixed-Routing）：从原始未扰动输入缓存注意力图，并在扰动过程中复用。这将 Token 内容的因果贡献与注意力重新分配隔离开来。
可视化：将 $\pi$ 从 0 扫描至 1 可生成曲线（ $\pi$ -Soft-NC/NS 对 $\pi$ ）。曲线下面积（AUC）总结了性能。低 $\pi$ 下的高分表明存在紧凑的充分证据，而在高 $\pi$ 下的强劲表现则表明具有广泛的全面性。

2. Grad-ELLM

作者引入了Grad-ELLM，这是一种专为自回归解码器专用大语言模型设计的基于梯度的归因方法。

灵感来源：它借鉴了 Grad-ECLIP（专为双编码器视觉 - 语言模型设计）中的梯度 - 注意力聚合概念，并将其应用于序列文本生成。
机制：
- 对于每个解码步骤，它计算相对于下一个 Token 对数概率（logit）的归因。
- 它结合了梯度导出的通道重要性（对数概率对注意力输出通道的敏感度）与注意力导出的 Token 重要性（Token 权重）。
- 为了避免过于稀疏的“尖峰”Softmax 权重，它对查询 - 键相似度采用“放宽”的归一化（最小 - 最大归一化），从而产生连续的归因分布。
- 归因分数在选定的解码层之间进行聚合，以形成最终的热力图。

主要贡献

偏差识别：论文指出，现有的 Soft-NC/NS 指标不公平地比较了具有不同分数均值的方法，因为它们本质上评估的是不同量的保留信息。
新评估指标：提出了 $\pi$ -Soft-NC 和 $\pi$ -Soft-NS，通过控制目标概率 $\pi$ 下的预期保留信息来规范化比较。
新归因方法：引入了 Grad-ELLM，该方法专门针对解码器专用大语言模型的序列特性，整合了梯度和注意力信号。
全面的实证分析：对代表性归因方法（包括 Attention、Saliency、Integrated Gradients、DeepLIFT、Value Zeroing 和 ReAGent）在分类和开放生成任务中进行了严格的比较。

实验结果

实验在Llama-3.1-8B和Mistral-7B（另有 70B 的附加结果）上进行，涵盖了五个数据集（IMDb、SST2、BoolQ、TellMeWhy、WikiBio）。

原始指标诊断：对原始 Soft-NC/NS 的分析证实了偏差的存在；像 Random 和 Grad-ELLM 这样的方法保留了显著更多的 Token（更高的 $\pi$ ），而像 DeepLIFT 这样的稀疏方法保留较少，导致分数不可比。
$\pi$ -Soft-NC 下的表现：Grad-ELLM在 Llama 和 Mistral 上均实现了最强的面向全面性的忠实度（最高平均 AUC）。这表明 Grad-ELLM 有效地识别了广泛的证据覆盖。
$\pi$ -Soft-NS 下的表现：没有单一方法在面向充分性的评估（ $\pi$ -Soft-NS）中占据主导地位。像 Input $\times$ Gradient 这样的稀疏方法在前三名中表现良好，表明它们可能更精确地识别了最关键的字词，但没有一种方法是普遍优越的。
与随机归因的比较：大多数方法仅在保留概率 $\pi > 0.5$ 时才显示出优于随机归因的优势。这表明对于这些任务，需要显著的上下文信息（不仅仅是排名靠前的 Token），或者当前方法在顶级归因的精确排序上存在困难。
定性分析：在情感分类示例中，Grad-ELLM 成功突出了组合短语（例如"very little positive"），而不是孤立的 Token（例如"positive"），比基线更好地捕捉了否定的细微差别。

意义与主张

论文声称，其提出的评估框架为比较 LLM 的可解释人工智能（XAI）方法提供了严格的标准。通过控制保留信息， $\pi$ -Soft-NC/NS 允许研究人员区分那些提供紧凑充分证据的方法与那些提供广泛面向全面性证据的方法。

作者强调，Grad-ELLM 旨在产生校准良好且密集的归因分布，而非极度稀疏的排名。因此，虽然 Grad-ELLM 在提出的软扰动指标下表现出色，但它可能不是硬扰动排名指标（如 Insertion/Deletion）的最佳选择，因为在后者中，少数顶级 Token 的排序占主导地位。论文得出结论，忠实归因应沿多个轴（充分性 vs. 全面性）进行评估，而不是依赖单一指标，并且所提出的指标支持理解自回归模型中归因证据的组织方式。

作者承认的局限性：

Grad-ELLM 需要访问内部模型状态（梯度、注意力），因此仅限于开源模型。
本研究关注忠实度，而非合理性（人类可解释性），后者在客观量化方面仍然困难。
这些指标仍然依赖于嵌入级别的扰动，这可能无法与自然文本分布完美对齐。