💻 computer science

Latent Attribution Regularization: Cross-Domain Attribution-Consistency Training for Stable NLP Explanations

本文介绍了潜在归因正则化（Latent Attribution Regularization, LAR），这是一种在训练阶段强制要求在语义保持不变的同义词替换下实现归因一致性的方法，证明了该方法在不损害模型准确性的情况下，显著提高了微调 Transformer 模型中基于梯度的解释的稳定性，同时也确立了适当的标记对齐对于准确衡量此类稳定性至关重要。

原作者： Junaid Hassan

发布于 2026-09-10

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Junaid Hassan

原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

在人工智能领域，理解计算机如何做出决策的一种常用方法是观察它对输入内容的哪些部分给予了最多的关注。想象一下，一台机器正在阅读一个句子并判断它是快乐还是悲伤；研究人员可以生成一张图谱，显示模型认为哪些词对于该判断最为重要。这些被称为“特征归因”（feature attributions）的图谱正越来越多地被用于向人类解释 AI 的决策。然而，出现了一个令人不安的模式：如果你通过将一个词替换为意思相同的同义词来轻微改变句子，图谱往往会发生彻底的变化。计算机可能会突然指向另一个词作为其决策的原因，尽管句子的含义和最终答案都没有改变。这使得解释显得不可信，仿佛 AI 是不可靠或混乱的，但实际上，这种变化可能只是由计算机读取文本的方式所产生的幻觉。

独立研究员 Junaid Hassan 的一项新研究调查了这一问题，揭示了这种表面的不稳定性实际上是由于计算机拆解单词的方式所导致的测量误差。现代语言模型并不像人类那样阅读整个单词，而是将文本切分成更小的碎片，称为“子词标记”（subword tokens）。当一个单词被替换为同义词时，这些小碎片的数量可能会发生变化，从而改变其后每一个标记的位置。如果研究人员根据位置在列表中比较重要性得分，他们往往是在比较完全错误的对象，就像是将一本书的第一页与另一本书的第二页进行匹配一样。研究人员开发了一种通过基于单词的实际身份而非其位置来进行匹配的方法来修复这个问题，并发现这些解释的稳定性比之前认为的要好得多。

基于这种修正后的测量方式，该研究引入了一种名为“潜在归因正则化”（Latent Attribution Regularization）的新训练技术。这种方法教导 AI 模型即使在输入文本因同义词而发生轻微改变时，也要保持其解释图谱的一致性。在训练过程中，模型会被展示一个句子及其略微改变的版本，如果不变词汇的重要性得分在两个版本中保持相似，模型就会获得奖励。这是在学习正确分类文本情感的标准任务之外进行的。目标不仅是得到正确的答案，还要确保背后的推理逻辑在措辞变化时保持稳定。

研究人员使用一个名为 DistilBERT 的模型在一个电影评论数据集上测试了这种方法。实验在两个不同规模下运行：一个包含 1,500 个样本的小型测试，以及一个包含 20,000 个样本的更大、更真实的测试。在两种情况下，模型都分别在使用了和未使用这种一致性技术的情况下进行了训练。结果显示，使用一致性技术训练的模型产生了显著更稳定的解释。当文本通过轻度、中度或重度的同义词替换进行改变时，经过一致性技术训练的模型比未经过该技术训练的模型更频繁地保持解释的一致性。例如，在较大的测试中，随着文本变化的难度增加，稳定性的提升也随之增长，显示出在更困难的条件下具有明显的优势。

至关重要的是，这种稳定性的提升并没有以牺牲模型理解文本的能力为代价。使用新技术的模型在分类电影评论方面达到了与未使用该技术模型同样高的准确率。在较大的实验中，两组模型都达到了约 82% 的准确率，证明了模型可以在不忘记其主要任务的情况下学会更加一致。研究还证实，最初发现的极端不稳定性确实是测量方法造成的人为现象；一旦进行了对齐修正，基准稳定性本身就已经很高，而新的训练方法则将其推向了更高水平。

研究结果表明，对于构建向用户解释其决策的 AI 系统的开发者来说，有一种使这些解释更可靠的实际方法。通过在训练阶段加入这种一致性检查，AI 可以学会忽略由细微措辞变化引起的噪声，并专注于真正的含义。研究人员指出，虽然这项工作是在特定类型的模型和单一任务上完成的，但该方法提供了一种低风险的常规训练补充方案，可以使 AI 的解释在现实应用中更加值得信赖。研究总结道，经常被归咎于 AI 模型本身的不稳定性，可能只是测量方法的一个陷阱；通过正确的工具和训练，我们可以构建出能够以更高稳定性解释自身的系统。

技术摘要：潜在归因正则化 (Latent Attribution Regularization, LAR)

问题陈述

在经过微调的 Transformer 模型中，基于梯度的特征归因在输入发生微小的、保持语义不变的扰动（例如：同义词替换）时，往往表现出高度的不稳定性。如果模型的预测和输入的含义保持不变，但解释却发生了剧烈变化，那么该解释就是不可信的。

本文识别出了该领域一个此前被忽视的关键测量伪影：分词漂移 (tokenization drift)。标准的子词分词（WordPiece）意味着替换单个单词可能会改变子词的数量，从而导致后续所有 token 的位置发生偏移。通过比较原始位置索引来评估归因稳定性（如 Yin 等人，2022 年的做法）会导致严重的对齐偏差。作者证明，这种直接的方法会将稳定性相关性从合理的 $\approx 0.90$ 降低到低至 $\approx 0.03$ ，从而产生一种解释完全不稳定的假象，而这实际上与模型本身的真实行为无关。

方法论

1. 修正后的评估协议

为了解决这一测量伪影，作者引入了一种精确 token 对齐程序：

对齐： 算法不是按位置比较 token，而是通过其精确的字符串身份（string identity）匹配原始序列和扰动序列中的 token，并保持顺序。
范围： 该指标仅针对“背景”token（即未被替换的 token）计算 Spearman 秩相关系数。通过设计，被替换的单词被排除在相关性计算之外。
要求： 只有当至少成功匹配三个 token 时，样本才会贡献于统计量。

2. 潜在归因正则化 (LAR)

基于修正后的评估，作者将一种用于 NLP 的训练时正则化策略进行了适配：

目标： 训练损失结合了标准交叉熵损失 ( $L_{CE}$ ) 与原始输入 ( $x$ ) 和扰动输入 ( $\tilde{x}$ ) 的特征归因之间的余弦相似度惩罚项。
$L_{LAR} = L_{CE}(f(x), y) + \lambda \left(1 - \cos(a(x), a(\tilde{x}))\right)$
归因方法： 研究使用了输入梯度（ $\nabla_{e_i} \log_y(f(e))$ ）的 $\ell_2$ 范数，而非集成梯度 (Integrated Gradients, IG)，这是为了在双重反向传播（double-backward）训练循环中实现计算上的简化。
扰动： 输入通过使用 WordNet 同义词替换形容词和副词来进行扰动。与某些先前的对比生成方法不同，该过程并不进行模型置信度保持的过滤。
训练与评估的不对称性： 虽然评估使用的是基于身份的精确 token 匹配，但训练损失在比较归因时使用的是位置对齐（截断至较短序列）。这是必要的，因为基于身份的匹配是一种离散操作，无法与双重反向传播计算所需的微分计算兼容。

3. 实验设置

模型： DistilBERT (66M 参数)，从非任务微调的检查点（随机初始化的分类头）开始，以确保是真正的学习而非重新记忆。
任务： SST-2 上的二分类情感分类。
规模： 实验在两个规模下运行：
- 小规模： 1,500 个样本，1 个 epoch。
- 大规模： 20,000 个样本，2 个 epoch（达到 $\approx 82\%$ 的验证准确率）。
对照组： 使用相同种子、数据和优化器设置的匹配的仅交叉熵对照组 ( $\lambda=0$ )。
扰动强度： 在轻度 (15%)、中度 (35%) 和重度 (60%) 替换率下进行评估。

关键结果

1. Token 对齐伪影

在没有正则化的初步实验中，直接的位置对齐产生了稳定性相关性 $\bar{\rho} \approx 0.035$ 。应用精确的 token 对齐修正处理相同的数据和模型后，基准稳定性提升至 $\bar{\rho} \approx 0.90$ 。这证实了先前文献中的表观不稳定性很大程度上是一个测量伪影。

2. LAR 对稳定性的提升

在两种训练规模和 10 个独立种子下，LAR ( $\lambda=0.5$ ) 产生的归因稳定性较对照组有显著改善：

小规模： 在所有扰动强度下均有显著改善（配对 t 检验 $p \le 0.012$ ）。
大规模： 在所有扰动强度下均有显著改善（配对 t 检验 $p = 0.002\text{--}0.004$ ；Wilcoxon 检验 $p = 0.004\text{--}0.006$ ）。
幅度： 稳定性的提升随扰动严重程度而增加（例如，在大规模设置下，轻度扰动提升 $+0.026$ ，重度扰动提升 $+0.036$ ）。
一致性： 10 个种子中有 9 个在每个扰动强度下都对改进的方向达成一致。

3. 准确率权衡

至关重要的是，稳定性收益是在没有可测量的准确率下降的情况下获得的：

小规模： 对照组 (73.2%) vs. LAR (73.3%)。
大规模： 对照组 (81.6%) vs. LAR (82.3%, $p=0.42$ )。

意义与主张

本文将其贡献定位在归因鲁棒性（此前在视觉领域的对抗攻击下被研究）与 NLP 稳定性评估的交汇点上。

修正测量伪影： 其主要主张是，由于分词漂移，先前对 NLP 归因稳定性的评估在根本上是有缺陷的。作者提供了一个必要的修正（精确 token 对齐）以实现可靠的比较。
首次将一致性正则化应用于 NLP： 作者弥合了基于视觉的归因正则化（例如 Wang 和 Kong, 2022）与 NLP 之间的鸿沟。他们将余弦相似度目标适配到了基于语义保持扰动（而非对抗噪声）的 Transformer 微调中。
直接训练目标： 不同于以往仅将稳定性指标用于事后评估的工作，本文将稳定性指标（特别是 Yin 等人，2022 引入的同义词替换稳定性）作为直接训练目标。
实际意义： 对于部署了向最终用户展示解释的微调 Transformer 的从业者，LAR 提供了一种低风险的常规微调补充方案。它提供了统计学上稳健的稳定性提升，特别是在显著的语义扰动下，且不会牺牲分类性能。

局限性与范围

作者明确指出了以下约束：

单一任务/架构： 结果特定于 SST-2 和 DistilBERT。
归因方法： 研究使用的是输入梯度范数，而非集成梯度 (IG)。
训练/评估不对称性： 训练损失使用位置对齐，而评估使用身份对齐；缩小这一差距是未来的研究方向。
扰动生成： 同义词替换并未过滤模型置信度保持，这与原有的稳定性指标协议有所不同。
收敛性： 大规模实验达到了 $\approx 82\%$ 的准确率，这低于完全收敛的 SST-2 微调水平 ( $\approx 90\%+$ )，因此在完全收敛时可能存在不同的表现。