💬 NLP

Learning to Explain: Supervised Token Attribution from Transformer Attention Patterns

本文介绍了 ExpNet，这是一种轻量级神经网络，它能够自动学习将 Transformer 注意力模式映射到标记级重要性分数，从而为现有的基于规则的注意力聚合和模型无关解释方法提供了一种更具适应性且计算效率更高的替代方案。

原作者： George Mihaila

发布于 2026-01-22

📖 1 分钟阅读☕ 轻松阅读

原作者： George Mihaila

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你拥有一个超级聪明的机器人（一个“Transformer”模型），它能够阅读文本并做出决策，比如判断一段影评是正面还是负面，或者一个句子在语法上是否正确。问题在于，这个机器人是一个黑盒。它给出了答案，但你完全不知道它为什么选择那个答案。在医疗或法律等高风险场景中，我们不能仅仅信任一个黑盒；我们需要知道它的推理逻辑。

这篇论文介绍了一个名为 ExpNet（解释网络）的新工具来破解这个谜团。以下是它的工作原理，通过简单的解释呈现：

问题所在：机器人的“内心独白”

在机器人内部，有一个被称为**自注意力机制（Self-Attention）**的机制。你可以把它理解为机器人的内部“注视”。当机器人阅读一个句子时，它会观察不同的词，并决定要在每个词上投入多少注意力。

旧方法： 以前，科学家们试图通过固定规则来猜测哪些词是重要的（例如，“始终关注机器人盯着看最久的词”）。这就像是通过观察一个人盯着菜单看的时间长短，来猜测他最喜欢的食物一样。有时这行得通，但这些规则往往过于僵化，无法捕捉到细微的差别。
另一种方法： 其他方法将机器人视为一个神秘的盒子，通过向其输入不同的内容来观察它的反应。这种方法速度慢、成本高，而且经常产生机器人无法理解的无意义句子。

解决方案：ExpNet（“翻译官”）

研究人员构建了 ExpNet，它就像是一个翻译官或教练，学习如何读取机器人的“注视”（注意力模式），并将其转化为清晰的解释。

ExpNet 不使用固定规则，而是向人类学习。

训练： 研究人员向 ExpNet 展示了一些人类已经标注出重要词汇（即“合理依据/rationales”）的示例。
学习： ExpNet 在这些示例中观察机器人的内部“注视”，并得出结论：“啊，当机器人在这种特定情况下注视‘terrible’这个词时，人类认为这个词是负面评论的关键原因。”
结果： ExpNet 变成了一个轻量级、快速的神经网络，它可以观察机器人的注意力模式并说：“这些就是重要的词”，且具有极高的准确性。

它是如何工作的（类比）

想象机器人是一名正在破案的侦探。

机器人的注意力： 侦探手里拿着一个放大镜。他在各种线索（词汇）上移动放大镜。
旧方法： 他们仅仅假设，侦探把放大镜停留在哪个线索上时间最长，那个线索就是最重要的。
ExpNet： ExpNet 是一名实习侦探，他观察过名侦探解决许多案件的过程，而在那些案件中，人类专家指出了真正的“冒烟的枪”（关键证据）。这位实习侦探学会了识别名侦探注视的模式。现在，当名侦探观察一个新的案件时，实习侦探可以瞬间指出关键线索，即使名侦探之前从未接受过针对该特定类型案件的训练。

大考：它能学习通用规则吗？

作者在一种非常困难的情景下测试了 ExpNet：跨任务泛化（Cross-Task Generalization）。

他们在两种不同类型的任务上训练了 ExpNet（例如，检测仇恨言论和分析影评）。
然后，他们在一个完全不同的问题上测试了它（例如，检查语法），而这个任务是它从未见过的。

结果： ExpNet 不仅仅是死记硬背答案，它学习到了“重要性的语言”。它在全新的、未见过的任务上，表现优于其他 13 种现有方法。这证明了机器人的“注视”包含了关于人类认为什么是重要的通用线索，而 ExpNet 是解码这些线索的最佳工具。

为什么它更好？

它很快： 不同于其他需要对机器人进行成千上万次“试探”的方法，ExpNet 只需要快速查看机器人的内部数据即可给出答案。
它很准确： 它比所有测试过的其他方法都更符合人类的推理逻辑。
它很灵活： 它可以跨越不同类型的文本（情感分析、语法、仇恨言论），而无需为每一个新话题重新进行训练。

局限性（代价）

它需要老师： 为了学习，ExpNet 需要那些人类已经标注出重要词汇的示例。如果你有一个全新的任务且没有人类示例，目前还无法训练它（尽管论文显示，如果经过其他任务的训练，它仍然可以进行很好的推测）。
它看的是词，而不是词组： 它是逐词进行解释的。它可能会错过像“not bad”（意为“好”）这样的短语细微差别，因为它会将“not”和“bad”分开来看。
它反映了人类的偏见： 由于它向人类标注的学习，如果训练它的标注者带有偏见，ExpNet 也会习得这些偏见。它反映的是人类的推理，而不一定是绝对的真理。

总结

本文认为，与其使用僵化的规则或缓慢的实验来猜测 AI 模型是如何思考的，不如**教给一个聪明的小助手（ExpNet）*去读取模型的内部注意力模式。通过向人类示例学习，这个小助手可以快速且准确地解释为什么* AI 做出了某个决定，从而使这些强大的工具变得更加可靠和透明。

技术摘要：学习解释 (ExpNet)

问题陈述

Transformer 模型在医疗、法律、金融等高风险领域的部署受到其不透明性的阻碍，这削弱了信任度和问责制。虽然 Transformer 中的自注意力机制为可解释性提供了潜在来源，但现有的提取解释的方法存在显著局限性：

模型无关方法（如 LIME, SHAP）： 将模型视为黑盒，忽略了内部推理过程。这些方法计算成本高昂，且在自然语言处理（NLP）中，通过扰动（掩码/替换单词）往往会生成语义无效的输入，导致产生偏离分布（out-of-distribution）的样本，从而干扰因果解释。
基于注意力的方法： 虽然利用了内部信号，但依赖于人工定义的聚合策略和固定的启发式规则（例如，在不同头或层之间平均注意力权重）。这些预设规则可能无法捕捉到在不同任务中与人类推理对齐所需的最佳注意力特征组合。

核心问题在于缺乏一种能够自动学习如何将 Transformer 注意力模式映射到人类判断的 Token 重要性，且不依赖于僵化的、手工设计的规则或昂贵的黑盒扰动的方法。

方法论

本文引入了 ExpNet (Explanation Network)，这是一个轻量级的神经网络，旨在学习从 Transformer 注意力模式到 Token 级重要性得分的显式映射。

1. 基础模型与特征提取

基础模型： 该方法使用冻结的 BERT-base 模型作为特征提取器。该模型不被修改；仅利用其注意力模式。
特征设计： ExpNet 从 BERT 的最后一层自注意力层（第 12 层）提取特征，该层包含 12 个注意力头。对于每个 Token $j$ $j$ ，它捕获了相对于 [CLS] Token 的两个截然不同的、非对称的视角：
- 任务对 Token 注意力 ( $A_{[CLS],j}$ )： 衡量聚合机制（[CLS]）对 Token $j$ 的关注强度。
- Token 对任务注意力 ( $A_{j,[CLS]}$ )： 衡量 Token $j$ 对任务表示的关注程度。
输入向量： 这些特征被拼接成一个 24 维向量（ $2 \times 12$ 个头）用于每个 Token，保留了来自两个方向的个体头贡献，而非进行平均。

2. 网络架构

ExpNet 是一个简单的前馈网络，由以下部分组成：

输入层： 24 维。
隐藏层： 16 个单元，采用 ReLU 激活函数。
输出层： 单个 Sigmoid 单元，产生一个概率 $\hat{y}_j \in [0, 1]$ ，代表 Token $j$ 是重要的可能性。

3. 训练程序

监督机制： 该网络被训练为一个针对 Token 级的二分类器，使用人类标注的理由（rationales）进行监督。标签从词级标注投影到子词（subword）Token（如果一个词的任何子词被标记为重要，则所有子词都获得正向标签）。
数据过滤： 训练仅在底层 BERT 分类器做出正确预测的实例上进行。这确保了解释器学习的是与成功推理相关的注意力模式，从而避免了来自错误模式的噪声。
损失函数： 为了解决类别不平衡问题（大多数 Token 是不重要的），使用了 Focal Loss 而非交叉熵。它会降低简单样本的权重，并将重点放在难以分类的 Token 上。
推理： 应用 0.5 的阈值来生成二元预测。一种回退机制确保每个示例至少有一个 Token 被标记为重要，以防止出现空解释。

4. 实验设计

评估采用了跨任务泛化协议。ExpNet 在两个 NLP 任务的组合理由数据上进行训练，并在一个留出的第三个任务上进行评估。使用的任务包括：

HateXplain： 仇恨言论检测（人类理由）。
SST-2： 情感分析（LLM + 人类理由）。
CoLA： 语法接受度（LLM + 人类理由）。

这种设置测试了 ExpNet 是否学习到了通用的解释模式，而非特定任务的启发式规则。

核心贡献

新颖框架： 一种监督学习方法，能够自动发现最优的注意力特征组合，用从注意力模式到人类理由的可学习映射取代了固定的聚合规则。
跨任务泛化： 证明了当在多种任务组合上进行训练时，基于注意力的解释可以泛化到不同的 NLP 领域（情感、语法、仇恨言论）。
架构验证： 通过全面的消融研究，证明了使用双向注意力特征（任务对 Token 和 Token 对任务）以及特定网络设计的合理性。
经验性能： 通过广泛的评估，展示了其相对于广泛基准方法的卓越性能，包括模型无关方法（LIME, SHAP）、基于梯度的方法（Integrated Gradients, Grad-CAM）以及基于注意力的技术（Rollout, GAE, AttCAT）。

结果

ExpNet 在三个数据集上针对 13 种基准方法，通过 Token 级 F1 分数 和 AUROC 进行评估。

F1 分数表现： ExpNet 在所有三个任务的跨任务设置中均取得了最高的 F1 分数：
- SST-2： 0.398（对比最佳基准 GAE/MGAE 的 0.350）。
- CoLA： 0.468（对比最佳基准 Grad-CAM 的 0.356），相对提升了 31%。
- HateXplain： 0.473（对比最佳基准 Grad-CAM 的 0.396），相对提升了 19%。
AUROC 表现： ExpNet 取得了具有竞争力的 AUROC 值（一致高于 0.7），尽管它并不总是位居榜首。作者指出存在一种区别：ExpNet 擅长选择正确的重要 Token 集合（高二元分类准确率），而某些基于梯度的方法在保持所有 Token 的相对排序质量方面可能更有效。
效率： ExpNet 计算效率高，仅需对预计算的注意力特征进行一次轻量级 MLP 的前向传播，避免了模型无关方法的采样和扰动成本。

重要性与主张

本文主张 ExpNet 证明了可以通过监督学习将 Transformer 注意力系统地提炼为与人类对齐的解释。其重要性在于：

卓越的对齐度： 它在与人类理由的对齐方面始终优于既有基准方法，表明学习到的映射优于用于提取解释的手工设计启发式规则。
泛化能力： 能够在两个任务上训练并成功解释第三个任务的能力，表明该模型捕捉到了人类重要特征在 Transformer 注意力中呈现的基本模式，且独立于特定的分类目标。
实用性： 通过在提高解释质量的同时保持计算效率，ExpNet 为在实时、高风险应用中部署可解释模型提供了一条可行路径。

作者承认了局限性，包括对人类标注理由的依赖（尽管跨数据集结果表明其具有零样本应用到未标注任务的潜力）、对仅编码器（encoder-only）模型的关注，以及可能错过短语级语义的 Token 级粒度。他们认为这些不是根本性缺陷，而是未来扩展到仅解码器（decoder-only）模型和更广泛领域领域的研究方向。