Explanation Bias is a Product: Revealing the Hidden Lexical and Position Preferences in Post-Hoc Feature Attribution

1. 研究背景与问题 (Problem)

核心问题：
事后特征归因（Post-hoc Feature Attribution）方法（如 Integrated Gradients, LIME, Vanilla Gradient 等）旨在解释语言模型（LLMs）的预测依据，即识别哪些输入 Token 对预测结果贡献最大。然而，现有的归因方法在同一输入和同一骨干模型下，往往会产生不一致的解释。

现有挑战：

• 不可靠性： 用户可能因为方法间的不一致而完全放弃使用解释，或者在不了解偏差的情况下盲目信任错误的解释。
• 偏差来源不明： 这种不一致性可能源于模型本身、归因算法的内在缺陷、随机种子（Random Seed）或数据构造。目前缺乏一个系统性的框架来区分这些偏差来源。
• 特定类型的偏差： 之前的研究指出了“词汇偏差”（倾向于解释特定词性，如功能词或标点）和“位置偏差”（倾向于解释输入序列的开头或结尾），但缺乏对这两者之间关系的系统性量化，以及它们在不同模型架构（如传统 BERT vs. 现代 BERT）下的表现差异。

2. 方法论 (Methodology)

作者提出了一种模型无关且方法无关的评估框架，通过三个核心指标来量化偏差，并在受控和半受控两种设置下进行了实验。

2.1 评估框架：三个偏差指标

为了区分偏差来源，作者定义了三个基于 Jensen-Shannon (JS) 距离的指标：

1. Bias-cons (种子间一致性): 衡量同一模型和同一归因方法在不同随机种子运行下的解释分布一致性。值越低表示越稳定，受随机初始化影响越小。
2. Bias-agg (聚合偏差): 衡量特定归因方法在聚合所有模型运行后的分布与“无偏差基线”（均匀分布）之间的差异。这反映了模型偏差和归因方法偏差的总和。
3. Bias-attr (方法间偏差): 衡量特定归因方法与其他所有方法的平均差异。用于识别哪些方法是“离群值”（Outliers），即与其他方法显著不同的方法。

2.2 实验设置

• 模型： 对比了两种 Transformer 架构：
  • BERT (bert-base-uncased): 传统架构，使用固定位置嵌入。
  • ModernBERT: 较新的架构，使用旋转位置嵌入 (RoPE)，参数量略大。
• 归因方法： 测试了 6 种主流方法：PartSHAP, LIME, Vanilla Gradient (VanGrad), Grad×I, Integrated Gradient (IntGrad), IntGrad×I。
• 数据集与任务：
  1. 人工数据（完全受控）： 构建了三类二分类任务（名词 - 限定词 - 句号、句号 - 逗号、唯一标点符号），标签完全随机。目的是剥离语义，纯粹测试归因方法是否对位置或特定 Token 类型产生系统性偏好。
  2. 自然语言数据（半受控）： 因果关系的检测任务（Causal Relation Detection）。通过打乱句子顺序来构建输入，控制位置偏差，测试模型在真实语义任务中的表现。
• 真实性检查 (Faithfulness Check): 使用了 Sufficiency（充分性）和 Comprehensiveness（完备性）指标，但在人工数据任务中验证了这些指标在模型未学习任务时的局限性。

3. 关键贡献 (Key Contributions)

1. 系统性偏差量化框架： 首次提出了一个包含 Bias-cons, Bias-agg, Bias-attr 的三维框架，能够区分偏差是源于随机性、模型架构还是归因算法本身。
2. 揭示偏差的权衡关系 (Trade-off)： 发现词汇偏差（Lexical Bias）和位置偏差（Position Bias）之间存在显著的权衡关系。在某些场景下，一种偏差高的方法，另一种偏差往往较低，反之亦然。
3. 现代模型并非绝对更优： 挑战了“新模型偏差更小”的直觉。研究发现 ModernBERT 在位置偏差上表现更好（得益于 RoPE），但在词汇偏差上并不一定优于传统 BERT，甚至在某些情况下偏差更高。
4. 离群解释即偏差： 实证表明，与其他方法差异最大（高 Bias-attr）的归因方法，往往也是整体偏差最大（高 Bias-agg）的方法。这意味着“离群”的解释更可能是不可靠的。
5. 传统指标失效的警示： 在模型未真正学习任务（如人工随机任务）时，传统的真实性指标（Sufficiency/Comprehensiveness）无法有效检测出归因方法的偏差，因为它们都接近于 0。

4. 主要结果 (Results)

4.1 人工数据实验结果

• 位置偏差：
  • Vanilla Gradient (VanGrad) 表现出最强的位置偏差，极度倾向于输入序列的开头（索引 0）。
  • ModernBERT 在位置偏差上普遍优于传统 BERT，这归因于其旋转位置嵌入（RoPE）减少了对绝对位置的依赖。
  • BERT 模型在输入序列的末尾表现出明显的位置偏差。
• 词汇偏差：
  • 不同方法对特定 Token（如标点符号 . 或 ,）有显著偏好。例如，Integrated Gradient 在某些任务中更倾向于选择句号。
  • BERT 在词汇偏差上通常比 ModernBERT 更低（更稳定）。
• 偏差相关性：
  • 高 Bias-attr（与其他方法差异大）的方法通常也具有高 Bias-agg（偏离无偏基线）。例如，VanGrad 在位置偏差上既是离群者也是偏差最大者。
  • 传统的真实性指标（Sufficiency/Comprehensiveness）在人工数据上对所有方法都返回接近 0 的值，无法区分方法的优劣，证明了在模型未学习任务时这些指标的局限性。

4.2 自然语言实验结果（因果关系检测）

• 模型性能： 两个模型在因果任务上均取得了高 F1 分数（>0.98），与人工数据的随机表现形成对比。
• 偏差模式延续：
  • BERT 仍然表现出对输入末尾句子的偏好（位置偏差），特别是在负样本（无因果关系）中。
  • ModernBERT 整体偏差较低，但在正样本（有因果关系）中，不同方法间的偏差差异较大（如 PartSHAP 和 LIME 表现截然不同）。
• 解释内容： 在负样本中，归因方法倾向于将功能词和标点符号作为解释，以补偿因果信号的缺失。

5. 意义与结论 (Significance & Conclusion)

• 对用户的启示： 用户不应盲目信任单一归因方法。如果某种方法的解释与其他主流方法显著不同（高 Bias-attr），则该解释很可能是有偏差的（Biased）。
• 对模型开发的启示： 仅仅升级模型架构（如从 BERT 到 ModernBERT）并不能自动消除所有类型的解释偏差。现代模型可能改善了位置偏差，但可能引入或保留了词汇偏差。
• 对研究方向的启示：
  • 需要开发更鲁棒的偏差评估指标，特别是在模型未完全学习任务或处于分布外（OOD）的情况下。
  • 未来的研究应关注上下文 Token（不仅仅是 Top-1）的归因偏好，因为弱信号的偏差可能会在 Top-k 分析中被放大。
  • 归因偏差是归因方法本身的“产物”，而非仅仅是模型的缺陷，因此在选择解释工具时必须考虑算法本身的特性。

总结： 该论文通过严谨的受控实验，揭示了事后解释中隐藏的、系统性的词汇和位置偏好，证明了这些偏差是归因方法的固有属性，并提出了量化和检测这些偏差的新框架，为构建更可信的可解释 AI 系统提供了重要依据。