Sensivity of LLMs' Explanations to the Training Randomness:Context, Class & Task Dependencies

该论文研究了训练随机性对大语言模型解释稳定性的影响，发现句法上下文、待分类类别和任务类型均具有统计显著性影响，其中任务类型的影响最大，类别次之，句法上下文最小。

要点

这篇论文探讨了一个非常有趣且有点“反直觉”的现象：即使你给同一个 AI 模型喂完全相同的数据，只要训练时的“随机运气”稍微变一点，它给出的“解释”可能会大相径庭。

为了让你轻松理解，我们可以把这篇论文的研究过程想象成**“让一群厨师做同一道菜，然后看他们如何解释自己的做法”**。

1. 核心背景：AI 的“黑盒”与“随机性”

现在的 AI（比如 Transformer 模型）就像一群超级聪明的厨师，它们能写出文章、回答问题。但问题是，我们不知道它们为什么这么回答（这就是“黑盒”）。

为了解释 AI 的决定，科学家们开发了一种叫 LRP 的“解释器”，它会给 AI 提到的每个词打分，告诉我们要关注哪个词。

论文发现的一个怪事：
如果你让两个厨师（模型）用完全一样的食谱（数据）做菜，但他们在切菜时的随机顺序（训练随机性）稍微不同，最后他们对自己做的菜的解释可能会完全不同。

• 厨师 A 说：“这道菜好吃是因为我放了盐。”
• 厨师 B 说：“这道菜好吃是因为我放了糖。”
  明明菜是一样的，解释却变了。这篇论文就是想搞清楚：到底是什么因素让这种“解释的不稳定性”变得更严重或更轻微？

2. 实验一：语序的“洗牌”（上下文的影响）

比喻：把句子打乱成“乱码”
研究人员做了两组实验：

• 组 A（有序）： 句子是通顺的，比如“约翰今天很高兴”。
• 组 B（乱序）： 把词打乱，变成“今天约翰很高兴”或者更乱的顺序，但词还是那些词。

结果：

• 在通顺的句子中，AI 的解释非常稳定。不管怎么随机训练，大家都会指着“约翰”说：“哦，是因为这个名字决定了分类。”
• 在打乱的句子中，解释变得不稳定了。有时候 AI 会指着“今天”，有时候指着“很”。
• 结论： 就像在乱序的单词堆里找规律，AI 更容易“看走眼”，导致解释随机的波动变大。虽然影响存在，但还不是最大的。

3. 实验二：找不到“关键线索”的类别（类别的影响）

比喻：找“显眼的红苹果”vs 找“看不见的空气”
研究人员设计了两种分类任务：

• 任务 A（有线索）： 只要句子里有“约翰”，就是 A 类；有“詹姆斯”，就是 B 类。AI 很容易找到“约翰”这个显眼的线索。
• 任务 B（无线索）： 只要句子里有“约翰”，就是 A 类；如果没有“约翰”（或者是个随机词），就是 B 类。

结果：

• 对于有线索的任务，AI 的解释很稳，大家都指着“约翰”。
• 对于无线索的任务（比如判断“没有约翰”），AI 的解释变得非常不稳定。因为 AI 找不到一个具体的词来“背锅”或“邀功”，它只能把分数分摊给句子里的其他词。
• 结论： 当任务本身缺乏明显的“决定性特征”时，AI 的解释就像无头苍蝇，随机性对解释的影响会中等程度地变大。

4. 实验三：不同的“大考”（任务的影响）

比喻：做“简单的数学题”vs 做“复杂的哲学辩论”
最后，研究人员比较了两个完全不同的真实世界任务：

• 任务 A（ArXiv）： 区分“天体物理”和“数学”的论文摘要。这两个领域的词汇差别很大（比如“黑洞”vs“积分”），就像红苹果和青苹果，一眼就能分清。
• 任务 B（InfOpinions）： 区分“新闻事实”和“个人观点”。这两个领域的词汇经常混用，需要理解深层逻辑，就像分辨两个长得极像的双胞胎。

结果：

• 区分红苹果和青苹果（ArXiv）： AI 解释非常稳定，因为特征太明显了，随机性很难干扰它。
• 分辨双胞胎（InfOpinions）： AI 解释极不稳定。因为任务太难，AI 需要综合很多细微的线索，这时候“随机运气”稍微一变，它关注的重点就全变了。
• 结论： 任务本身的难度和特征差异，是影响解释稳定性的最大因素。

5. 总结：这篇论文告诉我们要什么？

这篇论文就像是在给 AI 的“解释器”做体检，发现了一个重要规律：

1. 解释不是绝对真理： 同一个 AI 模型，换个随机种子，解释可能就不一样了。
2. 三个影响因素：
   • 语序乱了（上下文）：解释会稍微变一点（影响最小）。
   • 找不到关键特征（类别）：解释会变得有点乱（影响中等）。
   • 任务太难或太模糊（任务）：解释会变得非常不可靠（影响最大）。

这对我们意味着什么？
如果你在使用 AI 做重要决定（比如医疗诊断或法律分析），不能只看它给的一次解释。如果任务很复杂，或者 AI 找不出明显的“关键证据”，那么它的解释可能只是“运气好”碰巧说对了，而不是真的理解了逻辑。

一句话总结：
AI 的解释就像**“盲人摸象”**。如果大象（任务）特征明显，大家摸到的都是腿，解释很稳；如果大象特征模糊，或者大家摸的时候手抖了一下（随机性），每个人摸到的部位可能都不一样，这时候我们就不能太相信某一次的解释了。

技术摘要

论文技术总结：LLM 解释对训练随机性的敏感度：上下文、类别与任务依赖性

论文标题：Sensivity of LLMs'Explanations to the Training Randomness: Context, Class & Task Dependencies
作者：Romain Loncour, J´er´emie Bogaert, Fran¸cois-Xavier Standaert (UCLouvain)
核心领域：自然语言处理 (NLP)、可解释性人工智能 (XAI)、Transformer 模型

---

1. 研究背景与问题 (Problem)

Transformer 模型已成为自然语言处理（NLP）的基石，但解释其决策过程仍然是一个重大挑战。现有的解释方法（如注意力机制、梯度类等）需要在忠实度（Faithfulness，解释是否真实反映模型行为）和合理性（Plausibility，解释是否对人类易懂且有说服力）之间进行权衡。

近期研究表明，训练随机性（Training Randomness）对模型解释具有显著影响：即使使用相同的数据集和超参数，仅改变随机种子（Random Seed），训练出的同一模型可能会产生截然不同的解释。

核心问题：
目前的分析多集中在单个实例上，缺乏对解释分布的整体研究。本文旨在探究以下三个自然依赖因素如何影响解释对训练随机性的敏感度：

1. （句法）上下文：文本中单词的顺序和结构。
2. 待学习类别：不同类别的特征（如是否存在判别性标记词）。
3. 任务类型：不同 NLP 任务的复杂性。

---

2. 方法论 (Methodology)

2.1 实验设置

• 模型：
  • 英语任务：RoBERTa-base。
  • 法语任务：CamemBERT-base。
• 训练过程：
  • 针对每个数据集，使用相同的超参数（学习率 $2 \times 10^{-5}$，Batch Size 16，Epoch 1）微调 200 个模型。
  • 每个模型使用不同的随机种子，控制数据顺序、Dropout 神经元失活及分类头初始化。
• 模型筛选：
  • 从 200 个模型中筛选出 $m$ 个等效模型（Equivalent Models），要求它们在测试集上的准确率无显著差异。
  • 从测试集中选择兼容文本（Compatible Texts），即所有等效模型对同一文本预测标签完全一致的样本。
• 解释生成：
  • 使用 层间相关性传播 (Layer-wise Relevance Propagation, LRP) 生成解释。LRP 是一种确定性方法，能在合理性和忠实度之间取得良好平衡。
  • 对于 $n$ 个词的句子，生成 $m$ 个解释向量。

2.2 评估指标

• 指标：平均解释相关性 (Mean Correlation With Mean Explanation, MCWME)。
• 计算方式：
  1. 计算 $m$ 个解释的平均解释向量。
  2. 使用留一法交叉验证（Leave-one-out）：计算每个解释与“剔除该解释后的平均解释”之间的皮尔逊相关系数。
  3. 对所有相关系数取平均，得到 MCWME 值。
  • 含义：MCWME 越高，说明不同随机种子训练出的模型对同一文本的解释越稳定（敏感度越低）；反之则越不稳定。

---

3. 关键实验与结果 (Key Contributions & Results)

3.1 句法上下文的影响 (Impact of Syntactic Context)

• 实验设计：
  • 数据集 A：10,000 个 10 词句子，分为两类（仅一个词不同，如 "John" vs "James"）。
  • 数据集 B：数据集 A 的乱序版本（单词顺序打乱，但词频分布相同）。
• 结果：
  • 有序句子：解释极其稳定（MCWME 接近完美），LRP 能准确聚焦于判别性单词（如 "John"）。
  • 乱序句子：解释稳定性显著下降（MCWME 降低）。
• 结论：虽然任务简单，但打乱单词顺序导致模型学习到微小的词间关系（本应为零），而 LRP 的注意力机制仍将其报告为相关性，从而增加了随机性敏感度。

3.2 类别依赖性：判别词的缺失 (Class Dependency: Absence of Discriminant Words)

• 实验设计：
  • 类别 1：包含特定名字 "John"。
  • 类别 2：将 "James" 替换为随机词（或移除名字），使得类别判定仅依赖于**“是否存在 John"**（即负样本无特定标记词）。
• 结果：
  • 包含判别词（"John"）的类别：解释稳定性较高。
  • 无判别词的类别：MCWME 显著降低（约 0.7，虽高于随机值 0，但明显低于有判别词的情况）。
  • 现象：在无判别词的情况下，解释变得“平坦”，但句首、句尾及被替换词附近的词仍显示出较高的平均相关性。
• 结论：解释对训练随机性的敏感度具有类别特异性。当类别特征依赖于“缺失”而非“存在”时，解释的不稳定性增加。

3.3 任务依赖性 (Task Dependency)

• 实验设计：对比两个真实世界任务：
  1. ArXiv 任务：区分天体物理 (Astro-ph.GA) 与数学 (Math.NT) 论文摘要。词汇区分度高，模型准确率 99.8%。
  2. InfOpinion 任务：区分新闻报道中的“信息”与“观点”。词汇区分度较低，需深层理解词间关系，模型准确率 96%。
• 结果：
  • ArXiv 任务的解释稳定性显著高于 InfOpinion 任务。
  • InfOpinion 任务内部不同类别的稳定性也存在差异。
• 结论：任务类型是影响解释稳定性的最大因素。任务越复杂、词汇区分度越低（需要更深层的语义理解），解释对训练随机性的敏感度就越高。

---

4. 综合结论与排序 (Summary of Findings)

论文通过统计显著性分析，确定了三个因素对解释敏感度影响的大小排序：

1. 任务 (Tasks)：影响最大（任务复杂度决定了解释的稳定性上限）。
2. 类别 (Classes)：影响中等（判别性标记的有无显著改变稳定性）。
3. （句法）上下文 (Context)：影响最小（但在乱序等极端情况下仍显著）。

核心发现：

• 所有因素均对解释的稳定性产生统计显著的负面影响。
• 简单的模型（在无损准确率前提下）可能比复杂的 Transformer 模型提供更稳定的解释。
• 解释的分布（Distribution of explanations）比单个实例的解释更能揭示模型的鲁棒性问题。

---

5. 意义与展望 (Significance & Future Work)

• 理论贡献：
  • 首次系统量化了训练随机性在 NLP 解释中的影响，并明确了上下文、类别和任务的依赖关系。
  • 提出将“解释对随机性的敏感度”作为评估大语言模型可解释性的新维度。
• 实践启示：
  • 在构建可解释性系统时，不能仅依赖单次训练的结果，需考虑解释的分布稳定性。
  • 对于复杂任务或无明确判别词的场景，解释的可靠性可能较低，需谨慎解读。
• 开放问题：
  • 合理性 (Plausibility)：人类如何理解和处理解释的分布（而非单条解释）？
  • 忠实度 (Faithfulness)：更复杂的解释方法是否能降低对训练随机性的依赖？
  • 未来研究可探讨文本长度、语言类型等因素的进一步影响。

---

总结：该论文揭示了 Transformer 模型的解释并非绝对稳定，而是高度依赖于训练过程中的随机性，且这种依赖性受任务难度、类别特征和文本结构的显著调节。这一发现强调了在评估和部署可解释 AI 系统时，必须考虑解释的统计分布特性，而不仅仅是单次预测的解释。