💻 computer science

Not All Explanations Simulate Equally: Comparing Verbalized Feature Attributions and Self-Generated Rationales

本文评估并比较了问答模型中语言化特征归因与自生成理由的可模拟性，证明了解释格式、粒度及来源会显著影响大语言模型评判者在反事实设定下预测模型行为的能力。

原作者： Pingjun Hong, Benjamin Roth

发布于 2026-06-02

📖 1 分钟阅读☕ 轻松阅读

原作者： Pingjun Hong, Benjamin Roth

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图猜测一个非常聪明但有时有些古怪的机器人接下来会说什么。你有一系列问题，而机器人会给出答案。现在，想象一下如果你改变了问题中的一个词（一种“反事实”改变）并再次提问：你能预测机器人对这个新问题的回答吗？

这篇论文关于测试不同类型的“提示”（解释），以观察哪种提示能真正帮助人类（或另一个 AI）正确做出这种预测。作者将这个过程称为可模拟性（simulatability）。你可以把它想象成一个“水晶球测试”：这些解释是否给了你足够的信息，让你能够预见机器人的行为未来？

研究人员比较了两种主要的提示类型：

1. “高亮器” vs. “讲故事的人”

类型 A：高亮器（言语化的特征归因）
想象机器人阅读了一篇长文章并回答了一个问题。“高亮器”解释会指向文本中机器人用于做出决策的具体句子或单词。

实验： 研究人员将这些被高亮的部分转化成了句子。
- 句子级： “机器人依赖于这整个段落。”
- 标记级（Token-level）： “机器人依赖于‘苹果’这个词。”
- 重写版： 他们要求一个超级聪明的 AI 将高亮部分改写成流畅、连贯的句子。

类型 B：讲故事的人（自我生成的逻辑依据）
这是指机器人被要求在给出答案之前或之后解释自己的思考过程。

事后解释（Post-hoc）： “这是我的答案。顺便说一下，这是我给出的简短理由。”
思维链（Chain-of-Thought, CoT）： “让我一步步思考……首先我观察了 X，然后我考虑了 Y，所以我的答案是 Z。”

2. 结果：什么才真正奏效？

研究人员使用了一个“裁判”（另一个强大的 AI）来尝试预测机器人对新变化问题的回答。他们给了“裁判”原始答案和上述的一种“提示”。

以下是他们的发现，使用了简单的类比：

“整个段落”胜出（句子级）：
当提示指向整个句子或段落时，“裁判”能更好地预测机器人的下一步行动。这就像是给了你一整章书的内容来理解剧情。
- 类比： 如果你告诉某人，“这个角色很生气，是因为他刚刚读到的那封信，”那么他们就能猜到这个角色接下来的举动。
“单个单词”失败（标记级）：
当提示只指向单个单词（如“苹果”或“1805”）时，“裁判”会感到困惑，或者表现得比之前更差。
- 类比： 如果你只是说，“这个角色很生气，是因为‘信’这个词，”这太模糊了。你不知道那封信里到底说了什么。上下文缺失了。
流畅度是一个陷阱（LLM 重写）：
研究人员尝试将“高亮器”的笔记交给一个超级聪明的 AI，让它将其改写成优美、流畅的英文。他们认为这会有所帮助。但事实并非如此。
- 类比： 这就像是拿着一张粗略的地图，请一位艺术家用美丽的色彩和华丽的字体重新绘制它。如果地图仍然只显示一条街道而不是整个街区，那么漂亮的字体也无法帮你导航。信息量本身比风格更重要。
“步步为营”的指南才是王道（思维链）：
最好的提示是**思维链（Chain-of-Thought）**解释。当机器人逐步解释其推理过程时，“裁判”能以惊人的准确度预测机器人未来的答案。
- 类比： 这就像是机器人向你展示它的草稿纸。它不仅仅说“答案是 42”，而是说：“我先加了 20 和 20，然后减去了 18，得到了 22，最后又加了 20……”你可以完美地跟随其逻辑，因此你完全知道它下一步会做什么。

3. 核心启示

论文的结论是：并非所有的解释都是平等的。

上下文即王道： 提供一段原始文本（一个句子）比提供一个微小的碎片（一个词）要好得多。
逻辑 > 文采： 一个粗糙的、循序渐进的逻辑解释（思维链）在预测行为方面，远比一个经过润色、流畅的总结更有用。
“为什么”至关重要： 要理解一个模型在某种新情况下会如何表现，你需要看到它的推理过程，而不仅仅是它所关注的证据。

简而言之：如果你想了解一个机器人的大脑，不要只给我看它高亮了哪些词。请展示它为了得出结论而对自己讲述的那个“故事”。这是你真正预测它下一步会做什么的唯一途径。

技术摘要：并非所有解释都能实现同等的模拟

问题陈述

自然语言解释通常被视为理解大语言模型（LLM）行为的统一接口。然而，这些解释源自不同的来源——从输入特征归因（识别重要的标记或句子）到自我生成的理由（如事后辩解或思维链推理）。尽管它们共享“解释”这一标签，但这些对象在来源、粒度、格式和预期用途方面有着本质的区别。

先前的评估协议通常沿特定类型的维度来评估解释，例如对决策过程的忠实度、对人类读者的合理性或与人类理由的一致性。本文认为，这些特定类型的指标使得在共同基础上比较不同的解释格式变得困难。核心挑战在于：如何系统地比较不同类型的 LLM 解释，以确定哪些解释能真正支持对模型行为的理解和预测？

方法论

作者提出了一个基于**反事实可模拟性（counterfactual simulatability）**的统一评估框架。该框架不再询问一个解释在孤立状态下是否具有合理性，而是询问该解释是否有助于预测器在新的、受扰动的输入下准确预测模型的行为。

实验设置

任务构建： 评估被构造成一个反事实模拟问题。给定原始输入 $x = (c, q)$ （上下文和问题）以及模型答案 $y = M(x)$ ，利用相同的上下文并修改问题来构建反事实输入 $x_{cf} = (c, q_{cf})$ 。目标模型 $M$ 生成真实的反事实答案 $y_{cf}$ 。
模拟协议： 一个 LLM 裁判（ $P$ $P$ ）充当预测器来猜测 $y_{cf}$ $y_{c f}$ 。
- 阶段 1（基准）： 预测器看到 $x$ 、 $y$ 和 $x_{cf}$ ，但没有解释。
- 阶段 2（解释）： 预测器看到相同的输入以及针对原始答案 $y$ 的解释 $e$ 。
- 指标： 可模拟性通过提供解释后预测 $y_{cf}$ 的准确率增益（ $\Delta$ ）来衡量： $\Delta = \text{Score}(2) - \text{Score}(1)$ 。正值的 $\Delta$ 表示解释提高了预测性理解。
对比的解释类型：
- 语言化特征归因： 使用 MExGen 框架，作者识别出有影响力的输入片段（句子或标记）并将其转换为自然语言。他们测试了两种语言化策略：
  - 基于模板的： 将排名靠前的证据确定性地插入固定模板中（句子级、标记级和混合级）。
  - LLM 重写器： 使用 LLM 将选定的归因特征重写为流畅的文本，且不添加新信息。
- 自我生成的理由： 由目标问答模型通过提示生成的解释：
  - 事后（Post-hoc）： 模型先给出答案，然后提供理由。
  - 思维链（CoT）： 模型在回答之前进行逐步推理。
模型与数据： 实验在 SQuAD 2.0 数据集上进行，使用了三个指令微调的目标模型（Llama-3-8B、Qwen2.5-7B、Mistral-7B），并使用 GPT-5-mini 作为主要裁判。通过 DeepSeek-R1 和教师-学生训练范式进行了鲁棒性检查。

核心贡献

统一评估标准： 本文应用反事实可模拟性作为单一指标，来比较基于归因的解释和自我生成的理由，从而实现了对先前仅在孤立状态下进行评估的各种格式的直接比较。
对语言化的受控比较： 研究对比了基于模板的语言化版本与相同归因数据的 LLM 重写版本，从而将证据粒度（句子 vs 标记）的影响与语言流畅度分离。
粒度与来源分析： 本工作系统地分析了解释来源、语言化策略和特征粒度如何影响多个模型的模拟性能。

结果

研究针对什么样使解释具有“有用性”得出了几个明显的发现：

粒度至关重要： 在基于归因的方法中，句子级归因提供了最强的模拟增益。标记级归因（即使排名很高）往往产生接近零或负的增益，这表明孤立的词汇缺乏预测模型行为所需的上下文。混合方法（句子 + 标记）的表现优于单纯的标记，但差于纯句子级归因。
流畅度 $\neq$ 有用性： 虽然 LLM 重写的解释比基于模板的解释更流畅，但并未显著提高可模拟性。在某些情况下，它们的表现甚至更差。这表明信息内容（所选证据）对可模拟性的驱动作用大于其语言形式。
自我生成的理由存在差异： 事后解释与 CoT 理由之间存在显著差异。事后解释仅提供适度的改进，而 CoT 理由在所有模型和指标中都提供了最大的反事实预测增益。
跨模型迁移： CoT 理由包含了大量的任务相关信息，可以在不同模型之间泛化（跨模型迁移），尽管它们也编码了特定模型的信号。
评估范式分歧： 虽然 CoT 理由在 LLM 裁判和教师-学生评估中均显示出一致的正向增益，但基于归因的解释表现出差异。它们在基于裁判（上下文内）的设置中表现良好，但在教师-学生（训练）设置中表现出微弱或负向的增益，这表明归因信号对于即时预测是有用的，但可能不易作为可学习的监督信号进行内化。

意义与主张

本文声称，并非所有的自然语言解释都在支持理解模型行为方面发挥相同的作用。其研究意义在于将评估重点从孤立的“合理性”或“忠实度”转向功能效用：解释是否真的能帮助用户（或自动化智能体）预测模型在处理新输入时的行为？

作者得出结论：

解释格式至关重要： 对于模拟而言，句子级证据优于标记级证据。
来源很重要： CoT 理由是目前预测模型行为最有效的解释类型，其表现优于事后辩解和语言化归因。
评估必须具备上下文感知能力： 解释的效用取决于它是用于即时上下文预测（其中 CoT 和句子归因表现出色），还是用于训练内部模型（其中 CoT 保持稳健，但归因可能无法有效迁移）。

最终，这项工作为在问答场景中选择解释格式提供了经验指导，并警示不要假设所有的自然语言解释在模拟方面都是同样有效的。