Is my model perplexed for the right reason? Contrasting LLMs' Benchmark Behavior with Token-Level Perplexity

1. 研究背景与问题 (Problem)

核心问题：
当前大语言模型（LLM）的评估主要依赖于大规模基准测试（Benchmarks），关注的是任务表现（Task Performance），即模型是否能给出正确答案。然而，这种评估方式存在两个主要缺陷：

1. 缺乏机制洞察： 正确的输出并不一定意味着模型理解了底层的语言机制。模型可能通过错误的启发式规则（Heuristics）或表面统计规律“猜”对了答案，这类似于塞尔（Searle）的“中文房间”论证。
2. 确认偏误（Confirmation Bias）： 当模型表现良好时，研究者倾向于主观推断模型使用了正确的语言特征（如特定的语法或语义线索），从而掩盖了模型可能依赖的虚假相关性。

研究目标：
本文旨在提出一种可解释性框架，用于验证模型的行为是否由预期的语言机制驱动。具体来说，当模型在最小对（Minimal Pairs）任务中做出正确判断时，其内部的困惑度（Perplexity）变化是否主要由那些决定句子语法性或歧义性的关键 Token（Pivotal Tokens） 引起？

---

2. 方法论 (Methodology)

作者提出了一种基于Token 级困惑度（Token-level Perplexity） 的简单且原则性的解释性框架，避免了传统特征归因（Feature Attribution）技术的不稳定性。

2.1 实验设置：最小对（Minimal Pairs）

实验基于精心设计的“最小对”提示（Prompts）：

• 正确提示（Correct）： 包含一个语法正确或无歧义的句子，以及一个错误的/有歧义的句子。
• 错误提示（Incorrect）： 交换上述两个句子的标签（即把错误的标为正确，正确的标为错误）。
• 关键 Token（Pivotal Tokens）： 两个句子之间仅有一两个 Token 不同，这些 Token 决定了句子的合法性或含义（例如：with vs who had 决定歧义，herself vs himself 决定代词一致性）。

2.2 核心指标

为了量化模型是否“因正确原因感到困惑”，作者定义了两个独立于任务准确率的指标：

1. Plain Proportion（普通比例）：

   • 定义： 关键 Token 的困惑度差异绝对值之和 $\div$ 整个提示（Prompt）的总困惑度差异（$\Delta PPL$）。
   • 含义： 衡量关键 Token 在多大程度上解释了整体困惑度的变化。如果值为 1，说明变化完全由关键 Token 引起；如果为 0，则完全无关。
   • 局限： 不区分方向（即无法判断模型是“正确”地困惑还是“错误”地困惑），且受句子长度影响。

2. Normalized Proportion（归一化比例）：

   • 定义： 计算关键 Token 的平均困惑度差异比例，然后减去所有 Token 的中位数比例。
   • 含义： 衡量关键 Token 是否比“普通 Token"对 $\Delta PPL$ 有更大的贡献，且方向是否正确。
   • 取值：
     • $1$：完全由关键 Token 在正确方向上驱动。
     • $-1$：完全由关键 Token 在错误方向上驱动。
     • $0$：关键 Token 的贡献与平均 Token 无异。

2.3 为什么选择困惑度（PPL）而非惊讶度（Surprisal）？

作者在附录中解释，PPL 是概率的倒数（$1/p$），而惊讶度是对数形式（$-\log p$）。在最小对中，错误的关键 Token 概率极低，导致 PPL 出现巨大的尖峰（Spike）。使用 PPL 能更敏锐地捕捉这种极端差异，而取对数会平滑掉这些尖峰，掩盖模型对错误 Token 的“极度困惑”。

---

3. 实验设置 (Experiments)

• 模型： 四个开源权重的基座模型：Gemma3-4B, Mistral0.3-7B, Llama3.2-3B, Qwen2.5-7B。
• 任务（5 个）：
  1. 无意义词（Sanity Check）： 句子中大部分是无意义词，仅有一个真实单词不同。
  2. 刻板印象（Stereotypes）： 基于 CrowS-pairs 数据集，测试社会偏见。
  3. 回指一致性（Anaphor Agreement）： 基于 BLiMP 数据集，测试代词性别一致性。
  4. 生命性验证（Animacy Verification）： 基于 BLiMP 数据集，测试动词与名词的生命性搭配。
  5. 歧义检测（Ambiguity）： 基于 DUST 数据集，测试句法歧义。

---

4. 主要结果 (Results)

4.1 准确率与 Token 级行为的解耦

• 发现： 模型在基准测试中的高准确率与Token 级困惑度行为之间没有相关性。
• 含义： 模型可以在任务上表现完美（给出正确答案），但其内部机制并非基于预期的语言线索。

4.2 关键 Token 的解释力不足

• 无意义词任务（Sanity Check）： 表现符合预期。关键 Token（唯一的真实单词）解释了绝大部分 $\Delta PPL$，验证了方法的有效性。
• 真实语言任务（BLiMP, DUST, Stereotypes）：
  • 关键 Token 从未完全解释 $\Delta PPL$： 即使关键 Token 的影响最大，它们也从未解释 100% 的困惑度变化。
  • 具体数据：
    • 在 BLiMP（回指/生命性） 任务中，关键 Token 仅解释了约 50% 的 $\Delta PPL$。
    • 在 Stereotypes 任务中，关键 Token 和标点符号（Period tokens）共同解释了约 50% 的变化，表明模型可能依赖句子整体结构而非特定词汇。
    • 在 DUST（歧义） 任务中，关键 Token 的解释力最强，有时能接近完全解释，但仍有波动。
  • 模型差异： 不同模型对同一任务的 Token 级行为差异巨大，显示出 LLM 编码细粒度语言线索的方式具有高度变异性。

4.3 归一化比例的发现

• 归一化比例显示，在许多任务中，非关键 Token（如标点符号、功能词）对困惑度差异的贡献显著，甚至有时超过关键 Token。这表明模型可能依赖替代性线索（Alternative Cues） 或启发式规则来完成任务，而非真正的语言理解。

---

5. 主要贡献 (Key Contributions)

1. 提出了一种新的可解释性框架： 基于 Token 级困惑度分布来检验模型行为，无需依赖不稳定的特征归因技术（如 Saliency Maps）。
2. 定义了新的评估指标： 提出了 Plain Proportion 和 Normalized Proportion，能够量化模型是否“因正确的原因”做出决策。
3. 揭示了基准测试的局限性： 证明了当前 LLM 在基准测试中的高准确率往往是“虚假”的，模型可能通过非预期的启发式规则（Heuristics）解决问题，而非掌握真正的语言机制。
4. 开源资源： 发布了相关数据和代码（Semantic_match_DUST），促进社区进一步研究。

---

6. 意义与局限性 (Significance & Limitations)

意义

• 挑战“黑盒”评估： 指出仅看准确率不足以评估 LLM 的语言能力，必须深入探究其内部决策机制。
• 减少确认偏误： 提供了一种客观的数学方法，防止研究者将人类的语言理解逻辑强加给模型。
• 指导模型改进： 如果模型不依赖预期的语言线索，说明当前的训练目标或架构可能未能有效捕捉细粒度的语言特征，为未来的模型对齐（Alignment）和训练提供了方向。

局限性

• 任务依赖性： 该方法适用于有明确“关键 Token"定义的任务。对于需要整体语义理解、难以界定单一关键 Token 的任务（如复杂的刻板印象判断），该方法可能不适用。
• PPL 的定义依赖： 结果依赖于序列生成的 PPL 定义，如果改变计算方式（如使用滑动窗口或其他变体），结果可能不同。
• 提示敏感性： 虽然进行了多次提示变体测试，但提示的具体措辞仍可能对结果产生显著影响（如标点符号的贡献）。

总结

这篇论文通过引入 Token 级困惑度分析，有力地证明了**“模型做对了，不代表它懂对了”**。它揭示了 LLM 在解决语言任务时，往往依赖非预期的统计线索而非真正的语言规则，呼吁社区在评估 LLM 时，从单纯的“行为表现”转向更深层的“机制验证”。