🤖 AI

When Mean CE Fails: Median CE Can Better Track Language Model Quality

本文表明，中位数交叉熵在合成事实学习和 top-K 蒸馏等场景下追踪语言模型质量时往往优于标准平均交叉熵，因为它通过关注分布的主体而非受尾部异常值偏斜，与任务表现具有更好的相关性。

原作者： Hao Guo, Simon Dennis, Rivaan Patil, Kevin Shabahang

发布于 2026-05-26

📖 1 分钟阅读☕ 轻松阅读

原作者： Hao Guo, Simon Dennis, Rivaan Patil, Kevin Shabahang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象你是一位正在批改学生作文的老师。通常，你会计算“平均”成绩来判断学生的表现。如果平均分上升，你就会认为学生进步了。

本文指出，对于人工智能语言模型而言，“平均”成绩（称为平均交叉熵）可能是一个极其糟糕的骗子。有时，平均分上升（暗示 AI 表现变差），但实际上 AI 正在创作更好的故事，或更准确地回答问题。

以下是这一现象发生原因的简明解析，以及作者提出的替代方案，其中运用了一些富有创意的类比。

1. 问题所在：“平均”极易受骗

在人工智能领域，我们通过观察模型的“损失”（一个数值越低越好的分数）来衡量模型的好坏。标准做法是计算模型所有错误的均值（平均值）。

类比：“一颗坏苹果”效应
想象一个装有 100 个苹果的篮子。

99 个苹果完美无瑕。
1 个苹果腐烂，气味难闻。

如果你计算篮子的“平均新鲜度”，那一个腐烂的苹果会拉低整个分数。尽管 99% 的苹果完美，但整个篮子看起来却很差。

研究发现，AI 模型往往表现得像这个篮子。在训练过程中，模型非常擅长预测“正常”的词汇（那 99 个完美的苹果）。但它开始在少数罕见、棘手的词汇上犯下奇怪且高误差的错误（那 1 个腐烂的苹果）。

均值看到了那个腐烂的苹果，说道：“模型变差了！”
现实是，模型实际上在它本该做的任务上变得更好了。

2. 解决方案：“中位数”是诚实者

作者建议不使用平均值，而是使用中位数。

类比：“中间的孩子”
如果你将所有苹果从最好到最差排成一队，中位数就是正中间的那个。

在我们 100 个苹果的篮子里，第 50 个苹果是完美的。
那个腐烂的苹果排在队伍的最末尾。
中位数不在乎那个腐烂的苹果。它告诉你，篮子里“典型”的苹果是新鲜的。

论文表明，当他们查看中位数分数而不是均值分数时，结果与 AI 在实际任务（如讲故事或回忆事实）中的表现完美契合。

3. 论文中的两个现实案例

作者在两种不同场景中测试了这一理论：

场景 A：“过度训练”的学生（Qwen 模型）

发生了什么： 他们教 AI 学习一系列虚构的事实。
陷阱： 随着训练持续，AI 对这些事实掌握得更好，但它开始在少数非常具体、奇怪的句子结构上感到困惑。
结果： 均值分数上升（看起来变差），但中位数保持低位（看起来变好）。实际测试分数（它记住事实的程度）跟随的是中位数，而非均值。均值只是对那几句令人困惑的句子做出了反应。

场景 B：“Top-K"蒸馏（TinyStories）

发生了什么： 他们试图教一个小 AI 模仿一个大 AI，但要求小 AI 只关注大 AI 最可能选择的前 5 个词（忽略其余部分）。
陷阱： 这使得小 AI 在常见词汇上非常自信（极佳的中位数），但在罕见词汇上表现糟糕（糟糕的均值）。
结果： 当人类（或充当裁判的其他 AI）阅读这些故事时，他们喜爱那个“前 5 名”学生创作的故事。它是最优秀的 storyteller。但如果你查看均值分数，它看起来像是最差的学生。中位数分数正确地将其识别为最佳。

4. “一致性”检查：何时信任平均值

作者引入了一个称为一致性（Concordance）的概念。将其想象为一种“团队共识”检查。

高一致性： 均值、中位数和“第 95 百分位”（最坏情况）都一致认为哪个模型最好。在这种情况下，使用均值是可以的。
低一致性： 均值说"Model A 最好”，但中位数说"Model B 最好”。这是一个危险信号！这意味着错误分布的形状发生了变化（就像那个苹果篮子）。

论文的建议：
不要只报告平均分数。请报告一组分数：

均值（平均值）。
中位数（典型情况）。
第 95 百分位（最坏情况的尾部）。

如果这三个数字讲述的故事不同，你就知道“平均”在欺骗你。你应该信任中位数来选择那些在实际任务中表现更好的 AI 模型。

总结

平均交叉熵（均值）： 容易被少数几个糟糕的错误所误导。这就像根据一个在难题考试中不及格的学生来评判整个班级。
中位数交叉熵（中位数）： 忽略异常值，告诉你“典型”的 token 表现如何。它能更好地追踪现实世界的表现。
修正方案： 始终在查看“平均”分数的同时检查“中间”分数。如果两者不一致，通常应该信任“中间”分数来挑选最佳的 AI 模型。

技术摘要：当平均交叉熵失效时：中位数交叉熵能更好地追踪语言模型质量

问题陈述

平均交叉熵（CE），即困惑度（perplexity），是语言模型的标准验证指标。然而，它往往无法追踪下游任务的性能，特别是当每个 token 的经验 CE 分布发生“重塑”时。在这种情况下，分布的主体（典型 token）和尾部（高损失 token）会向相反的方向移动。由于平均值是一种基于质量加权的统计量，它可能被高损失 token 的厚重尾部所主导，从而掩盖了主体部分的改进，或歪曲模型在特定任务上的实际效用。本文研究了平均 CE 在预测模型质量时失效的情况，并提出使用基于百分位的摘要统计量（特别是中位数）作为更稳健的诊断指标。

方法论

作者分析了平均 CE 与百分位 CE 摘要统计量（中位数、p95）在两种不同场景下的相互作用：

隐式重塑（监督微调）：
- 设置： 使用 LoRA 在合成事实学习数据（120 个新事实，2400 个训练对）上微调 Qwen2.5-1.5B 模型。
- 分析： 作者追踪了平均 CE、中位数 CE 和 p95 CE，并将其与贪婪子串匹配准确率及基于采样的 pass@1 准确率在 12 个 epoch 中的表现进行对比。
- 指标： 他们引入了“一致性”（ $\pi(S)$ ），用于衡量一组 CE 摘要统计量（ $S$ ）在相互比较模型检查点时排序的一致性程度。
刻意重塑（Top-K 蒸馏）：
- 设置： 在 TinyStories 语料库上使用冻结的教师模型进行知识蒸馏。学生模型被训练以匹配教师模型的前 $K$ 个 token 概率（经重新归一化）， $K$ 的取值范围从完整词汇表递减至 5。
- 分析： 该研究将不同 $K$ 值的蒸馏模型与通过不同规模和 learning rate 从头训练的控制模型族进行了对比。
- 评估： 模型质量通过 LLM-as-a-judge（Claude Sonnet 4）对生成内容的连贯性、语法、创造力和整体质量进行评分来评估。
- 分布分析： 作者考察了随着 $K$ 减小，每个 token 的 CE 分布如何发生偏移（质量重新分布），特别是观察主体部分与尾部之间的密度变化。

主要贡献与结果

1. 三种机制的识别

本文根据 CE 摘要统计量的一致性，将训练动态划分为三种机制：

方向一致的改进： 高一致性；平均数和百分位数在模型选择上达成一致。
刻意重塑： 由训练目标（如 Top-K 蒸馏）引起的一致性降低。
隐式重塑： 由训练动态（如 SFT）引起的一致性降低。

2. Qwen 微调案例研究（隐式重塑）

分歧： 在初始学习阶段（epoch 1–5）之后，平均 CE 大幅上升（约 60%），而保留集上的事实回忆准确率仍保持在峰值附近。
相关性： 中位数 CE 与准确率失败率强相关（ $r \ge +0.84$ ），而平均 CE 的相关性较弱（ $r \approx +0.12$ 至 $+0.27$ ）。
机制： 分布的主体部分迅速饱和（中位数 CE 降至下限），而上尾部延伸（p95 上升）。平均值跟随尾部变化，未能反映典型 token 的稳定性能。

3. Top-K 蒸馏案例研究（刻意重塑）

“交叉”现象： 随着 $K$ $K$ 减小，学生模型的损失分布发生极化：质量同时向极低损失的主体部分和极高损失的尾部转移。
- 结果： 较小的 $K$ 值产生更低的中位数 CE（更好的主体性能），但更高的平均 CE（更差的尾部性能）。
- 性能： Top-5 学生模型获得了最高的 LLM 评委评分（2.06），尽管其平均 CE 最差（1.708）。即使在训练过程中其平均 CE 高于教师模型，其中位数 CE 甚至曾低于教师模型。
一致性崩溃： 在蒸馏模型族内部，平均 CE 失去了对评委评分的所有排序能力（ $\rho = -0.186$ ），而中位数 CE 保持了强相关性（ $\rho = -0.911$ ）。相反，在非蒸馏的控制模型族中，平均 CE 和中位数 CE 几乎完美一致（ $\pi \approx 0.96$ ）。
稳健性： 这些发现在线性注意力架构上得到了定性的复现。

4. 诊断效用

本文证明，平均 CE 与中位数 CE 之间的分歧可作为低成本的诊断工具。当一致性较低时，摘要统计量的选择对模型选型至关重要。在蒸馏实验中，LLM 评委（代表生成质量）与主体百分位数一致，而非与平均值一致。

意义与主张

本文主张，在 SFT 和知识蒸馏等常见训练场景中，平均 CE 是模型质量的不完整描述符。其作为任务性能代理的可靠性取决于经验损失分布的演变。

实践建议： 作者建议在报告平均值的同时，报告一小组百分位 CE 摘要统计量（具体为平均值、中位数和 p95）。
诊断工具： 监控这些摘要统计量之间的一致性，使从业者能够检测分布重塑。
- 高一致性： 平均 CE 足以用于模型选择。
- 低一致性： 表明目标评估（例如生成质量）可能对主体部分而非尾部（或反之）敏感，因此需要更审慎地选择指标。
局限性： 这些主张基于特定数据集（TinyStories、合成事实）和高达 15 亿参数规模内的相对模型选择。本文并未主张平均 CE 在似然估计或稀有 token 校准方面已过时，而是指出当损失分布发生重塑时，它在特定任务性能方面可能会产生误导。