💻 computer science

ERRORQUAKE: Heavy-Tailed Error Severity Distributions in Open-Weight Large Language Models

本文介绍了 Errorquake-10k，这是一个全面的基准测试，它证明了即使在准确率相匹配的情况下，开源权重的大型语言模型也会表现出截然不同的重尾误差严重程度分布，从而证明了这些严重程度剖面提供了标量误差率无法捕捉到的关于模型可靠性的关键且非冗余的信息。

原作者： Jason Z Wang

发布于 2026-06-05

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Jason Z Wang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在为一个公司招聘一支撰写报告的助手团队。你有一个标准的测试方法：你向他们提问 10,000 个问题，并统计他们答错的次数。

在 AI 世界中，这被称为错误率（error rate）。如果助手 A 答错了 58% 的问题，而助手 B 也答错了 58%，标准报告会说：“他们的表现一样糟糕。”

本文认为，这种报告方式具有严重的误导性。

作者 Jason Z Wang 及其同事引入了一种观察错误的新方法，称为 ERRORQUAKE。他们认为，并非所有的错误都是平等的。一个错误的日期只是“指甲划痕”，但一个可能导致某人入狱的完全虚构的法庭裁决则是“建筑坍塌”。在旧系统中，这两者都计为“一次错误”，但其后果却天差地别。

以下是利用简单类比对他们研究结果的拆解：

1. 地震类比（核心理念）

作者借鉴了地震学（研究地震的学科）中的一个概念。地震学家知道地震遵循特定的模式：有很多微小的震动，较少的中等地震，以及极少数巨大的、灾难性的地震。他们使用一个被称为 $b$ -value 的数值来描述这种模式。

高 $b$ -值： 有许多微小的、令人烦恼的震动，但几乎没有大的灾难。（想象：一个模型经常出现小拼写错误或轻微的事实失误）。
低 $b$ -值： 总错误次数较少，但一旦发生，往往是极其巨大且具有毁灭性的。（想象：一个模型平时很安静，但当它开口时，它会发明一条虚假法律或一项虚假的科学发现）。

发现： 作者测试了 21 种不同的开源 AI 模型。他们发现，即使两个模型的错误率完全相同（例如，两者都错了 58.6%），它们的 $b$ -值也完全不同。

示例： 一个模型（DeepSeek-V3.2）具有“低 $b$ -值”，意味着其错误具有重尾特征（罕见但灾难性的）。另一个模型（Ministral-14B）具有“高 $b$ -值”，意味着其错误较轻且危害较小。
结论： 你不能仅仅通过计算失败的次数来判断一个模型的安全性。你必须观察它在失败时到底错得有多严重。

2. “重尾”警告

论文将这些危险的模式称为**“重尾错误分布”（heavy-tailed error distributions）**。
想象一袋弹珠。

正态分布： 大多数弹珠的大小都差不多。
重尾分布： 大部分是微小的碎石，但袋子里隐藏着几块巨大的巨石。如果你只计算“弹珠的数量”，你会忽略掉其中一颗可能会砸碎你脚的事实。

作者发现，更大、更强大的 AI 模型（即“稠密型”模型）实际上往往具有更重的尾部。

悖论： 随着模型规模的增大，它们犯的小错误（如拼写错误或轻微失误）会减少。然而，它们所犯的错误更有可能是自信且详尽的谎言（虚构内容）。
类比： 一个小孩可能会经常绊倒（许多小错误）。一个巨人可能会完美行走数小时，但一旦他踉跄一下，就会撞倒一座房子（错误较少，但后果严重）。

3. “地震仪” vs. “计数器”

目前的基准测试就像是一个计数器：每当模型出错时，它只是简单地点击“错”。
作者构建了一个新工具 ERRORQUAKE-10K，它的作用更像是一个地震仪。

它不再只是点击“错”，而是将错误程度按 0 到 4 进行评分：
- 0：完美。
- 0.5–1.0： 轻微失误（例如，“会议在下午 2 点”而不是 3 点）。
- 2.0–3.0： 可能误导读者的严重错误。
- 3.5–4.0： 完全的虚构（例如，“会议是在平行宇宙中举行的”）。
他们通过人类专家进行了测试，发现人类和 AI 评判员在这些评分上高度一致。

4. 为什么这很重要？（机制）

论文深入探讨了这些重尾现象产生的原因。他们发现随着严重程度的增加，错误的类型发生了转变：

低严重度： 错误通常是检索失败（模型忘记了某个事实或查找了错误的数据）。
高严重度： 错误通常是虚构（模型自信地发明了从未发生过的事情）。

至关重要的是，更大的模型更容易产生这些高严重度的虚构内容。随着模型规模的扩大，它们在记忆事实方面变得更强（检索错误减少），但在不知道答案时，似乎变得更擅长编造极具说服力的谎言（幻觉）。

5. 底线结论

论文得出结论，行业需要停止仅仅报告“错误率”（计数器计数）。

旧方法： “模型 A 和模型 B 都是 58% 的错误率。”
新方法： “模型 A 和模型 B 都是 58% 的错误率，但模型 A 像是一个定时炸弹（重尾），而模型 B 只是一个吵闹的邻居（轻尾）。”

建议： 每当你报告 AI 出错的频率时，你也必须同时报告严重程度分布（ $b$ -值）。它会告诉你该模型是倾向于产生令人烦恼的失误，还是倾向于产生灾难性的谎言，而简单的错误率会完全掩盖这一信息。

本文并未声称的内容：

它并未表示这些模型在特定现实工作（如医疗或法律）中是“安全”或“不安全”的，这需要进一步测试。
它并未声称较大的模型整体上“更差”；它们只是在“如何失败”方面有所不同。
它没有提供解决此问题的方案，仅提供了一种衡量方法。

技术摘要：ERRORQUAKE：开源权重大型语言模型中的重尾错误严重度分布

1. 问题陈述

标准的幻觉基准测试（如 TruthfulQA、HaluEval）将模型性能简化为一个单一的标量错误率 ( $\varepsilon$ )，将所有错误视为等同。这种方法忽略了一个关键的维度：严重度（severity）。一个引用错误出版日期和模型伪造整个司法判例的模型，在 $\varepsilon$ 中都仅贡献一个计数，然而它们的下游后果却相差数个数量级。

本文指出，在准确率匹配的情况下，开源权重的大型语言模型（LLMs）在错误严重度分布的形状上表现出显著差异。具体而言，其“尾部行为”（即灾难性错误相对于轻微失误的频率）在不同模型之间存在显著差异，而这一特性在标量错误率中是不可见的。借鉴地震学的方法，作者提出使用古登堡-里希特（Gutenberg–Richter）震级-频率关系的斜率 $b$ 来表征这种尾部行为： $\log_{10} N(M \ge m) = a - b m$ 。较小的 $b$ 值表示错误较少但存在灾难性的错误；较大的 $b$ 值则表示存在许多严重程度受限的轻微错误。

2. 研究方法

2.1 ERRORQUAKE-10K 基准测试

作者引入了 ERRORQUAKE-10K 基准测试，包含 8 个领域（BIO、LAW、HIST、GEO、SCI、TECH、FIN、CULT）共 10,000 个查询，并分为 5 个难度等级（T1–T5）。

结构： 每个领域包含 1,250 个查询；T1–T2 为简单的事实查询，而 T4–T5 则包含旨在诱导自信伪造的陷阱问题。
评估模型： 评估了来自 10 个家族的 21 个开源权重指令微调模型（参数规模从 3B 到约 37B 有效参数），包括稠密架构和 MoE 架构。

2.2 严重度评分量表

响应根据连续的 0.0–4.0 量表进行评分（量化为 0.5 的增量，共 9 个等级）：

0.0： 正确。
0.5–1.0： 保留了主旨的轻微不精确。
1.5–2.0： 中度事实错误。
2.5–3.0： 会误导典型读者的实质性错误。
3.5–4.0： 伪造（对虚构信息的自信断言）。

2.3 评估流程

双评审系统： 每个响应由来自 8 模型轮询池（排除目标模型本身）的两个评审员进行评分。
聚合： 如果两个评审员的评分差异在 1.0 以内，则取平均值；否则采用三取中位数法并辅以决胜规则。
人工验证： 由三名专家人类评审员对 519 项分层样本进行评分，以验证 LLM 评审流水线。
- 可靠性： 人类评分者间一致性极佳（ICC(2, k=3) = 0.85）。
- 相关性： 人类衍生的严重度排名与 LLM 评审排名强相关 ( $\rho = 0.89$ )。
- 过度判定率（Overcall Rate）： 与人类相比，LLM 评审员更容易过度判定严重度（评为 2.0）（LLM 为 33.5%，人类为 13.7%）。

2.4 统计分析

分布拟合： 将五种候选族群（离散幂律、截断幂律、指数分布、拉伸指数分布、对数正态分布）拟合到严格正值的评分上。
参数估计： 使用带有网格量化评分离散性修正的 Aki 公式来估计严重度分布指数 ( $b$ )。
置信区间： 使用 95% 分位数自助法（2,000 次重采样）来确定 $b$ 的置信区间。

3. 核心贡献

不可约性定理 (C1)： 一个理论证明，显示严重度剖面 ( $b$ ) 与错误率 ( $\varepsilon$ ) 在信息论上是非冗余的。实验表明， $I(b; \text{model} \mid \varepsilon) = 1.56$ bits，这意味着在不同模型间， $b$ 的 64.5% 的方差无法由 $\varepsilon$ 解释。
匹配准确率判别器 (C3)： 主要的实证发现，即在准确率匹配时， $b$ 能够区分不同的模型。
严重度机制分类法 (C4)： 提出了一个 6 类分类法（检索、伪造、放大、推理、格式、元认知），展示了错误机制如何随严重度发生类别转变。
规模相关性 (C5)： 分析了模型规模与严重度尾部形状之间的关系。
资源发布 (C7)： 发布了 ERRORQUAKE-10K 基准测试、评分工具包及分析代码。

4. 主要结果

4.1 匹配准确率下的判别能力

在 21 个模型的 210 对组合中，85 对在人类共识评分的错误率匹配（ $|\Delta\varepsilon| < 0.05$ ）时，其 $b$ 值的 95% 置信区间是不相交的。

示例： DEEPSEEK-V3.2 和 MINISTRAL-14B 具有相同的错误率 ( $\varepsilon = 0.586$ )，但其尾部斜率显著不同 ( $\Delta b = 0.47$ )。
鲁棒性： 该结果在跨领域 Jackknife 测试、不同的评审聚合规则以及高双评审覆盖度的子集测试中均保持稳健。

4.2 分布特征

重尾特性： 21 个模型中有 17 个最适合非指数族分布（拉伸指数分布或截断幂律），证实了在离散严重度网格上存在“重尾”现象（衰减比指数分布更慢）。
操作性定义： 此处的“重尾”是指 BIC 最佳拟合族为非指数族，或者上层区间（ $M \ge 2.5$ ）的残余质量大于指数拟合的预测值。

4.3 规模相关性

稠密模型： 模型规模（对数有效参数）与 $b$ 值之间存在负相关（在人类数据上 $\rho_s = -0.86$ ）。
解读： 更大的稠密模型犯下的轻微失误较少（更陡峭的整体衰减），但相对比例更高的错误属于灾难性伪造（更平缓的上尾部）。
注：该相关性仅针对上尾部斜率；整体（bulk）衰减率的移动方向则相反。

4.4 机制分类法

严重度偏移： 低严重度错误（0.5–1.0）主要是检索错误（71%）。高严重度错误（2.0–4.0）主要是伪造错误（39%）。
规模耦合： 小模型（3–9B）表现出 44.7% 的检索错误，而大模型（≥24B）表现出 29.2% 的伪造错误。大模型向伪造错误的转变解释了其更重的尾部。

4.5 预测局限性

预注册的假设——即在简单层级（T1/T2）拟合 $b$ 可以预测困难层级（T4/T5）的灾难性错误计数——未能通过其主要标准。

结果： 秩相关性较弱 ( $\rho_s = 0.443$ )，且绝对速率预测失败（21 个模型中，0 个模型预测准确，17 个模型预测偏低）。
原因： 困难查询会将整个严重度分布向上提升（水平位移），而古登堡-利希特定律（捕捉相对斜率）无法仅从简单数据中外推此类变化。

5. 重要性与主张

本文主张，应当在报告准确率的同时报告严重度分布，因为它携带了错误率无法提供的判别信息。

信息价值： 严重度剖面并非错误率的冗余陈述。两个具有相同准确率的模型可能面临截然不同的灾难性失效风险（每百万次查询中预期发生的灾难性事件数量可能相差一个数量级）。
部署风险： 忽视严重度分布会导致糟糕的风险诊断。一个具有“更重尾部”（较低 $b$ 值）的模型，尽管其错误率与“较轻尾部”的模型相同，但其造成灾难性伪造的风险更高。
规模悖论： 规模法则可能会提高整体准确率，但同时也可能恶化残余失效的构成（从检索错误转向伪造错误），这种细微差别在标准错误率中是不可见的。

作者将这项工作定位为高风险事实场景下模型选择和审计的诊断工具，而非单一数字的排行榜。他们也明确指出了局限性，包括未包含闭源前沿模型、依赖于 LLM 生成的查询，以及在“微小错误到灾难性错误”预测任务上的失败。