💬 NLP

Don't Pass@k: A Bayesian Framework for Large Language Model Evaluation

本文提出了一种基于贝叶斯框架的大语言模型评估方法，通过引入后验估计和可信区间替代传统的 Pass@k 指标，从而在样本量有限时实现更稳定、透明且计算高效的模型排名与差异判定。

原作者： Mohsen Hariri, Amirhossein Samandar, Michael Hinczewski, Vipin Chaudhary

发布于 2026-03-20

📖 1 分钟阅读☕ 轻松阅读

原作者： Mohsen Hariri, Amirhossein Samandar, Michael Hinczewski, Vipin Chaudhary

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文提出了一种新的方法来评估大型语言模型（LLM）的表现，旨在解决当前主流评估方法（如 Pass@k）存在的“不稳定”和“误导人”的问题。

为了让你轻松理解，我们可以把评估 AI 模型想象成**“选拔运动员”**。

1. 现状：现在的选拔方式有什么毛病？

目前，大家评估 AI 最常用的方法是 Pass@k。

这是什么？ 想象你要测试一个短跑运动员。你让他跑 10 次（k=10），只要他有一次跑赢了对手，就算他“通过”了。
问题在哪？
- 运气成分太大： 如果这个运动员今天状态好，跑了 10 次有 9 次赢，他当然通过。但如果他今天状态一般，跑了 10 次只有 1 次赢，他也“通过”了。这就导致排名忽高忽低，很不稳定。
- 资源浪费： 为了看清谁真的强，我们不得不让他跑很多次（比如 80 次），这非常消耗算力和时间（就像让运动员在烈日下跑几十圈，累得半死）。
- 看不清差距： 如果两个运动员，一个赢了 51 次，一个赢了 49 次，Pass@k 可能会说他们“一样强”或者排名乱跳，因为它无法告诉你：“这 2 次的差距是实力的体现，还是纯粹的运气？”

2. 新方案：Bayes@N（贝叶斯评估框架）

这篇论文提出的新方法叫 Bayes@N。我们可以把它想象成**“聪明的教练 + 概率统计”**。

核心比喻：不再只看“赢没赢”，而是看“赢的概率”

旧方法（Pass@k）： 就像看一场彩票。你买 10 张，只要中一张就喊“中了！”。这很粗糙。
新方法（Bayes@N）： 就像教练在观察运动员。
- 教练不仅记录“赢了几次”，还会结合**“过去的经验”**（先验知识）。
- 教练会给出一个**“实力估算值”（后验均值）和一个“信心区间”**（可信区间）。

三个关键创新点（用大白话解释）：

1. 不再只给“对/错”，而是给“评分等级”

旧方法： 答案要么对（1），要么错（0）。
新方法： 就像老师批改作业。
- 完全正确：100 分。
- 思路对但算错：80 分。
- 格式错了但答案对：90 分。
- 完全胡扯：0 分。
- 好处： 这样能捕捉到模型更细腻的能力，而不是非黑即白。

2. 自带“不确定性”标签（可信区间）
这是这篇论文最厉害的地方。

场景： 模型 A 赢了 55 次，模型 B 赢了 53 次。
旧方法： 可能会直接说 A 比 B 强，或者排名乱跳。
新方法： 会告诉你：“虽然 A 赢了 55 次，但考虑到样本量，A 的真实实力可能在 50%~~60% 之间；B 在 48%~~58% 之间。因为这两个范围重叠了，所以我们不能断定 A 真的比 B 强，他们可能是一样强的。”
比喻： 就像射击比赛。A 打了 10 枪，平均 9 环；B 打了 10 枪，平均 8.8 环。新方法会说：“别急着颁奖，因为误差范围太大，他们可能水平差不多。除非你们多打几枪，把误差范围缩小，才能分出胜负。”

3. 跑得更快，更省钱（收敛速度快）

论文通过数学证明和实验发现，用新方法，只需要跑很少的次数（比如 20 次），就能得出非常稳定的排名。
而旧方法（Pass@k）可能需要跑 80 次甚至更多，排名还在变来变去。
比喻： 旧方法像是在迷雾中摸索，要跑很远才能看清路；新方法像是开了探照灯，跑几步就能看清谁在前、谁在后。

3. 为什么这很重要？

省钱省时间： 以前为了排个名，得让 AI 跑几百次，消耗巨大的电力和算力。现在可能只需要跑几十次，就能得到同样可靠的结果。
更公平： 不会因为一次“运气好”就让弱模型排到强模型前面，也不会因为“运气差”埋没强模型。
更透明： 它明确告诉你：“这两个模型现在的差距，到底是真的实力差距，还是因为测试次数不够导致的噪音？”如果区间重叠，那就承认“暂时分不出高下”，避免无谓的争论。

总结

这篇论文就像给 AI 评估界装上了**“显微镜”和“稳定器”**。

它告诉我们：别再盲目地让 AI 多跑几次（Pass@k）来碰运气了。我们要用统计学的方法，结合少量的测试数据，就能精准地算出 AI 的真实实力，并且清楚地知道我们有多大的把握相信这个结果。

一句话概括： 用更少的算力，通过更聪明的统计方法，让 AI 的排名更稳、更准、更透明。

这篇论文提出了一种名为 Bayes@N 的贝叶斯评估框架，旨在解决当前大型语言模型（LLM）评估中广泛使用的 Pass@k 指标存在的稳定性差、排名不可靠以及缺乏不确定性量化等问题。

以下是对该论文的详细技术总结：

1. 研究背景与问题 (Problem)

现状： LLM 的评估（特别是推理和代码生成任务）通常依赖 Pass@k（在 $k$ 次采样中至少有一次成功的概率）或 avg@N（ $N$ 次试验的平均准确率）。
痛点：
- 不稳定性： 在样本量有限（如 AIME 等只有几十道题的基准测试）或计算资源受限时，Pass@k 会产生高方差的排名，导致模型排序频繁波动。
- 缺乏不确定性量化： 传统方法难以判断两个模型之间的性能差异是统计显著的还是仅仅是随机噪声。
- 二元化局限： 大多数评估将结果简化为“对/错”（0/1），忽略了部分正确、格式错误、拒绝回答等丰富的中间状态信息。
- 收敛慢： 现有的评估方法需要大量的试验次数才能收敛到真实的模型排名。

2. 方法论 (Methodology)

作者提出将 LLM 评估视为一个统计推断问题，构建了一个基于贝叶斯后验估计的框架。

核心思想：
- 分类建模 (Categorical Modeling)： 不再将输出视为简单的二元结果，而是将其建模为 $C+1$ 个类别的分布（例如：正确、部分正确、格式错误、拒绝等）。
- Dirichlet 先验： 对每个问题的潜在成功概率向量 $\pi_\alpha$ 使用 Dirichlet 分布作为共轭先验。
- 后验估计： 给定 $N$ 次试验的结果矩阵 $R$ ，利用 Dirichlet-Multinomial 模型推导出后验分布。
- 闭式解 (Closed-form)： 论文推导出了后验均值 $\mu$ （性能估计）和后验方差 $\sigma^2$ （不确定性）的精确闭式表达式，无需进行耗时的蒙特卡洛模拟或 Bootstrap 重采样即可计算。
关键组件：
- 加权评分 (Weighted Rubric)： 允许用户定义权重向量 $w$ ，将不同类别的得分映射为最终的性能指标。这使得框架既能处理二元评估，也能处理带有部分分数的复杂评分标准。
- 可信区间 (Credible Intervals)： 基于后验方差计算可信区间（CI）。如果两个模型的可信区间重叠，则认为它们的性能差异在统计上不显著，从而避免过度解读微小的分数差距。
- 先验知识融合： 框架支持引入非均匀先验（例如利用旧版本模型的数据或相关任务的数据作为先验 $R_0$ ），以加速收敛。
理论等价性： 在均匀先验（Uniform Prior）下，贝叶斯后验均值 $\mu$ 与传统的平均准确率（avg@N）在排序上是等价的（Order-equivalent），这解释了 avg@N 的鲁棒性，同时贝叶斯方法额外提供了不确定性量化。

3. 主要贡献 (Key Contributions)

统一的贝叶斯评估框架： 提出了一种将二元和分级评估统一在 Dirichlet 先验下的方法，提供了任意加权评分标准的后验均值和可信区间的闭式解。
计算高效的区间感知协议： 提出了一套简单的评估流程：报告后验均值和可信区间；仅当区间不重叠时宣布差异；自适应地分配更多试验直到区间达到预定宽度。
实证验证：
- 在具有已知真实成功率的模拟实验（偏硬币模型）中，证明了 Bayes@N 比 Pass@k 及其变体（如 Pass^k, G-Pass@k）具有更快的收敛速度和更高的排名稳定性。
- 在真实的数学推理基准（AIME'24/25, HMMT'25, BrUMO'25）上，Bayes@N 在极少的样本量下（远少于 Pass@k 所需）就能达到与“金标准”（80 次试验的平均排名）高度一致的排名。
开源工具 Scorio： 发布了开源 Python 包 scorio，实现了该框架，支持贝叶斯估计、可信区间计算及自定义评分标准。

4. 实验结果 (Results)

收敛性 (Convergence)：
- 在 AIME'24/25、HMMT'25 和 BrUMO'25 数据集上，Bayes@N 仅需约 10-44 次试验即可达到 Kendall's $\tau$ > 0.90 的排名相关性，而 Pass@k 系列方法往往需要更多试验，甚至在某些数据集（如 AIME'25）上在 80 次试验内无法收敛。
- 随着模型数量增加（从 11 个增加到 20 个），Pass@k 方法完全失效（无法收敛），而 Bayes@N 仍能保持稳定的排名。
不确定性量化：
- 实验显示，许多在点估计（Point Estimate）下看似有差异的模型，在引入 95% 可信区间后，其差异变得不显著（区间重叠）。这有效减少了排行榜的无谓波动（Churn）。
- 对于性能极其接近的模型（如 $\bar{\pi}$ 相差 0.013），需要约 200 次试验才能以 95% 的置信度区分，Bayes@N 能明确告知何时需要更多数据。
评分标准敏感性： 框架能够灵活处理不同的评分标准（如“格式感知”、“置信度惩罚”、“效率调整”等），揭示了不同评估目标下模型排名的变化，而不仅仅是关注最终答案的正确性。

5. 意义与影响 (Significance)

范式转变： 呼吁 LLM 评估从单纯的“点估计”（Point Estimate）转向“概率分布估计”（Distributional Estimation），明确量化不确定性。
资源效率： 通过更快的收敛速度和更小的样本需求，显著降低了评估 LLM 所需的计算成本（GPU 时间和 Token 消耗）。
决策透明化： 为模型比较提供了明确的统计决策规则（基于可信区间重叠与否），避免了因随机性导致的错误结论。
通用性： 该框架不仅适用于数学推理，也适用于代码生成、安全评估等任何需要量化模型性能的场景，特别是那些涉及部分得分或复杂评分标准的任务。

总结： 这篇论文通过引入贝叶斯统计方法，解决了 LLM 评估中样本效率低和结果不稳定的核心痛点，提供了一种更科学、更透明且计算高效的评估协议，建议社区用 Bayes@N 替代传统的 Pass@k 作为 LLM 排名的标准。