🤖 machine learning

When More Sampling Hurts: The Modal Ceiling and Correlation Ceiling of Test-Time Scaling

本文认为，推理系统中的测试时扩展面临着根本性的“模态”与“相关性天花板”，即过度的采样无法提升答案选择能力，甚至可能导致性能下降，这表明真正的瓶颈在于识别正确答案而非生成正确答案。

原作者： Yong Yi Bay, Kathleen A. Yearick

发布于 2026-06-30

📖 1 分钟阅读☕ 轻松阅读

原作者： Yong Yi Bay, Kathleen A. Yearick

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你正在试图解开一个非常难的谜题。你有一个聪明的助手（AI）可以尝试回答它。这篇论文指出，仅仅要求这个助手尝试越来越多次的做法，往往是在浪费时间和金钱，甚至会让最终结果变得更糟。

以下是为什么“增加采样次数”会撞到天花板的原因，通过三个简单的类比来解释。

1. “拥挤的房间” vs. “最佳答案”（选择天花板）

想象一下，你要求一间充满人的房间去解开一个谜题。

覆盖率（“有人知道答案”这一指标）： 如果你问 1,000 个人，那么房间里至少有一个人知道正确答案的概率是很高的。随着你增加人数，出现“有人知道答案”的情况会不断趋近于 100%。这就是研究人员所说的覆盖率（Coverage）。这看起来像是取得了进展。
选择（“我们该信任谁？”这一指标）： 但在现实世界中，你不能只说：“好吧，房间里确实有人知道，但我不知道是谁。”你必须选出一个人来给出最终答案。通常，你会选择那个答案最受欢迎的人（即“多数投票”）。

问题在于：
如果谜题很棘手，房间里可能充满了给出相同错误答案的人，因为他们都在同一个地方被误导了。

如果你问 10 个人，可能有 6 个人说“蓝色”（错），4 个人说“红色”（对）。你选择了“蓝色”。
如果你问 1,000 个人，可能有 600 个人说“蓝色”，400 个人说“红色”。你仍然选择了“蓝色”。
天花板： 无论你再增加多少人，“蓝色”的人群只会变得声音更大。正确答案（“红色”）可能就在房间里，但它不是最常见的答案。论文称之为众数天花板（Modal Ceiling）。一旦人群在某个错误答案上达成一致，增加人数只会让模型对自己的错误更加确信。

2. “回声壁效应”（相关性天花板）

现在，想象一下你试图通过询问一些人来猜测一个城市的人口平均身高。

理想情况： 你询问来自不同社区的 100 个陌生人。你得到了一个非常准确的平均值。
现实情况： 你询问了 100 个人，但他们都来自同一个家庭。他们拥有相同的基因和饮食习惯。他们的身高大致相同。

用论文中的术语来说，当一个 AI 尝试解决一个问题 100 次时，这 100 次尝试并不是 100 个独立的猜测。它们就像是同一个家庭的 100 个成员。它们是相关的（Correlated）。它们倾向于犯同样的错误或陷入同样的“思维陷阱”。

天花板：
因为它们如此相似，要求同一个模型进行 1,000 次尝试，就像是在要求 1,000 个相同的人进行尝试。你并没有获得 1,000 个新的信息点；你只是在重复同样的信息。

论文指出存在一个相关性天花板（Correlation Ceiling）。如果尝试之间的相关性是 10%，那么要求 1,000 次尝试实际上只相当于要求大约 10 次真正独立的尝试。
在那之后，每一次多出的尝试你付出的代价都是“噪音”。这既费钱，又没有增加任何价值。

3. “隐藏的差距”（可识别性差距）

这是论文中最重要的一部分。在以下两者之间存在一个差距：

模型能做到的： 它能够生成正确的答案（答案就在房间里）。
模型会给出的： 它不会选出正确的答案，因为错误的答案更受欢迎。

论文称之为可识别性差距（Identifiability Gap）。

陷阱： 我们看到“覆盖率”曲线在上升（模型发现正确答案的频率在提高），于是认为：“太棒了！模型变得更聪明了！”
现实： “选择”曲线（我们实际得到的结果）已经撞到了墙。模型在寻找正确答案方面变得更强了，但它在识别出那是正确答案方面并没有变得更好。

实践启示：“及早停止”

论文的结论是，我们过度思考（或过度采样）了。

为了检查是否存在答案： 如果你有一个完美的“验证器”（比如数学检查器）能够从错误答案中识别出正确答案，那么请继续采样。
为了挑选最终答案： 请非常早地停止。论文建议，对于大多数任务，你只需要几十次尝试即可。在那之后，你只是在付钱让模型对错误答案更加确信。
为了衡量性能： 如果你想知道一个模型在测试中的表现如何，你不需要针对每个问题尝试 1,000 次。因为这些尝试是高度相关的，1,000 次尝试可能只相当于 2 到 3 次真实的尝试。与其在一个问题上尝试 1,000 次，不如去测试 1,000 个不同的问题。

简而言之： 瓶颈不再是生成正确答案，而是识别正确答案。投入更多的计算资源并不能解决这个问题；它只会让模型在错误面前变得更加喧闹。

技术摘要：当更多采样反而有害时：测试时缩放中的模态天花板与相关性天花板

问题陈述

当前的推理系统通常采用测试时缩放（test-time scaling），特别是重复采样（针对单个提示词生成 $n$ 个响应）来提升性能。衡量成功的普遍指标是覆盖率（coverage，即 pass@k），定义为在 $n$ 个样本中至少有一个正确的题目比例。覆盖率曲线通常随着 $n$ 的增加而稳步上升，这表明仅仅增加采样预算就能带来持续的能力增益。

然而，部署后的系统必须在无法通过完美验证器来认证正确性的情况下返回单个答案。这便需要进行选择（selection，例如通过多数投票、自一致性或奖励模型）。本文识别出了一个关键的脱节：虽然覆盖率随着样本数量的增加而持续攀升，但选择准确率却往往停滞甚至下降。核心问题在于，业界将“生成正确答案的能力”与“识别并选择正确答案的能力”混为一谈。本文认为，超过某个临界点后，额外的采样只会增加计算成本，而不会改善、甚至可能损害最终选定的答案。

方法论

本文通过集群抽样（cluster sampling，源自调查统计学）而非独立抽取，重新审视了测试时采样。

集群抽样框架： 将单个提示词及其 $n$ 次重复尝试视为一个集群。这些尝试被建模为可交换的（exchangeable）二元变量（正确/错误），而非独立同分布（i.i.d.）变量。
类内相关系数 ( $\rho$ )： 通过类内相关系数 $\rho$ $ρ$ 来量化同一问题下不同尝试之间的依赖关系。
- 问题间相关性 ( $\rho_b$ )： 源于问题难度的异质性。
- 问题内相关性 ( $\rho_w$ )： 源于模型的内部状态或解码配置。
有效样本量 ( $n_{eff}$ )： 利用设计效应（ $deff = 1 + (n-1)\rho$ ），本文推导出了有效独立样本数：
$n_{eff} = \frac{n}{1 + (n-1)\rho}$
该量在 $n \to \infty$ 时会饱和于一个相关性天花板 $1/\rho$ 。
指标分离： 本文明确地将三个不同的目标进行了解耦：
- 覆盖率 (Coverage)： 生成至少一个正确答案的概率。
- 选择 (Selection)： 最常见答案（众数）是正确的概率。
- 估计 (Estimation)： 估计基准测试平均准确率的精确度。

核心贡献

1. 相关性天花板（估计极限）

本文确立了在估计基准测试准确率时，有效样本数不能超过 $1/\rho$ 。

机制： 随着 $n$ 的增加，每个新增样本的边际价值呈二次方衰减（ $O(1/n^2)$ ）。
结果： 即使拥有巨大的预算（例如 $10^4$ 个样本），如果 $\rho \approx 0.5$ ，其有效信息量仅相当于约 2 个独立样本。这解释了为什么尽管进行了大规模采样工作，基准测试准确率的估计仍会出现平台期。

2. 模态天花板（选择极限）

本文识别出了一个独立于相关性天花板的选择方法（自一致性、多数投票）的独特天花板。

机制： 选择过程收敛于答案分布的众数（ $a^*_q$ ）。如果最常见的答案是错误的（ $a^*_q \neq c_q$ ），增加 $n$ 并不能修复错误；它只会让模型对错误答案更加确信。
结果： 选择准确率受限于模态命中率（ $\pi_{mode}$ ），即模型最频繁出现的答案是正确的概率。
反向缩放（Anti-Scaling）： 在那些众数错误但正确答案可达到的问题上，增加 $n$ 会导致选择准确率趋向于 0，而覆盖率趋向于 1。这种现象被称为反向缩放。

3. 可辨识性差距（Identifiability Gap）

本文定义了可辨识性差距，即那些正确答案存在于样本池中（高覆盖率）但不是最频繁答案（低选择率）的问题集合。

这代表了“可解但不可选”的问题。
本文证明了这一差距在现实世界的日志中非常显著：其中覆盖率可以达到 1.00，而自一致性在 GSM8K 上仅停留在 0.87，在 MATH 上仅为 0.45。

4. 真实日志的实证验证

作者使用发布的采样日志验证了其理论框架：

Brown 等人 [2]（独立抽取）： 分析了 GSM8K 和 MATH 数据集。发现较高的问题间相关性（ $\hat{\rho}_b \approx 0.4\text{--}0.6$ ），证实了用于估计的相关性天花板。观察到了覆盖率（上升至 1.0）与自一致性（进入平台期）之间的分歧。
Beeching 等人 [20]（依赖抽取）： 分析了每个问题 256 个样本的 MATH-500。发现问题内相关性（ $\hat{\rho}_w$ ）接近于零，但答案分布高度集中（中位数约为 13 个不同值）。这证实了选择天花板是由答案模态坍缩（answer mode collapse）驱动的，而非运行间的漂移。

结果

覆盖率 vs. 选择： 覆盖率遵循幂律上升（由于难度异质性）且没有硬性天花板（除了模型本身的能力）。然而，选择却会在 $\pi_{mode}$ 处遭遇硬性墙壁。
边际收益递减： 第 $n$ 个样本的边际价值迅速衰减。对于估计任务，预算应限制在 $n \approx 1/\rho$ ；对于选择任务，预算应限制在不同答案的有效数量。
大规模 $n$ 的低效性： 每个问题采样 $10^4$ 次，在估计基准测试时，其获得的统计精度仅相当于约 2 个独立样本。
反向缩放： 在模型最常出现的答案是错误的情况下，增加 $n$ 会主动降低所选输出的准确性。

意义与主张

本文声称提供的是一个可引用的推导，而非一种新算法。其主要意义在于：

重构瓶颈： 它将测试时缩放的焦点从“生成正确答案”转向“识别正确答案”。瓶颈不在于采样预算，而在于正确答案在分布中的可辨识性。
纠正误解： 它解释了为什么“更多采样”在实践中往往无法实现线性扩展，将其归因于相关性天花板（针对估计）和模态天花板（针对选择）。
可操作指标： 它建议在报告标称计数 $n$ 的同时，报告有效样本量（ $n_{eff}$ ），以揭示采样运行的真实信息含量。
预算分配： 它认为计算预算应取决于目标：
- 对于估计：在 $n \approx 1/\rho_b$ 时停止，并将剩余算力投入到更多问题上。
- 对于选择：一旦多数派趋于稳定（通常在几十个样本内）就应停止，并将重点放在去相关（如温度、提示词多样性）而非增加 $n$ 上。
- 对于覆盖率（配合验证器）：采样可以持续进行，因为不存在问题内的天花板。

本文得出结论，认为“模态天花板”和“相关性天花板”是基本限制，使得盲目的测试时缩放变得低效。真正的挑战不在于生成更多样本，而在于设计能够更好地将正确答案从模态误差中区分出来的系统。