🤖 machine learning

More Correct Mass, Worse Answers: Why Power Sampling Can Fail and How to Fix It

本文揭示了尽管功率采样（Power Sampling）增加了正确推理轨迹的概率质量，但由于剂量与覆盖度的不匹配，它反而会降低下游推理的准确度，作者通过引入一种变形控制且保持支撑的变体解决了这一问题，该变体表现优于标准的多种采样方法。

原作者： Haohui Yang, Jiaxing Sun, Xiujun Ma

发布于 2026-08-17

📖 1 分钟阅读☕ 轻松阅读

原作者： Haohui Yang, Jiaxing Sun, Xiujun Ma

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在试图解开一个非常棘手的谜题。你向一个超级聪明的机器人寻求答案，但你并没有只让它给出一个猜测，而是要求它写下十个关于它如何解开这个谜题的不同故事。这就是现代人工智能处理难题的方式：它不只是选择一条路径，而是生成一整群可能的解决方案，然后观察这群方案中大多数人达成共识的情况。这种“群体智慧”的方法被称为自我一致性（Self-Consistency）。其原理很简单：如果机器人很有信心，它的十个故事中的大多数都应该导向同一个正确答案。如果它们全都各执一词，那么机器人可能已经糊涂了。

现在，想象一下你想通过调整机器人的思考方式来让它变得更聪明。你可能会尝试告诉它：“嘿，如果你认为某个故事的可能性是 80%，那就让它感觉像是 99% 吧！”这种技术被称为幂采样（Power Sampling）。这就像是调高机器人最喜欢的想法的音量，希望通过让那些“最好的”想法声音更大，从而让机器人更快地找到正确答案。这听起来是一个完美的升级，对吧？但如果调高音量实际上会让机器人盖过那些微弱但正确的想法，导致整个群体投票给了一个错误的答案呢？这就是来自北京大学的研究团队发现的一个令人惊讶的转折。他们发现，这种流行的技巧有时会让 AI 变得更笨，而不是更聪明，因为它无意中扼杀了让“群体智慧”发挥作用的思维多样性。

悖论：声音大并不代表更好

研究人员发现，AI 模型推理方式中存在一种奇怪的矛盾。他们观察了一种旨在强化模型专注度的技术——幂采样。把模型的思维想象成一个由山丘和山谷组成的景观。高耸的山丘代表模型认为可能性极高的想法，而低洼的山谷则代表它认为可能性较低的想法。幂采样使用一个数学“放大镜”（指数）使高山变得更高，使深谷变得更深。其目标是让模型更积极地选择它的“最佳”想法。

然而，研究小组发现，虽然这种强化过程确实将概率质量推向了正确的路径，但在模型尝试结合多个猜测时，它往往会破坏最终答案。在涉及数学、代码和物理的九种不同设置测试中，这种方法实际上降低了 AI 的表现。在最坏的情况下，准确率大幅下降了 18.5 个百分点。

两个罪魁祸首：剂量与覆盖度

为什么会发生这种情况？作者确定了两个主要原因，他们称之为“失配”。

1. 覆盖度失配（“一个大嗓门”问题）
想象一下，在一个城镇会议上，你需要决定建设一座新公园。有三个不同的群体（C1、C2 和 C3）都想要同一个正确的位置，但它们都是规模较小、声音较轻的群体。还有一个非常大声、具有攻击性的群体（W1）想要一个错误的位置。

普通 AI（基准）： 这三个安静的群体汇集了他们的声音。尽管它们各自规模较小，但聚集在一起后，它们的票数可以超过那个大声的群体。正确答案胜出。
幂采样： 这种方法就像是一个只放大最响亮的单个声音的扩音器。它让那一个大声的群体（W1）变得如此震耳欲聋，以至于淹没了三个安静群体组合在一起的声音。AI 现在认为错误答案是唯一的选择。
研究人员表明，虽然幂采样增加了找到某条正确路径的概率（一个指标称为 pass@k），但它破坏了最终决策所需的“集体支持”。它将所有的注意力集中在少数几个占主导地位的路径上，使得“群体智慧”所依赖的更广泛的支持网络完全空洞化。

2. 剂量失配（“一刀切”问题）
第二个问题是，幂采样中使用的“放大镜”是固定的。它对每一个问题都应用相同程度的强化，而不考虑问题的难易程度。

想象你在调节相机的对焦。对于一张简单的照片，微小的调整就能使其完美；但对于一张复杂的、模糊的照片，同样的微小调整可能会让画面变得一团糟。
研究人员发现，由于每个数学问题或代码挑战都有不同的“难度形状”，使用固定的指数（他们测试的是 α = 4）会产生截然不同的结果。对于某些简单问题，这只是一个轻微的推动；而对于另一些问题，这会导致 AI 推理能力的全面崩溃，压制了除一条路径之外的所有路径。这使得该方法变得难以预测且难以控制。

解决方法：相对排名 SoftSat

为了解决这个问题，该团队发明了一种名为 Relative-Rank SoftSat 的新方法。它不再仅仅是让“最高的”山丘变得更高，而是观察每个特定问题内部想法的排名。

类比： 想象一场比赛。幂采样就像是不管赛道如何，直接给目前处于第一名的选手一个巨大的领先优势。而 SoftSat 则不同。它观察每个人相对于该特定赛道上其他选手的表现。它会给处于中游位置的选手（中等概率的路径）一定的提升，但会对处于第一名的选手设置一个“上限”或“限速”。
运作方式： 它阻止了顶端路径吸收所有的注意力（解决了覆盖度问题），并且会根据问题的结构来调整提升幅度，而不是使用僵化的、一刀切的规则（解决了剂量问题）。

结果：更聪明，而不只是更大声

当他们测试这种新方法时，结果令人印象深刻。他们不需要生成更多的故事或使用更多的计算能力，他们只是改变了衡量已有故事权重的方式。

在 LiveAoPSBench（数学基准测试）和 PHYSICS 测试中，旧的幂采样法导致了准确率的大幅下降。新的 SoftSat 方法几乎完全修复了这些下降。例如，在针对特定模型的 LiveAoPSBench 测试中，准确率从灾难性的下降 18.474 点 回升到了微不足道的下降 1.004 点。
在许多情况下，SoftSat 实际上比标准的“无权重”群体智慧表现得更好，这表明适度的智能权重分配比没有权重或过于激进的权重分配都要好。

总结

论文结论指出，仅仅让 AI 对其顶尖猜测“更有信心”并不总是正确的做法。有时，获得更好答案的秘诀不在于喊出最大的声音，而在于保留那些能够汇聚成真理的、安静且多样化的声音。通过使用一种尊重想法相对排名并防止单一路径主导对话的方法，我们可以在不重新训练数据或增加计算成本的情况下，获得更好的 AI 模型推理能力。这提醒我们，在 AI 世界中，思维的多样性与信心同样重要。

技术摘要：“更正确的质量，更差的答案：为什么幂采样会失效以及如何修复它”

1. 问题陈述

本文探讨了大型语言模型（LLM）测试时缩放（test-time scaling）中的一个关键悖论：幂采样（Power Sampling） 虽然可以增加分配给正确推理轨迹的总概率质量，但同时会降低最终聚合答案的质量。

幂采样通过对每个轨迹的概率进行指数化（ $p(\tau)^\alpha$ ）来强化模型对完整生成轨迹的分布。虽然这种方法无需验证器（verifier-free）且旨在偏向高概率的正确路径，但作者观察到，当与自一致性（Self-Consistency, SC）等下游聚合方法结合使用时，它往往会导致显著的准确率下降（高达 18.5 个百分点）。

核心问题在于**轨迹级锐化（trajectory-level sharpening）与多轨迹决策规则（multi-trajectory decision rules）**之间的不匹配。论文确定了导致这种失败的两个具体失配：

覆盖度失配（Coverage Mismatch）： 幂采样根据原始似然度奖励单个轨迹。在聚合方法（如 SC）中，最终答案取决于映射到同一答案的多个轨迹的集体支持。幂采样可能会放大单个高似然度的错误轨迹（例如 $W_1$ ），同时抑制一组中等似然度的正确轨迹（例如 $C_1, C_2, C_3$ ）。因此，尽管正确轨迹的总质量增加了，聚合决策仍会转向错误的答案。高 pass@k（即至少存在一个正确轨迹的概率）保持在高位，但该分布未能保留聚合所需的广泛支持。
剂量失配（Dose Mismatch）： 固定指数 $\alpha$ 对所有问题应用相同的代数变换，但“剂量”的分布变化在不同问题间差异巨大。由于似然度的几何结构随提示词（prompt）的不同而不同，相同的 $\alpha$ 在一个问题上可能仅引起轻微调整，而在另一个问题上则会导致分布近乎崩溃。这使得锐化效果变得难以预测且难以进行全局控制。

2. 方法论

作者提出了 Relative-Rank SoftSat，这是一种将锐化强度（剂量）的控制与多样性（覆盖度）的保持解耦的修复机制。

2.1 理论基础：加权共识

为了避免为 $N$ 个样本运行 $N$ 次幂采样（如 Power-SMC）带来的计算成本，作者建立了理想目标采样与**重要性加权聚合（importance-weighted aggregation）**之间的理论联系。

他们证明了可以从从基础模型（Base model, $p$ ）采样的 $N$ 个轨迹组成的单一池中，估计出理想幂目标的答案质量。
通过使用重要性权重 $r_\alpha(\tau) = p(\tau)^{\alpha-1}$ ，基础池的加权共识在标准条件下会渐近收敛于直接目标采样的决策。这使得该方法可以复用与标准自一致性相同的生成预算。

2.2 Relative-Rank SoftSat 设计

所提出的采样器使用问题内相对秩（within-problem relative rank） $u_p(\tau)$ 取代原始对数似然 $\ell(\tau)$ ，其中 $u_p(\tau)$ 定义为该轨迹的似然度在特定提示词的所有轨迹中的百分位数。

重加权乘数定义为：
$r_{\beta,m}(\tau) = \exp[\beta \cdot \text{SoftSat}_m(u_p(\tau))]$

其中 $\text{SoftSat}_m(u)$ 是一个饱和函数：
$\text{SoftSat}_m(u) = 1 - \left(1 - \min\left\{\frac{u}{m}, 1\right\}\right)^2$

核心机制：

解决剂量失配： 通过使用相对秩 $u \in [0, 1]$ 而非原始似然度，该方法使不同问题的锐化“剂量”归一化。固定的超参数 $\beta$ 现在无论提示词的具体似然几何结构如何，都能应用可比的变换。
解决覆盖度失配： SoftSat 函数旨在使排名靠前的轨迹获得饱和收益（防止单个主导路径吸收不成比例的质量），同时提升中等排名的轨迹。这保留了下游聚合所需的广泛支持。

2.3 实现

算法运行流程如下：

从基础模型中采样 $N$ 个轨迹。
计算池内的经验相对秩。
应用 SoftSat 增益并对权重进行裁剪以确保稳定性。
使用这些权重执行加权共识读出（例如，加权自一致性或 ModeX）。

3. 主要贡献

诊断失败原因： 论文识别并表征了覆盖度失配和剂量失配是导致幂采样在增加正确轨迹质量的同时却降低多样本推理性能的根本原因。
Relative-Rank SoftSat： 引入了一种新的采样目标，该目标利用问题内相对秩来控制锐化强度，并使用饱和增益函数来保留轨迹多样性。
高效实现： 通过在共享的基础候选池上进行重要性加权聚合来实现理想的目标采样，从而在保持并行采样计算效率的同时，无需重复运行 Power-SMC。

4. 实验结果

作者在三个基准测试（BigCodeBench, LiveAoPSBench, PHYSICS）和三个模型（Nemotron-4B, Qwen3.5-9B, Ministral-8B）上进行了评估，每个问题的固定预算为 8 个轨迹。

幂采样失败： 固定指数的幂采样（ $\alpha=4$ ）在 9 个设置中的 7 个中都导致了性能下降。值得注意的是，在 Nemotron-4B 处理 LiveAoPSBench 时，它导致了 18.5 个百分点的下降。
SoftSat 表现：
- SoftSat 消除了由幂采样引起的严重性能退化。在最差的幂采样失败案例中（Nemotron 在 LiveAoPS 和 PHYSICS 上），SoftSat 将相对于均匀自一致性的性能差距从约 18.5 个百分点降至约 1.0 个百分点，从约 7.0 个百分点降至约 0.25 个百分点。
- 与均匀自一致性相比，SoftSat 在 9 个设置中的 5 个中提升了性能，最大退化仅为 1.004 个百分点。
- 与幂采样不同，SoftSat 在不同的响应空间（代码 vs 数学 vs 物理）和模型中表现出了稳定性。
预算依赖性： 实验表明，最优锐化强度 ( $\beta$ ) 随可用轨迹数 ( $N$ ) 的增加而增加，这表明更大的候选池可以支持更强的重加权规则。

5. 重要性与主张

本文主张，轨迹级锐化并不总是可靠地与多轨迹决策规则对齐。这项工作的意义在于：

纠正误解： 它挑战了这样一个假设：即仅仅通过幂采样增加正确轨迹的概率质量，就能自动提高下游的推理性能。
保留多样性： 它证明了对于基于聚合的方法，保留正确答案的“集体支持”比最大化单个最可能轨迹的概率更为关键。
实际修复： 它提供了一种计算高效、无需验证器的替代方案（Soft-Sat），该方案可以在不同问题间校准锐化程度，从而防止损害自一致性和类似聚合策略的“赢家通吃”式崩溃。

作者得出结论，虽然幂采样是分布塑造的有力工具，但在应用于多样本推理时，需要对锐化的形状（以保留覆盖度）和强度（以确保一致剂量）进行仔细校准。