📊 statistics

More Bang for the Buck: Improving the Inference of Large Language Models at a Fixed Budget using Reset and Discard (ReD)

本文介绍了重置与丢弃（Reset-and-Discard, ReD），这是一种查询策略，它通过基于幂律的分配来缓解传统 pass@k 采样的收益递减问题，从而在固定预算内优化大语言模型所解决的独特问题的覆盖率。

原作者： Sagi Meir, Tommer D. Keidar, Noam Levi, Shlomi Reuveni, Barak Hirshberg

发布于 2026-06-09

📖 1 分钟阅读☕ 轻松阅读

原作者： Sagi Meir, Tommer D. Keidar, Noam Levi, Shlomi Reuveni, Barak Hirshberg

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

大局观：这个“猜谜游戏”的问题

想象一下，你有一大袋谜题（问题），并且只有有限的钱用来向一位聪明但有时很固执的朋友（大型语言模型或 LLM）购买答案（尝试次数）。你的目标不仅仅是解决一个特别难的谜题，而是要在用完所有的钱之前，尽可能多地解决不同种类的谜题。

这篇论文探讨了人们在玩这个游戏时常犯的一个错误。

旧的方法：“固执的赌徒”（完成式求解）

目前，大多数人都在使用作者称之为**“完成式求解”（Solve-to-Completion）**的策略。

运作方式： 你挑选谜题 #1。你向你的朋友寻求答案。如果他们答错了，你就再问一次。再问一次。再问一次。你不断地针对谜题 #1 进行提问，直到他们终于答对为止。只有在那之后，你才会转向谜题 #2。
问题所在： 有些谜题真的非常、非常难。你的朋友可能会在谜题 #1 上卡住 50 次尝试。等到他们终于解开谜题 #1 时，你已经花了 50 次尝试的机会。此时，你已经没有剩余的尝试机会去处理谜题 #2 到谜题 #100 了。你解决了一个难题，但却错失了 99 个简单的题目。
结果： 随着你投入的资金增加，你解决的新谜题数量增长得越来越慢。这就像是用一个漏水的软管来填满水桶；你越用力，实际进水就越少。

新的方法：“广度优先的探索者”（重置与丢弃 / ReD）

作者提出了一种名为**“重置与丢弃”（Reset-and-Discard / ReD）**的新策略。

运作方式：
1. 你挑选谜题 #1 并询问你的朋友一次。
2. 如果他们答对了，你就庆祝一下，把这个谜题扔掉（丢弃/Discard），然后转向谜题 #2。
3. 如果他们答错了，你不要继续追问。你立即停止，把这个谜题暂时搁置一旁，然后转向谜题 #2。
4. 你遍历整个谜题列表，每个谜题只问一次（或几次）。
5. 一旦你走完了整个列表，你回到顶部，重新尝试那些仍然未解决的谜题。
类比： 想象你是一名消防员，试图扑灭许多小火灾。与其站在一处顽固的火堆前，不停地喷水直到它熄灭（从而忽略了附近正在蔓延的其他火灾），不如给每一处火灾都喷一点水。如果火熄灭了，你就离开；如果火还在燃烧，你稍后再回来。
结果： 你能非常迅速地解决大量的谜题。即使你不能立即解决最难的那些，你也会先解决所有简单和中等难度的谜题。这让你获得了更好的“性价比”（更强的爆发力）。

魔法背后的科学原理

论文通过数学证明了为什么这种方法如此有效。

幂律（The Power Law）： 作者注意到，对于这些 AI 模型，解决问题的概率遵循一种特定的数学模式（“幂律”）。基本上，问题越难，解决它的难度就会呈指数级上升。
“收益递减”陷阱： 在旧有的“固执的赌徒”模式下，这种数学规律意味着，随着你投入的资金增加，你获得的新已解决问题的数量会越来越少。
修复方案： “重置与丢弃”方法打破了这个陷阱。数学表明，通过在每次尝试（或几次尝试）后进行重置，你可以将这种缓慢的、递减的增长转变为稳定的、线性的增长。无论你进行多少次尝试，你都能获得持续不断的已解决问题流。

实验的关键发现

作者在真实的 AI 模型（如 Llama 和 GPT）上测试了三种类型的挑战：

编程（Coding）： 编写计算机程序。
数学（Math）： 解决数学应用题。
推理（Reasoning）： 回答复杂的选择题。

他们的发现是：

更多的解决方案： 在同样的预算（资金）下，ReD 比旧方法解决了显著更多的独特问题。
更便宜： 为了达到特定目标（例如解决 80% 的问题），ReD 需要更少的尝试次数、更少的计算机 Token 以及更少的实际现金支出。
适用于不完美的检查器： 即使系统在检查答案时会出错（有时把对的判错，或把错的判对），ReD 依然能胜出。
预测未来： 作者还展示了通过使用 ReD，你实际上可以推断出 AI 有多聪明（即其“幂律指数”），而无需运行成千上万次昂贵的测试。这就像是仅通过观察汽车行驶几秒钟就能猜出它的车速，而不是要跑完一整场比赛来计时。

总结

如果你有一个固定的预算来让 AI 解决一系列问题，不要一直死磕那些难题。 相反，尝试每一个问题一次，丢弃那些你已经解决的，然后循环回到你错过的题目。这种“重置与丢弃”策略能让你以同样的价格解决更多的难题，将一个缓慢、令人沮丧的过程变成一个高效、高速运转的机器。

技术摘要：大语言模型推理中的重置与丢弃 (ReD)

问题陈述

大语言模型（LLMs）越来越多地在可验证任务（如编程、数学、形式化证明）上进行评估，使用的是 pass@k 指标，该指标衡量在 $k$ 次尝试中解决单个实例的概率。经验观察表明，对于许多任务，失败率（ $1 - \text{pass@k}$ ）随 $k$ 的增加呈幂律衰减（即 $1 - \text{pass@k} \propto k^{-\alpha}$ ）。

然而，在具有固定全局预算（以尝试次数、Token 数或美元衡量）的实际推理场景中，相关的目标不是单个问题的成功率，而是覆盖率@成本 (coverage@cost)：即在总资源约束下，能够解决的唯一问题的预期数量。标准的分配策略——完成式求解 (solve-to-completion)（即反复对单个问题进行采样直到解决，然后再转向下一个问题）——在幂律难度分布下是低效的。因为难题会消耗不成比例的尝试次数，这种策略会导致 coverage@cost 呈现次线性增长（当幂律指数 $\alpha < 1$ 时，这是常见的经验发现）。这导致了收益递减，即增加预算所带来的已解决问题数量增长乏力。

方法论：重置与丢弃 (ReD)

作者提出了 重置与丢弃 (Reset-and-Discard, ReD) 策略，该策略通过将推理过程视为跨问题集的广度优先搜索，来优化全局吞吐量。

ReD 协议

重置 (Reset)： 系统不再坚持对单个问题进行多次尝试直至解决，而是对每个问题进行固定次数 $\tau$ 的试验（在最优情况下， $\tau=1$ ，即每次尝试都是一次新的尝试）。
丢弃 (Discard)： 如果一个问题在 $\tau$ 次尝试内得到解决，则立即将其从队列中移除。
轮转 (Rotation)： 如果一个问题在 $\tau$ 次尝试后仍未解决，则将其移至队列末尾，系统立即转向处理下一个可用问题。

理论框架

论文利用更新理论（renewal theory）建立了 pass@k 与 coverage@cost 之间的数学映射。

标准策略： 对于难度分布为 $P(p) \sim p^{\alpha-1}$ （导致幂律 pass@k）的情况，解决一个问题的预期尝试次数 $E[T]$ 在 $\alpha < 1$ 时会发散。因此，coverage@cost 呈次线性增长 ( $\propto t^\alpha$ )。
ReD 策略： 通过每 $\tau$ $τ$ 次尝试进行一次重置，解决一个问题的有效尝试次数 $E[T_\tau]$ $E [T_{τ}]$ 变得有限，无论底层难度分布如何。
- 如果 $0 < \alpha < 1$ ，ReD 将 coverage@cost 的增长从次线性转变为线性 ( $\propto t$ )。
- 如果 $\alpha > 1$ ，ReD 保持线性增长，但具有比标准策略更陡峭的斜率（更高的效率）。
最优性： 作者证明，对于任何难度分布，每 $\tau=1$ 次尝试进行重置是最小化每个问题预期尝试次数的最优策略。即使在存在不完美验证器的情况下，只要假阴性率和假阳性率之和小于 1，该结论依然成立。

缩放法则推断

论文还展示了 ReD 轨迹可以用于推断幂律指数 $\alpha$ ，而无需进行昂贵的大 $k$ 值评估。随着 ReD 轮次的进行，未解决问题的分布会收敛到 Beta 分布。通过分析轮次间剩余问题的比例 $\langle R_n \rangle / \langle R_{n+1} - R_n \rangle$ ，可以线性估计 $\alpha$ 。

核心贡献

指标关联： 推导了 pass@k 到 coverage@cost 的精确映射，刻画了幂律 pass@k 行为（ $0 < \alpha < 1$ ）如何导致标准分配方案中的次线性增长。
ReD 算法： 提出了并证明了重置与丢弃策略的最优性。它保证了在 $\alpha < 1$ 时实现 coverage@cost 的线性增长，并在 $\alpha > 1$ 时提高效率。
理论保证： 证明了 ReD 对于任何难度分布都能严格最大化单位尝试次数的预期回报，并且对验证器噪声具有鲁棒性。
指数推断： 开发了一种直接从 ReD 运行中估计推理缩放指数的方法，绕过了昂贵的采样过程。
实验验证： 在三个 LLM（Llama-3.1-8b, Llama-3.3-70b, GPT-oss-20b）和三个基准测试（HumanEval, GSM8K, MMLU-Pro）上展示了显著的改进。

实验结果

实验在 HumanEval（编程）、GSM8K（数学）和 MMLU-Pro（推理）数据集上进行。

效率： 与完成式求解相比，ReD 显著减少了达到目标覆盖率所需的尝试次数、Token 数和美元成本。
模型对比： 在 HumanEval 基准测试中，应用 ReD 的较小模型（Llama-3.1-8b）在达到约 90% 覆盖率之前的尝试次数和 Token 数方面，优于标准分配下的较大模型（Llama-3.3-70b）。在美元成本方面，使用 ReD 的 8b 模型在所有覆盖水平下都是最具成本效益的策略。
缩放法则推断： 通过在 8b 模型上使用 ReD，作者成功推断出幂律指数 $\alpha \approx 0.34$ ，这与通过高 $k$ 值 pass@k 测量得到的指数相吻合。
鲁棒性： 即使在模拟噪声验证器时，ReD 的优势依然存在。

意义与主张

论文声称 ReD 为可验证任务中的计算分配提供了一种根本性的转变。

从“按 Token 付费”到“以结果为服务”： ReD 允许系统将计算资源集中在“可学习性的前沿”（即能在几次尝试内解决的问题），而不是浪费资源在那些收益递减的难题上。
分层路由： 该方法支持高效的混合策略，即由小模型通过 ReD 处理大部分问题，仅将未解决的问题路由给更大、更昂贵的模型。
广泛适用性： 该方法适用于任何支持重复采样和验证的流水线，无需更改模型架构或训练即可提供可证明的吞吐量提升。

作者对研究范围保持了谦逊，指出 ReD 专门设计用于可验证任务（即正确性可以被自动评估的任务）。他们并不声称该方法适用于非可验证的生成任务，也没有在本文中提出将其与学习到的难度预测器相结合。