🤖 machine learning

Test-Time Scaling Makes Overtraining Compute-Optimal

该论文提出了联合优化模型规模、训练令牌数和推理采样数的“训练至测试”（ $T^2$ ）扩展定律，证明在考虑推理成本后，最优预训练策略会转向传统扩展定律未涵盖的“过训练”区间，且该结论在多种任务及后训练阶段均能显著提升模型性能。

原作者： Nicholas Roberts, Sungjun Cho, Zhiqi Gao, Tzu-Heng Huang, Albert Wu, Gabriel Orlanski, Avi Trost, Kelly Buchanan, Aws Albarghouthi, Frederic Sala

发布于 2026-04-03

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Nicholas Roberts, Sungjun Cho, Zhiqi Gao, Tzu-Heng Huang, Albert Wu, Gabriel Orlanski, Avi Trost, Kelly Buchanan, Aws Albarghouthi, Frederic Sala

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文探讨了一个关于人工智能（特别是大型语言模型，LLM）如何“训练”和“使用”的核心问题。为了让你更容易理解，我们可以把训练和运行一个 AI 模型想象成开一家餐厅。

1. 旧观念：只关注“厨师”的级别（Chinchilla 法则）

以前，科学家（如 Chinchilla 法则的提出者）认为，要想做出最好吃的菜（最好的 AI 回答），关键在于厨师的级别（模型大小）和练习的时长（训练数据量）。

旧逻辑：如果你预算有限，你应该雇佣一个中等水平的厨师，给他适量的食材，让他刚好练到“不浪费”的程度。
Chinchilla 法则：模型大小和训练数据量应该保持一个完美的比例（比如 20 个数据点对应 1 个参数）。如果数据太少，厨师没练够；如果数据太多，就是浪费钱（过训练）。
问题：这个法则只考虑了“怎么练厨师”，完全没考虑“客人怎么点菜”。

2. 新发现：客人会“多点几道菜”（测试时扩展）

现在的实际情况是，当客人（用户）问一个很难的问题时，他们不会只让厨师做一次菜。他们会说：“这道菜我不太满意，再试一次，再试一次，直到做出我满意的为止。”

在 AI 领域，这叫测试时扩展（Test-Time Scaling）：让模型多生成几次答案，然后从中挑一个最好的。

新的矛盾：
- 大厨师（大模型）：做一次菜就很完美，但工资极高（计算成本高）。
- 小厨师（小模型）：工资便宜，但第一次做菜可能很难吃。
- 关键点：如果客人愿意让小厨师多做几次（比如做 100 次，挑最好的），小厨师最终端上来的菜，可能比大厨师只做一次还要好吃，而且总成本更低！

3. 论文的核心：T2 法则（从训练到测试的统筹）

这篇论文提出了一个新的法则，叫 T2 (Train-to-Test)。它不再把“训练”和“使用”分开看，而是把它们当成一个整体来优化。

它的核心建议是：

如果你知道客人愿意让厨师多做几次菜（有测试时的计算预算），你就应该雇佣一个更便宜的小厨师，但给他更多的练习时间（过训练），让他把基本功练得极其扎实。

用比喻来解释“过训练”（Overtraining）：

旧观念：厨师练了 20 个小时就停手，因为再多练就是浪费时间（边际效益递减）。
T2 观念：既然客人愿意让我做 100 次菜，那我就让这个小厨师练200 个小时！虽然他在单次做菜上可能还是不如大厨师，但因为练得太久，他的肌肉记忆极强。当他被要求做 100 次菜时，他总能从 100 次里挑出一个完美的。
结果：这种“小身材、大练功”的模型，在总预算（训练成本 + 多次尝试的成本）固定的情况下，表现远超那些“大身材、练得刚好”的模型。

4. 论文做了什么实验？

作者们就像一群疯狂的餐厅经理，他们做了以下事情：

建立模型：他们设计了两种数学公式，一种看“厨师的失误率”（Loss），一种看“客人最终满意率”（Pass@k，即尝试 k 次成功的概率）。
预测：公式告诉他们，最优解是训练那些极小但极度过训练的模型。
验证：他们真的去训练了这些“过训练”的小模型。
结果：
- 在 8 个不同的任务（比如做数学题、写代码、回答问题）上，这些“过训练”的小模型，配合“多试几次”的策略，完胜了传统的“大模型”策略。
- 即使经过后续的“微调”（比如让厨师专门学做川菜），这个规律依然有效。

5. 总结：这对我们意味着什么？

这篇论文告诉我们，未来的 AI 发展策略可能需要大转弯：

不要盲目追求“大”：如果你知道你的应用场景允许模型多思考几次（多生成几个答案），那么训练一个更小、但练得更久的模型，可能是更聪明、更省钱的选择。
重新定义“浪费”：以前认为练得太多是浪费，现在发现，为了配合“多试几次”的策略，练得越多越好。

一句话总结：
如果你打算让 AI 多试几次再给你答案，那就别花大价钱养个“天才大厨师”只让他做一次菜；不如花同样的钱，养一群“勤奋的小厨师”，让他们练到炉火纯青，然后让他们每人做 100 次，从中挑出最好的那个。这就是 T2 扩展法则 的智慧。

这是一份关于论文《Test-Time Scaling Makes Overtraining Compute-Optimal》（测试时扩展使过训练成为计算最优）的详细技术总结。

1. 研究背景与问题 (Problem)

现代大语言模型（LLM）的部署面临两个相互独立但本质上耦合的优化问题：

预训练扩展（Pretraining Scaling）： 传统法则（如 Chinchilla）指导如何在固定预算下分配模型参数量（ $N$ ）和训练令牌数（ $D$ ），以最小化训练损失。然而，这些法则假设模型仅进行单次推理（ $k=1$ ），未考虑部署时的推理成本。
测试时扩展（Test-Time Scaling）： 近期研究表明，通过重复采样（Repeated Sampling，即 $k$ 次尝试）可以显著提升小模型在特定任务上的表现（如 pass@k 指标）。但这通常被视为部署策略，未与预训练决策联动。

核心矛盾：
现有的扩展法则未能统一这两个阶段。Chinchilla 法则推荐 $N$ 和 $D$ 以相似比例增长（约 20 tokens/参数），但在实际部署中，为了降低单次查询成本，业界倾向于训练更小的模型并让其“过训练”（Overtrained，即 tokens/参数远大于 20）。
关键问题： 如果已知测试时的推理预算（即允许进行多次采样），预训练阶段的模型大小和训练数据量应该如何重新分配？现有的法则是否仍然适用？

2. 方法论 (Methodology)

作者提出了 Train-to-Test (T2) 扩展法则，旨在联合优化模型大小（ $N$ ）、训练令牌数（ $D$ ）和推理采样次数（ $k$ ），在包含训练和推理的总计算预算约束下最大化性能。

2.1 计算预算模型

训练预算 ( $C_{train}$ ): $C_{train} \approx 6ND$
推理预算 ( $C_{inf}$ ): $C_{inf} \approx 2Nk$ （假设单次前向传播成本为 $2N$ FLOPs）
约束条件： 在固定 $C_{train}$ 和 $C_{inf}$ 下，寻找最优的 $N, D, k$ 。

2.2 两种建模方法

为了回答预训练决策是否应随测试时预算改变，作者提出了两种互补的建模方法：

方法一：基于任务损失的参数化模型 (Approach 1: Loss-based)
- 将 Chinchilla 损失函数扩展，加入采样次数 $k$ 的幂律项。
- 定义目标：最小化负对数 pass@k 期望值。
- 公式： $\hat{L}(N, D, k) = E + \frac{A}{N^\alpha} + \frac{B}{D^\beta} + \frac{G}{k^\gamma}$
- 逻辑：假设任务难度分布符合 Beta 分布，推导出负对数 pass@k 随 $k$ 呈幂律下降。
方法二：基于任务准确率的参数化模型 (Approach 2: Accuracy-based)
- 直接对 pass@k 准确率进行建模，而非通过损失转换。
- 步骤：
  1. 利用 Chinchilla 损失 $\hat{L}(N, D)$ 预测单次通过率 $p$ （通过 Sigmoid 函数映射）。
  2. 假设单次通过率在不同问题上服从 Beta 分布 $Beta(a_{N,D}, b_{N,D})$ 。
  3. 利用 Beta 分布性质计算 $k$ 次采样后的期望 pass@k： $Acc(N, D, k) = 1 - \frac{B(a, b+k)}{B(a, b)}$ 。
- 逻辑：这种方法更直观地反映了“解决概率”，避免了从损失到准确率转换时的偏差。

2.3 推理成本校正

为了公平比较，作者固定了推理预算 $C_{inf}$ 。根据 $k = C_{inf} / (2N)$ ，较小的模型会被分配更多的采样次数 ( $k$ )，而较大的模型采样次数较少。将 $k$ 代入上述模型，即可得到考虑推理成本后的最优预训练配置。

3. 实验设置 (Experiments)

数据集与模型： 基于 Porian et al. (2024) 的 106 个检查点（5M - 901M 参数），并额外训练了 21 个过训练检查点（Tokens/参数比例远超 Chinchilla 推荐的 20:1）。
任务： 8 个下游任务，包括 4 个真实基准（LAMBADA, ARC-Easy, SciQ, OpenBookQA）和 4 个合成任务（知识回忆、多步算术、常识因果推理、空间推理）。
评估指标： 在固定 $C_{train}$ 和 $C_{inf}$ 下，比较 T2 预测的最优配置与标准 Chinchilla 配置的性能。
后训练验证： 在基础模型之上进行监督微调（SFT）和标准微调（FT），验证 T2 结论是否依然成立。

4. 关键结果 (Key Results)

RQ1: 预训练决策是否应随测试时预算改变？

结论：是。
发现： 当考虑推理预算（重复采样）时，T2 法则强烈建议显著过训练。
对比： 相比 Chinchilla 推荐的 20 tokens/参数，T2 推荐的最优模型更小且训练数据量极大（Tokens/参数比例极高）。
性能： 在固定推理预算下，T2 推荐的小而过训练的模型，配合多次采样，其性能单调提升且显著优于 Chinchilla 推荐的大模型（单次采样或较少采样）。

RQ2: T2 能否外推到过训练检查点？

结论：是。
验证： 作者训练了 T2 预测的“过训练区域”的模型。
结果： 实际训练的过训练模型在 8 个任务上均击败了 Chinchilla 最优配置（在相同计算预算下）。
误差： 方法一（基于损失）的外推相对误差为 2.8%，方法二（基于准确率）为 8.4%，证明模型具有良好的泛化能力。

RQ3: T2 扩展法则在后训练阶段是否依然有效？

结论：是。
发现： 经过 SFT 或 FT 后，最优配置依然偏向“小而过训练”的模型，尽管过训练模型微调难度稍大（性能提升幅度略小于基座模型，但趋势一致）。
意义： 证明了 T2 的优化策略不仅适用于基座模型，也适用于部署前的最终模型。

5. 主要贡献 (Contributions)

端到端扩展法则 (End-to-end Scaling)： 首次形式化地将预训练（ $N, D$ ）与测试时采样（ $k$ ）联合优化，打破了两者孤立研究的现状。
双重建模视角： 提出了基于损失（NLL）和基于准确率（pass@k）两种互补的建模方法，两者结论高度一致，增强了结果的鲁棒性。
验证过训练的有效性： 通过实证训练，证明了在考虑推理成本时，“小模型 + 过训练 + 重复采样” 是计算最优的策略，推翻了 Chinchilla 在部署场景下的适用性。
后训练鲁棒性： 证明了该扩展法则在监督微调后依然有效，为现代 LLM 的部署提供了理论依据。

6. 意义与启示 (Significance)

理论突破： 解决了预训练扩展法则与测试时扩展策略之间的脱节问题，提出了统一的优化框架。
实践指导： 对于拥有固定推理预算（如 API 调用成本限制）的应用场景，不应盲目追求大模型。相反，应训练更小的模型，投入更多资源进行预训练（过训练），并在推理时利用重复采样（如 Self-Consistency 或简单重试）来换取性能。
行业趋势解释： 解释了为何现代模型家族（如 Llama, Gemma, OLMo）倾向于训练远多于 Chinchilla 推荐量的 Token（即过训练），这并非浪费，而是为了在推理阶段通过采样获得更高的性价比。

总结： 该论文证明了在考虑测试时计算成本（重复采样）的情况下，过训练（Overtraining）不再是次优选择，而是计算最优（Compute-Optimal）的必然选择。这为未来大模型的训练和部署策略提供了新的蓝图。