🤖 AI

Who Thinks Best Depends on How Long You Let Them: Budget-Dependent Rankings in LLM Evaluation

本文通过证明改变推理 Token 预算会显著改变模型的性能和排序，揭示了非单调行为、排名反转以及模型互补性，从而挑战了大型语言模型排名稳定的假设，并指出有必要建立以预算为条件的评估协议。

原作者： Rodrigo Guedes de Souza, Alison R. Panisson

发布于 2026-08-13

📖 1 分钟阅读☕ 轻松阅读

原作者： Rodrigo Guedes de Souza, Alison R. Panisson

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你置身于一座巨大的图书馆，书中的内容是由被称为“大语言模型”（LLM）的超级智能机器人编写的。这些机器人几乎可以阅读一切，并能回答关于数学、科学和历史的问题。长期以来，人们在挑选“最佳”机器人时，只是向它们提问，然后看谁先给出正确答案。他们假设如果 A 机器人在一次测试中比 B 机器人更好，那么无论在什么情况下，它都会更好。这就像是通过只看谁先冲过终点线来评判一场比赛，而不关心他们被允许跑多久。

但这里有一个转折：这些机器人并不只是瞬间完成“思考”。它们是一个词一个词地写出答案，就像一条长长的思维链。它们被允许写的词数越多，它们在给出答案前就能“思考”得越久。这种对能写多少词的限制被称为“Token 预算”（token budget）。把它想象成给学生不同的考试时间。有些学生可能需要很多时间来解决一个难题，而有些学生如果时间太多，可能会因为过度思考而陷入混乱。科学家们面临的大问题是：如果我们改变时间限制，“最佳”机器人是否依然是最佳？或者说，冠军是否会随着我们允许它们思考的时间长短而改变？这正是研究人员想要探究的。

“过度思考”问题：为什么时间并不总是越多越好

在这项研究中，研究人员设计了一个大规模实验，观察四种不同的 AI 模型在三项棘手的测试中的表现：小学数学、竞赛级数学以及研究生水平的科学问题。他们不仅让模型运行，还强制要求它们在特定的“思考”量（以 Token 衡量）后停止。他们测试了七种不同的限制，范围从极小的 64 个 Token（思考时间非常短）到巨大的 4,096 个 Token（大量的思考时间）。

他们的发现证明了“单一最佳模型”的概念是一个神话。模型的排名会完全取决于它们被给予了多少时间，排名会随之发生翻转和变化。

“过度思考”的惊喜
你可能会认为，给机器人更多的时间去思考总会有助于它得到正确答案。但研究人员发现了一些奇怪的现象：有时，给模型更多的 Token 实际上会让它得到错误的答案。他们称之为“过度思考”（overthinking）。

想象一个学生已经知道了一个数学题的答案。如果你给他 10 分钟，他能正确写下答案。但如果你给他 30 分钟，他可能会开始怀疑自己，改变答案，最后反而得到了错误的结果。研究发现，这种情况发生在约 3% 到 19% 的问题中。更糟糕的是，这并不是题目本身的问题，而是针对每个特定机器人的。一个让某个模型“过度思考”并导致失败的问题，对于另一个模型来说可能完全没问题。这就像一个人如果准备演讲的时间太长可能会感到紧张，而另一个人则能在充足的准备时间中表现出色。

伟大的排名大洗牌
正因如此，这场“比赛”的赢家一直在变化。

在较简单的数学测试（GSM8K）中，当给予中等时间（256 个 Token）时，一个大型模型（LLaMA-3.3 70B）成为了冠军。但一旦他们给予模型更多时间（高达 4,096 个 Token），一个较小的模型（GPT-OSS 20B）便夺得了领先地位并保持至今。
在最难的科学测试（GPQA）中，最小的模型（LLaMA-3 8B）在时间紧迫时（256–512 个 Token）实际上表现最好。但随着时间的增加，较大的模型赶了上来，并最终与它并列第一。

这意味着，如果你今天看到一个排行榜说“模型 X 是最好的”，那么这句话仅在特定的时间限制下才是成立的。如果你改变时间限制，模型 X 可能会突然变成表现最差的一个。

“先知”差距：为什么我们需要智能开关
研究人员还问道：“如果我们能神奇地为每一个问题挑选出最完美的模型，我们的表现会有多好？”他们构建了一个理论上的“先知”（Oracle，即完美选择器），它能为每个特定的问题和时间限制选择最佳模型。

结果令人震惊。在困难的科学测试中，这个完美的选择器能比单个运行的最佳模型多获得 27.8 个百分点 的正确率。即使是在较简单的数学测试中，差距也非常显著（高达 16.9 个百分点）。这证明了没有任何一个机器人是全能的。有时小机器人是最好的，有时大机器人是最好的，有时它们全都错了。

我们能构建智能开关吗？
团队尝试构建了一个“路由器”（router）——一个智能系统，它观察一个问题和时间限制，然后决定由哪个机器人来回答。

在同类测试内部： 当他们在数学问题上训练路由器并在数学问题上进行测试时，效果非常好。利用“时间限制”作为线索有助于它选择正确的机器人，将准确率提高了 1.6 到 5.7 个百分点。
跨不同测试： 但当他们试图使用同一个路由器从数学切换到科学问题时，它就糊涂了。用于数学的“时间限制”线索在科学领域并不奏效。事实上，在跨领域切换时，使用这些线索反而让路由器的表现下降了 1.2 个百分点。这表明，关于“你拥有多少时间”与“得到正确答案”之间的关系，在不同的学科中是不同的。

总结

这篇论文传达的核心教训简单而有力：不存在单一的“最佳”AI 模型。 关于“哪个模型最好？”的答案完全取决于“你让它们思考多久”。

如果你正在为只能给 AI 极短时间的手机开发 App，一个小巧、快速的模型可能是你的冠军。如果你正在运行一个可以给 AI 数小时思考时间的服务器，那么一个不同的、更大的模型可能会胜出。过去那种通过选出一个赢家来涵盖所有人的排名方式已经失效了。相反，我们需要说：“模型 A 最擅长短回答，模型 B 最擅长长回答，而且有时候，如果你给它们太多的时间，它们反而可能会搞砸。”

研究人员建议，在未来，我们不应再追求一个单一的分数，而应该开始报告模型在不同时间限制下的表现。如果我们想要有效地使用这些模型，我们需要智能系统，能够知道何时该调用那个敏捷的小思考者，何时该调用那个庞大的慢思考者——因为随着时钟的滴答声，赢家随时都在改变。

技术摘要：LLM 评估中的预算依赖型排名

问题陈述

标准的语言大模型（LLM）评估假设模型的排名是稳定且不受推理时条件影响的。具体而言，它假定一个在基准测试（如 GSM8K、GPQA）中被宣布为“最先进”的模型，无论其生成的 Token 预算（即允许模型在截断前产生的最大 Token 数）如何，都能保持其优越性。

本文对这一假设提出了挑战。它认为评估格局从根本上是依赖于预算的。近期关于测试时计算量缩放（test-time compute scaling）的文献表明，增加 Token 配额可以提高性能，而“过度思考”（overthinking）相关文献则指出，额外的 Token 可能会降低准确率。然而，这些效应在不同模型和任务之间的相互作用尚未得到量化。核心问题在于：模型排名、题目难度和模型互补性是静态属性，还是作为 Token 预算的函数而变化的？

方法论

作者进行了一项系统性调查，涉及四种开源推理模型和三个推理基准测试，涵盖了七个不同的 Token 预算水平。

模型： 四种参数规模跨越一个数量级的模型：LLaMA-3 8B、Qwen-3 32B、LLaMA-3.3 70B 和 GPT-OSS 20B。
基准测试： 三个难度递增的数据集：
- GSM8K（1,319 道小学数学题）。
- MATH-500（500 道竞赛级数学题）。
- GPQA-Diamond（198 道研究生级科学问题）。
Token 预算： 七个等级，范围从 64 到 4,096 个 Token（ $b \in \{64, 128, 256, 512, 1024, 2048, 4096\}$ ）。
实验设置： 总共生成了 56,476 次独立推理，温度设定为 $T=0$ 以保证确定性。
评估协议：
- 截断处理： 研究采用了三层分析法，以区分真正的推理失败与截断伪影：
  1. 所有项目： 标准评分，将截断的输出标记为错误。
  2. 仅限停止（Stop-only）： 仅分析特定模型完成生成的题目。
  3. 共同非截断（Common non-truncated）： 仅限于所有四个模型都完成生成的题目，从而实现配对比较。
- 指标： 二元正确性（精确匹配）、用于排名显著性检验的 McNemar 检验、用于衡量模型一致性的 Jaccard 相似度，以及 Oracle 差距分析（即单项 Oracle 集成模型与表现最好的单个模型之间的差异）。

核心贡献与发现

1. 题目级行为分类学

作者将模型的题目轨迹分为四类：始终正确、单调递增、非单调 和 始终错误。

非单调行为： 与“更多 Token 总是有利”的假设相反，3.6–25.8% 的题目表现出非单调行为（即随着预算增加，准确率反而下降），这代表了“过度思考”。
模型特异性： 这种现象在很大程度上是模型特有的。非单调题目的跨模型重叠度很低（6–14%），这意味着一个触发某个模型过度思考的题目，很少会引发另一个模型的过度思考。这表明，“有问题”的题目无法通过简单地从基准测试中剔除来解决。
验证： 即使在过滤掉截断伪影后（使用 Stop-only 轨迹），非单调率依然显著（例如，LLaMA-3 8B 在 GPQA 上的非单调率为 19.1%），这证实了过度思考是一种真实的推理失败。

2. 具有统计显著性的排名逆转

模型排名并不稳定；“最佳”模型会根据预算而改变。

GSM8K： LLaMA-3.3 70B 在 $b=256$ 时领先（62.4%），但 GPT-OSS 20B 在 $b=512$ 时超越了它，并在 $b=4096$ 时保持显著领先（94.9% vs 91.7%）。
GPQA： 最小的模型（LLaMA-3 8B）在低预算（ $b=256, 512$ ）时排名第一，随后在 $b=1024$ 时被 LLaMA-3.3 70B 超越，并最终在 $b=4096$ 时与 GPT-OSS 20B 持平。
显著性： 这些逆转在所有基准测试中均具有统计显著性（通过 McNemar 检验得出 $p < 0.01$ ），即使在控制了共同非截断集的截断影响后也是如此。

3. Oracle 差距动态

一个 Oracle 集成模型（针对每个题目选择正确的模型）揭示了通过模型选择进行改进的巨大潜力。

幅度： Oracle 差距（Oracle 准确率减去表现最好的单个模型准确率）范围在 +3.5 pp 到 +27.8 pp 之间。
预算依赖性：
- 在 GSM8K 上，差距呈现非单调性，在 $b=256$ 时达到峰值（+16.9 pp），因为各模型解决的题目不同，随后随着它们在高预算下趋向于解决较简单的题目，差距开始下降。
- 在更难的基准测试（MATH-500, GPQA）上，差距呈单调增长，在 $b=4096$ 时分别达到 +12.8 pp 和 +27.8 pp。
互补性： 即使在高预算下，模型解决的题目子集仍有显著差异（ $b=4096$ 时的 Jaccard 相似度 $\approx 0.74$ ），这表明存在持续的互补性。

4. 预算感知路由的概念验证

作者训练了 XGBoost 分类器，根据文本特征和 Token 预算将题目路由到最佳模型。

跨领域性能： 在 GSM8K+MATH-500 上训练并在 GPQA 上测试时，该路由器的表现比“基于预算的最佳模型（Best-Per-Budget）”基准线高出 +2.67 pp，捕捉到了 Oracle 差距的 14.1%。
特征重要性： SHAP 分析显示，Token 预算是主导特征（其重要性是 LaTeX 等文本特征的 6.1 倍）。
领域特异性： 虽然预算特征能提升特定领域内的性能（+1.6 到 +5.7 pp），但会损害跨领域迁移性能（−1.2 pp）。这表明，预算与准确率之间的关系是领域特定的，无法直接从数学领域泛化到科学领域。

意义与启示

本文认为，“哪个模型最好？”这个问题没有单一答案，它取决于 Token 生成的预算。作者提出了三项可操作的启示：

评估协议： 基准测试应采用基于预算条件的评估，报告多个预算水平下的排名，而非仅仅是一个静态分数。这对于受限部署场景（如移动端、边缘计算）至关重要，因为在这些场景下，慷慨的预算是不可行的。
路由系统： 模型选择和路由系统必须将 Token 预算视为一等公民信号。然而，由于“预算-准确率”映射具有领域特异性，路由系统应结合预算信号与领域无关的特征或适配技术。
集成机会： 文中所记录的显著 Oracle 差距代表了利用模型互补性进行集成和路由方法的具体机会，这可能比单模型部署带来显著的性能提升。

研究结论指出，LLM 的评估格局在根本上是依赖于预算的，模型的排名、题目难度以及互补性都会随推理时的 Token 限制而变化。