🤖 AI

OckBench: Measuring the Efficiency of LLM Reasoning

本文介绍了 OckBench，这是首个旨在共同评估大语言模型在推理和编程任务中的准确性与 Token 效率的基准测试，揭示了当前模型中存在的显著低效问题，并倡导向优化 Token 使用量的范式转变。

原作者： Zheng Du, Hao Kang, Song Han, Tushar Krishna, Ligeng Zhu

发布于 2026-06-04

📖 1 分钟阅读☕ 轻松阅读

原作者： Zheng Du, Hao Kang, Song Han, Tushar Krishna, Ligeng Zhu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在雇佣两个人来解决一个复杂的谜题。

A 先生看了看谜题，思考了片刻，然后说：“答案是 42。”
B 先生花了三个小时写了一篇 50 页的长文，内容涵盖了数字的历史、逻辑哲学以及他们的童年回忆，最后才低声说道：“答案是 42。”

两人都得到了正确的答案。但如果你按他们说出的字数来付钱，B 先生会让你耗费巨资、浪费大量时间并消耗过多的精力。

这篇名为 OckBench 的论文本质上是一份成绩单，它不再仅仅根据 AI 模型是否得到了正确答案来评判它们，而是根据它们达到答案的效率来进行评判。它将“奥卡姆剃刀”定律应用于 AI：实体不应被过度增加（即：不要无谓地增加复杂度）。 换句话说，如果 10 个字就能讲清楚，就不要用 1000 个字。

以下是研究人员发现的详细内容，以简单易懂的方式进行了解释：

1. 问题所在：“话痨型”AI 税

目前的 AI 基准测试就像是一场选择题考试，只关心你是否在选项上涂对了字母。它们并不关心你在边角空白处是否写了一部小说才得出结论。

研究人员注意到，现代 AI 模型（如 GPT-5.5 或 Claude）在推理方面已经变得非常出色，但也变得极其冗长。为了解决问题，它们会生成大量的文本（即“推理轨迹”）。这是昂贵的。每一个多出来的词都会增加成本、延长等待时间并消耗更多电力。

2. 解决方案：OckBench 与 OckScore

为了修复这个盲点，团队创建了 OckBench。这是一套包含 200 个关于数学、编程和科学的难题的特定题库。

但诀窍在于：他们并没有随机挑选问题。他们使用了一种**“差异化过滤器”**。他们专门挑选那些有些 AI 会给出简短、聪明的回答，而另一些 AI 则会给出冗长、啰嗦回答的问题。这暴露了“效率差距”。

他们还发明了一个新的评分标准，叫做 OckScore。

旧方式： 分数 = 准确率。
OckScore： 分数 = 准确率减去因过于冗长而产生的惩罚。

这就像高尔夫球的计分方式。你希望分数越低越好（准确率越高），但如果你用了 20 次挥杆才把球打进洞（使用了太多 Token/字符），你的得分就会变差。顶尖选手通常只需一两次挥杆就能完成。

3. 三大核心发现

发现 1：“过度思考税”

你可能会认为，规模较小的、更便宜的 AI 模型总是对你的钱包更友好。OckBench 表明事实往往并非如此。

较小的模型经常遭受**“过度思考税”**的影响。因为它们不够聪明，所以试图通过“多说话”来弥补。它们会喋喋不休、重复自身，并生成巨大的文字墙来试图寻找答案。

例子： 一个小型模型的每个词可能只需极微小的成本，但因为它为了解决一个问题而写了 10 万个词，最终其成本反而比一个用 5000 个词就解决问题的更聪明模型还要高。

发现 2：开放与封闭的差距

“封闭式”模型（如来自 OpenAI 或 Anthropic 的模型）与“开放权重”模型（如 DeepSeek 或 Qwen，这些是向公众开放的）之间存在巨大差异。

封闭式模型： 它们就像高效的外科医生。它们直击问题的核心。
开放式模型： 它们就像热情的实习生。它们在获取正确答案方面进步很快，但仍然非常话痨。

研究表明，一个开放式模型的准确率可能与封闭式模型相同，但它为了达到这个结果可能会多使用 26 倍的词量。这是一个巨大的资源浪费。

发现 3：“每 Token 智能度”

研究人员提出了一个新术词：每 Token 智能度（Per-Token Intelligence）。它衡量的是 AI 生成的每个词中蕴含了多少“智慧”。

高每 Token 智能度： AI 只说必要的内容。密度高、精准、高效。
低每 Token 智能度： AI 用废话填充空间。稀疏、重复、低效。

令人惊讶的是，最聪明的模型往往拥有更高的每 Token 智能度。随着模型变得越来越聪明，它们的回答实际上会变得更短，因为它们不需要通过喋喋不休来寻找答案。

4. 我们能解决这个问题吗？

可以。论文表明，我们可以教导模型变得不那么话痨，同时又不降低它们的智力。

混合模型： 通过将“思考型”模型与标准模型进行混合，他们可以在保持准确率稳定的同时，将词数减半。
训练： 通过训练模型对自身的冗长行为进行自我惩罚（就像老师说，“请简洁一点！”），可以减少“过度思考税”。

总结

该论文认为，AI 领域需要改变思维方式。我们不应只问：“AI 是否得到了正确答案？”我们也必须问：“它在得到答案的过程中，是否没有浪费我们的时间、金钱和电力？”

在未来，最好的 AI 不仅要是最聪明的，更要是最简洁的。正如标题所暗示的，我们需要应用奥卡姆剃刀：不要增加不必要的 Token。

技术摘要：OckBench：衡量 LLM 推理效率

1. 问题陈述

尽管大语言模型（LLMs）在自动化推理和代码生成方面取得了显著进展，但目前的评估基准（如 HELM、Chatbot Arena）几乎完全侧重于输出的准确性和质量。这种方法忽略了一个关键维度：Token 效率。

随着模型越来越多地利用长推理链（例如思维链 CoT、Best-of-N）来解决复杂任务，生成的 Token 数量也大幅增加。这造成了“Token 效率瓶颈”，并带来了三个主要后果：

延迟与成本： 每一个生成的 Token 都会增加推理时间和 API 调用成本。
能源消耗： LLM 推理的能量消耗与输出长度强相关；大规模的长文本生成会累积显著的碳成本。
“过度思考”（Overthinking）现象： 模型（尤其是较小的或开源权重的模型）经常生成冗长的推理路径，而这些路径并不能提高准确率，从而实际上支付了“过度思考税”，使得尽管其单 Token 定价较低，但在实际服务时却更加昂贵。

本文认为，仅有正确性是不够的；一个通过“绕远路”（过度使用 Token）达到正确答案的模型，其智能程度低于一个能找到简洁路径的模型。

2. 方法论：OckBench 与 OckScore

为了解决缺乏关注效率的评估问题，作者引入了 OckBench，这是一个旨在共同评估准确性和 Token 消耗的基准测试。

2.1 基准组成

OckBench 涵盖了三个核心领域：

数学： 数据集包括 GSM8K、AIME 2024/2025、OlympiadBench、MATH500 以及 Humanity's Last Exam 的子集。
软件工程： MBPP 和 LiveCodeBench 的变体。
科学推理： ScienceQA、STEM MMLU 和 GPQA-Diamond。

2.2 差异化过滤器（Differentiation Filter）

标准的随机采样通常无法提供有效信息。OckBench 采用了差异化过滤器来选择能够暴露效率差距的问题：

难度分级（Difficulty Banding）： 对问题进行过滤，以确保在不同模型集上的平均准确率落在 0.1 到 0.9 之间（即“推理前沿”）。
最大化 Token 方差： 从剩余池中，根据 Token 消耗的方差 ( $Var(L_x)$ ) 选择前 $k$ 个实例。这确保了基准测试包含了一些某些模型推理简洁而另一些模型则在“胡言乱语”的问题，从而有效地分离出高效与低效的推理。
最终的 v1.0 版本由 200 个问题组成（100 个数学，60 个编程，40 个科学）。

2.3 评估协议

解码： 使用贪婪解码（温度 = 0）以消除采样噪声。
指标： 将 输出 Token 测量为在终止符（EOS）之前的完整生成响应（推理 + 最终答案）。
统一指标（OckScore）： 作者提出了 OckScore ( $S_{ock}$ ) 来平衡准确性和简洁性：
$S_{ock} = \text{Accuracy} - \lambda \cdot \log\left(\frac{T}{C} + 1\right)$
其中：
- $\text{Accuracy}$ 是通过率（0–100）。
- $T$ 是平均输出 Token 数。
- $\lambda$ 是惩罚系数（设定为 10）。
- $C$ 是归一化常数（设定为 10,000）。
该公式优先考虑正确性（准确率是基础），同时对冗余度施加对数惩罚。对数尺度可以适应 Token 使用量数量级的差异，而不会过度惩罚必要的复杂性。

3. 关键结果

作者评估了 37 个模型/设置条目，包括闭源模型（GPT-5.4/5.5, Claude Opus 4.5–4.7, Gemini 3/3.1）和开源权重模型（DeepSeek, Kimi, Qwen, GLM 等）。

3.1 效率差距

闭源模型 vs. 开源权重模型： 在准确率匹配的情况下，开源权重模型往往消耗更多的 Token。例如，DeepSeek-V4-Flash (max) 实现了 82.5% 的准确率，但使用了 83.6k 个 Token，而 GPT-5.4 (medium) 仅用 3.2k 个 Token 就达到了 82.0% 的准确率（差异达 26.3 倍）。
家族内部差异： 即使在同一个模型家族内，效率也存在巨大差异。Claude Opus 4.7 在保持几乎相同准确率（83.0% vs 84.5%）的情况下，将平均输出长度从 28.6k (Opus 4.6) 降低到了 7.5k Token。

3.2 “过度思考税”

较小的模型经常需要支付“过度思考税”。在 Qwen3.5 系列中，从 9B 扩展到 397B-A17B，准确率从 21.5% 提升到 67.5%，同时平均输出长度减少了 4.4 倍（从 116.2k 降至 26.2k Token）。相反，较小的 9B 模型生成了冗长且低产的推理，使其尽管参数量较少，部署成本却更高。

3.3 Token 分布

对 Token 分布的分析表明，前沿模型（如 GPT-5.5, Gemini 3.1 Pro）集中在数千个 Token 的低区间。相比之下，像 Kimi-K2.6 和 DeepSeek-V4 Pro 这样的模型表现出“重度高 Token 尾部”，即使在解决失败的问题时，也经常触及上下文窗口限制或生成过度的推理。

3.4 优化路径

论文证明了无需从头开始重新训练即可提高效率：

模型插值（Model Interpolation）： 将 Qwen3-Thinking 和 Qwen3-Instruct 的权重进行合并（比例为 6:4），在保留准确率的同时，将平均输出长度从约 27k 降低到约 12k Token，从而提升了 OckScore。
强化学习（RL）： 对 DeepSeek-R1-Distill-Qwen-7B 应用 DIET（一种难度感知的强化学习框架），使 Token 数从 41k 降至 23k，并将 OckScore 从 7.39 提升至 10.23。

4. 意义与主张

本文主张，单 Token 智能（Per-Token Intelligence）——即正确且简洁地解决复杂问题的能力——是一个关键的、此前被忽视的模型能力维度。

评估范式的转变： 作者主张从以准确率为中心的基准测试转向惩罚不必要冗余的指标。他们断言“Token 不应在必要之外被多次倍增”，以此援引了“奥卡姆剃刀”原则。
系统性影响： 通过强调较低的单 Token 成本并不保证更低的单任务成本（由于冗余），本文为开发者优化推理密度提供了路线图。
硬件无关性： OckBench 被设计为与硬件无关，专注于模型推理过程的内在效率，而非服务延迟或吞吐量。

最终，本文认为，未来的模型开发必须优化推理密度，而不只是最终的准确率，以确保在现实世界部署中的可扩展性和可持续性。