🤖 AI

Token Arena: A Continuous Benchmark Unifying Energy and Cognition in AI Inference

TokenArena 引入了一个连续基准测试，在五个核心维度上对 AI 推理进行细粒度端点级评估，综合性能、成本和能耗指标，揭示出传统模型级基准测试所忽视的准确性、延迟和效率方面的显著差异。

原作者： Yuxuan Gao, Megan Wang, Yi Ling Yu

发布于 2026-05-04

📖 1 分钟阅读☕ 轻松阅读

原作者： Yuxuan Gao, Megan Wang, Yi Ling Yu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你正在买车。目前，你读到的汽车评测只告诉你车型名称（例如"2026 款超级轿车”）和品牌（例如“福特”）。它们告诉你引擎很强劲，网站上列出了价格。

但在现实世界中，买车不仅仅关乎车型名称。它关乎具体的经销商、具体的配置等级、当地天气以及你使用的确切燃料混合比。从一条阴暗后巷的 shady 经销商那里买到的“超级轿车”，可能引擎生锈、油耗差、GPS 损坏；而来自认证经销商的完全相同车型却运行完美。

Token Arena 是一个全新的 AI“消费者报告”，但它测试的不是汽车，而是AI 端点。

以下是用简单术语解释的论文，辅以类比使其清晰明了。

1. 问题：“车型名称”的谎言

现在，如果你问"Llama 3.3 有多好？”或"GPT-4 有多快？”，你会得到一个单一的答案。论文认为，这就像说“所有 2026 款超级轿车每加仑都能行驶 30 英里”。这是错误的。

在 AI 世界中，相同的模型名称可以由数十家不同的公司（提供商）使用不同的硬件设置来提供服务。

类比：想象两个人都在卖“新鲜面包”。一个人从高端烤箱里刚出炉地卖（高质量，高价格）。另一个人从一台运行了 10 年的微波炉里卖（较低质量，低价格）。如果你只看“面包”这个标签，你就无法区分它们。
现实：论文发现，对于完全相同的 AI 模型，不同的提供商之间的速度可能相差12 倍，或者能效可能相差6 倍。有些提供商为了省钱进行了过度的“量化”（压缩），导致它们在数学和编程上的错误率比原始版本更高。

2. 解决方案：测量“端点”

Token Arena 改变了测量单位。它不再对模型进行排名，而是对端点进行排名。

类比：他们不再对“丰田”进行排名，而是对“芝加哥特定经销商出售的、安装了 V6 发动机和特定轮胎的那辆丰田”进行排名。
什么是端点？ 它是以下要素的具体组合：谁在销售？什么模型？什么具体版本（Turbo 版还是标准版）？服务器位于何处？

3. 三大分数（“头条新闻”）

Token Arena 不只给出一个分数；它为你提供三个主要数字来帮助你做决定，就像汽车评测给你油耗、价格和安全评级一样。

每个正确答案的焦耳数（能源账单）：
- 类比：让 AI 正确解决问题需要消耗多少电力？
- 为什么重要：有些 AI 端点非常浪费。它们可能比竞争对手多消耗 6 倍的能源才能获得同样的正确答案。随着世界电力日益短缺，这正成为一笔巨大的成本。
每个正确答案的美元数（钱包账单）：
- 类比：为了得到一个正确答案，你需要花多少钱？
- 为什么重要：便宜的 AI 可能太慢或错误太多，导致你必须问它 10 次才能得到一次正确答案。Token Arena 计算的是实际成本，而不仅仅是网站上列出的“每 token 价格”。
端点保真度（“它是真品吗？”测试）：
- 类比：想象你买了一双“耐克”鞋。它是真正的耐克，还是看起来相似但容易散架的仿冒品？
- 为什么重要：有些提供商为了省钱，将强大的模型重度压缩，然后作为“原版”出售而不告诉你。Token Arena 拥有一个“指纹扫描仪”，可以监听 AI 的输出。如果 AI 的“声音”与原始创建者的版本略有不同，它就会将其标记为“漂移”或“量化”。

4. “工作负载”的转折：一种尺寸并不适合所有情况

论文表明，"最佳"AI 完全取决于你在做什么。

类比：一级方程式赛车最适合比赛，但送孩子去足球训练则糟糕透顶。小型货车很适合送孩子去足球训练，但用来比赛则糟糕透顶。
发现：
- 如果你在进行聊天（短问题，短回答），快速且便宜的模型胜出。
- 如果你在进行推理（复杂数学，长思考），昂贵且高质量的模型胜出，因为它们能第一次就给出正确答案。
- 如果你在进行RAG（阅读海量文档），在“读取”（输入）成本上便宜的模型胜出。
- 令人震惊的是：论文发现，“聊天”的前 10 名榜单与“推理”的前 10 名榜单几乎完全不同。如果你根据通用的“最佳 AI"榜单选择 AI，你可能会为你的工作挑选错误的工具。

5. 他们是如何做到的（“持续基准测试”）

Token Arena 不是一次性测试。这是一场实时的、持续的比赛。

类比：与其让汽车杂志在车库里测试一次汽车，不如让 Token Arena 的机器人 24/7 在真实道路上驾驶这些 AI 汽车。
过程：
- 他们每天向 78 个不同的 AI 端点发送数千个测试问题（探针）。
- 他们测量速度、成本、能源使用和准确性。
- 他们通过将其答案与原始创建者的答案进行比较，检查 AI 是否在“撒谎”关于其质量。
- 他们每晚更新排行榜。

6. 主要结论

论文得出结论：仅凭“模型名称”已经不够了。
如果你是一家试图构建 AI 应用程序的企业或开发者，你不能只说“我们将使用 Llama 3"。你必须问：“哪个提供商？哪个具体版本？用于什么具体任务？”

Token Arena 提供了一张地图，帮助你在这个混乱的格局中导航，向你展示：

差异巨大：同一模型的表现可能因销售者的不同而天差地别。
能源至关重要：有些端点是巨大的能源浪费者。
情境至关重要：无论你是聊天、编程还是推理，“最佳”AI 都会随之改变。

简而言之：Token Arena 是一个工具，它能阻止你仅仅因为盒子上有个花哨的名字就买下一个“柠檬”AI。它会打开引擎盖，查看它消耗多少能源，获得一个正确答案的实际成本是多少，以及它是否真的是真品。

以下是论文《Token Arena：统一 AI 推理中能耗与认知的连续基准测试》的详细技术总结。

1. 问题陈述

该论文指出了当前大语言模型（LLM）评估领域的一个关键缺口。虽然公开基准测试在模型或提供商层面比较模型，但现实世界的部署决策是在端点（endpoint）层面做出的。端点被定义为特定的元组 (提供商, 模型, SKU, 精度, 解码策略, 区域)。

作者认为，当前的排行榜存在三个结构性不透明问题：

端点身份：由不同提供商提供或在不同 SKU 下（例如 FP8 与 BF16，Turbo 与 Reference）服务的相同模型名称（例如 Llama 3.3 70B），在行为、速度和质量方面表现出显著且通常未公开的差异。在提供商层面进行聚合掩盖了这些差异。
工作负载身份：标准定价基准通常假设静态的 3:1 输入输出比（典型于聊天场景）。然而，生产工作负载变化巨大（例如 RAG 为 20:1，推理为 1:5）。3:1 的定价模型无法反映多样化生产任务的真实成本。
可靠性与能耗不可见性：现有指标侧重于中位数吞吐量或正常运行时间，忽略了影响生产的延迟“长尾”。此外，尽管能耗已成为行业的约束性瓶颈，但没有任何主要公开排行榜追踪每个正确答案的能耗成本。

2. 方法论：Token Arena 框架

Token Arena 引入了一个连续的、端点级别的基准测试框架，统一了能耗与认知。

A. 分析单元：端点

该框架将端点（而非模型）作为主要分析单元。它测量了 12 个模型家族和 33 个提供商的 78 个不同端点。

B. 核心指标与综合得分

该框架将五个核心维度综合为三个头条综合指标：

五个核心因素：
- 输出速度 ( $S$ )：每秒令牌数（流式）。
- 首令牌时间 ( $T$ )：延迟（P50, P95, P99），包括推理模型的首个可见令牌时间。
- 混合价格 ( $P_\pi$ )：基于可配置输入输出比（例如 RAG 为 20:1）的工作负载感知定价。
- 有效上下文：在长上下文检索任务中保持 $\ge$ 90% 准确性的最大上下文长度。
- 质量 ( $Q$ )：直接在端点上运行的一系列基准测试（MMLU-Pro, AIME 2025, HumanEval+ 等）的表现。
- 端点保真度 ( $R$ )：衡量输出分布与第一方参考的相似性，以检测静默量化或权重替换。
头条综合指标：
该框架计算两个主要效率指标和一个保真度指标：
- 每个正确答案的焦耳数 (JCA)： $JCA = \frac{j_e \cdot T_e}{A_e}$ （每个成功任务的能耗成本）。
- 每个正确答案的美元数 (CCA)： $CCA = \frac{p_e \cdot T_e}{A_e}$ （每个成功任务的货币成本）。
- 端点保真度：基于端点输出分布与高保真参考之间对称 KL 散度的得分。
能耗建模：
由于无法直接计量，能耗利用公开数据进行建模：热设计功耗 (TDP)、利用率、电源使用效率 (PUE) 以及区域电网强度 (ElectricityMaps)。该模型在假设上偏向更高的能耗消耗，以提供方差保守的下限。

C. 数据管道

探测：连续、地理分布的探测点（美国东部、欧洲中部、亚太），测量延迟、吞吐量和错误率。
评估：每日和每周对不受污染评估套件（例如 AIME 2025, LiveCodeBench）在所有端点上的运行。
指纹识别：将输出分布与“第一方”参考进行比较，以检测未公开的量化（例如 FP8 与 BF16）。

3. 主要贡献

测量框架：一种新颖的方法论，将端点定义为分析单元，头条指标侧重于效率（每个正确答案的焦耳数/美元数），而非原始吞吐量。
连续数据平面：一个覆盖 78 个端点的实时系统，具有轮换的评估分割以防止污染，以及用于检测静默模型漂移的指纹识别功能。
实证分析：
- 端点分歧：证明同一模型在不同端点上，在 AIME 2025 上的准确率差异可达12.5 分，能耗效率差异达6.2 倍。
- 指纹检测：通过输出分布差异（99.5% 保真度阈值）成功识别未公开的量化（FP8 Turbo SKU），即在用户明显察觉质量下降之前。
- 工作负载感知重排序：表明改变输入输出比（例如从聊天 3:1 变为 RAG 20:1）会完全重塑排行榜，前 10 名列表的重叠率仅为 30–40%。
开源发布：在 CC BY 4.0 协议下，完整发布架构、探测/评估工具、能耗模型以及 v1.0 排行榜快照。

4. 关键结果

端点层面的差异：对于 gpt-oss-120B 模型在 19 个端点上的表现：
- 吞吐量：差异达12 倍。
- 价格：差异达3.3 倍。
- 准确率 (AIME 2025)：差异达9.5 分（41.5% 至 51.0%）。
- 能耗效率：每个正确答案的焦耳数差异达6.2 倍。
量化检测：FP8/Turbo SKU 的保真度相比 BF16 参考下降至约 92%，与数学/代码基准测试中5–9 分的下降相关，即使标准“冒烟测试”基准（如 MMLU）未显示差距。
工作负载敏感性：
- 聊天 (3:1)：有利于快速、廉价的开源权重模型。
- 推理 (1:5)：提升前沿闭源模型（例如 Claude Opus, GPT-5.5）的地位，因为当计算“每个正确答案的成本”时，其高准确率抵消了高昂的令牌成本。
- RAG (20:1)：有利于具有激进输入定价的提供商（例如 DeepSeek，折扣无服务器提供商）。
稳定性：敏感性分析显示，顶级排名对权重扰动（ $\pm$ 10%）具有鲁棒性，每个预设的领导者保持不变。

5. 意义

Token Arena 将 AI 评估的范式从“这个模型是否解决了基准测试？”转变为“这个特定端点针对特定工作负载，将能量和金钱转化为正确答案的效率如何？”

对于从业者：它提供了一种数据驱动的方法，根据实际生产约束（延迟长尾、能耗成本和特定工作负载比率）而非营销声明来选择推理提供商。
对于行业：它突出了 AI 中的“能耗瓶颈”，提供了首个量化智能能耗成本的公开框架。
对于透明度：它揭露了未公开量化和模型替换等“静默”做法，迫使提供商更透明地披露 SKU 差异。

该论文得出结论，随着 AI 推理成为主导成本驱动因素，能耗成为约束性瓶颈，评估必须进化为端点级别、工作负载感知且包含能耗的评估。Token Arena 提供了实现这一目标的方法论和基础设施。