Token Arena: A Continuous Benchmark Unifying Energy and Cognition in AI Inference

以下は、論文「Token Arena: A Continuous Benchmark Unifying Energy and Cognition in AI Inference」の詳細な技術的サマリーです。

1. 問題提起

本論文は、大規模言語モデル（LLM）評価の現状において重要なギャップを特定しています。公的なベンチマークはモデルレベルまたはプロバイダーレベルでモデルを比較する一方で、現実世界の導入決定はエンドポイントレベルで行われます。エンドポイントとは、(プロバイダー、モデル、SKU、精度、デコーディング戦略、リージョン)という特定のタプルとして定義されます。

著者らは、現在のリーダーボードが以下の 3 つの構造的な不透明さに苦しんでいると主張しています。

1. エンドポイントの同一性: 異なるプロバイダーが提供する、または異なる SKU（例: FP8 対 BF16、Turbo 対 Reference）で提供される同じモデル名（例: Llama 3.3 70B）であっても、動作、速度、品質において大きく、かつしばしば開示されないばらつきを示します。プロバイダーレベルで集約すると、これらの差異が隠蔽されてしまいます。
2. ワークロードの同一性: 標準的な価格ベンチマークは、チャットに典型的な静的な 3:1 の入力対出力比を想定することが多いです。しかし、本番環境のワークロードは多様です（例: RAG は 20:1、推論は 1:5）。3:1 の価格モデルは、多様な本番タスクの真のコストを反映できません。
3. 信頼性とエネルギーの不可視性: 既存の指標は、生産性に影響を与える「ロングテール」のレイテンシを無視し、中央値のスループットや稼働率に焦点を当てています。さらに、エネルギーが業界にとっての制約条件となっているにもかかわらず、正解あたりのエネルギーコストを追跡する主要な公的リーダーボードは存在しません。

2. 手法：Token Arena フレームワーク

Token Arena は、エネルギーと認知を統合する、継続的かつエンドポイントレベルのベンチマークフレームワークを導入します。

A. 分析単位：エンドポイント

このフレームワークは、モデルではなくエンドポイントを主要な分析単位として扱います。12 のモデルファミリーと 33 のプロバイダーにわたる 78 の異なるエンドポイントを測定します。

B. 主要指標と合成スコア

このフレームワークは、5 つの主要な軸を 3 つの主要な合成指標に統合します。

1. 5 つの主要要因:

   • 出力速度 ($S$): トークン/秒（ストリーミング）。
   • 最初のトークンまでの時間 ($T$): レイテンシ（P50、P95、P99）。推論モデルには最初の表示トークンまでの時間を含みます。
   • ブレンド価格 ($P_\pi$): 設定可能な入力：出力比（例: RAG の場合 20:1）に基づいたワークロードを考慮した価格。
   • 有効コンテキスト: 長文脈検索タスクで $\ge$90% の精度を維持する最大コンテキスト長。
   • 品質 ($Q$): エンドポイントに対して直接実行されるライブベンチマークスイート（MMLU-Pro、AIME 2025、HumanEval+ など）でのパフォーマンス。
   • エンドポイント忠実度 ($R$): 静かな量子化や重みの置換を検出するための、出力分布とファーストパーティ参照との類似度の尺度。

2. 主要合成指標:
   フレームワークは、2 つの主要な効率指標と 1 つの忠実度指標を計算します。

   • 正解あたりのジュール数 (JCA): $JCA = \frac{j_e \cdot T_e}{A_e}$（成功したタスクあたりのエネルギーコスト）。
   • 正解あたりのドル数 (CCA): $CCA = \frac{p_e \cdot T_e}{A_e}$（成功したタスクあたりの金銭的コスト）。
   • エンドポイント忠実度: エンドポイントの出力分布と高忠実度参照との間の対称化 KL 発散に基づくスコア。

3. エネルギーモデリング:
   直接計測が不可能なため、エネルギーは公開データを用いてモデル化されます：熱設計電力（TDP）、利用率、電力使用効率（PUE）、および地域ごとのグリッド強度（ElectricityMaps）。このモデルは、分散の保守的な下限を提供するために、より高いエネルギー消費を仮定するバイアスをかけています。

C. データパイプライン

• プロービング: レイテンシ、スループット、エラー率を測定するための、継続的かつ地理的に分散したプローブ（US-East、EU-Central、APAC）。
• 評価: 汚染されていない評価スイート（例: AIME 2025、LiveCodeBench）をすべてのエンドポイントに対して毎日および週に一度実行。
• フィンガープリンティング: 開示されていない量子化（例: FP8 対 BF16）を検出するため、出力分布を「ファーストパーティ」参照と比較。

3. 主な貢献

1. 測定フレームワーク: エンドポイントを分析単位として定義し、生スループットではなく効率（正解あたりのジュール/ドル）に焦点を当てた主要指標を備えた、画期的な手法。
2. 継続的データプレーン: 汚染を防ぐためのローテートする評価スプリットと、静かなモデルドリフトを検出するためのフィンガープリンティングを備え、78 のエンドポイントをカバーするライブシステム。
3. 実証分析:
   • エンドポイントの乖離: 異なるエンドポイント上の同一モデルが、AIME 2025 において12.5 ポイントの精度差、およびエネルギー効率において6.2 倍の差を示すことを実証。
   • フィンガープリント検出: 品質低下がユーザーに明白になる前に、出力分布の乖離（99.5% の忠実度閾値）を介して、開示されていない量子化（FP8 Turbo SKU）を正常に特定。
   • ワークロードを考慮した再ランキング: 入力：出力比の変更（例: チャットの 3:1 から RAG の 20:1 へ）によりリーダーボードが完全に再編成され、トップ 10 リストの重複は 30–40% しかなくなることを示す。
4. オープンリリース: スキーマ、プローブ/評価ハーネス、エネルギーモデル、および CC BY 4.0 の下での v1.0 リーダーボードスナップショットの完全リリース。

4. 主要な結果

• エンドポイントレベルでのばらつき: 19 のエンドポイントにわたるモデル gpt-oss-120B において:
  • スループット: 12 倍のばらつき。
  • 価格: 3.3 倍のばらつき。
  • 精度 (AIME 2025): 9.5 ポイントのばらつき（41.5% から 51.0%）。
  • エネルギー効率: 正解あたりのジュール数で6.2 倍のばらつき。
• 量子化の検出: FP8/Turbo SKU は BF16 参照と比較して忠実度が約 92% まで低下し、標準的な「スモークテスト」ベンチマーク（MMLU など）でギャップが見られなかった場合でも、数学/コードベンチマークで5–9 ポイントの低下と相関していた。
• ワークロード感受性:
  • チャット (3:1): 高速で安価なオープンウェイトモデルを有利にする。
  • 推論 (1:5): 高コストのトークンコストを高い精度が上回るため、「正解あたりのコスト」を計算する際に、最先端のクローズドモデル（例: Claude Opus、GPT-5.5）を優位にする。
  • RAG (20:1): 積極的な入力価格設定を持つプロバイダー（例: DeepSeek、割引サーバーレスプロバイダー）を有利にする。
• 安定性: 感度分析により、上位ランキングは重みの摂動（$\pm$10%）に対して頑健であり、各プリセットのリーダーは不変であることが示された。

5. 意義

Token Arena は、AI 評価のパラダイムを「このモデルはベンチマークを解決するか？」から「この特定のエンドポイントは、特定のワークロードに対してエネルギーと金をどの程度効率的に正解に変換するか？」へとシフトさせます。

• 実務家にとって: マーケティング上の主張ではなく、実際の生産環境の制約（レイテンシのテール、エネルギーコスト、特定のワークロード比）に基づいて推論プロバイダーを選択するためのデータ駆動型の手法を提供します。
• 業界にとって: AI における「エネルギーのボトルネック」を浮き彫りにし、知性のエネルギーコストを定量化する最初の公的フレームワークを提供します。
• 透明性にとって: 開示されていない量子化やモデル置換などの「静かな」慣行を暴露し、プロバイダーに対して SKU の差異についてより透明性を高めるよう強制します。

本論文は、AI 推論が主要なコスト要因となり、エネルギーが制約条件となるにつれて、評価はエンドポイントレベルで、ワークロードを考慮し、エネルギーを含んだものに進化する必要があると結論付けています。Token Arena は、これを達成するための手法とインフラを提供します。