🤖 machine learning

WattGPU: Predicting Inference Power and Latency on Unseen GPUs and LLMs

WattGPUは、公開されているメタデータのみを使用して、未知のGPUおよびLLMにおける電力消費量と推論レイテンシを正確に予測する新しいフレームワークを導入しており、ハードウェアのプロファイリングを必要とせずに、従来の物理的なベースラインを大幅に上回る性能を実現しています。

原著者： Mauricio Fadel Argerich, Jonathan Fürst, Marta Patiño-Martínez

公開日 2026-07-03

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Mauricio Fadel Argerich, Jonathan Fürst, Marta Patiño-Martínez

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

あなたは、ロードトリップのためにレンタカーを借りようとしていると想像してください。しかし、自分の荷物の量やルートに対して、どの車が最も燃費が良いのか分かりません。通常、それを知るためには、市場にあるすべての車を、全く同じ荷物を積んで実際に走行させ、ガソリンを計測し、所要時間を計らなければなりません。それは膨大な時間がかかり、多額の費用を要します。

この論文は、コンピューターチップ（GPU）とAIモデル（LLM）のための「水晶玉」であるWattGPUを紹介するものです。すべての車を実際に運転する代わりに、WattGPUは、スペックシートを見るだけで、特定のAIモデルがどれだけのエネルギーを消費し、特定のコンピューターチップ上でどれくらいの速さで動作するかを正確に予測します。

以下に、その仕組みを簡単な比喩を用いて解説します。

問題点：「推測ゲーム」

大企業も中小企業も、AIチャットボットをますます活用するようになっています。これらのチャットボットを動かすには、強力なコンピューターチップ（GPU）が必要です。

問題点: すべてのチップが均一というわけではありません。巨大で強力なチップで小さなAIモデルを動かすことは、セミトレーラーに自転車のタイヤを履かせるようなものであり、膨大な量の燃料（電気）を無駄にします。
従来の方法: 最適な組み合わせを見つけるために、オペレーターはあらゆるAIモデルとコンピューターチップの組み合わせを実際にテストしなければなりませんでした。これは高価で時間がかかり、すべてのハードウェアを所有している必要があります。
ギャップ: 既存のツールは予測を行うことはできましたが、見たことのない新しいチップや新しいAIモデルに遭遇すると、失敗してしまいました。

解決策：WattGPU（「スペックシートの神託」）

著者らは、公開情報のみを必要とする2つのスマートな予測モデル（非常に高度な計算機のようなもの）を構築しました。

AIの「履歴書」: サイズは？レイヤー数は？（Hugging Faceからのメタデータ）。
チップの「スペックシート」: 速度は？メモリ容量は？最大電力制限は？（メーカーの仕様）。

魔法のトリック:
このシステムは、さまざまなチップやAIモデルの「個性」を学習します。一度学習すれば、一度も見たことがない新しいチップや、出会ったことのない新しいAIモデルに対しても、以下を正確に予測できます。

消費電力: 何ワットの電力を消費するか？
レイテンシ（ITL）: テキストの1単語（トークン）を生成するのにどれくらいの時間がかかるか？

比喩：レストランの厨房

AIモデルを**「レシピ」、GPUを「厨房」**と考えてみてください。

単純なレシピ（トーストを作る）もあれば、複雑なレシピ（フルコースの晩餐会）もあります。
小さなコンロを備えた厨房もあれば、工業用のオーブンを備えた厨房もあります。

従来の方法: そのレシピがどれだけのガスを使い、どれくらいの時間がかかるかを確認するために、あらゆる厨房で実際に料理を作ってみる必要があります。
WattGPUの方法: レシピの材料リストと厨房のコンロのサイズを確認します。システムはこう予測します。「もしこの特定のレシピを、あの特定の厨房で作ったら、予想よりも13%ガス消費が少なく、1皿あたり5秒かかるでしょう。」

何を証明したのか？

研究者たちは、42種類の異なるAIモデルと8種類のサーバーグレードのコンピューターチップの膨大なデータセットを用いて、WattGPUをテストしました。彼らは「Leave-One-Out（一個抜き）」と呼ばれる厳格なテスト方法を用いました。これは、次に答えるべき具体的な問題を事前に勉強することを禁じられた状態でテストを受けるようなものです。

結果:
- 電力予測: 驚くほど正確でした。オフラインタスク（バッチ処理）では誤差3.4%未満でした。サーバータスク（リアルタイムチャット）では誤差13.5%未満でした。
- 速度予測: リアルタイムチャットにおいて、誤差は8.5%未満でした。
- ランキング: 正確な数値が完璧でなくても、あるチップが別のチップよりも「優れている」かどうかを判断する能力は極めて高いものでした。

なぜこれが重要なのか（「アハー！」の瞬間）

この論文は、特定の例を用いた驚くべき発見を強調しています：Llama 3.1 8B。

チップの「燃料効率（TDP）」だけを見ていると、小型で低電力のチップ（L4）が最適だと考えるかもしれません。
しかし、WattGPUは、この小型チップでは速度要件を満たすには遅すぎると予測しました。
一方で、明らかに高出力なチップ（H100）は高速ですが、同等の速度を持つ中規模のチップ（A30）よりも43%多くエネルギーを無駄にします。
教訓: WattGPUは「ゴルディロックス（ちょうど良い）」チップを見つけ出しました。つまり、十分に速く、かつエネルギーを無駄にしないチップです。このツールがなければ、人々は間違ったチップを選び、膨大な量の電気と資金を無駄にしていたことになります。

できないこと（限界）

論文は、WattGPUがまだできないことについても正直に述べています。

標準的な「高密度（dense）」のAIモデルには最適に機能しますが、「混合エキスパート（Mixture of Experts）」モデル（専門家チームが協力して動くようなモデル）や、高度に圧縮（量子化）されたモデルについては、まだ十分に対応できていません。
ソフトウェアの挙動が大量のバッチを一度に処理する場合と異なるため、リアルタイムチャットの速度と比較して、「オフライン」のバッチ処理速度の予測には少し苦戦します。

まとめ

WattGPUは、物理的なテストをスキップさせてくれるツールです。公開されているスペックのみを使用することで、オペレーターがAIに最適なコンピューターチップを選択できるよう支援し、あらゆる可能性をテストするためのラボを構築することなく、コストと電力を節約することを可能にします。これは、AIデプロイメントにおける「推測ゲーム」を、計算された予測へと変えるものです。

技術要約: WattGPU

問題提起
大規模言語モデル（LLM）の推論ワークロード、特に中小規模の企業展開における急速な普及は、重大かつ増大するエネルギー・フットプリントを生み出しています。これらの展開を最適化するには、特定のLLMを最もエネルギー効率の高いGPUに適合させる必要があります。しかし、現在、オペレーターには、物理的なハードウェア上であらゆる潜在的なLLMとGPUの組み合わせを網羅的にプロファイリングすることなく、このマッチングを行うためのツールが不足しています。このプロファイリングプロセスは非常にコストが高く、多様なハードウェアへの物理的なアクセス、専門的な知識、および多大なリソースを必要とします。既存の予測モデルは、プロファイリングデータに依存しているか、あるいは学習時に含まれていないハードウェアへの汎用性に欠けており、公開されているメタデータのみを使用して未知の構成に対して電力消費量やレイテンシを推定する能力にギャップがあります。

手法
これに対処するため、著者らは、平均GPU電力消費量 ( $\bar{P}$ ) と トークン間レイテンシ (ITL) の2つの予測モデルを備えたフレームワークである WattGPU を導入します。核心となる革新性は、これらのモデルが一度学習すれば、ハードウェアへのアクセスやプロファイリングを一切必要としない点にあります。これらは、公開されているLLMのメタデータ（例：Hugging Faceからのパラメータ数、レイヤー数、アテンションヘッド数）およびGPUメーカーの仕様（例：TDP、メモリ帯域幅、クロック速度）のみに依存します。

特徴量エンジニアリング: 著者らは、ハードウェアのダイナミクスを捉えるために、ブースティング比（周波数スケーリング）、帯域幅レイテンシ（重みの読み取り時間）、および計算レイテンシ（トークン計算の理論的下限）を含む特徴量を導出しました。
モデルアーキテクチャ: 著者らは様々なアルゴリズムを評価し、XGBoost（勾配ブースティング決定木）を最適なモデルとして選択しました。
- 電力予測において、ターゲット変数は未知のGPUへの汎用性を容易にするため、スケール不変の挙動を学習するように、GPUの熱設計電力（TDP）によって正規化されます。
- ハイパーパラメータはグリッドサーチを通じてチューニングされました（電力用には max_depth=6, n_estimators=100、レイテンシ用には max_depth=5, n_estimators=200 という特定の設定を使用）。
評価戦略: モデルは、42種類のオープンソースLLM（0.1B–27Bパラメータ）と8種類のサーバーグレードNVIDIA GPU（V100からH200まで）で構成されるデータセットを用いて評価されました。評価には、厳格な交差検証戦略が用いられました：
1. 5分割交差検証 (5-fold CV): 既知のハードウェア/モデルにおける、未知の（GPU, LLM）の組み合わせへの汎用性。
2. Leave-One-GPU-Out (LOGO): 完全に未知のGPUへの汎用性。
3. Leave-One-LLM-Out (LOLO): 完全に未知のLLMへの汎用性。
  シナリオには、オフライン（最大スループット）およびサーバー（レイテンシ制約のあるポアソン分布に従うリクエスト）が含まれます。

主な結果
WattGPUモデルは、解析的なベースライン（電力についてはLoad-Scaled TDP、レイテンシについてはRoofline）と比較して、特に汎用化シナリオにおいて大幅な改善を示しました。

平均電力消費量 ( $\bar{P}$ ):
- 未知のGPU (LOGO): オフラインシナリオで $\le$ 3.4%、サーバーシナリオで $\le$ 13.5% の中央絶対百分率誤差 (MdAPE) を達成しました。
- ランキング: サーバーシナリオにおいて、強力なGPUランキング相関（Kendall $\tau \ge 0.76$ ）を維持しました。
- ベースライン比較: 完全に未知のGPUに対しては約2倍、サーバーシナリオにおける未知のLLM-GPUの組み合わせに対しては約4倍、MdAPEを低減しました。
トークン間レイテンシ (ITL):
- サーバーシナリオ: 未知のGPU (LOGO) において $\le$ 8.5% のMdAPEを達成しました。
- オフラインシナリオ: 課題が多く、未知のGPUにおけるMdAPEは 24.9% でしたが、モデルは依然として絶対誤差においてRooflineベースライン（LOGOにおける24.9% vs 80.2%）を上回りました。
- ランキング: モデルは高いランキング品質（サーバーシナリオで Kendall $\tau \ge 0.76$ ）を達成しました。

意義と主張
本論文は、未知のGPUに対して特化して評価された、LLM推論の電力とレイテンシに関する初の予測モデルを提示していると主張しています。その主な意義は、物理的なベンチマークを必要とせずに、エネルギーを考慮したデプロイメントの意思決定を可能にすることにあります。

実用的な影響: 著者らは、標準的なヒューリスティック（TDPやTFLOPS/Wattなど）が誤解を招く可能性があることを示しています。例えば、低負荷のLlama 3.1 8Bデプロイメントにおいて、TFLOPS/Wattに基づくとA30よりもH100を選択する方が効率的に見えるかもしれませんが、WattGPUは、H100が同じレイテンシSLAを満たしながらも、43%多く電力を消費すると予測しています。
持続可能性: オペレーターが特定のLLMとワークロードシナリオに対して最も効率的なGPUを選択できるようにすることで、このツールは運用コストと炭素排出量の削減に直接貢献し、EU AI法のような新たな規制や持続可能性の目標に合致しています。
限界と今後の課題: 著者らは、静的な特徴量では動的なバッチ処理挙動（例：vLLMの継続的バッチング）を完全に捉えることができないため、オフラインシナリオにおけるITL予測（MdAPE 24.9%）が依然として困難であることを認めています。今後の課題は、ワークロードを考慮した特徴量の組み込み、およびMixture-of-Experts (MoE) や量子化モデルへの拡張です。現在の評価は、高密度モデルおよびシングルGPU構成に限定されています。