🤖 machine learning

The Model Parking Tax: Quantifying the Hidden Energy Cost of Always-On GPU Model Deployment

本論文は、AI モデルを GPU メモリにロードしたまま維持する際のエネルギーコストは、VRAM 使用量ではなく CUDA コンテキストの DVFS 遷移に伴う離散的な電力増加によって主に決定されることを実証的に示し、モデルのデプロイにおけるエネルギー最適化戦略はモデルサイズではなく、リクエストの到着率とコールドスタート遅延に依存することを明らかにする。

原著者： Sai Sathvik Vadari

公開日 2026-05-26

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Sai Sathvik Vadari

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

以下は、論文「The Model Parking Tax」を平易な言葉と日常的な比喩を用いて解説したものです。

大きなアイデア：AI に対する「駐車税」

あなたが繁盛しているレストランを経営していると想像してください。あるルールがあります。「VIP の客のためにテーブルをセットしたら、たとえ誰も座っていなくても、そのセットは永遠にそのままにしておく」というものです。

なぜでしょうか？新しい客が来たとき、カトラリーやナプキン、メニューを並べるのに時間を浪費したくないからです。客にはすぐに座って食事をしてほしいのです。

AI の世界では、企業も同じことを、GPU という高性能なコンピューターチップで行っています。チャットボットのような AI モデルを GPU に読み込むと、誰も質問をしていなくても、24 時間 365 日、そのモデルを GPU 上で実行し続けます。これは「コールドスタート」の遅延、つまりモデルをゼロから読み込むのに必要な時間を避けるためです。

問題点： この論文は、これらの AI モデルを GPU 上に「駐車」し続けることが、電気的に極めて無駄であることを主張しています。しかも、その理由は誰も予想していなかったものです。

隠れたコスト：それは車の「サイズ」の問題ではない

多くの人は、700 億パラメータという巨大な AI モデルを GPU 上に保持することが、70 億パラメータのような小さなモデルを保持することよりもはるかに多くの電力を消費すると考えています。それは、巨大なモデルが GPU のメモリ（VRAM）をより多く占有するからです。

論文の大きな発見： これは誤りです。

著者らは、H100、A100、L40S という 3 種類の異なるハイエンド GPU においてこの測定を行いました。その結果、モデルを「駐車」する際の電力コストは、車がガレージ内でどれだけのスペースを占有するかではなく、エンジンを始動させることによってほぼ完全に決定されていることがわかりました。

比喩：アイドリングする車

GPU を車のエンジンだと考えてみましょう。

完全な停止： 車はオフです。エンジンも冷えています。ガソリンはほとんど消費されません。
「コンテキスト」（エンジン始動）： 鍵を回して車を始動する（「CUDA コンテキスト」を作成する）と、エンジンはいきなり高速回転し、すぐに走行できるよう準備します。
- 衝撃的な事実： そのエンジンが高速回転し始めると、トランクに小さな自転車を積もうが、巨大なトラックを積もうが、エンジンは同じ速度で回転し、同じ量のガソリンを消費し続けます。

論文はこの現象を**「モデル駐車税」**と呼んでいます。

その税： どのようなモデルでも読み込む瞬間に支払う、固定された電力コスト（チップによって 26 ワットから 66 ワットの範囲）です。
驚くべき点： より大きなモデルを保持するためのメモリを追加しても、追加のコストはほぼゼロです。1GB のモデルを駐車しようが、64GB のモデルを駐車しようが、電気代は同じです。

どのように発見されたか

研究者たちは単に推測したわけではありません。2 つのことを行いました。

現実世界のスパイ活動： 彼らはデータセンター内の 14 台の実際の GPU を 18 日間監視し、数十万回もの測定を行いました。モデルが読み込まれると電力が跳ね上がりますが、モデルのサイズを変えても電力は変わらないことを確認しました。
制御された実験： 彼らは 3 種類の異なる GPU を選び、メモリを空の状態から満杯まで体系的に埋めていきました。まるでバケツに水を注ぐようにです。そして、各段階で電力を測定しました。
- 結果： 電力のグラフは平坦でした。バケツにさらに多くの「水」（メモリ）を注いでも、「エンジン」はより激しく働かなかったのです。

「損益分岐点」の瞬間

では、ガソリンを節約するためにエンジンを切ってしまうべきでしょうか？論文はイエスと言いますが、それは十分な時間待てる場合に限ります。

彼らは「損益分岐点」を計算しました。これは、アイドリングさせ続けるよりも、エンジンを切って後で再起動する方が安くなるまで待つべき時間の長さです。

計算： ほとんどの現代の環境では、1 分から 5 分の間リクエストが来ない場合、モデルを一度切って、誰かが要求したときに再度読み込む方が実際には安上がりになります。
注意点： 小さなモデルが最も問題視されます。これらは数秒で読み込めるため、使用後はすぐに切るべきです。一方、大きなモデルは読み込みに時間がかかるため、もう少し長くオンにしておくかもしれません。しかし、論文は「税」はどちらの場合も同じであると指摘しており、オンにされたままの小さなモデルこそが最も無駄であることを示しています。

解決策：より賢いスケジューラー

著者らは、単純な「スマート駐車メーター」（スケジューラー）を開発しました。モデルを永遠にオンにしておく代わりに、このシステムはチェックします。「最後のリクエストから 5 分以上経っていますか？」と。

はいの場合： 切ります。
いいえの場合： オンにします。

彼らがこれをテストしたところ、標準的な「常時オン」方式と比較して、8% から 23% の電力を節約でき、ユーザーにとってほとんど遅延を感じさせない結果となりました。

結論

神話： 「巨大な AI モデルは読み込みに時間がかかるため、24 時間 365 日 GPU 上に保持しなければならない。」
現実： 保持し続けるコストは、GPU のエンジンが回転することによる固定された「駐車料」です。モデルのサイズは関係ありません。
解決策： 私たちはこれらのモデルを、もっと頻繁に切るべきです。もしモデルが数分間使用されていないなら、切ってください。これにより、パフォーマンスを損なうことなく、莫大なエネルギー（業界全体で年間数百ギガワット時になる可能性）を節約できます。

要約： 大きなトランクを持っているからといって、エンジンを回し続ける必要はありません。運転していないなら、車を消してください。

技術概要：モデル駐車税

問題定義

AI 推論の prevailing 運用モデルでは、モデルを GPU にデプロイし、「コールドスタート」に伴うレイテンシを回避するため、VRAM 内にモデルを無限にロードしたまま保持する。この「キープウォーム」戦略のレイテンシ上の利点はよく文書化されているが、待機状態の継続的なエネルギーコストは定量化されていない定数として扱われてきた。業界レポートは、GPU のアイドル電力を熱設計電力（TDP）の約 20% と推定しているが、特定の VRAM 量を割り当てることによる限界エネルギーコストは、実証的に分解されたことがない。

本稿で扱われる核心的な問いは、モデル重みを GPU VRAM に格納することが測定可能な限界アイドルエネルギーコストを発生させるかどうか、また、このコストが異なる GPU アーキテクチャやメモリ技術間で変化するかどうかである。既存文献では、CUDA コンテキストがアイドル時であっても GPU をより高いクロック周波数に強制すると示唆されているが、モデルの「サイズ」（VRAM 占有量）が、単にコンテキストを維持するコストを超えて電力消費をさらに増加させるかどうかは不明である。

手法

著者らは、大規模な生産環境テレメトリと制御された用量反応実験を組み合わせる 2 段階のアプローチを採用した。対象は 3 つの異なる GPU アーキテクチャ：NVIDIA H100（HBM3）、A100（HBM2e）、L40S（GDDR6）である。

フェーズ 1：生産環境テレメトリ

範囲: 2 つの Kubernetes ノードにまたがる 14 台の NVIDIA H100 GPU から収集した 18 日間のデータ。
データ量: VRAM 割り当てが 3 MB から 79 GB の範囲にある、アイドル状態（利用率 0%）のサンプル 335,267 件。
計測: NVIDIA データセンター GPU マネージャー（DCGM）Exporter を介して 30 秒間隔でメトリクスを収集。

フェーズ 2：制御実験

設計: 各アーキテクチャ（H100、A100、L40S）から 1 台ずつの GPU に対して行われた被験者内用量反応研究。
プロトコル:
1. 「裸のアイドル」電力（CUDA コンテキストなし）を記録。
2. 永続的な CUDA コンテキストを作成。
3. torch.empty テンソルを使用して、VRAM を 0 から 40〜72 GB まで順次割り当てる。
4. 各割り当てレベルで 20 分間、nvidia-smi を通じて電力を記録。
検証: 実際のモデル重みと CUDA カーネルが空のテンソルと比較してアイドル電力プロファイルを変化させないことを確認するため、実際の HuggingFace モデル（Qwen2.5-7B）を用いて実験を検証。
統計的厳密性: 等価性を確立するために二側面検定（TOST）を採用し、限界電力係数（ $\beta$ ）が実質的にゼロ（ $\pm 0.1$ W/GB で境界付け）かどうかを検証。

主要な知見

1. 「駐車税」は勾配ではなくステップ関数である

本研究は、以下の 2 つの明確な構成要素からなる「モデル駐車税」を特定した。

CUDA コンテキストオーバーヘッド（ $\Delta P_{DVFS}$ ）: CUDA コンテキストの作成は、離散的な動的電圧・周波数スケーリング（DVFS）遷移をトリガーする。ストリーミングマルチプロセッサ（SM）のクロックは、利用率に関係なく、低電力アイドル状態（210–345 MHz）から最大ブースト周波数（1410–2520 MHz）へジャンプする。
- H100: +49.9 W のオーバーヘッド。
- A100: +26.3 W のオーバーヘッド。
- L40S: +66.4 W のオーバーヘッド。
  このステップは、テストされたすべてのアーキテクチャにおける総アイドル電力コストの98% 以上を占める。
限界 VRAM 効果（ $\beta$ ）: CUDA コンテキストがアクティブな状態では、割り当てられた VRAM を 0 GB からテストされた最大容量（最大 72 GB）まで変化させても、電力変化は 1 W 未満である。
- 回帰傾き $\beta$ は、H100 と L40S において統計的にゼロと区別できないことが判明した。
- A100 においては統計的に有意な負の傾きが観測されたが、著者らはこれをメモリ物理学効果ではなく、時間経過に伴う熱ドリフト（温度低下）に起因するものと解釈し、その大きは無視できる（合計<0.1 W）と指摘した。
- 結論: $\frac{\partial P}{\partial C} \gg \frac{\partial P}{\partial V}$ 。コストはメモリの「占有量」ではなく、コンテキストの「存在」によって決定される。

2. アーキテクチャ間の一貫性

アイドル電力が区分的に一定であるという知見は、3 つの根本的に異なるメモリ技術（HBM3、HBM2e、GDDR6）およびマイクロアーキテクチャ（Hopper、Ampere、Ada Lovelace）にわたって妥当である。この一貫性は、アイドル時にはメモリ電力がデータ内容に関係なくすべての行を走査するバックグラウンドおよびリフレッシュ回路によって支配されるという理論的予測を支持しており、電力は占有量に依存しないことを示している。

3. コールドスタートの損益分岐点モデル

著者らは、モデルをエビクトするかキープウォームするかを決定するための最適時間を導出する損益分岐点モデル（ $T^*$ ）を導出した。
$T^* = \frac{P_{load} \cdot t_{load}}{P_{park}}$
ここで、 $P_{park}$ は駐車税（コンテキストオーバーヘッド）、 $P_{load}$ はロード中の電力、 $t_{load}$ はロード時間を表す。

結果: 損益分岐点となる間隔は短く、アーキテクチャとロード方法にもよるが、通常1〜5 分である。
示唆: 数秒でロードされる小規模モデルの場合、中程度の要求率であっても、キープウォームするエネルギーコストはコールドスタートのコストを上回る傾向がある。損益分岐点はモデルサイズではなく、ロード時のレイテンシと電力に依存する。

意義と主張

本論文は、VRAM 割り当ての関数としてのアイドル GPU 電力をアーキテクチャ横断的に測定した最初の研究であると主張する。主な貢献点は以下の通りである。

アイドルコストの分解: 実証的にアイドル電力を、CUDA コンテキストによってトリガーされる巨大で固定された DVFS コストと、無視でき、実質的にゼロの限界 VRAM コストに分離した。
現在の慣行への挑戦: より大きなモデルが比例して高いアイドルエネルギーコストを負うという業界の仮説に挑戦する。本論文は、コストがメモリフットプリントではなくコンテキストによって駆動されるため、1 GB モデルと 64 GB モデルは「同じ駐車税」を支払うと主張する。
運用ガイダンス: 著者らは、「サイズを考慮したスケジューリング」（小規模モデルのコールドスタート）と「損益分岐点を考慮したエビクション」が、常時稼働デプロイメントよりもエネルギー効率が高いと提案している。
業界への影響推定: 2023 年の出荷データと 65% の利用率に基づき、著者らは CUDA コンテキストオーバーヘッドのみで、年間92〜1,745 GWh（ベース推定値 462 GWh/年、約 180 kT CO2）が世界的に消費されていると推定している。

本論文は、GPU ベンダーがコンテキストの存在からクロック周波数を切り離すアイドル状態を調査すべきであり、サーバーレスプラットフォームはエネルギー節約を達成するためにモデルフットプリントの削減よりも CUDA コンテキストの排除を優先すべきであると結論づけている。導出した損益分岐点モデルを使用した概念実証スケジューラは、24 時間のシミュレーションにおいて、常時稼働のベースラインと比較して8〜23% のエネルギー節約を実証した。