テクニカルサマリー：トークンからワット時へ：現代のGPUにおけるLLM推論の解析的エネルギー推定

1. 問題提起

大規模言語モデル（LLM）の推論における運用エネルギー消費は、展開されたAIシステムの環境負荷の重要な構成要素である。グリーンAIの研究は学習コストについては広くカバーしてきたが、継続的かつ需要に応じてスケールする自己回帰的なトークン生成に起因する推論エネルギーは、依然として重大な持続可能性の懸念事項となっている。

現在のAIエネルギー消費量の推定アプローチには、以下の二極化が存在する：

• 測定ベースの研究は、ハードウェア・テレメトリ、電力計装、またはインフラ固有のモニタリングに依存している。これらは価値があるものの、結果が特定のハードウェア、サービングシステム、および実行時構成に紐付けられており、このような計装が利用できない比較研究、初期段階のシステム設計、またはサステナビリティ報告への適用性を制限している。
• 解析モデルは、トランスフォーマーのスケーリング則とマイクロアーキテクチャのベンチマークに基づくFLOP数を算出するが、メモリトラフィックやハードウェア固有の係数を考慮したリクエストレベルまたはトークンレベルのエネルギー推定を提供できないことが多い。

これにより、ランタイムの計装を必要とせずに、トランスフォーマーの計算モデリング、メモリトラフィックの帰属、およびハードウェア固有のエネルギー係数を組み合わせた、透明かつ再現可能な推定器に対するギャップが生じている。

2. メソドロジー

著者らは、NVIDIA H100クラスのアクセラレータを用いたLLM推論における、アクセラレータ側のGPUエネルギー消費量を推定するための、半解析的で経験的に校正された手法を提案している。このフレームワークは、**プロンプト・プリフィル（prefill）フェーズと自己回帰的デコード（decode）**フェーズを明示的に分離している。なぜなら、これらは異なる計算およびメモリ・アクセス・パターンを示すからである。

2.1. エネルギー分解

リクエストに対する総GPUエネルギー（$E_{GPU}$）は、テンソルコア計算エネルギー（$E_{compute}$）と高帯域幅メモリ（HBM）移動エネルギー（$E_{memory}$）の和としてモデル化される：
$$E_{GPU} = E_{compute} + E_{memory}$$

• 計算項（Compute Term）: テンソルコアの浮動小数点演算（FLOPs）数に比例する。
  $$E_{compute} = \alpha_{TC} C_{TC}$$
  ここで、$\alpha_{TC}$ はハードウェア固有の演算あたりのエネルギー、$C_{TC}$ は総FLOP数である。
• メモリ項（Memory Term）: HBMを通じて転送されるビット数に比例する。
  $$E_{memory} = e_{HBM} Q_{HBM} \eta(N)$$
  ここで、$e_{HBM}$ はビットあたりのエネルギー、$Q_{HBM}$ は総トラフィック（ビット）、および $\eta(N)$ は校正されたメモリ非効率性因子である。

2.2. トラフィック・モデリング

メモリトラフィック（$Q_{HBM}$）は、主に以下の3つのコンポーネントに分解される：

1. パラメータ・アクセス: モデルの重みをロードするために必要なトラフィック。
2. KVキャッシュの書き込み: 生成中に新しいキー・バリュー・ペアを保存するためのトラフィック。
3. アテンション関連の読み取り: KVキャッシュから蓄積されたコンテキストを読み取るためのトラフィック。

本モデルは、**デンス（dense）**なトランスフォーマー演算（パラメータおよびトークンに対して線形にスケールする）と、アテンション関連の補正（KVキャッシュの読み取りによる二次的な要求により、シーケンス長に対して超線形にスケールする）を区別している。

2.3. 校正と係数

本メソドロジーは、GPUテンソルコア計算およびHBMアクセス（具体的にはH100クラスのGPUにおけるFP16/BF16）のマイクロアーキテクチャ測定から導出された固定ハードウェア係数を使用している：

• $\alpha_{TC} = 0.52$ pJ/FLOP
• $e_{HBM} = 11.68$ pJ/bit

非理想的なハードウェア挙動（例：パラメータの再利用、キャッシュ滞留、およびメモリ非効率性）を考慮するため、著者らは、先行文献から報告されたエネルギー測定値に適合させた校正済みスケーリング係数（$\gamma(N)$、$s_{attn}(N)$、$\eta(N)$）を採用している。

2.4. 簡略化された推定器

詳細なアーキテクチャ・メタデータ（例：レイヤー数、隠れ次元）が利用不可能なシナリオのために、簡略化されたパラメータのみの推定器が定義されている。これは、出力トークンのエネルギーをパラメータ数（$N$）に線形に比例するものと近似し、入力トークンに対してはプロンプト長に依存するマルチプライヤーを使用する。

3. 主な貢献

• 解析的フレームワーク: ランタイムの直接測定を必要とせずに、リクエストレベルおよび正規化されたトークンレベルのGPU推論エネルギーを推定するための構造化されたメソドロジー。
• フェーズ分離: エネルギーをプロンプト・プリフィルと自己回帰的デコードのフェーズに明示的に分解することで、入力トークンと出力トークンのコストに関する粒度の高い分析を可能にする。
• コンポーネント分解: 総エネルギーを計算、パラメータ・アクセス、KVキャッシュ書き込み、およびアテンション読み取りの各コンポーネントに分解し、各々のスケーリング挙動を明らかにする。
• 経験的校正: ハードウェア固有のエネルギー係数を、経験的に校正されたメモリトラフィック因子と統合することで、理論的なFLOP数と実際のエネルギー消費との間の溝を埋める。
• 実用的な洞察: モデルサイズの削減、生成長の短縮、KVキャッシュの量子化、プロンプト圧縮、およびバッチングの改善を含む、エネルギー削減のための具体的なメカニズムの特定。

4. 結果と評価

本推定器は、一連のトランスフォーマーベースのLLM（パラメータ数3B未満から120B超まで）に対して評価され、測定ベースの研究と比較された。

• シーケンス長によるスケーリング: 計算エネルギーおよびKVキャッシュ書き込みトラフィックは、生成トークン数（$T_{out}$）に対して線形にスケールする。しかし、アテンション関連のメモリトラフィックは超線形（二次関数的）な成長を示し、シーケンス長が増加するにつれて支配的なエネルギー要因となる。
• モデルサイズによるスケーリング: 総リクエストエネルギーは、ログ・ログスケールにおいてモデルサイズ（$N$）に対してほぼ線形にスケールする。しかし、メモリエネルギーは、パラメータ数と一様にスケールしないアーキテクチャの差異（例：隠れ次元やレイヤー数）により、異なるモデル間で非単調な挙動を示す。
• エネルギー分解: 短から中程度のシーケンス長では、計算エネルギーが支配的である。シーケンス長が増加するにつれ、アテンション関連のメモリコンポーネントが急速に増大し、総エネルギーの傾向に上向きの曲率を引き起こす。
• 精度: 500トークンの入力／500トークンの出力のワークロードにおける測定ベースの結果と比較した際、解析的な推定値は**4.73%から27.23%**の範囲内で一致した。最も低い誤差（4.73%）は、70Bパラメータのモデルで観察された。
• トークンレベルの推定: 本研究は、簡略化されたトークンレベルのエネルギー推定（例：70Bモデルにおける出力トークンあたり約218 mJ）を提供し、エネルギーのパラメータ数への線形依存性を実証している。

5. 意義と主張

本論文は、このメソドロジーを物理的な電力測定の代替物としてではなく、透明、再現可能、かつ仮定が明示された近似手法として位置付けている。

• 範囲: 推定値は厳密にアクセラレータ側の運用エネルギー（GPU計算およびHBM移動）に限定されている。これには、CPU実行、ホストメモリ、ネットワーキング、ストレージ、冷却、および電力使用効率（PUE）などのシステムレベルのオーバーヘッドは明示的に除外されている。
• 有用性: 本フレームワークは以下を目的として設計されている：
  • モデル比較: ヘテロジニアスなモデル・インベントリ間でのエネルギー効率の比較。
  • グリーン・コーディング分析: アーキテクチャの選択および介入の影響の評価。
  • 設計時の評価: データセンターレベルの計装が利用できない場合のデプロイメント決定。
• 限界: 著者らは、本モデルがテンソル並列通信、カーネル融合、バッチング・ポリシー、および特定の推論エンジンの実装といった特定の効果を抽象化していることを認めている。したがって、これらの係数は異なるGPU世代やサービング構成に合わせて再校正する必要がある。

結論として、本論文はLLM推論のエネルギー・スケーリングを理解するための基礎的なツールを提供しており、シーケンスが短い場合は計算が支配的であるが、長いコンテキストの生成においてはメモリトラフィック（特にアテンションの読み取り）がクリティカルなボトルネックになることを強調している。