技術概要：EnergyLens

問題定義

大規模言語モデル（LLM）が、高密度、エキスパート混合（MoE）、および状態空間アーキテクチャを含むように進化し、テキスト、画像、ビデオなどの多様なマルチモーダルワークロードに対して NVIDIA、Intel、AMD などの異種アクセラレータ上で展開されるにつれて、推論エネルギーの最適化は、レイテンシやスループットの最適化と同様に重要になっています。しかし、既存のエネルギー予測アプローチには、主に 3 つの限界があります。

1. レイテンシの代理指標: 多くの解析モデルは、エネルギーの代理指標としてレイテンシを扱っています。著者らは、レイテンシとエネルギーの最適解が、テストされた構成の 20% 以上で分岐することを示しており、レイテンシベースの戦略を使用すると、最大 79.8% のエネルギーペナルティが生じることを明らかにしました。
2. ブラックボックスの代理モデル: ランダムフォレストやニューラルネットワークなどのデータ駆動型機械学習モデルは、一定の精度を達成しますが、「データを大量に必要とする」ものであり、一般化するには数百のプロファイリングサンプルを必要とします。これらは解釈性が欠如しており、なぜ特定の構成が効率的なのかという物理的な洞察を提供せず、未見のバッチサイズやハードウェアへの信頼性ある外挿に失敗します。
3. 一般化性の欠如: 既存の解析モデルは、テンソル並列（TP）とパイプライン並列（PP）の異なる物理的効果を分離できず、または異なるモダリティにおけるバッチサイズやシーケンス長に対するエネルギーの非線形スケーリングを考慮できていないことが多くあります。

手法：EnergyLens フレームワーク

著者らは、GPU のエネルギー消費に対するコンパクトで閉じた形式の数学的表現を発見するために記号回帰を用いるEnergyLensというフレームワークを提案します。ブラックボックスモデルとは異なり、EnergyLens は項が直接測定可能なシステム特性に対応する式を導き出します。

1. 統合エネルギーモデル

EnergyLens の核心は、エネルギー（$E$）を 3 つの物理的に根拠のある成分に分解する 12 個のパラメータを持つ閉じた形式の方程式です。
$$E = E_{prefill} + E_{decode} + E_{overhead}$$

• フェーズ分解: このモデルは、入力トークンを処理する計算束縛型のプリフィルフェーズと、出力トークンを生成するメモリ束縛型のデコードフェーズを明示的に分離します。
• 並列性の分離: このモデルは、テンソル並列（$d_{TP}$）とパイプライン並列（$d_{PP}$）を区別します。TP は効率的なテンソルコア利用を通じて GPU 当たりの計算を削減しますが、同期オーバーヘッドを導入し、一方 PP はパイプラインバブルを導入し、アイドル状態のステージ中もデバイスを電力供給し続けることを認識しています。
• 非線形スケーリング: この式は、バッチサイズが増加するにつれてカーネル起動や KV キャッシュ初期化などの固定オーバーヘッドが非線形に償却される様子と、異なるモダリティ（例えば、ビデオ/画像ワークロードにおける対数的圧縮）に特有のスケーリング則を捉えます。

一般的な形式（論文の式 4）は以下の通りです。
$$E = \alpha_p \frac{\text{total input tokens}}{(\text{batch size}^{\beta_p} + \epsilon_p)} d_{TP}^{\gamma_{1,p}} d_{PP}^{\gamma_{2,p}} + \alpha_d \frac{\text{max tokens}}{(\text{batch size}^{\beta_d} + \epsilon_d)} d_{TP}^{\gamma_{1,d}} d_{PP}^{\gamma_{2,d}} + \delta_1 d_{TP} + \delta_2 d_{PP}$$

2. 学習と適合

• データ収集: プロファイリングフレームワークは、NVIDIA、Intel、AMD の GPU 全体で、並列戦略、量子化スキーム、バッチサイズ、シーケンス長を体系的に走査します。
• 記号回帰: フレームワークは、数学的表現の空間を検索し、プロファイリングデータに最もよく適合する構造を見つけ出します。
• パラメータ推定: 式構造が固定された後、12 個のスカラーパラメータ（$\phi$）は、代表性のある小規模データセット上で L-BFGS-B 最適化を用いて適合されます。
• サンプル効率: このモデルは、高い精度を達成するためにわずか50 のプロファイリング測定で済み、約 500 サンプルを必要とするアンサンブル ML 手法と比較して 10 倍の効率向上を実現します。

主要な貢献

1. 統合された閉じた形式モデル: TP と PP の寄与を分離し、プリフィルとデコードのエネルギーを分ける単一のエネルギーモデルを開発し、パラメータに明示的な物理的意味を持たせました。
2. 記号回帰による発見: 記号回帰が、式テンプレートを変更することなく、多様なアーキテクチャ（高密度、MoE、SSM）、モダリティ（テキスト、画像、ビデオ）、およびハードウェアベンダにわたって一般化する非線形式構造を明らかにできることを実証しました。
3. 体系的プロファイリングフレームワーク: 解析モデリングに必要な構造化データを生成するために、並列性、量子化、ワークロードパラメータの結合空間を探索するフレームワークを実装しました。
4. 直接的エネルギーモデリング: レイテンシを代理指標として使用するのではなく、エネルギーを直接モデル化することで、レイテンシベースのオプティマイザが体系的に見逃している、よりエネルギー効率の高い並列構成を特定します。

実験結果

著者らは、NVIDIA A100、AMD MI100、Intel Max 1550 GPU 上の高密度トランスフォーマ、MoE、および状態空間モデルを含む 940 のシナリオで EnergyLens を評価しました。

• 構成選択精度: EnergyLens は、単一の最良のエネルギー構成を特定する88.2% の Top-1 構成選択精度を達成し、60.9% を達成した最も近い解析ベースラインである MAVERIQ を大幅に上回りました。
• ペアワイズランキング: EnergyLens は、2 つの構成のどちらが効率的かを正しく予測する95.8% のペアワイズランキング精度を達成し、MAVERIQ の 91.5% を上回りました。
• サンプル効率: EnergyLens は、アンサンブル ML 手法（ランダムフォレスト、勾配ブースティング）と同等の予測精度を達成しながら、プロファイリングサンプル数を 10 倍削減しています（$n=50$ で 13.0% の MAPE、ランダムフォレストは $n=50$ で 49.0% の MAPE）。
• 一般化性:
  • ハードウェア間: スカラー係数の再適合のみで、GPU ベンダ（NVIDIA、Intel、AMD）間でモデルが転送可能です。
  • モダリティ間: テキスト、画像＋テキスト、ビデオ＋テキストのワークロードで堅牢に機能します。
  • 外挿: EnergyLens は、トレーニングデータよりも 3 倍から 10 倍大きい未見のバッチサイズに対して信頼性高く外挿し、7 つのデータセットのうち 5 つで 93% 以上のペアワイズ精度を達成しますが、線形バッチのベースラインは大幅に失敗します。
• 堅牢性: 構成ごとの正確な電力測定を必要とするレイテンシベースの代理指標とは異なり、EnergyLens はエネルギーをネイティブにモデル化し、電力テレメトリが利用できない場合でも高い精度を維持します。

意義と主張

本論文は、EnergyLens がエネルギー最適化された LM の展開のための実用的で解釈可能なツールを提供すると主張しています。その意義は以下の点にあります。

• 解釈性: ブラックボックスの代理モデルとは異なり、EnergyLens は「監査可能」な予測を提供し、オペレーターは項を検査してエネルギー消費の物理的要因（例えば、TP と PP スケーリングの相対コストの検証など）を理解できます。
• 実行可能性: このモデルは、網羅的な測定なしに展開のためのパレート最適構成を特定することを可能にします。
• 費用対効果: プロファイリング予算を数百サンプルから約 50 に削減することで、生産環境におけるエネルギー意識のある構成チューニングを可能にします。
• 物理的根拠: レイテンシとエネルギーの最適解が分岐すること、およびパイプライン並列がレイテンシを削減しなくてもエネルギーを削減し得るという発見は、レイテンシがエネルギー効率の十分な代理指標であるという支配的な仮説に挑戦しています。

著者らは、現在のテンプレートが加算項を使用しているものの、将来的な作業では MoE や長文脈ワークロードに対して乗算的相互作用を探求し、オンライン再構成のための動的スケジューラとの統合を検討する可能性があると結論付けています。フレームワークとデータセットはオープンソースとして公開される予定です。