🤖 AI

Multi-Level Modeling of Large Language Model Inference Latency and Energy via Hybrid Analytical--Machine-Learning Predictors

本論文は、解析的モデリングと機械学習を組み合わせたハイブリッドな3層フレームワークであるHYMELLを紹介するものであり、これはNVIDIA H100などのハードウェア上における多様な大規模言語モデルアーキテクチャの推論レイテンシとエネルギー消費量を、5%未満の誤差で正確に推定することを実現し、ハードウェアに依存しない設計空間探索を可能にする。

原著者： Saeid Shokoufa, Mohammad Erfan Sadeghi, Mehdi Kamal, Massoud Pedram

公開日 2026-08-10

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Saeid Shokoufa, Mohammad Erfan Sadeghi, Mehdi Kamal, Massoud Pedram

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

あなたは、物語を書き、数学の問題を解き、人間のようにチャットができる巨大な、おしゃべりなロボットを作ろうとしていると想像してください。このロボットは「大規模言語モデル（LLM）」と呼ばれます。これを機能させるには、高性能なビデオゲーム用コンピュータに使われているものと同じ種類のチップである、通常はグラフィックス・プロセッシング・ユニット（GPU）と呼ばれる超高速なコンピュータの脳が必要です。しかし、ここには落とし穴があります。これらのロボットは、ますます大きく、賢くなっているため、動かすためのコストが信じられないほど高価になっているのです。これらは膨大な量の電気を飲み込み、考えるのに長い時間がかかるため、病院や学校のような現実世界の状況で使用するのが難しくなっています。

科学者が直面している大きな疑問は、「ロボットを実際に作る前に、どれだけのエネルギーと時間が必要なのかを、どうすれば正確に知ることができるのか？」というものです。現在、それを知るためには、通常、ロボットを実際に作り、実行し、専用のツールで測定する必要があります。これは遅く、高く、そして実際にスーパーコンピュータを手元に用意しておく必要があります。もし、最も効率的なものを見つけるために、千種類の異なるロボットのデザインを試したいと思ったら、それらを一つずつ作ってテストしなければならず、永遠に時間がかかり、莫大な費用がかかるでしょう。

ここで、サザンカリフォルニア大学の研究チームが、「HYMELL」と呼ばれる新しいアイデアを提案します。HYMELLを「クリスタルボール（水晶玉）」だと考えてください。コンピューター科学者にとってのものです。設計図を見るだけで、そのロボットがどれほど速く、どれほどエネルギーを消費するかを予測できるのです。これは、ロボットを実際に作り、テストする代わりに、設計図から正確な速度とエネルギー消費量を予測するツールです。このシステムは、古典的な数学公式と現代的な機械学習を巧みに組み合わせて、巨大なモデルを実行するコストを推測します。研究者たちは、このクリスタルボールを強力なコンピューターチップであるNVIDIA H100でテストし、ロボットの速度とエネルギー使用量を驚くべき精度で予測できることを見出しました。その誤差はしばしば5%未満です。これは、エンジニアがスーパーコンピュータを購入したり、結果が出るのを何日も待ったりすることなく、ノートパソコン上で何千もの異なるロボットのデザインを素早く試せるようになることを意味します。

3段階の探偵

HYMELLがどのように機能するかを理解するために、あなたが巨大で多層構造のケーキを焼くのにどれくらいの時間がかかるか、そしてオーブンがどれだけの電気を使うかを推定しようとしていると考えてみてください。完成したケーキの見た目だけで総時間を予想しようとしても、細かな部分を見逃してしまうため、正確性は低くなります。その代わりに、HYMELLは「3段階の探偵」として機能し、問題を小さく管理しやすい断片に分解します。

レベル1：微細な材料（解析的モデリング）
まず、システムはロボットの脳の最も小さな「材料」を見ます。これらは、巨大な数字のグリッドを掛け合わせる（GEMMと呼ばれる）、データを正規化する（RMSNorm）、アテンション・スコアを計算する（Softmax）といった、基本的な数学演算です。研究者たちは、これらの微細な操作は、作業の規模によって挙動が異なることに気づきました。

例え： 小さなキッチンの作業として、玉ねぎを一個刻むことを考えてみましょう。玉ねぎが一個だけなら、かかる時間は主に、冷蔵庫まで歩いて行き、ナイフを手に取り、刻み始めるまでの時間に依存します（これは「ローンチ・バウンド」と呼ばれます）。しかし、玉ねぎの山を刻まなければならない場合、時間は主に、実際の刻むスピードや、玉ねぎをどれだけ速く動かせるかに依存します（これは「メモリー・バウンド」と呼ばれます）。
HYMELLは、作業が小さいか大きいかに基づいて、これらの微細な材料のコストを計算するために数学公式を使用します。それは単に推測するのではなく、物理学に基づいたルールを使用して、これらの操作のベースラインとなるコストを算出します。

レベル2：レシピのブロック（機械学習）
次に、システムはこれらの微細な材料を、アテンション・ブロック（ロボットが重要な言葉に集中するのを助けるもの）や、フィードフォワード・ネットワーク（情報の処理を助けるもの）といった、より大きな「ブロック」へとグループ化します。

例え： 玉ねぎを刻むのにどれくらい時間がかかるか、卵を泡立てるのにどれくらい時間がかかるかを正確に知っているとしましょう。しかし、それらを組み合わせてオムレツを作る際、そこには追加のステップが存在します。殻を割ること、ボウルを洗うこと、そして少し待つことなどです。これらの追加ステップは、単純な数学では計算が困難です。
そこで、HYMELLは小さな賢いコンピュータプログラム（機械学習モデル）を使用して、これらの「追加ステップ」を学習します。これは、レベル1からの数学ベースの推定値を確認し、データの整形やタスク間の切り替えといった、現実世界の煩雑なオーバーヘッドに対する補正係数を加えるものです。これにより、一つの「レシピ・ブロック」のコストを非常に正確に予測することができます。

レベル3：ホール・ケーキ（エンド・ツー・エンドの予測）
最後に、システムはすべてのブロックを組み合わせて、一連の会話を実行しているロボット全体のコストを予測します。

例え： 今や、オムレツ、ケーキ、サラダを作るための時間は分かりました。しかし、宴会全体を準備するには、単に時間を足し合わせる以上のことが必要です。オーブンが温まること、キッチンが混雑すること、そしてカウンターからテーブルへ皿を運ぶ時間などを考慮しなければなりません。
HYMELLは、別のスマートなコンピュータプログラムを使用して、すべてのブロックのコストを取り込み、これらの「システムレベル」の効果を加味します。同時に、一度に何人の人が質問しているか（バッチサイズ）や、ロボットが長いプロンプトを読んでいるのか、あるいは単に一単語ずつ生成しているのかといったことも考慮します。これにより、総時間と総エネルギーが必要とされる最終的かつ正確な予測が得られます。

研究結果

研究者たちは、この3段階の探偵を、LLaMA 3、Mistral、Qwenといった有名なロボットモデルを用いて、強力なNVIDIA H100 GPUでテストしました。結果は素晴らしいものでした。

高い精度： 微細な材料（レベル1）については、予測は極めて現実に近く、誤差はしばしば4%を下回りました。ロボット全体（レベル3）については、多くのモデルにおいて、時間とエネルギーの使用量の誤差が5%未満でした。例えば、LLaMA 3 8Bモデルをテストした際、プロンプトを読み込むフェーズ（プリフィル）での誤差は、時間は4.19%、エネルギーは2.92%であり、単語を生成するフェーズ（デコード）ではさらに低く（約1.5%）なりました。
速度と柔軟性： HYMELLは、ロボットを実際に動かすのではなく、設計図（アーキテクチャのパラメータ）に基づいて予測を行うため、非常に高速です。これにより、エンジニアは数千の設計変更を瞬時に探索できます。例えば、「アテンション・ヘッドの数を2倍にしたらどうなるか？」と問いかければ、数秒で答えが得られ、特定のセットアップにおいては64個のヘッドが最もエネルギー効率が良いといったことが示されます。
異なるハードウェアへの対応： チームはまた、この手法が特定のコンピュータに縛られていないことも示しました。彼らは別のGPU（NVIDIA RTX A6000）でもテストを行いましたが、システムは依然として良好に動作し、誤差は約8%でした。これは、新しいコンピュータチップに対してHYMELLを使用したい場合、すべてを作り直す必要はなく、そのチップの基本的な挙動を一度測定するだけで、システム全体が自動的に適応できることを示唆しています。

できないこと

HYMELLが「行わないこと」についても注意が必要です。これは、ゼロからロボットを構築する方法を教えてくれる魔法の杖ではなく、また、実機によるテストの必要性を完全に置き換えるものでもありません。これは予測ツールです。研究者たちは、自分たちのモデルは非常に正確ではあるものの、ロボットの異なるパーツ間の非常に複雑な相互作用や、異なるタイプのメモリ最適化への切り替えを扱う際には、依然として小さな誤差が生じる可能性があると明言しています。また、彼らは単一のコンピュータでのテストを行ったため、これらのロボットが連携して動く複数のコンピュータ（マルチGPU）環境でどのように機能するかを予測するには、システムにいくつかのステップを追加する必要があることも指摘しています。

なぜこれが重要なのか

HYMELLの素晴らしさは、遅くて高価な「推測ゲーム」を、高速で精密な「科学」に変えた点にあります。数学公式の信頼性と機械学習の柔軟性を組み合わせることで、設計者に、よりグリーンで、より速く、より効率的なAIを構築するための強力なツールを提供します。あらゆるアイデアをテストするために電気と時間を浪費する代わりに、彼らはこの「クリスタルボール」を使用して、実際に構築する前に最適なデザインを見つけ出すことができます。これは、より持続可能な人工知能の未来への道を切り開くものです。

技術要約：LLMのエネルギーとレイテンシのためのハイブリッド・モデリング（HYMELL）

問題提起

大規模言語モデル（LLM）の急速なスケーリングは、計算コスト、エネルギー消費、および推論レイテンシの大幅な増加をもたらしています。これらの指標を正確に推定することは、持続可能なAI展開およびハードウェア認識型設計において極めて重要です。既存のアプローチには、以下のような重大な限界があります：

純粋な解析的モデル（AMALI、LIFE、SweetSpotなど）は、多くの場合、詳細なカーネルごとの分析や明示的なハードウェア仕様を必要とする広範な手動モデリングを要します。これらは、新しいアーキテクチャやカーネルに適応する際の拡張性に乏しく、変動するシステムオーバーヘッドの下では成立しない可能性のある仮定に依存しています。
プロキシベースの手法（推論時間をエネルギーのプロキシとして使用するなど）は、微細なアーキテクチャ効果やシステムレベルのオーバーヘッドを捉えることができず、粗い粒度の推定しか提供できません。
純粋なデータ駆動型モデルは、解釈性に欠けることが多く、広範な再学習なしでは、多様なシーケンス長やバッチング・レジームに対してうまく汎化できない可能性があります。

精度、解釈性、および適応性のバランスを取りつつ、ハードウェアの実行をすべての設計イテレーションごとに必要とせずに、DenseおよびMixture-of-Experts (MoE) LLMの両方を、プリフィル（prefill）およびデコード（decode）フェーズにおいてモデル化できるフレームワークが求められています。

手法：HYMELLフレームワーク

著者らは、プリミティブ演算に対する解析的モデリングと、より高レベルなコンポーネントに対する機械学習（ML）を組み合わせた、3層の階層的フレームワークであるHYMELL（Hybrid Modeling for Energy and Latency of LLMs）を提案しています。このフレームワークは、NVIDIA H100 GPU上で動作し（RTX A6000での検証も実施）、DenseおよびMoEアーキテクチャ、ならびにMulti-Head Attention (MHA) および Grouped-Query Attention (GQA) をサポートしています。

レベル1：プリミティブ演算の解析的推定

このレベルでは、レジーム認識型の解析方程式を用いて、低レベルのGPU操作をモデル化します。著者らは、ローンチ境界（launch-bound）（カーネル起動オーバーヘッドが支配的な小さなワークロード）と、メモリ境界（memory-bound）（メモリトラフィックが支配的な大きなワークロード）の実行レジームを区別しています。

RMSNorm: 固定オーバーヘッドを持つメモリ境界の演算子としてモデル化されています。推定器は、処理される総要素数に基づき、トークン数（ $N$ ）と隠れ次元（ $d_{model}$ ）を用いた回帰係数を使用し、レジームを区別します。
Softmax: 因果的アテンション行列（ $N \times N$ ）に対してモデル化されています。推定器は、二次的なメモリトラフィック（ $N^2$ ）とリダクションの深さ（ $\log_2 N$ ）を捉え、シーケンス長の閾値に基づいてレジームを切り替えます。
GEMM (General Matrix Multiplication): 主要な計算ブロックです。モデルは、総浮動小数点演算数（ $F$ ）と算術強度（AI）に基づき、GEMMを5つのレジーム（カーネルローンチ境界、メモリ境界、バランス型（メモリ支配的）、バランス型（計算支配的）、計算境界）に分割します。これには、並列化係数（$PF = MN/K $）、メモリトラフィック（$ B_{in}, B_{out}$）、およびGPU利用率のニュアンスを捉えるための相互作用項が含まれます。

レベル2：ブロックレベル・コンポーネントのML予測

レベル1からの解析的推定値は、軽量な多層パーセプトロン（MLP）への入力として使用され、解析的にモデル化されていない残差オーバーヘッド（例：テンソル整形、マスキング、活性化関数、ルーティングなど）を捕捉して、複雑なブロックのコストを予測します。

Attention Block: GEMMおよびSoftmaxの予測値と、アーキテクチャパラメータ（ヘッド数、次元数）を受け取り、トータルアテンション時間とエネルギーを予測します。これはMHAとGQAの両方をサポートし、自己回帰デコーディング中のKVキャッシュ長（ $L_{KV}$ ）を明示的にモデル化します。
FFN Block: アップ投影およびダウン投影のためのGEMM予測を使用します。MoEアーキテクチャの場合、エキスパートの数とtop- $k$ ルーティングを入力として組み込み、集約コストを予測します。

レベル3：エンドツーエンドのシステムレベル推定

最終的なMLPは、ブロックレベルの予測をグローバルなシステムパラメータ（モデル次元、レイヤー数、シーケンス長、バッチサイズ、推論モード、MoE構成）と集約します。このレベルでは、下位レベルでのモデリングが困難な、カーネルスケジューリング、レイヤー間同期、およびフレームワークのオーバーヘッドなどのシステムレベルの効果を捕捉します。

主な貢献

ハイブリッド3層アーキテクチャ: プリミティブに対する解析モデルの解釈性と、複雑な相互作用やオーバーヘッドに対するMLの柔軟性を活用した新しいフレームワーク。
レジーム認識型解析モデリング: RMSNorm、Softmax、およびGEMMに対する、ローンチ境界とメモリ境界（または計算境界）の明示的な分離により、小さなテンソルや変動するワークロードに対する精度を大幅に向上。
ハードウェア非依存のポータビリティ: 特定のハードウェアで訓練されていますが、フレームワークはポータブルに設計されています。新しいGPUへの適応には、解析係数の更新と軽量MLPのファインチューニングのみが必要であり、構造方程式を再導出する必要はありません。
多様なアーキテクチャへのサポート: デンスおよびMoE FFN、MHAおよびGQAメカニズム、ならびに様々なシーケンス長とバッチサイズを扱います。

実験結果

本フレームワークは、NVIDIA H100 GPU上で、約1,200のモデル構成（LLaMA 3 8B、Mistral 7B、Qwen 1.5 2.7B MoEを含む）を用いて評価されました。

演算レベルの精度:
- RMSNorm: MAPE（時間）1.69%、（エネルギー）3.38%を達成。
- Softmax: MAPE（時間）3.27%、（エネルギー）1.92%を達成。
- GEMM: 様々なレジームにわたり、MAPE（時間）6.38%、（エネルギー）5.79%を達成。
ブロックレベルの精度:
- Attention: MAPE（時間）1.98%、（エネルギー）2.42%を達成。
- FFN: デンスモデルでMAPE（時間）4.62%、（エネルギー）5.47%を達成。MoEではルーティングオーバーヘッドのため、わずかに誤差が増大。
エンドツーエンドの精度:
- デンスおよびMoEモデルのプリフィルおよびデコードフェーズの両方において、平均MAPEはレイテンシで10.98%、**エネルギーで11.78%**を達成。
- AMALIとの比較: LLaMA 3 8B（バッチサイズ1）において、HYMELLは解析モデルであるAMALIを大幅に上回りました。HYMELLは、AMALIのプリフィル時15.56%、デコード時34.90%に対し、時間MAPEでプリフィル時4.19%、**デコード時1.58%**を達成しました。また、AMALIが提供していないエネルギー推定も提供しました。
汎用性:
- クロスデバイス: NVIDIA RTX A6000に移植した際、再プロファイリング後も強力な精度を維持（平均時間MAPE: 8.14%、エネルギーMAPE: 8.62%）。
- アーキテクチャの拡張性: フレームワークは、低い誤差（時間MAPE 1.91%）でリニアアテンションのバリアントを正常に推定し、非標準的なアテンションメカニズムへの適応性を示しました。

重要性と主張

本論文は、HYMELLがLLM推論評価のための**高速でハードウェア不要なサロゲート（代用モデル）**を提供すると主張しています。アーキテクチャパラメータから実行コストを直接予測することで、以下を可能にします：

迅速な設計空間探索: 研究者は、物理的な実験を実行することなく、パラメータ（例：アテンションヘッド、モデル次元、MoE設定）をスイープして、エネルギーまたはレイテンシを最小化する構成を特定できます。
エネルギー効率の高い最適化: ハードウェア認識型設計のための、アーキテクチャパラメータの共同最適化をサポートします。
スケーラビリティ: ハイブリッドアプローチは、完全な解析モデルの複雑さを回避しながら、純粋なデータ駆動型のブラックボックスモデルよりも優れた汎化性能を維持します。

著者らは、評価はシングルGPU推論に焦度にしているものの、フレームワークのモジュール性により、集団通信プリミティブとネットワーク帯域幅をグローバルな特徴量として組み込むことで、マルチGPUスケーリングへの拡張が可能であることを強調しています。本研究は、正確かつ早期段階のエネルギーおよびレイテンシ推定を可能にすることで、持続可能なAI展開の基礎となるものです。