Microbenchmark-Driven Analytical Performance Modeling Across Modern GPU Architectures

本論文は、現代の NVIDIA Blackwell および AMD CDNA3 GPU アーキテクチャ向けに、体系的なマイクロベンチマーク特性評価に基づき、単純なルーフライン基準を大幅に凌駕しつつ、前世代への移植性も実証した、極めて高精度な解析的パフォーマンスモデルを提示する。

要約

超高速配送トラックが荷物を配達するのにかかる時間を予測しようとしていると想像してください。

従来の方法（「単純なルーフライン」）：
長年、エンジニアは単純な経験則を用いていました。「トラックが時速 100 マイルで走行でき、荷物が 10 ポンドなら、X 分かかる」というものです。彼らはトラックの最高速度（「理論上のピーク」）と道路状況（メモリ帯域幅）を確認し、簡単な計算を行っていました。

問題点：
この古い規則は、現代のトラック（GPU）では完全に失敗します。なぜなら、現実は複雑だからです。

• トラックは単に走行するだけでなく、積み込みドックで停止し、特定のエレベーターを待ち、荷物を特殊なコンテナに積み込み、その後走行する必要があります。
• 時には、トラックが助けを借りるために 2 台目のトラックを待つ必要があります。
• 時には道路に「秘密のトンネル」（キャッシュ）があり、それが主要な高速道路よりも移動を速くしますが、古い規則はそのトンネルのことを知りません。
• トラックのパンフレットに記載されている「最高速度」は、実際の交通状況では決して持続できない幻想的な数字であることが多いです。

この論文では、この古い規則を使用すると95% から 99% の誤差が生じると述べています。10 分の移動が 10 時間かかると予測したり、その逆になったりするのと同じです。

新しい解決策（「マイクロベンチマーク駆動モデル」）：
著者たち（Aaron Jarmusch と Sunita Chandrasekaran）は、現在市場に出ている最も高度な 2 種類の「トラック」に対する、超精密な予測システムを構築しました。

1. NVIDIA Blackwell (B200)： 最新のハイテクトラック。
2. AMD CDNA3 (MI300A)： 最新の競合トラック。

パンフレットに基づいて推測するのではなく、彼らは実際にこれらのトラックがどのように振る舞うかを測定しました。配送プロセスのすべてのステップの時間を計るために、小さく具体的なテスト（マイクロベンチマーク）を実行しました。

その方法（アナロジー）：

• NVIDIA トラック（Blackwell）の場合：
  彼らは、このトラックが非常に特定された、組立ラインのようなスタイルを持っていることに気づきました。特別な「積み込みドック」（TMEMと呼ばれます）と、自動的に物を移動させる「バルクローダー」（TMAと呼ばれます）を持っています。

  • モデル： 彼らはステップごとのストップウォッチを構築しました。「ステップ 1：データをロード（420 ナノ秒かかる）。ステップ 2：特殊なドックへ移動。ステップ 3：数学的処理。ステップ 4：他のトラックと同期。」
  • 結果： 彼らは1.3% の誤差で時間を予測しました。10 分の移動を予測して、わずか 8 秒の誤差しか出ないようなものです。

• AMD トラック（MI300A）の場合：
  このトラックは異なります。ドライバーのすぐ隣に巨大な「倉庫」（Infinity Cacheと呼ばれます）があり、ドライバーは自分の座席スペース（レジスタ）を管理する必要があります。

  • モデル： 彼らは、「荷物が倉庫に入るのに十分な大きさか？はいなら超高速。いいえなら、遅い高速道路に行かなければならない」という式を作成しました。また、ドライバーの座席がどれほど混雑しているか（occupancy）も確認しました。
  • 結果： 彼らは0.09% の誤差で時間を予測しました。これは信じられないほど精密で、ほぼ完璧です。

なぜこれが重要なのか：
著者たちは、新しいモデルを実世界の作業（科学や AI に使われる複雑な数学問題など）でテストしました。

• 古い「ルーフライン」手法は、ほぼ毎回間違っていました（誤差がほぼ 100%）。
• 彼らの新しい手法は、ほぼ毎回正解でした。

「プラグアンドプレイ」機能：
最も素晴らしい点は、古いトラック（NVIDIA H200 や AMD MI250X など）のために全く新しいシステムを考案する必要がなかったことです。彼らは既存のモデルを取り、単に「速度制限」と「倉庫の大きさ」の数値を入れ替えるだけで、再び機能しました。これは、地図を書き換えることなく、設定で車種を変更するだけで、フォード、トヨタ、テスラすべてに対応する GPS アプリを持っているようなものです。

注意点（限界）：
このモデルは、「配送」が滑らかで予測可能（大きなデータブロックの移動など）な場合に非常にうまく機能します。配送が迷路をジグザグに移動すること（不規則なデータ）や、瞬間的な小さなタスクのために停止することを含む場合、モデルの精度は少し低下します。また、このモデルは、移動するデータ量が正確に伝えられることに依存しています。その入力値が間違っていれば、予測も間違ります。

まとめ：
著者たちは、現代のスーパーコンピュータのための「スマート GPS」を構築しました。マーケティングパンフレットに基づいて推測するのではなく、ハードウェアの実際の動作を測定しました。これにより、エンジニアはこれらの新しいマシンでのタスクの所要時間を、ほぼ完璧な精度で正確に知ることができるようになり、それは古い手法では不可能でした。彼らは、すべてのツールと測定値を一般に公開し、誰もが使用できるようにすることを約束しています。

技術概要

技術サマリー：現代 GPU アーキテクチャにおけるマイクロベンチマーク駆動の解析的パフォーマンスモデリング

問題定義
現代の高性能計算（HPC）および AI システムは、複雑なメモリ階層、専用行列ユニット、多様な精度形式を備えた急速に進化する GPU アーキテクチャ（例：NVIDIA Blackwell B200、AMD CDNA3 MI300A）に依存しています。理論上のピーク性能と達成可能な効率性の間には大きな隔たりが存在します。従来のパフォーマンスモデリング、特に「単純なルーフラインモデル」は、これらの現代のアクセラレータにおける実行時間を正確に予測できません。著者らは、データシート上のピーク値を用いて計算とメモリの境界の単一の最大関数に依存する単純なルーフライン手法は、直列化されたパイプラインステージ、専用行列パス、テンソルメモリ（TMEM）の常駐、およびオーバキュランス駆動の制約といった重要なアーキテクチャ上の現実を無視していると主張します。その結果、単純なルーフラインの基準値は、現代のカーネルにおいて 95% を超える誤差を示し、パフォーマンスエンジニアリングや最適化に対して非効率的となります。

手法
本論文は、NVIDIA Blackwell（B200）および AMD CDNA3（MI300A）という 2 つの現行世代アーキテクチャに対する解析的パフォーマンスモデルを構築するための、体系的かつマイクロベンチマーク駆動のアプローチを提案します。

1. マイクロベンチマークによる特性評価: 著者らはまず、ターゲットとした低レベルのマイクロベンチマークを用いてハードウェアを特性評価します。これらの測定値は、持続的帯域幅（HBM、TMEM、インフィニティキャッシュ）、命令レイテンシ（TMA、テンソルコア、バリア）、およびオーバキュランス制限を含むモデルパラメータを、直接ハードウェアから導き出します。これは、しばしば達成可能なスループットを過大評価するベンダーのデータシート上のピーク値のみに依存することとは対照的です。
2. ステージ中心およびウェーブフロント中心モデリング:
   • NVIDIA Blackwell (B200): モデルはステージ中心のフレームワークを採用し、テンソルメモリアクセラレータ（TMA）→ テンソルメモリ（TMEM）→ 第 5 世代テンソルコア → 同期というパイプラインステージを明示的にモデル化します。非同期のバルクコピー、TMEM 容量制約（256 KB/SM）、圧縮エンジン、および 2-SM 協調実行を考慮します。
   • AMD CDNA3 (MI300A): モデルはオーバキュランスによって駆動される暗黙的なオーバーラップに焦点を当てたウェーブフロント中心のフレームワークを利用します。インフィニティキャッシュ階層（256 MB）、ベクトル汎用レジスタ（VGPR）の制約、およびタイルサイズとオーバキュランスのトレードオフを組み込みます。L1/L2/インフィニティキャッシュ/HBM のメモリ階層と、作業セットサイズがキャッシュヒット率に与える影響をモデル化します。
3. 検証戦略: モデルは、B200 用 21 個、MI300A 用 27 個のマイクロベンチマークスイートに対して検証されます。さらに、Rodinia 3.1 および SPEChpc 2021 Tiny のフルアプリケーションベンチマークでもテストされます。著者らはまた、モデル式を再導出することなく、ハードウェアパラメータを更新するだけで、各ベンダーの前世代（NVIDIA H200 および AMD MI250X）にも同じモデルフレームワークを適用し、移植性を実証します。

主要な貢献

• 初めて検証された実行時間モデル: 本論文は、著者の知る限り、NVIDIA Blackwell（B200）および AMD CDNA3（MI300A）アーキテクチャに特化した、初めて検証された解析的実行時間モデルを提示します。
• 新規アーキテクチャ用語: モデルは、Blackwell における TMEM/TMA の相互作用や CDNA3 におけるインフィニティキャッシュ階層/VGPR 負荷など、従来の解析モデルが無視していた現代の機能を捉えるための特定の用語を導入します。
• ベンダー横断検証: 本作業は、競合するベンダー間での統一された検証プロトコルを提供し、共有条件下で平均絶対誤差（MAE）を報告します。
• 移植性の実証: 著者らは、モデルフレームワークが拡張可能であることを実証します。マイクロベンチマークから導き出されたパラメータ（帯域幅、キャッシュサイズなど）を更新することで、モデルは構造的変更なしに H200 および MI250X のパフォーマンスを正確に予測します。

結果

• マイクロベンチマークの精度: 提案されたモデルは、マイクロベンチマークにおいて高い精度を達成します。
  • Blackwell (B200): 21 個のカーネル全体で MAE 1.31%。
  • CDNA3 (MI300A): ホスト測定による較正乗数を用いることで 27 個のカーネル全体で MAE 約 0.09%（較正されていないモデルでは MAE 約 5〜8%）。
  • 比較: 対照的に、データシート上のピーク値のみを使用した単純なルーフライン基準値は、同じカーネルにおいて 95% を超える誤差を示します（例：B200 で 96.1%、MI300A で 99.6%）。
• アプリケーションベンチマーク:
  • Rodinia 3.1: MI300A において、モデルは全体で MAE 12.5% を達成し、規則的なワークロード（例：pathfinder、srad）ではほぼゼロの誤差を示しますが、不規則なアクセスパターン（例：bfs、hotspot）では誤差が大きくなります。
  • SPEChpc 2021 Tiny: MI300A において、プロファイラから導き出された FLOP/バイト数を使用する場合、モデルは MAE 1.3% を達成します。しかし、第一原理（ソースコード）分析を使用すると、誤差は約 92.5% に上昇し、これはパフォーマンスモデル自体の失敗ではなく、コンパイラ生成カーネルとソースレベルのアルゴリズム分析との間の不一致を浮き彫りにします。
• 移植性: ワークロードセグメントの再特性評価なしに H200 および MI250X に適用した場合、アプリケーションレベルの MAE は増加します（例：H200 Rodinia で 43.6%）。これは、モデル構造は移植可能である一方で、正確なワークロード特性評価はプラットフォーム固有であることを確認します。

意義と主張
本論文は、現代の GPU における理論的ピークと実際の性能のギャップを埋めるために、アーキテクチャ固有の解析的モデリングが必要であると主張します。著者らは、直列化されたパイプラインステージ（Blackwell）やオーバキュランス駆動のキャッシュ階層（CDNA3）を表現できないため、「単純なルーフライン」では不十分であると強調しています。

この作業の意義は、マイクロベンチマークおよび規則的なアプリケーションにおいて 1〜5% の MAE 以内で実行時間を正確に予測できる、解釈可能でパラメータ化されたモデルを提供する点にあります。著者らは、自らのアプローチがボトルネックをモデル定式化からワークロード特性評価へとシフトさせると主張します。モデルは規則的なデータ並列ワークロードに対して非常に高精度である一方、不規則なアクセスパターン（例：疎行列、ポインタ追跡）や起動オーバーヘッドが支配的な非常に短いカーネルについては限界があると指摘しています。

本論文は、これらのモデルが物理的なアクセスなしでのベンダー間の調達比較、タイルサイズや精度のオートチューニングガイダンス、マイクロベンチマークを実行してパラメータを更新するだけで新しいハードウェア上の迅速な性能推定など、実用的な応用を可能にすると結論付けています。また、既存のベンチマークスイート（Rodinia など）は TMA や TMEM のような現代のプリミティブを十分に行使していない可能性があり、これらの機能を直接対象とする新しいベンチマークの必要性を指摘しています。