💻 computer science

High-Performance FP16 General Matrix Multiplication on NVIDIA Ada Lovelace via CUTLASS and WMMA: A Benchmark and Pipeline-Depth Analysis

この論文は、NVIDIAのAda Lovelaceアーキテクチャに基づくRTX 4060におけるFP16 GEMMの性能をcuBLAS、CUTLASS、およびカスタムWMMA実装を用いてベンチマークしており、特定のタイルジオメトリを用いたパイプライン深度3がピークスループットの52.7%を達成することを示すとともに、さらなる最適化を制限している主要なボトルネックはパイプライン深度ではなく共有メモリの圧力であることを明らかにしている。

原著者： Lucas Lima Freitag

公開日 2026-07-15

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Lucas Lima Freitag

原論文は CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

超高速なキッチン（GPU）と、その中で働く専門のシェフたち（テンソルコア）を想像してみてください。彼らは食材を刻んだり混ぜたりする（行列演算）のが非常に得意で、巨大な宴会（ディープラーニング）の準備を進めています。新しい「Ada Lovelace」製のコンロ（RTX 4060 グラフィックスカード）を備えたこのキッチンは、理論上 60.55 TFLOPS（毎秒60.55兆回の演算が可能）の能力を持っています。

しかし、ここには落とし穴があります。シェフたちがそれだけの速さで刻める能力があったとしても、実際にその速さで刻めているとは限りません。彼らはしばしば、パントリーから食材が届くのを待たなければならないからです。

大規模な実験：シェフをいかに忙しくさせるか

研究者たちは、シェフの手を止めさせないためにキッチンをどのように構成するのがベストかを突き止めようとしました。彼らは、キッチンを動かす3つの異なる方法をテストしました。

ブラックボックス (cuBLAS): NVIDIAが提供する、パッケージ化されたクローズドソースのレシピです。通常は非常に優れた働きを見せますが、詳細を微調整することはできません。
オープンな設計図 (CUTLASS): 柔軟なオープンソースのツールキットで、ゼロから自分専用のキッチン・レイアウトを構築できます。
DIYアプローチ (WMMA): シェフの一挙手一投足を完全にコントロールできるカスタムメイドのキッチンですが、構築するのは非常に困難です。

彼らは、食材のサイズを 8192 × 8192 に設定し、異なる「パイプラインの深さ（pipeline depth）」で調理チャレンジを行いました。パイプラインの深さとは、キッチンに常に用意しておく食材トレーの数だと考えてください。

深さ 2: 用意されたトレーは2枚。
深さ誤差 3: 用意されたトレーは3枚。
深さ 4: 用意されたトレーは4枚。

一般的な常識（および単純な数学モデル）では、**「トレーが多いほど、スピードは上がる」**と考えられていました。その論理はこうです。「もしトレーが増えれば、シェフは食材切れを起こさなくなるので、より速く働けるはずだ」というものです。

驚きの結果：増やすことが裏目に出る

研究者たちが速度を測定したところ、以下の結果が得られました。

深さ 2: キッチンは 25.6 TFLOPS で動作しました。シェフたちは待ちぼうけを食らっていました。
深さ 3: キッチンは 31.9 TFLOPS まで加速しました（これは理論上の最大値の 52.7% です）。ここが「スイートスポット」でした！
深さ 4: キッチンは逆に 3回 31.1 TFLOPS へと減速してしまいました。

これが主要な発見です： 4枚目のトレーを追加しても効果はなく、むしろ悪化させました。単純な数学モデルでは、速度は 35.4 TFLOPS まで跳ね上がると予測されていました。しかし、実際にはなりませんでした。モデルの予測は 13.8% 外れていたのです。

なぜトレーを追加すると逆効果になったのか？

論文では、キッチンには限られたスペースがあることが説明されています。4枚目のトレーを追加したことで（共有メモリの使用量が 96 KB に増加）、同時に作業できる調理チーム（スレッドブロック）の数を減らさざるを得なくなりました。

深さ 3 のとき、キッチンには各コンロに 2チーム のシェフが収まっていました。
深さ 4 になると、キッチンには 1チーム しか収まりませんでした。

たとえ1チームあたりの食材は増えたとしても、作業が滞ったときに交代できるチームの数が減ってしまったため、結果として遅くなってしまったのです。キッチンは食材によって「混雑」しましたが、働き手は「空洞化」してしまいました。研究者たちは、占有率（occupancy：どれだけのチームが動いているか）が低下し、シェフたちが使う「レジスタ（個人のメモ帳）」が増えたことも、速度低下の原因であると測定しました。

勝者と敗者

勝者: CUTLASS ツールキットの、深さ 3 かつタイルサイズ 256 × 128 の組み合わせです。これは 31.9 TFLOPS を叩き出しました。これは標準的な「ブラックボックス」（cuBLAS）をわずかな差（ほぼ誤差の範囲ですが、1.3%）で上回っており、オープンな設計図がクローズドなものに匹敵することを証明しています。
DIYの準優勝: カスタムの WMMA カーネル（完全なDIYキッチン）は、少し小さめのテストで 25.1 TFLOPS を記録しました。これは、食材の配送と調理を重ね合わせる「ダブルバッファリング」のような高度なテクニックを使用していなかったため、低速でした。
敗者: 「パイプラインの深さは常に大きい方が良い」という考え方です。論文は、この特定のハードウェアにおいては、この考えを明確に否定しています。

信頼性はどの程度か？

著者たちは、ハードウェア上で直接測定を行い、テストを 10回 繰り返して平均を出しているため、これらの数値に非常に自信を持っています。彼らはさらに、自作のコードをNVIDIAの内蔵ツール（プロファイラ）と比較し、自作コードが完璧に一致することも確認しました。

ただし、以下の点については証明できていないことも認めています。

特定のサイズ（8192）の課題のみをテストしています。「深さ3がベスト」というルールが、より小さい問題や特殊な形状の問題でも通用するかどうかは不明です。
パイプラインの深さを4以上に上げるテストは、メモリ不足により物理的に不可能でした。
テストをWindows上で実行する必要があり、ドライバーの不具合により、カスタムコードと標準コードを全く同じ実行環境で比較することができませんでした（別々の実行としては行っています）。

まとめ

もしあなたが、計算負荷の高いタスクのためにRTX 4060のようなコンシューマー向けグラフィックスカードを最大限に活用したいのであれば、単にバッファを増やし続ければよいわけではない、ということを覚えておいてください。そこには「ゴルディロックス（ちょうど良い）」な領域が存在します。今回のケースでは、3段階 の準備が完璧でした。これを 4段階 にすると、キッチンが窮屈になりすぎて、全員の動きを鈍らせてしまいます。

研究者たちは、すべてのコードをオープンソースとして公開しており、誰でも自分のキッチンを構築して 31.9 TFLOPS の記録に挑戦できるようになっています。彼らは、今後の研究として、異なる問題サイズを試したり、よりクリーンなデータを得るためにLinuxを使用したりすることを推奨していますが、現時点では、このセットアップにおけるピークは 31.9 TFLOPS であり、31.1 TFLOPS はメモリに対して欲張りすぎた時に起こる結果であることを示しています。

技術要約：CUTLASSおよびWMMAを用いたNVIDIA Ada Lovelaceにおける高性能FP16 GEMM

問題提起
行列乗算（GEMM）は、ディープラーニングおよび科学計算の計算基盤である。NVIDIAのAda Lovelaceアーキテクチャ（特にコンシューマグレードのRTX 4060、AD107チップ）は、FP16 Tensor Coreの理論的なピークスループットとして60.55 TFLOPSを提供するが、ピークに近い性能を実現するには、GPUメモリ階層の緻密なオーケストレーションが必要となる。課題は、共有メモリのプレッシャーやレジスタの制約によってボトルネックとなることなく、タイリング戦略、ソフトウェアパイプラインの深さ、およびスレッドブロックの占有率（オキュパンシー）のバランスをいかに取るかにある。既存の文献では、ライブラリプロファイラレベルでのGEMMの特性化は広く行われているが、CUTLASSのデバイスレベルAPIを用いて、任意のパイプライン深度やタイルジオメトリが与える影響をコンシューマ向けハードウェア上で系統的に評価することには空白が存在する。

手法
著者らは、Windows 11およびCUDA 13.1上で動作するNVIDIA RTX 4060 (Ada Lovelace) を用い、FP16→FP32 GEMM演算の系統的なベンチマークを実施した。研究では、以下の3つの実装ティアを比較した：

cuBLAS: ベンダーによって最適化された、参照用として使用されるクローズドソースライブラリ。
CUTLASS デバイスレベルAPI: タイル次元、パイプライン深度 ( $S$ )、およびエピローグのベクトル化をコンパイル時にカスタマイズ可能なオープンソースのC++テンプレートライブラリ。
カスタムWMMAカーネル: 教育的な検証のために、CUDA Warp Matrix Multiply Accumulate (WMMA) APIを使用した手動チューニング済みのカーネル。

実験は、固定された問題サイズ $N = 8192$ ( $M=N=K=8192$ ) に焦点を当てた。手法には以下が含まれる：

パイプライン深度の変動: スレッドブロックタイルを $256 \times 128$ および $128 \times 128$ とし、パイプライン深度 $S=3$ および $S=4$ のCUTLASS構成をテスト。
解析的モデリング: パイプライン効率 ( $S/(S+\kappa)$ ) に基づく性能モデルを開発し、スループットを予測するために占有率制約 ( $\gamma(S)$ ) を拡張。
検証: 相対誤差閾値 $10^{-2}$ でcuBLASに対するカスタムWMMAカーネルの数値的正当性を確保。
測定プロトコル: クロックのスケーリングと初期化オーバーヘッドを軽減するためにウォームアップフェーズを含むホスト側タイミングを使用。また、cuBLASとCUTLASSの実行ストリームを分離する必要があった特定のWindowsドライバの安定性問題（TDR）についても記述。

主な結果

最適構成: パイプライン深度 $S=3$ 、スレッドブロックタイル $256 \times 128$ 、およびエピローグのベクトル化 4 を備えたCUTLASS構成が 31.9 TFLOPS（理論ピークの52.7%）を達成した。これはCUTLASSプロファイラの組み込み s116816gemm_f16 カーネルの性能と一致しており、ベンチマークのオーバーヘッドに起因するものの、cuBLASのリファレンス（31.5 TFLOPS）を1.3%上回った。
パイプライン深度の異常: 直感に反して、パイプライン深度を $S=4$ に増やすと、性能の退行が発生し、31.1 TFLOPS（2.5%の低下）となった。
ボトルネック分析: $S=4$ における性能低下は、**占有率の崩壊（occupancy collapse）**に起因するとされた。 $S=3$ （72 KBの共有メモリを必要とする）では、Streaming Multiprocessor (SM) あたり2つのスレッドブロックを配置できたが、 $S=4$ （96 KBを必要とする）では、占有率がSMあたり1ブロックへと強制的に低下した。これにより、同時実行されるワープ数が半減し、メモリレイテンシを隠蔽するスケジューラの能力が低下した。さらに、レジスタプレッシャーはスレッドあたり約64から約72へと増加した。
モデルの精度: 単純な解析モデルは $S=2$ および $S=3$ に対して性能を正確に予測したが、 $S=4$ を13.8%過大評価した。占有率の天井を組み込んだ拡張モデルは、この $S=4$ の予測を実測値の1%以内に補正した。
カスタムカーネルの性能: カスタムWMMAカーネルは、 $N=4096$ において25.1 TFLOPS（ピークの41.5%）を達成した。この性能の低さは、ソフトウェアパイプラインの欠如（シングルバッファリング）および、最適化されたCUTLASSテンプレートと比較した際の高い同期オーバーヘッドに起因する。

主な貢献

再現可能なベンチマークフレームワーク: Ada Lovelace GPU上で、任意のコンパイル時パラメータを用いてGEMMカーネルをインスタンス化できる、CUTLASSデバイスレベルAPIを利用したオープンソースフレームワーク。
パイプライン深度に関する経験的知見: 深いパイプライン ( $S=4$ ) が、共有メモリおよび占有率の制約により、必ずしもスループット向上をもたらさないことを示す実験的証拠。これは単純なスループットモデルとは矛盾するものである。
較正された解析モデル: $S=2$ および $S=3$ のスループットを予測でき、かつ $S=4$ の領域を正確にモデル化するために占有率制限付きの拡張を必要とする性能モデル。
教育的リファレンス: 低レベルのTensor Coreプログラミングの参照となる、完全に検証されたカスタムWMMAカーネル。
ドライバ挙動の観察: CUTLASSとcuBLASのカーネルを交互に実行する際の特定のWindowsドライバの不安定性（TDR関連）に関する文書化。これは、Windows上でのクロスライブラリ・ベンチマークにおける実用的な制約を浮き彫りにしている。

意義と主張
本論文は、現代のコンシューマ向けGPUにおいて高性能なGEMMを実現することは、パイプライン深度のみがスループットを決定する要因ではない、マルチボトルネックの問題であることを主張している。本研究は、共有メモリのプレッサーと占有率の制約が、より深いソフトウェアパイプラインによる期待される利益を逆転させ得ることを強調している。コンシューマグレードのRTX 4060が理論的なTensor Coreピークの約53%（31.9 TFLOPS）を達成できることを示すことで、本研究は、特定のワークロードにおいてデータセンター級に近い性能レベルが手頃な価格のハードウェアでもアクセス可能であることを示唆している。著者らは、自らのオープンソースツールと知見を、GPU最適化技術を研究・学習するためのリソースとして位置づけ、アクセシブルなハイパフォーマンスコンピューティングおよびエネルギー効率の高い機械学習推論という広範な目標に貢献している。本研究は、すべてのGEMM最適化の課題を解決することを目的とするものではなく、Ada Lovelaceアーキテクチャにおけるパイプライン深度と占有率のトレードオフに関する、具体的かつ再現可能な分析を提供するものである。