🤖 machine learning

GQLA: Group-Query Latent Attention for Hardware-Adaptive Large Language Model Decoding

本論文は、H100 クラスの GPU 向けの MQA 吸収パスと H20 などの汎用 GPU 向けの GQA パスの間で動的に切り替え可能な単一の重みセットを実現する、DeepSeek のマルチヘッド潜在アテンションをハードウェア適応的に修正したグループクエリ潜在アテンション（GQLA）を提案し、これにより再学習やカスタムカーネルなしで推論効率を最適化し、マルチトークン予測をサポートする。

原著者： Fanxu Meng

公開日 2026-05-18

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Fanxu Meng

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

巨大な図書館（大規模言語モデル）を運営していると想像してください。司書が新しい文章を書くたびに、その文章が意味をなすか確認するために、これまで読んだすべての本を振り返らなければならないとします。この「振り返り」がプロセスの中で最もコストが高く、大量のメモリトラフィックを必要とします。

長らく、これを処理する最良の方法はMLA（Multi-head Latent Attention：マルチヘッド潜在アテンション）と呼ばれる手法でした。MLA は、超効率的な「要約ノート」システムのようなものです。すべての本のすべての詳細を保持する代わりに、司書はすべての重要な情報を、小さな低ランクの「カンニングペーパー」（潜在ベクトル）に圧縮します。

旧システム（MLA）の問題点：
この論文は、このカンニングペーパーシステムは素晴らしいものの、非常に高価で高性能なコンピュータ（NVIDIA H100）のために特別に構築されたものであると主張しています。

H100 への適合：この高価なコンピュータでは、システムは完璧に機能します。なぜなら、このコンピュータは数学計算は速いものの、メモリ速度は限られているからです。カンニングペーパーはメモリ使用量を低く抑え、コンピュータの強みと合致します。
H20 での不適合：しかし、メモリ速度は豊富だが数学計算ははるかに遅い、輸出規制対象のより安価なコンピュータ（H20）が存在します。この機械にとって、旧来のカンニングペーパーシステムは災難です。移動するデータ量に対して、コンピュータに過度な数学計算を強いるため、処理が停止してしまいます。
硬直性：旧システムは、特定の一人のために仕立てられたスーツのようです。体型が変われば着ることはできません。また、このシステムは図書館が複数の作業員（テンソル並列化）を効率的に活用することを妨げ、速度を落とさずに次の数語を同時に推測すること（マルチトークン予測）を阻止します。

新しい解決策：GQLA（Group-Query Latent Attention）
著者らは、GQLAと呼ばれる新しいシステムを提案します。これは新しいスーツではなく、変形可能なスーツのようなものです。同じ生地（同じ学習済み重み）を使用して、2 つの異なる体型に完璧にフィットします。

これがどのように機能するか、アナロジーを用いて説明します：

2 つの経路：
- 経路 A（「超コンパクト」モード）：これは元の MLA スタイルです。小さなカンニングペーパーを保持します。これは、数学計算を多く必要とする高価な H100 コンピュータに最適です。メモリトラフィックを最小化します。
- 経路 B（「グループ化」モード）：これは新しいトリックです。すべてを 1 つの小さなノートに圧縮する代わりに、ノートを 8 つの別の「フォルダ」にグループ化します。これによりキャッシュはわずかに大きくなりますが、ステップあたりの計算量を減らすことができます。これは、数学計算は遅いがデータ移動は速い、より安価な H20 コンピュータに最適です。
魔法のスイッチ：
最も素晴らしい点は、図書館を再構築する必要がないことです。「スーツ」（モデルの重み）は同じです。モデルをデプロイする際：
- H100の場合、スイッチを切り替えて経路 Aを使用します。
- H20の場合、スイッチを切り替えて経路 Bを使用します。
- 再学習不要：司書に新しいことを教える必要はありません。ノートの読み方を変えるだけです。
- カスタムツール不要：コンピュータの工具箱に既に存在する標準的なツールを使用します。
なぜ優れているのか：
- ハードウェア適応性：高価なコンピュータと安価なコンピュータの両方にとっての「絶好の地点」を見つけ、両者で速度を最大化します。
- チームワーク：旧システムとは異なり、新しい「グループ化」経路は、以前はブロックされていた複数の作業員が効率的に協力すること（テンソル並列化）を可能にします。
- 将来への備え：また、旧システムではクラッシュなしに行えなかった、安価なコンピュータ上での「複数の単語を同時に推測する」（マルチトークン予測）機能もサポートします。

「TransGQLA」のトリック：
この論文は、既存の図書館（すでに旧グループ化システムで学習済みのモデル）を、ゼロから始めずに即座にこの新しい「変形可能なスーツ」に変換する方法も示しています。標準的なジャケットに、隠しジッパーを追加して、瞬時に超コンパクト版に変形させるようなものです。

結果：

H100上では、元のシステムと同等の性能を発揮します。
H20上では、コンピュータが不要な数学計算に時間を浪費するのを防ぐため、元のシステムより3.4 倍高速です。
標準モデル（LLaMA-3-8B）でこれをテストしたところ、この新しい形式に変換しても知能はほとんど変化せず、能力の低下はごくわずかである一方、安価なハードウェア上で劇的な速度向上が得られました。

まとめ：
この論文は、「ユニバーサルアダプター」として機能する柔軟なアテンションメカニズムを導入します。これにより、単一の AI モデルが、モデルの再学習や新しいソフトウェアの構築を必要とせず、メモリの整理方法を変えるだけで、高性能で高価なチップと、安価で規制対象のチップの両方でピーク効率で実行できるようになります。

技術概要：GQLA – ハードウェア適応型大規模言語モデルデコーディングのためのグループクエリ潜在アテンション

1. 問題定義

現代の自己回帰型大規模言語モデル（LLM）のデコーディングは、生成される各トークンがオフチップメモリからキャッシュされたキーと値の履歴全体を読み取る必要があるため、本質的にキー・バリュー（KV）キャッシュのトラフィックによってボトルネック化しています。DeepSeek-V2/V3 で採用されているマルチヘッド潜在アテンション（MLA）のような最近のアーキテクチャは、キーと値を低ランク潜在空間に共同で圧縮することで、最先端の KV キャッシュ削減を実現していますが、多様な推論ハードウェア上で展開される際には、以下の 3 つの相互に関連するハードウェア上の欠点に直面します。

ハードウェア結合: MLA の学習済み重みは、単一のデコーディングパス（「吸収された」マルチクエリアテンション、MQA 形式）のみを露出させます。このパスは、NVIDIA H100 のようなハイエンド GPU の計算対帯域幅比（リッジ $\approx$ 295 FLOPs/バイト）に完璧に調整されています。しかし、輸出規制対象またはコモディティ GPU である H20（帯域幅は維持しつつ計算能力を約 7 倍削減し、リッジを $\approx$ 37 FLOPs/バイトまで低下させる）のようなハードウェアでは、このパスは計算リソースに強く制約され、スループットが著しく低下します。
テンソル並列性（TP）の喪失: 吸収された MQA 形式は、すべてのクエリヘッドを単一の共有潜在 KV へ誘導します。この構造は、各デバイスが完全な潜在空間を複製しなければならないため、ヘッド軸に沿ったテンソル並列性を阻害し、スケーラビリティを制限します。
マルチトークン予測（MTP）による利益のゼロ: 1 ステップで複数のトークンを生成して算術強度を高める MTP は、すでに計算リソースに制約されている H20 上のデコーディングを、その効率リッジをさらに超える方向へ押しやり、スループット向上をもたらしません。逆に、H100 上では MTP がリッジを超過し、利益の効率を低下させます。

2. 手法：グループクエリ潜在アテンション（GQLA）

著者は、共同低ランク潜在圧縮を維持しつつ、同一の学習済み重み上で 2 つの代数的に同等なデコーディングパスを露出させる、MLA の最小限のアーキテクチャ変更である**グループクエリ潜在アテンション（GQLA）**を提案します。

アーキテクチャ

GQLA は、すべての $h_q$ クエリヘッドにそれらを複製するのではなく、 $g$ グループによってアッププロジェクション行列（ $W_{UK}, W_{UV}$ ）をインデックス付けします。この設計により、2 つの異なる実行パスが可能になります。

MQA 吸収パス（メモリフレンドリー）:
- メカニズム: MLA と同一です。アッププロジェクションはクエリおよび出力プロジェクションに吸収されます。すべての $h_q$ ヘッドが、コンパクトな潜在キャッシュ（$cKV$）に直接アテンションします。
- キャッシュ: 潜在（ $r_{kv}$ ）と共有 RoPE キー（ $d^R_h$ ）のみを格納します。
- 対象ハードウェア: 算術強度（ $s_q=1$ の場合 $\approx$ 242 FLOPs/バイト）がメモリ・計算リッジの直下に位置する H100 クラスのハードウェア向けに最適化されています。
GQA パス（計算フレンドリー）:
- メカニズム: 潜在は $g$ 個のキー/値グループに展開されます。デコーディングは、ステップごとの潜在展開なしで、バニラなグループ化クエリアテンション（GQA）を実行します。
- キャッシュ: グループごとの展開されたキーと値（ $2gd_h$ ）および共有 RoPE キーを格納します。
- 対象ハードウェア: H20 クラスのハードウェア向けに最適化されています。グループ数（ $g$ ）と 1 ステップあたりのクエリトークン数（ $s_q$ ）を調整することで、算術強度を H20 のリッジ（ $\approx$ 37 FLOPs/バイト）に固定できます。
- スケーラビリティ: グループ軸に沿って最大 8 重のゼロ冗長テンソル並列性をサポートします。

パス選択

ランタイムは、再学習やカスタムカーネルなしで、対象ハードウェアに基づいてパスを選択します。

H100: MQA 吸収パス（ $s_q=1$ ）を使用します。
H20: GQA パス（例： $g=8, s_q=2$ または $g=4, s_q=1$ ）を使用します。
MTP: H20 上では、 $s_q=2$ の GQA パスがほぼ理想的なスループット向上を回復させますが、MLA は何の利益も得られません。

TransGQLA：事前学習モデルからの変換

ゼロから事前学習を回避するため、著者は TransMLA パイプラインの拡張であるTransGQLAを導入します。これは、単一のターゲット変更を通じて、事前学習済みの GQA チェックポイントを GQLA モデルに変換します。

ヘッドマージ: TransMLA のように、グループ化されたヘッドを単一の潜在にマージし、アッププロジェクションをすべてのクエリヘッドに複製するのではなく、TransGQLA はグループによってインデックス付けされたアッププロジェクションを維持します。
結果: モデルは構造的に GQA 実行パスを保持しつつ、標準的な吸収操作を通じて MQA 吸収パスを有効にします。これにより、グループ軸に沿ったテンソル並列性が維持されます。

スパース GQLA

この設計は、微細なスパースアテンションに拡張されます。標準的な GQLA 設定（ $h_q/g = 16$ ）は Tensor-Core MMA タイル次元（ $m=16$ ）と一致するため、スパース GQLA は H20 クラスのハードウェア上で GQA パスを維持できます。対照的に、スパース MLA はタイル制約により吸収された MQA パスに構造的にロックされ、同じ計算オーバーヘッドの問題を継承します。

3. 主要な貢献

MLA の欠点の特定: 本論文は、MLA の単一パス設計が H100 クラスの比率に結合され、ヘッド軸のテンソル並列性を失い、コモディティ GPU 上では MTP による利益がゼロになることを特定しました。
GQLA アーキテクチャ: 同一の重み上で 2 つの代数的に同等なパス（MQA 吸収および GQA）を露出させる MLA の最小限の変種です。1 つの MTP ヘッドを持つ単一の設定（ $h_q=128, g=8$ ）により、H100 と H20 の両方のルーフラインを同時に固定できます。
TransGQLA パイプライン: 事前学習済みの GQA チェックポイントを、最小限のアーキテクチャ変更で GQLA モデルに変換する変換手法であり、テンソル並列性を維持し、潜在形式へのスムーズな移行を可能にします。
ルーフライン分析: GQLA 重みがパスを切り替えることで H100 と H20 の両方でピークに近いスループットを達成できることを示す理論的検証であり、一方 MLA は H20 上で非効率であることを示しています。

4. 結果

著者はLLaMA-3-8Bモデル上で TransGQLA を評価しました。

能力の維持: さらなる学習なしで GQA 重みを GQLA 潜在形式に変換した結果、元の 15T トークン事前学習モデルと比較して、常識推論ベンチマーク（MMLU、ARC など）で平均約 9.7 ポイントの損失となりました。
キャッシュ圧縮: MQA 吸収パス上では、トークンあたりの KV キャッシュが元の GQA ベースラインの**28.125%**に圧縮されました（71.875% の削減）。
スループット予測:
- H100: MQA 吸収パスは 354K トークン/秒を達成します。
- H20: GQA パス（ $g=8, s_q=2$ ）は221K トークン/秒を達成し、同じデバイス上の MLA（計算リソースに制約され 65K トークン/秒に留まる）と比較して3.4 倍の改善を示しました。
継続的事前学習: 著者は、TransMLA の軌跡に従った継続的事前学習により、30B トークン後に失われた能力を元のモデルの 0.5 ポイント以内に回復させつつ、KV キャッシュ圧縮を維持すると予測しています。

5. 意義と主張

本論文は、GQLA が LLM 推論のための実用的かつハードウェアに依存しない設計原理を提供すると主張しています。単一の学習済み重みセット上で複数の代数的に同等なデコーディングパスを露出させることで、GQLA はモデルが再学習やカスタムカーネルなしで、展開時に異なるハードウェア制約（計算リッチ対メモリリッチ）に適応することを可能にします。

著者は、GQLA を「ハードウェア結合」問題の解決策として位置づけ、フラッグシップアクセラレータ（H100）とコモディティ/輸出規制ハードウェア（H20）の両方での効率的な展開を可能にします。彼らは、このアプローチが MLA が効率的に行えないハードウェア上でもマルチトークン予測とテンソル並列性をサポートすることを強調しています。

認められた限界:

ハードウェアに関する主張はルーフラインモデルに基づいており、実際の H20/H100 ハードウェア上での完全なカーネルレベルベンチマークは未定です。
TransGQLA の継続的事前学習の結果は現在進行中であり、論文内で最終化されていません。
評価は現在、LLaMA-3-8B バックボーンと常識推論ベンチマークに限定されています。
スパース GQLA は構造的に記述されていますが、既存のスパースアテンション手法とのベンチマーク比較は行われていません。