🤖 machine learning

GQA-{\mu}P: The maximal parameterization update for grouped query attention

本論文は、スペクトルノルム条件を通じて特徴学習を再定義し、非フルランクの重み行列に適応させることで、グループ化クエリアテンションに対する最大更新スケーリングを導出する新たなパラメータ化フレームワークであるGQA-{\mu}Pを導入し、これによりモデルアーキテクチャ間での効果的なハイパーパラメータ転送を可能にするものである。

原著者： Kyle R. Chickering, Huijuan Wang, Mengxi Wu, Alexander Moreno, Muhao Chen, Xuezhe Ma, Daria Soboleva, Joel Hestness, Zhengzhong Liu, Eric Xing

公開日 2026-05-18

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Kyle R. Chickering, Huijuan Wang, Mengxi Wu, Alexander Moreno, Muhao Chen, Xuezhe Ma, Daria Soboleva, Joel Hestness, Zhengzhong Liu, Eric Xing

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

あなたが巨大な宴会（大規模な AI モデル）のためのレシピを完璧に仕上げようとするマスターシェフだと想像してください。適切な量の塩と熱で小さな鍋のスープ（微小モデル）を調理すれば、巨大なバージョンをまず味見することなく、巨大な鍋に使うべき塩と熱の量を正確に予測できるはずです。これがハイパーパラメータ転送の夢、つまり小さなモデルを使って大きなモデルの設定を割り出すことです。

しばらくの間、シェフたちはµP（Maximal Update Parameterization）と呼ばれる特定の規則書を持っており、それは標準的なレシピに非常にうまく機能していました。しかし、AI モデルが進化するにつれ、GQA（Grouped Query Attention）と呼ばれる新しい、より効率的な調理技法が使われるようになりました。GQA は、時間とスペースを節約するために複数のシェフが同じ材料を共有する方法だと考えてください。

問題は何かというと、古い規則書（µP）はこの新しい GQA 技法には機能しなかったことです。小さな鍋の設定を大きな GQA 鍋に適用しようとすると、スープは焦げたり、味が薄くなったりします。数学的には機能するはずだったのですが、現実はそうではなかったのです。

この論文、GQA-µPは、これらの新しい効率的なレシピに機能するように規則書を修正します。以下に、彼らがどのように行ったかを簡単な比喩を使って説明します。

1. 「定規」の問題（スペクトルノルム vs 期待作用素ノルム）

古い規則書では、シェフたちはスペクトルノルムと呼ばれる特定の定規を使って、材料（重み）がどの程度変化しているかを測定していました。

問題点: 古い定規は「フルランク」の材料（固形チーズのブロックなど）用に設計されていました。しかし、GQA は「ローランク」の材料（穴が開いたチーズのブロックなど）を使用します。
比喩: 固形の木製のブロック用に設計された定規で、スイスチーズのブロックの大きさを測ろうと想像してください。定規はチーズが全幅にわたっているため巨大だと示すかもしれませんが、実際には穴があるため、チーズはその空間を本当に埋めていません。
解決策: 著者たちは期待作用素ノルムと呼ばれる新しい定規を発明しました。これは「理論上の最大サイズ」（穴を含む）を測定するのではなく、実際にチーズを使う際に遭遇する「平均的なサイズ」を測定します。この新しい定規は、チーズにいくつの穴（グループ）があっても、スープの味が適切になるように材料をどの程度スケーリングすべきかをシェフに正確に伝えます。

2. 「チームワーク」の問題（Grouped Query Attention）

GQA では、複数の「クエリヘッド」（質問をするシェフ）が同じ「キーとバリューヘッド」（回答を提供するシェフ）を共有します。

問題点: これらのシェフをグループ化すると、数学が複雑になります。古い規則書は、すべてのシェフが独自の道具セットを持っていると仮定していました。彼らが道具を共有すると、道具がどの程度変化すべきかについて、古い数学は混乱します。
解決策: 著者たちは、この共有配置に特化した新しいスケーリング式を導き出しました。いくつのシェフが道具を共有しているかに基づいて、「学習率」（シェフが学ぶ速さ）をどのように調整すべきかを正確に突き止めました。
- 比喩: 1 人のシェフがすべての作業を行う場合、一定量のエネルギーが必要です。10 人のシェフが作業を共有する場合、エネルギーの配分は変化します。新しい規則書は、1 人のシェフであれ 12 人のシェフであれ、作業が完璧に完了するように必要な正確なエネルギーを計算します。

3. 「塩」の問題（重み減衰）

調理において、「重み減衰」はスープが腐敗（過学習）しないようにするための防腐剤（塩）を加えるようなものです。

問題点: 古い規則書は、鍋のサイズやレシピの深さを変更した際に、塩の量をどのように調整すべきかを教えてくれませんでした。
解決策: 著者たちは、新しい規則を使用すれば、「塩」の設定も転送できることを示しました。小さな鍋の完璧な塩の量を見つけることができ、それは巨大な鍋でも機能します。また、特定のタイミング定数（ $\tau_{epoch}$ と呼ばれる）がこの転送にうまく機能することも証明しました。

4. 「騒がしいキッチン」の現実確認

著者たちはまた、GQA キッチンに奇妙な癖があることも発見しました。

発見: 新しい完璧な規則書を使っていても、道具を共有するシェフが非常に少ない（非常に少ない「KV ヘッド」）場合、調理プロセスは「ノイズの多い」ものになります。シェフ同士が囁き合っているようなキッチンだと想像してください。時には互いの声を明確に聞き取れますが、時には聞き取れないこともあります。
教訓: 数学的には機能しますが、著者たちは、共有グループの数が非常に異なるモデル間での設定転送は少し不安定になる可能性があると警告しています。「多くのシェフ」の構成から「少数のシェフ」の構成へ移行する際は注意が必要です。

まとめ

要約すると、この論文は次のように述べています：

AI モデルのスケーリングに関する古い数学は、効率的なGQA技法を使用する際に失敗しました。それは材料を測定する「定規」として間違ったものを使用していたためです。
著者たちは、GQA 構造の「穴」を考慮する新しい定規（期待作用素ノルム）を作成しました。
この新しい定規を使用して、彼らは小さなモデルから大きな GQA モデルへ調理設定（学習率と塩の量）を完璧に転送できる新しい規則書を書き上げました。
彼らはこれを実験室で証明し、新しい規則書がトレーニングプロセスをはるかに予測可能で効率的にすることを示しました。

彼らはスープを調理する新しい方法（AI アーキテクチャ）を発明したわけではありませんが、小さな鍋のレシピを使って誰でも完璧な巨大な鍋のスープを調理できるように、計量カップとスプーンを修正しました。

技術的概要：GQA-µP：グループ化クエリ注意に対する最大パラメータ更新

問題提起

モデルアーキテクチャ間でのハイパーパラメータ転送、特に最大更新パラメータ化（µP）は、小規模なプロキシモデルを掃引することで大規模モデルの最適なハイパーパラメータを決定することを可能にする。µP はモデル幅間での学習率転送に成功して適用されてきたが、新しいアーキテクチャや他のハイパーパラメータ（重み減衰や深さなど）への適用は依然として課題となっている。

グループ化クエリ注意（GQA） には特定のギャップが存在する。GQA は、クエリヘッドのグループ間でキーとバリューのヘッドを共有することでメモリ使用量を削減するために、現代の大規模言語モデル（LLM）で広く用いられているメカニズムである。標準的なµP を GQA に適用しようとした以前の試みは、決定的な失敗を露呈させた。実装は標準的な「座標チェック」（活性化ノルムの検証）を通過したが、異なる KV ヘッド数間での学習率の転送には効果的に機能しなかった。さらに、既存のµP フレームワークは「怠惰な学習（lazy-learning）」の仮定に頼らずに、重み減衰や深さに対する原理的なスケーリングを導出することに苦労していた。核心的な理論的困難は、GQA の重み行列がしばしばランク退化（低ランク）しており、標準的なスペクトルノルムが訓練中の入力の変形の期待値を正確に捉えられなくなることに起因する。

手法

著者らは、Yang ら（2023a）のスペクトル特徴学習の視点に基づき、新しいスケーリング則を導出した。手法には、3 つの主要な理論的・分析的進展が含まれる。

スペクトルノルムによる特徴学習の再定義:
本論文は、重み行列に対するスペクトルノルム条件をヒューリスティックから特徴学習の形式的定義へと昇格させる。著者らは、重み更新のスペクトルノルムが正しくスケーリングすることを保証することが、活性化ノルムのみを分析するよりも、特徴学習に対してより強力で信頼性の高い条件であると主張する。この転換により、「怠惰な学習」の仮定に頼ることなく、Complete-P 深さおよび重み減衰のスケーリングを導出することが可能になる。
期待オペレーターノルムの導入:
GQA 行列のランク退化に対処するため、著者らは修正されたノルム、すなわち期待オペレーターノルム（ $||A||_E$ ）を導入する。
- 標準的なスペクトルノルム（ $||A||$ ）は入力ベクトルの最大変形を測定する。フルランク行列の場合、これは漸近的に達成される。
- ランク退化行列（GQA など）の場合、最大変形を引き起こすベクトルは、入力が入出力独立同一分布（i.i.d.）であるため、訓練中に確率ゼロで発生する。その結果、スペクトルノルムは実際の変形を過大評価する。
- 期待オペレーターノルムは、入力分布における出力ノルムと入力ノルムの比率の期待値として定義される： $||A||_{E,\Omega,p} := \mathbb{E}_{x \sim \Omega} [\frac{||Ax||_p}{||x||_p}]$ 。
- このノルムは訓練中に遭遇する実際の変形を正しく反映し、GQA に対するスケーリング則の有効性を回復させる。
GQA-µP スケーリングの導出:
期待オペレーターノルムを用いて、著者らは GQA 層に対する具体的なスケーリング因子を導出した。
- $r$ 回のキー・バリューヘッドの繰り返しを持つ GQA 層の場合、学習率（ $\eta$ ）と重み減衰（ $\lambda$ ）は、標準的なアテンションとは異なってスケーリングされなければならない。
- 導出された学習率のスケーリングは $\eta = \Theta(\frac{1+\sqrt{r}}{n})$ であり、ここで $n$ は埋め込み次元である。
- 重み減衰のスケーリングは、正則化と勾配更新のバランスを維持するために $\lambda = \Theta(\frac{2n}{1+\sqrt{r}})$ に調整される。
- これらの導出は論文の表 1 にまとめられており、GQA を備えたトランスフォーマーに対する統一されたパラメータ化を提供している。
深さのスケーリング（Complete-P）:
このフレームワークは残差ネットワークに適用され、深さのスケーリングが導出される。残差ブロックの合成にスペクトル条件を適用することで、著者らは、信号の爆発または消失を防ぐために、残差ブランチのスケーリング因子 $\beta$ が $\Theta(L^{-1})$ （ここで $L$ は深さ）でなければならないことを示す。これにより、「怠惰な学習なし」という仮定を必要とすることなく、Dey ら（2025）と同じ結果を回復する。

主要な貢献

GQA に対する最初のµP 導出: 本論文は、著者らの知る限り、グループ化クエリ注意に対するµP スケーリングの原理的な導出を提供し、標準的なµP 実装が学習率の転送に失敗していた不一致を解決する。
スペクトルµP の理論的拡張: 本作業は、スペクトルノルム条件を特徴学習の定義へと昇格させ、ランク退化重みを処理するために期待オペレーターノルムを導入することで、Yang ら（2023a）のスペクトルµP 理論を拡張する。これにより、重み減衰、再帰ブロック、および GQA に対するスケーリングの導出が可能になる。
転送の実証的検証: 著者らは、導出されたスケーリングが異なる GQA 繰り返し数（ $r$ ）間での学習率の転送と、モデルサイズ間での重み減衰の転送を可能にすることを示す。彼らは、ヴァンilla Adam-µP 実装が GQA に対してスペクトル座標チェックに失敗するのに対し、提案されたスケーリングはそれを通過することを示す。

実験結果

著者らは、広範な実験を通じて理論的導出を検証した。

学習率の転送: KV ヘッド数（1 から 12）を変化させる実験は、標準的なパラメータ化とヴァンilla Adam-µP が一貫した最適学習率に収束しないことを示した。対照的に、提案された GQA-µP スケーリングは最適学習率領域を大幅に狭め、効果的な転送を可能にする。
座標チェック: 活性化更新ノルム（ $||\Delta h||$ ）の分析はヴァンilla 実装が正しいことを示唆したが、重み行列のスペクトルノルム（ $||\Delta W||$ ）の分析は、KV ヘッド数に対する非線形依存性を明らかにし、転送失敗を説明した。提案された GQA-µP スケーリングはこの依存性を除去する。
重み減衰と $\tau_{\text{epoch}}$ の転送: 本論文は、正しいスケーリングを用いることで、重み減衰と訓練時間定数 $\tau_{\text{epoch}}$ （Wang & Aitchison, 2024 によって導入）の両方がモデルサイズ間で転送可能であることを示す。提案された実装における最適ハイパーパラメータの分散は、ベースラインと比較して著しく低い。
GQA におけるノイズ: 著者らは、学習率の転送が可能である一方で、GQA 訓練は KV ヘッド数が減少するにつれてより顕著になる固有のノイズを導入することを観察する。彼らはトレードオフを指摘する。導出されたスケーリングを通じて特徴学習を達成することは、 $r$ が減少するにつれてよりノイズの多いダイナミクスをもたらす一方、分散を制約して訓練を安定化させることは最適学習率をシフトさせる。

意義と主張

本論文は、現代の生産グレードの LLM アーキテクチャに対するµP の適用性における重要なギャップを埋めると主張する。低ランク行列に対する標準的なスペクトルノルムの限界を特定し、期待オペレーターノルムを提案することで、著者らは GQA のような複雑なアーキテクチャに対するµP スケーリングを導出するための堅牢な理論的基盤を提供する。

この作業の意義は以下の点にある。

実用的有用性: 小規模なプロキシモデルを使用して、大規模な GQA ベースのモデル（例：LLaMA 3、Mistral 7B）の最適ハイパーパラメータを決定することを可能にし、ハイパーパラメータチューニングの計算コストを削減する。
理論的厳密性: 活性化ベースのチェックを超えて重み行列ベースのスペクトル条件へと特徴学習の定義を精緻化し、実装の検証に対してより効果的であることを証明する。
広範な適用性: このフレームワークは、重み減衰と深さ（Complete-P）に対する既存のスケーリングを成功裡に回復させながら、それらを GQA に拡張し、将来のアーキテクチャ革新に対する統一アプローチを示唆する。

著者らは謙虚に、漸近解析は妥当であるものの、繰り返しパラメータ $r$ の実用的な範囲は有限であり、通常は小さい（例： $r \le 16$ ）と指摘する。 $r$ に関するスケーリングの主な目的は経験的であり、無限の極限をモデル化することではなく、繰り返し数を変更する際の学習率のドリフトを防ぐことである。彼らはまた、GQA 訓練は本質的にノイズを伴うままであり、著しく異なる GQA 構成間での学習率の転送には注意が必要であると強調する。