📊 statistics

Symmetry-Compatible Principle for Optimizer Design: Embeddings, LM Heads, SwiGLU MLPs, and MoE Routers

本論文は、埋め込み、LM ヘッド、SwiGLU MLP、および MoE ルーターといった異なるパラメータブロックの特定の等変性構造と勾配更新ルールを整合させる、最適化器設計のための対称性適合原理を導入し、広範な事前学習実験を通じて、これらのカスタマイズされた最適化器が最終検証損失と訓練の安定性において一貫して AdamW を上回ることを実証する。

原著者： Tim Tsz-Kit Lau, Weijie Su

公開日 2026-05-19

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Tim Tsz-Kit Lau, Weijie Su

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

巨大で複雑なロボットに新しい言語を教えることを想像してみてください。このロボットは、語彙辞書、文を処理する脳、そしてどの専門家（エキスパート）に相談するかを決定する意思決定システムなど、多くの異なる部品で構成されています。

長年にわたり、このロボットを教える標準的な方法は、まるで「万能な一辺倒のペンキブラシ」を使うようなものでした。ブラシを「学習用ペンキ」に浸し、ロボットの各部品が実際に何をするかに関係なく、すべての部品にただポンポンと塗りつけるのです。この手法（AdamW と呼ばれる）は、ロボットの脳内のあらゆる小さな数値を、独立した孤立した点として扱います。それはそれなりに機能しますが、ロボットのいくつかの部品が実際には構造化されたグリッド、テーブル、または相互接続されたネットワークであることを無視しています。

この論文は、すべてに単一のペンキブラシを使うのをやめるべきだと主張しています。その代わり、ロボットの各部品の特定の形状と対称性に適合する「専用ツール」を使用すべきです。著者たちはこれを「対称性適合原理（Symmetry-Compatible Principle）」と呼んでいます。

以下に、彼らが単純なアナロジーを用いてどのように分解したかを示します。

1. 問題：「座標ごとの」過ち

現在のほとんどのオプティマイザは、ロボットの脳を長い平らな数値のリストのように扱います。都市の写真を想像してください。「座標ごとの」オプティマイザは、写真の修正を試みる際、すべてのピクセルの明るさを一つずつ独立して調整しようとします。それは、建物が連結された構造であることを、あるいは空が滑らかなグラデーションを持っていることを認識していません。それはデータの「幾何学（形状と構造）」を無視しています。

2. 解決策：ツールを仕事に合わせる

著者たちは、ニューラルネットワークの異なる部分が異なる「対称性（再配置しても壊れないルール）」を持っていると述べています。オプティマイザはこれらのルールを尊重すべきです。

辞書（埋め込みと LM ヘッド）：
- 形状： 語彙リストを、行が単語で列が特徴を表す巨大なスプレッドシートだと考えてください。単語（行）の順序をシャッフルしても意味は変わりませんが、特徴（列）を自由に回転させることはできません。
- 古い方法： 汎用的なオプティマイザは、すべての単語 - 特徴のペアを別々の点として扱います。
- 新しい方法： この論文は、「行ノルム（Row-Norm）」または「右スペクトル（Right-Spectral）」更新の使用を提案しています。
- アナロジー： すべてのピクセルを塗りつぶす代わりに、その単語がどの程度アクティブかに基づいて、各「行全体（単語）」の明るさを調整します。もし単語がめったに使われなければ、優しく軽く押すようにし、頻繁に使われれば、より強く押し進めます。これは、単語がリスト内の個別の項目であることを尊重するものです。
脳の隠れ層（SwiGLU MLP）：
- 形状： これらの層には、入れ替えることができる「ニューロン」があります。ニューロン A とニューロン B を入れ替えても、数学的には同じように機能します。
- 新しい方法： この論文は、「行認識（Row-Aware）」または「列認識（Column-Aware）」更新を提案しています。
- アナロジー： 労働者のチームを想像してください。二人の労働者の名前を交換しても、チームは機能し続けます。オプティマイザはこのことを認識し、各労働者を孤立した個人として扱うのではなく、チーム全体の努力をまとめて調整します。
エキスパートのスイッチボード（MoE ルーター）：
- 形状： 「エキスパート混合（Mixture of Experts）」モデルにおいて、ルーターはどのエキスパートを呼ぶかを決定します。エキスパートは互換性があります（名前を交換すればエキスパート 1 はエキスパート 2 と同じ）し、ルーターには「共有シフト（すべてのスコアに定数を加えても選択は変わらない）」があります。
- 新しい方法： この論文は、「中心化された行ノルム（Centered Row-Norm）」または「左スペクトル（Left-Spectral）」更新を提案しています。
- アナロジー： 同一の専門家チームにタスクを割り当てるマネージャーを想像してください。マネージャーは誰が「エキスパート 1」か「エキスパート 2」かは気にしません。新しいオプティマイザは、マネージャーがチームをグループとして扱い、恣意的なラベルに惑わされることなく、彼らの集団的な作業負荷を調整することを保証します。

3. 結果：より優れたロボット

著者たちは、このアイデアを検証するために、Qwen、Gemma、OLMoE などのさまざまな種類の言語モデルを訓練しました。彼らは、モデルの特定部分に対して、汎用的な「一辺倒」のオプティマイザを、対称性を考慮したこれらの専用ツールに置き換えました。

何が起こりましたか？

パフォーマンスの向上： ほぼすべてのテストにおいて、このロボットはより速く学習し、汎用的な方法で訓練されたロボットよりも低い誤り率（より良い検証損失）で終了しました。
安定性： 訓練プロセスは滑らかになり、誤りの急激なスパイクが少なくなりました。
スケーラビリティ： 恩恵は、より大規模なモデルや膨大な語彙を持つモデルにおいて、さらに顕著でした。

結論

この論文は、古い方法が「壊れている」とか、二度と使われないと主張しているわけではありません。その代わりに、幾何学が重要であると論じています。電球をねじ込むのにハンマーを使わないのと同じように、複雑なニューラルネットワークのすべての部分に、汎用的な座標ベースのオプティマイザを使うべきではありません。

脳の更新対象となる部分の特定の形状と対称性に一致するように「学習ツール」を設計することで、より良く、効率的で、安定した AI モデルを構築できます。これは、AI をランダムな数値の袋として扱うことから、構造化された幾何学的な物体として扱うことへの転換です。

技術的概要：オプティマイザ設計のための対称性適合原理

1. 問題定義

現代の深層学習の実践には、根本的な幾何学的な格差が存在する。ニューラルネットワークのアーキテクチャ（埋め込み、LM ヘッド、SwiGLU MLP、MoE ルーター）は、豊かな内在的対称性と等変性（equivariance）の性質を有しているのに対し、Adam、AdamW、RMSprop といった支配的な最適化手法は座標ごとに動作する。これらの手法は行列パラメータを独立した座標の平坦化されたベクトルとして扱うため、行列構造を無視し、パラメータ空間の自然な等変性を破壊してしまう。

この「幾何学無視」アプローチは、異なるレイヤータイプの明確な幾何学を区別することに失敗する。その結果、人気のあるオプティマイザはスペクトル構造を破棄し、不整合な幾何学を誘発し、特定のパラメータブロックに内在する不変性と等変性の構造（例えば、語彙における置換不変性や MoE におけるエキスパートの交換可能性）を尊重できない。座標ごとの適応的手法とスペクトルオプティマイザとの間の現在の理論的理解および実証的比較は限られており、しばしば幾何学的挙動の深い分析なしに大規模ベンチマークに依存している。

2. 手法：対称性適合原理

本論文は、オプティマイザ設計のためのレイヤーごとの対称性適合原理を提案する。中核となるテーゼは、特定のパラメータブロック $W$ に対するオプティマイザ更新則 $\mathcal{U}$ は、そのブロックに作用する対称群 $G$ の下で等変的でなければならないというものである。

2.1 理論的枠組み

$W \in \mathbb{R}^{m \times n}$ をパラメータ行列とする。入力空間と出力空間の座標が可逆行列 $P$ と $Q$ によって変換される場合、線形写像は $\tilde{W} = P W Q^{-1}$ として変換される。勾配はそれに応じて反変的/共変的に変換される。オプティマイザ更新写像 $\mathcal{U}$ は次を満たさなければならない：
$\mathcal{U}(g \cdot D) = g \cdot \mathcal{U}(D)$
ここで、 $D$ は更新方向（例えば勾配またはモーメンタム）であり、 $g$ は対称群の要素である。

本論文は、異なるレイヤータイプの対称群に基づいて、具体的なオプティマイザクラスを導出する：

通常の行列レイヤー（線形層/アテンション）：
- 対称性： 双直交（ $O_m \times O_n$ ）。
- オプティマイザクラス： スペクトルオプティマイザ。更新は特異ベクトルを保存しつつ特異値に作用するスペクトル演算子でなければならない。これは確率スペクトル降下（SSD）、Muon、Scion、および極性勾配法を統合する。更新は通常、モーメンタム方向の直交極因子である。
埋め込みと LM ヘッド：
- 対称性： 左置換（ $P_v$ ）と右直交（ $O_d$ ）。行は語彙アイテム（離散的置換）を、列は隠れ特徴量（連続的回転）を索引する。
- オプティマイザクラス： 左置換・右直交（LPRO）等変的更新。
  - 右スペクトル： 右グラム行列（ $D^\top D$ ）を介して大域的に作用する。
  - 行ノルム： 行ノルム（語彙アイテム）に対して局所的に作用する。
  - ハイブリッド： 行ノルムと右スペクトル更新の組み合わせ。
SwiGLU MLP 射影：
- 対称性： 中間ニューロン置換（ $P_{d_{ff}}$ ）。ゲートとアップ射影は、行が中間ニューロンに対応し、ダウン射影は列がそれらに対応する。
- オプティマイザクラス： 行認識型および列認識型のバリエーション。ゲート/アップ射影には LPRO 適合更新（行ノルム/右スペクトル）を使用し、ダウン射影には転置された幾何学を使用する。
MoE ルーター：
- 対称性： エキスパート置換（ $P_e$ ）と共有ロジットシフト不変性（すべてのロジットに定数を加えてもソフトマックス分布は変化しない）。
- オプティマイザクラス： ルーター適合更新。これらは中心化された方向 $D_c = \Pi^\perp D$ $D_{c} = Π^{⊥} D$ （共有シフトを除去）に対して動作する。
  - 中心化左スペクトル： 中心化されたエキスパートグラム行列に作用する。
  - 中心化行ノルム： 中心化されたエキスパート行ノルムに作用する。

2.2 実用的実装

著者はこれらの原理を実用的なモーメンタムベースのオプティマイザに具体化する：

RightPolarGradM / LeftPolarGradM： 行列逆平方根のためのニュートン・シュルツ反復を用いた片側スペクトル更新。
RowNormM： 行ごとの正規化更新。
HybridPolarGradM： 行ノルムと片側スペクトルステップの組み合わせ。
中心化： MoE ルーターの場合、更新は中心化されたモーメンタム $M_{k,c} = \Pi^\perp M_k$ に適用される。

3. 主要な貢献

対称性適合原理： 座標ごとのオプティマイザが行列値パラメータに対して幾何学的に不適合であるという形式的な論証。論文は、更新則がパラメータブロックの対称群と一致すべきであることを確立する。
スペクトルオプティマイザの統合的視点： 線形層に対するスペクトルオプティマイザ（Muon、SSD など）を、双直交等変的更新写像の一意のクラスとして解釈する、対称性に基づく解釈を提供する。
新しい等変オプティマイザクラスの導出： 非標準的な対称性を持つレイヤーに対する具体的な更新則を導出する：
- 埋め込みと LM ヘッドのための LPRO 等変更新。
- SwiGLU MLP 用の行/列認識型更新。
- MoE ルーター用の中心化エキスパート置換更新。
エンドツーエンドの事前学習証拠： 主要な行列クラスすべてが対称性適合更新を受け取る完全なレイヤーごとのオプティマイザスタックを構築する。これは、密なモデルと疎な MoE 言語モデル（Qwen3-0.6B、Gemma 3 1B、OLMoE-1B-7B、縮小版 gpt-oss）で評価された。

4. 実験結果

著者は、FineWeb-Edu の 100 億トークン部分集合を用いて、4 つのアーキテクチャで事前学習実験を行った。

密モデル（Qwen3-0.6B、Gemma 3 1B）：
- 語彙索引行列（埋め込み/LM ヘッド）における AdamW をRowNormMまたはHybridPolarGradMに置き換えることで、最終検証損失が一貫して改善された。
- gains はより小さな Qwen3 モデルでは modest（穏やか）であったが、より大きな Gemma 3 モデルでは顕著であった。これは、語彙行列がより大きくなり、勾配がより異方的になるにつれて、幾何学認識型更新がより重要になることを示唆している。
- SwiGLU MLP 射影にHybridPolarGradMを使用することで、さらにパフォーマンスが向上した。これはおそらく、細長い行列における行スケールの不均衡を修正したためである。
疎 MoE モデル（OLMoE-1B-7B、縮小版 gpt-oss）：
- 埋め込み、LM ヘッド、ルーターに対して対称性適合更新（例：RowNormM + LeftPolarGradM）を使用する構成は、これらのコンポーネントに AdamW を使用した構成を上回った。
- 完全に座標ごとのベースライン（至る所で AdamW）は最も性能が悪かった。
- 対称性適合ルーター更新は座標ごとのルーター更新を上回り、場合によってはトレーニング損失のスパイクを減少させ、安定性の向上を示唆した。
一般的な傾向： すべてのモデルにおいて、大規模な語彙索引行列上の AdamW を対称性適合オプティマイザに置き換えることで、最終検証損失が一貫して低下した。この恩恵は、異なるアーキテクチャや疎性のレベルにわたって持続した。

5. 意義と主張

本論文は、オプティマイザ設計において「幾何学無視」の座標ごとの視点から「対称性認識」の行列視点への原理的転換を提供すると主張する。

アーキテクチャ・オプティマイザの共設計： この研究は、オプティマイザ設計がアーキテクチャを認識する問題であるべきだと論じる。異なるパラメータクラス（埋め込み、ルーター、線形層）は、明確な自然対称性を持ち、それぞれ異なるオプティマイザ幾何学を必要とする。
理論的基盤： 等変性を通じて、なぜスペクトルオプティマイザが線形層で機能するのかを厳密に数学的に特徴付け、この論理を拡張して他のレイヤー用の新しいオプティマイザを導出する。
実用的有用性： 結果は、対称性適合割り当てが理論的に妥当であるだけでなく、実用的にも有益であり、大規模事前学習における最終損失の改善と、潜在的なトレーニング安定性の向上をもたらすことを示している。
謙虚さ： 著者は明示的に、等変オプティマイザがすべての領域で座標ごとの手法を凌駕すると主張するものではないと述べている。代わりに、レイヤーごとの対称性適合原理が、代表的な事前学習設定において競争力があり、しばしば有益な割り当てをもたらすという証拠を提示している。彼らは結果を、原理の有用性に関する証拠として、網羅的なベンチマークとしてではなく捉えている。

本論文は、対称性と等変性をオプティマイザ設計に導入することが、より安定し、パラメータ化と整合性があり、理論的に裏付けられた大規模モデルの事前学習への道を開くと結論付けている。