技術要約：Dead-Direction Conditioners (DDC)

1. 問題提起

深層ニューラルネットワークの損失関数は、そのパラメータ空間において連続的な対称性（ゲージ対称性）を示します。これには、ロジット・シフト、ReLU/SwiGLUによる再スケーリング、LayerNormのスケール不変性、アテンション・ヘッドの回転などが含まれます。これらの対称性の軌道（オービット）に沿って、損失ランドスケープは平坦（デッド・ディレクション）であり、フィッシャー情報行列が消失します。

Adamのような標準的な適応型オプティマイザは、これらの対称性を尊重できていません。Adamの座標ごとの前処理（$1/\sqrt{\hat{v}}$）は、座標置換に対してのみ等変（equivariant）です。アーキテクチャのグループが座標を混合する場合（例：一対の重みを逆数でスケーリングしたり、ベクトル空間を回転させたりする場合）、Adamの更新はゲージ軌道へと「漏洩（leak）」します。この漏洩は主に2つの問題を引き起こします。

1. ドリフト（Drift）: オプティマイザの軌跡が、対称性の商空間 $\bar{\Theta} = \Theta/G$ 上の固定された断面に留まるのではなく、平坦な軌道に沿って漂流してしまいます。このドリフトにより、オプティマイザは、もし対称性が尊重されていた場合に到達したであろうものとは異なる極小値へと移動してしまいます。
2. レート可読性の不鮮明化（Blurred Rate Readability）: 理論的結果（Shirodkar, 2026）によれば、最小のフィッシャー固有値の減衰（特異学習率）が軌跡から読み取れるのは、オプティマイザが商空間上でクリーンに降下する場合に限られます。Adamの漏洩は、このレートにノイズとバイアスを導入し、レートを不鮮明にし、極小値の幾何学的な性質を読み取り不能にします。

2. 手法：Dead-Direction Conditioners (DDC)

本論文では、ベースとなるオプティマイザ（AdamやMuonなど）を、$G$-等変なものへとリフトアップする前処理フレームワークであるDDCを導入しています。コアとなるメカニズムは、パラメータ空間と勾配更新を、$G$-不変なリーマン計量 $\rho$ を用いて垂直成分（軌道に接する成分）と水平成分（商空間の成分）に分解することです。

更新規則

勾配 $g_t$ に対して、DDCは $g_t$ を $g_t = \Pi_V g_t + \Pi_H g_t$ に分割します。また、以下の2種類の第2モーメント推定値を保持します。

• 垂直成分 ($\hat{v}_V$): 垂直方向の勾配は、軌道の次元ごとに単一のスカラーへと集約されます（例：CEシフトに対しては行平均を用いる）。このスカラーを用いて垂直方向の更新を正規化し、軌道次元全体を一つのユニットとして扱います。
• 水平成分 ($\hat{v}_H$): 水平方向の勾配は、厳密に $G$-等変な水平フレーム内において、座標ごとに前処理されます。重要な点は、座標ごとの除算を行った後、軌跡が水平に留まることを保証するために、更新が再投影（$\Pi_H$）されることです。

更新ステップは以下の通りです：
$$\theta_{t+1} = \theta_t - \eta \left[ \Pi_H \left( \frac{\Pi_H \hat{m}_t}{\sqrt{\hat{v}_H} + \epsilon} \right) + \text{lift}_V \left( \frac{\text{vert-to-scalar}(\Pi_V \hat{m}_t)}{\sqrt{\hat{v}_V} + \epsilon} \right) \right]$$

対応するアーキテクチャのゲージ

DDCは、以下の4つのアーキテクチャ・ゲージに対して特定の射影器と簡約を構築します。

1. クロスエントロピー・シフト: ロジット（バイアスまたはアンエンベディング重み）の加法的シフト。
2. ReLU/SwiGLU 再スケーリング: 隣接する重みのペア（$W_\ell, W_{\ell+1} \to cW_\ell, c^{-1}W_{\ell+1}$）の乗法的スケーリング。
3. LayerNorm/RMSNorm スケール: 正規化パラメータおよびダウンストリームの重みの、チャネルごとのスケーリング。
4. アテンション・ヘッド回転: QKおよびVO重みの非アーベル $O(d_{head})$ 回転。

非アーベル回転ゲージについては、標準的な座標ごとの $\hat{v}$ は機能しません。DDCは4つの $O(d_{head})$ 認識型の構成を提案しており、展開されるデフォルトは body_frame_topk です。これは、グラム行列 $M = W_Q^T W_Q + W_K^T W_K$ の固有基底において座標ごとの適応性を維持しますが、これは「ライブ」な固有方向（固有値が閾値を超えるもの）に対してのみ行われ、デッドな方向に対してはモーメンタムのみを適用します。

ベース・オプティマイザの構成

• DDCAdam: AdamにフルDDC構成を適用します。これら4つのゲージすべてを（回転については高次まで）正確に扱います。
• DDCMuon: Muonオプティマイザ（更新を直交化するもの）にDDCを適用します。Muonの直交化は回転ゲージと正確に可換であるため、DDCMuonは回転に対して厳密に動作します。しかし、Muonの直交化はチャネルごとのスケール自由度を取り除くため、DDCMuongは再スケーリング・ゲージ（ReLU/LNスケール）を条件付けることができず、それらのコンポーネントについてはAdamをデフォルトとして使用します。

3. 主な貢献

1. 等変前処理: 連続的なアーキテクチャ対称性を尊重するように適応型オプティマイザをリフトアップする一般的な構成を提供し、軌跡が対称性の商空間 $\bar{\Theta}$ 上の、前処理された勾配フローであることを保証します。
2. レート可読性: DDCが「軌跡-レート可読性」の特性を回復することを理論的に証明しています（Theorem 1）。商空間上では、最小のフィッシャー固有値は $\bar{t}^{2(k-1)}$ として減衰するため、特異次数 $k$ を標準的なAdamでは不鮮明になる一方で、DDCの軌跡からは直接読み取ることが可能になります。
3. ゲージ包含（Gauge Containment）: DDCが、Adamを悩ませるゲージモード（ロジット・シフト、重みの再スケーリングなど）のドリフトを防ぎ、これらのモードを初期値または固定点に保持することを実証しました。
4. 最適化結果の向上:
   • 過学習耐性: 学習が進みすぎた言語モデルにおいて、DDCAdamは、検証損失が訓練損失から乖離する「過学習崩壊（over-training collapse）」に対する耐性を示します。
   • グロッキング（Grokking）の信頼性: 深いトランスフォーマー（深さ24）において、DDCMuonは、バニラなMuonが完全に失敗する（11個中0個）のに対し、11個中10個のシードで「グロッキング」（突然の汎化）を実現します。
   • 圧縮: Vision Transformerにおいて、DDCAdamはAdamWよりも積極的にフィードフォワード容量を圧縮し、同じウェイトディケイの下でより低い検証損失に到達します。

4. 実験結果

• 言語モデル（深さ12、過学習時）:
  • レート可読性: DDCAdamは65個のレイヤー観測セル中32個で特異レートを読み取りますが、AdamWが読み取れるのはわずか7個です。AdamWではフィッシャー固有値が最小値から上昇しますが、DDCAdamではフロアに向かって崩壊していきます。
  • 過学習: DDCAdamは、検証損失と訓練損失の差を0.67に維持しますが、AdamWは5.88となります。
• グロッキング・トランスフォーマー:
  • 深さ24: DDCMuonは精度 >0.9で11個中10個のグロッキングを達成しますが、バニラなMuonは0/11です。
  • 深さ8 (RoPE): 回転ゲージをRoPE（Rotary Position Embeddings）のトーラス対称性（$SO(2)^{d/2}$）に一致させると、汎用的な $O(d_{head})$ ゲージ（精度0.955）よりも高い精度（0.977）と低い分散が得られます。
• Vision Transformer (ViT):
  • ImageNet-100からスクラッチで学習した場合、DDCAdamはより低い検証損失（1.71 vs 2.12 nats）を達成し、AdamWが容量を残したままにするウェイトディケイの下で、ネットワークをより強力に圧縮（活性化の特異値が4倍小さい）します。
• ゲージ包含:
  • 合成タスクにおいて、DDCAdamはAdamWと比較して、クロスシード・ドリフト（ReLU再スケーリングで14倍、LayerNormスケールで65倍）を減少させつつ、最終的なタスク損失は同等に保ちます。

5. 意義と主張

本論文は、オプティマイザに対称性を組み込むことが、見出される解の幾何学を根本的に変えるということを主張しています。ゲージ対称性を尊重することで：

• 極小値はより鋭くなる: オプティマイザは、より退化の少ない極小値（特異フロアから離れた高いフィッシャー固有値を持つもの）に落ち着きます。
• 幾何学は測定可能になる: 軌跡が、基礎となる特異学習係数の可読可能な信号となり、これにより、訓練ダイナミクスからモデルの複雑さを直接診断できるようになります。
• 信頼性が向上する: オプティマイザは、深い、あるいは過学習されたレジームにおいて失敗の原因となる「ドリフト」に対して堅牢になり、特にグロッキングを必要とするタスクにおいて有効です。

著者らは、この構成が前処理器（preconditioner）に対して汎用的であり、Adam、Muon、Shampooをリフトアップできること、そしてその恩恵が単なるウェイトディケイによるものではなく、商空間に留まるという幾何学的制約によるものであることを強調しています。結論として、ネットワークのゲージ対称性がオプティマイザによって尊重されるとき、それは「見出される極小値を鋭くし、その極小値の幾何学を、軌跡が測定できるものへと変える」としています。

注記された限界事項:

• グロッキングにおけるMuonベースの加速は、等変な更新に付随するバンドルされたウェイトディケイに一部起因していますが、投影自体が信頼性と明確な構造を提供しています。
• ボディフレーム回転構成における厳密な等変性は、固有ベクトルの符号の曖昧さにより近似的（高次まで）ですが、このドリフトは極めて小さいものです（20ステップで $\sim 10^{-3}$）。
• 標準的な整列（canonical alignment）から完全な特異構造（次数と多重度）を読み取るには、本研究ではまだ十分に開発されていない仕組みが必要です。