技術要約：幾何学的・非幾何学的オプティマイザ・カルキュラス（Geometric–Nongeometric Optimizer Calculus）

問題提起

勾配ベースのオプティマイザ（Adam、Shampoo、K-FACなど）に関する現在の記述は、しばしば異なるアルゴリズム上の役割を混同している。これらは、降下幾何学の定義（勾配を方向へと写像するもの）と、情報の収集、メモリ、ステップサイズ制御、ノイズ注入、ターゲット修正、および離散化といったメカニズムを混在させている。この混同により、特定の更新方向が、真に幾何学的プレコンディショナによるものなのか、それともモーメンタム、投影、あるいは確率性といった残留メカニズムに依存しているのかを監査することが困難になっている。さらに、オラクルへのアクセス、メモリ予算、および状態クラスに関する明示的な制約の下で、「到達可能」な勾配手法を分解するための形式的な言語も欠如している。

本論文は以下の問いに取り組む：あるオラクルクラス、予算、状態クラス、および許容されるルールが与えられたとき、到達可能な勾配手法を、正の幾何学的モジュールと構造化された非幾何学的モジュールへと、表現のギャップ、メカニズムの予算、およびオプティマイザ設計のトレードオフを明らかにする形で分解できるか？

手法：幾何学的・非幾何学的オプティマイザ・カルキュラス

著者らは、オプティマイザの構成要素を2つの明確なカテゴリに分離するモジュラー言語、幾何学的・非幾何学的オプティマイザ・カルキュラスを提案する。

1. 幾何学的モジュール

このモジュールは、正の余計量（cometric）ファミリー $\mathcal{P}_F(\theta)$ で構成される。これは余ベクトル（勾配）をパラメータ空間の降下方向へと写像する。

• 形式化: 余ベクトル $\alpha_\theta = df_\theta$ に対して、幾何学的降下方向は $u_{geo} = -P_\theta \alpha_\theta$ である（ここで $P_\theta \succ 0$）。
• ファミリー: これには、フルSPD行列、対角行列、ブロック対角行列、クロネッカー積による分解、低ランク、またはプロキシ曲率のファミリーが含まれる。

2. 非幾何学的モジュール

残りのメカニズムは、以下の7つの明示的なモジュールに分割される：

• 情報 (Information): 勾配推定値、ミニバッチ、曲率プロキシ、およびヘッセ行列・ベクトル積のプローブ。
• メモリ (Memory): モーメンタム、ネステロフ・ルックアヘッド、セカント・ペア、および履歴部分空間。
• 制御 (Control): 学習率、ダンピング、信頼領域、ラインサーチ、およびスケジュール。
• 演算子 (Operator): 投影、近接写像、クリッピング、正規化、およびデカップルされた重み減衰。
• ノイズ (Noise): 明示的なサンプリングノイズ、ランジュバン摂動、およびドロップアウトによるノイズ。
• ターゲット (Target): 元の $f$ とは異なる、正則化、平滑化、またはサロゲート目的関数。
• 離散化 (Discretization): オイラー／暗黙的ステップ、有限精度、および近似行列根。

3. 監査と分解

カルキュラスは、実在するオプティマイザを分解するために標準的な監査順序を採用する：

1. ターゲット目的関数 $f_k$ と可視な余ベクトル $\tilde{g}_k$ を固定する。
2. 宣言されたファミリー $\mathcal{F}$ 内において、観測された方向を正の幾何学によって最もよく説明する $P_k$ を選択する。
3. スケールとダンピングを制御に帰属させる。
4. 残りの残留成分をメモリ、演算子、ノイズ、ターゲット、または離散化に帰属させる。

主な貢献

1. 方向表現力定理

本論文は、フル正定値幾何学が、厳密な降下方向の集合を正確に表現することを証明している。

• 定理: ゼロでない勾配 $g$ と方向 $u$ に対して、$u = -Pg$となる正定値$P$が存在するための必要十分条件は$g^\top u < 0$ である。
• 含意: 厳密な降下方向ではない更新（例：モーメンタムや上昇ステップ）や、臨界点における運動（$g=0$）は、必ず非幾何学的モジュールに由来する。

2. 制約付き方向残留

制限されたファミリー（対角またはブロックなど）を使用する実装可能なオプティマイザに対して、著者らは制限付き方向残留を定義する：
$$\rho_{\mathcal{F},h}(u; \alpha) = \inf_{P \in \mathcal{F}(\theta)} \|u + P\alpha\|_h$$

• これは、選択された幾何学によって「説明されない」更新の度合いを測定する。
• 著者らは、対角およびブロック幾何学に関する正確な表現条件を導出し、対角幾何学は座標依存であり、$g_i$ と $u_i$ の符号が一致しない方向を説明できないことを示している。

3. 診断フレームワーク（4つの象限）

著者らは、2つの診断手法を分離している：

1. 曲率到達可能性 (Curvature Reachability): ファミリーがヘッセ行列の条件数をどの程度扱えるかを測定する。
2. 方向残留 (Direction Residual): ファミリーが実際の更新方向をどの程度説明できるかを測定する。
   これらは、幾何学的プレコンディショニング、メモリ効果、ノイズ、およびターゲット変更を区別するための、4象限診断ツールを形成する。

4. 軌跡レベルの残留複雑性

点ごとの分析を超えて、本論文は軌跡レベルの残留複雑性を定義する。これは、訓練の全トレースが、有界な幾何学的変動を持つ一貫したプレコンディショナの経路によって説明できるかどうかを問うものである。

• 幾何学的説明における時間的一貫性を維持するコストを測定するために、**コヒーレンス・ギャップ（coherence gap）**を導入している。
• これにより、豊かなファミリーが、無関係または特異な行列を用いて各ステップを個別に説明してしまうことを防ぐ。

5. パレート最適化定式化

オプティマイザの設計は、単一の「最良の」順序を見つけることではなく、モジュール予算に対する制約付きパレート最適化として再定義される。

• 設計者は、幾何学（例：アフィン不変な計量長）、情報（勾配呼び出し）、メモリ、および通信の予算に対するパフォーマンスのバランスを取らなければならない。
• 本論文は、予算付きクラス単調性を証明している。すなわち、フルSPD幾何学は制限された幾何学の表現上上位集合であるが、予算内で実行可能な最適解は、より安価な制限付きファミリーを好む可能性がある。

結果とプロトタイプ

本論文には、これらの言語の有用性を実証するための診断用プロトタイプが含まれている。これらが大規模なベンチマークにおける最先端（SOTA）性能の主張ではないことを明記しておく。

1. フル・メトリック・プローブ（決定論的二次形式）: 座標プローブを介して再構成されたフルSPD逆計量を用いたプロトタイプは、決定論的な二次形式ベンチマークを数値精度で解き、「表現エンベロープ」としてのフル幾何学を検証している。
2. Krylovおよびハイブリッド・バリアント: Krylov部分空間バリアントおよび残留選択型BFGSハイブリッドがテストされた。結果は、限定された情報予算と残留選択ルールが性能に大きな影響を与え、制限された幾何学がフル幾何学の能力に達することをしばしば妨げることを示した。
3. Muonスタイルの候補: 行列直交化モーメンタム（テンソル用）とAdamW（ベクトル用）を組み合わせたプロトタイプを監査した。
   • 小規模なMNISTサブセットにおいて、AdamWの72.6%に対し、77.0%の精度を達成した。
   • 監査の結果、ニュートン・シュルツ直交化は、現在の勾配に適用される純粋な正の余計学というよりも、行列演算子／メモリメカニズムとして機能していることが明らかになった。
4. トレース監査: カルキュラスをAdamW、SGD/Nesterov、およびMuonスタイルの候補の短い訓練トレースに適用した。
   • 知見: SGD/Nesterovは強い点ごとの対角幾何学的説明を示したが、大きな「コヒーレンス・ギャップ」（急速に変化する計量を必要とする）を示した。AdamWとMuon候補は、生の残留およびコヒーレンス・ギャップが小さく、より安定した幾何学的影（geometric shadows）を示唆した。

意義と主張

本論文は、理論およびベンチマーク言語の原稿として位置づけられている。その主な意義は以下の通りである：

• 正式な監査言語の提供: オプティマイザにおける「幾何学」と「エンジニアリング」を分離するための厳密な枠組みを提供し、研究者が、更新のどれだけが幾何学的に説明可能であり、どれだけがメモリ、ノイズ、またはターゲット変換に依存しているかを定量化することを可能にする。
• オプティマイザ設計の再定義: オプティマイザ設計の焦点を、普遍的なオプティマイザを探すことから、明示的なリソース予算（計算、メモリ、オラクル呼び出し）に対するパレート最適化問題を解くことへとシフトさせる。
• 限界の明確化: フル正定値幾何学が降下方向を厳密に捉える「表現エンベロープ」である一方で、その他の挙動（モーメンタム、投影など）は構造的に異なる非幾何学的メカニズムであることを確立する。

著者らは、本論文が大規模な性能向上を主張するものではないことを明示している。実験結果は小規模かつ診断的なものであり、現代のビジョンや言語ベンチマークにおけるAdamW、Lion、またはShampooのような調整済みベースラインと競合するためではなく、オプティマイザの挙動を帰属させるためのカルキュラスの有用性を示すことを目的としている。