技術要約：デッド・ディレクション・シグネチャ（DDS）

問題提起

特異学習理論（Singular Learning Theory, SLT）は、過学習パラメータを持つ深層ネットワークの複雑さを、損失の特異点における局所的な幾何学を通じて特徴づける。この枠組みにおける主要な不変量は、実対数標準カノニカル閾値（Real Log Canonical Threshold, RLCT、$\lambda$と表記）であり、これは特異な最小値付近におけるモデルの実効的な複雑さを測定するものである。実用面では、局所学習係数（Local Learning Coefficient, LLC）が$\lambda$の標準的な推定値として浮上している。しかし、LLCの推定は計算コストが極めて高く、局所的な事後分布を積分するために、チェックポイントごとにSGLD（Stochastic Gradient Langevin Dynamics）サンプリングを用いた$10^4$から$10^6$回の順伝播・逆伝播パスを必要とする。このコストにより、大規模モデル（例：LLM）や高頻度のモニタリングにおいてLLCを用いることは非現実的となっている。

本論文は、事後分布の積分というオーバーヘッドなしに、特異構造を読み取るための「安価な」代替手段の必要性に対処する。具体的には、ネットワークの活性化と勾配の閉形式のスペクトル読み取りを用いて、「デッド・ディレクション（死んだ方向）」、すなわち損失のランドスケープが平坦（特異）であるパラメータ方向を検出し、定量化する手法を追求している。

手法：デッド・ディレクション・シグネチャ（DDS）

著者らは、デッド・ディレクションに沿ったフィッシャー情報の減衰率をRLCTに結びつける理論的枠組み（Shirodkar, 2026）から導出された、一連の閉形式のスペクトル観測量である**デッド・ディレクション・シグネチャ（DDS）**を導入する。

理論的基礎

この枠組みは、特異な最小値において、フィッシャー情報行列 $F(\theta)$ が特定の「デッド・ディレクション」$u$ に沿ってランクを失うことを仮定している。もしKLダイバージェンスが $K(\theta_0 + tu) \sim t^{2k}$ （ここで $k$ はKL次数）のように減衰する場合、方向的フィッシャー情報は $\Theta(t^{2(k-1)})$ と減衰する。この選択規則は、この減衰指数とRLCTの方向的寄与（$1/2k$）を結びつける。

本枠組みは、任意の特異な最小値における活性化スペクトルとフィッシャー・グラム・スペクトルの間の構造的相関を確立している。KFACで分解可能なフィッシャー情報 $F_\ell \approx A_\ell \otimes G_\ell$ を持つ$L$層のネットワークにおいて：

1. フィッシャー側: 各サンプル勾配のフィッシャー・グラムの最小正固有値 $\lambda^+_{\min}(G_\ell)$ は、$\Theta(t^{2(L-\ell)})$ として減衰する。
2. 活性化側: 活性化行列の最小特異値の二乗 $\sigma^2_{\min}(X_\ell)$ は、$\Theta(t^{2\ell})$ として減衰する。
3. 相関: これら2つの量は共単調であり、漸近極限においてスペアマンの順位相関係数が$+1$に近づくことを意味する。

3つのDDS観測量

DDSは、選択された層 $\ell$ におけるSGLD事後分布の連鎖を、以下の3つの安価な閉形式の読み取りに置き換える：

1. レート観測量 ($\lambda^+_{\min}(G_\ell)$): フィッシャー・グラムの最小の厳密に正な固有値。これはデッド・ディレクションの存在を検出し、それらを特定の層（例：ボトルネック）に局在化させる。
2. ボリューム観測量 ($\log \det^+(G_\ell)$): アクティブなフィッシャー・スペクトルの対数体積（正の固有値の対数の和）。この観測量は、デッド・ディレクションの数（ランク欠損 $r$）に対して敏感である。
3. デュアル観測量 ($\sigma_{\min}(X_\ell)$): 活性化行列の最小特異値。これはフィッシャー側のレートに対する活性化側のプロキシを提供し、単一の順伝播とSVD（特異値分解）で計算可能である。

主な貢献

1. 検出とランク欠損のカウント:

   • 検出: $\lambda^+_{\min}(G_\ell)$ は、デッド・ディレクションが現れた瞬間に数桁（例：$\sim 246\times$）崩壊するため、単一の逆伝播パスから検出が可能である。
   • カウント: 本論文は**ランク乗法的体積恒等式（rank-multiplicative volume identity）**を導入する。単一の固有値モニターは「ランク盲目」であるが、$\log \det^+(G_\ell)$ の傾きはランク欠損 $r$ と線形にスケールする。具体的には、ランク1のベースラインに対する傾きの比は $r$ に等しい（例：$r=2, 3, 4$ に対して傾きが2.0, 3.1, 4.0）。これにより、DDSは単一固有値モニターにはない、デッド・ディレクションをカウントする能力を持つ。

2. 閉形式のRLCTに対する検証:

   • 解析的な $\lambda$ が既知であるAoyagi (2005) の低ランク回帰アンカーにおいて、DDS観測量は解析的な $\lambda$ を高い相関（$|\rho| \in [0.95, 0.98]$）でランク追跡する。
   • 著者らは、クロスセル・ランク追跡が「サニティ・ゲート（妥当性確認）」である一方で（単純な容量プロキシでもこれを通過する）、ランク乗法的体積恒等式が、素朴なプロキシでは再現できない識別テストとして機能することを実証している。

3. 非線形Transformerへの拡張:

   • Nandaのモジュラー加算トランスフォーマーの幅のスウィープにおいて、DDS観測量は18桁に及ぶモデル幅（$d_{\text{model}}$）を、符号のコヒーレンスを保ちながら分離する（$|\rho| \in [0.62, 0.96]$）。
   • 対照的に、同じ計算予算での較正済みLLCは「ランク平坦（rank-flat）」（幅を区別できない）であり、SGLDの予算を9倍に増やしても幅を解像できなかった。

4. コスト効率:

   • DDS観測量はLLCよりも数桁安価である。$\sigma_{\min}(X_\ell)$ は1回の順伝播とSVD（$O(Nh^2)$）を必要とする。$\lambda^+_{\min}(G_\ell)$ と $\log \det^+(G_\ell)$ は、1回の逆伝播と固有値分解（$O(h^3)$）を必要とする。
   • 小規模モデルでは、DDSは較正済みLLCよりも約300倍安価であり、LLMの幅においては、構造的相関を利用することで、高価な $O(h^3)$ のフィッシャー固有値分解を回避して、安価な活性化側の $\sigma_{\min}$ からフィッシャー側の順序を復元できる。

結果

• 閉形式アンカー: 14個のAoyagi 2005アンカー・セルにおいて、較正済みLLCは解析的な $\lambda$ を平均99%で復元する。DDS観測量は $\lambda$ を $|\rho| \ge 0.95$ でランク追跡する。
• 体積恒等式: 7つのノイジー・ブリッジ構成において、$\log \det^+(G)$ の傾き比は、$r=2, 3, 4$ に対してそれぞれ 2.0, 3.1, 4.0 という平均値で $r$ を追跡する（予測値は 2, 3, 4）。
• Transformer幅スウィープ: DDS観測量は、$d_{\text{model}}$ の増加に伴い単調減少を示す（5〜15桁の範囲）が、LLCは平坦なままである。
• 構造的相関: 静的な恒等式 $\lambda^+_{\min}(G_\ell) \propto \sigma^2_{\min}(X_\ell)$ は、多様なテストベッド（標準的なブリッジ、Barakのスパース・パリティ、Nandaのモジュラー加算）において、軌跡のレート・フィットが失敗するレジーム（例：AdamW+CE）においても、相関 $\rho \ge +0.75$ を保ちながら成立する。
• Grokking（グロッキング）のダイナミクス: Barakのスパース・パリティにおいて、DDS観測量は「クリーンアップ」フェーズ中に、幾何学的な特異最小値への降下（約10桁の減少）を検出するが、LLCは停滞（プラトー）する。

意義と範囲

本論文は、DDSが、計算可能なスケールにおいて、方向的かつパラメータ局所的な特異複雑さのハンドルを提供する最初の手法であると主張している。

• 補完性: DDSはLLCと補完的なものとして提示されている。LLCが事後分布を積分してベイズ的な要約（例：WAIC、特異なゆらぎ、発達のプラトー）を提供するのに対し、DDSは閉形式のスペクトル読み取りを通じて、方向的かつ層局所的な特異構造の読み取りを提供する。
• 限界: 著者らはその範囲について謙虚である。DDSは、閉形式のRLCTを持つパラメトリックな特異モデルと、一つの非線形トランスフォーマー幅スウィープで検証されている。軌跡のレート予測（例：特定のべき乗則）は、「標準的な整合（canonical alignment）」（通常はG不変な指標上のSGD）を必要とし、非等変性によりAdamクラスの最適化アルゴリズムの下では失敗する可能性がある。しかし、静的な構造的相関はAdamW+CEの下でも保持される。
• 今後の課題: 本論文は、これらの読み取りをより広範なトランスフォーマー・アーキテクチャ、アテンションのみの連鎖、およびその他のアルゴリズム的タスクへ拡張することを、オープンな経験的研究課題として挙げている。また、これらと同じデッド・ディレクションの読み取りが、最終的にはSGLDなしで渡辺の三組（多重度 $m$、ゆらぎ $\nu$）の残りの部分やWAICへと拡張できる可能性も示唆している。

要約すると、DDSは、LLCによる統合された事後分布の読み取りを、安価な閉形式のスペクトル読み取りとトレードオフすることで、デッド・ディレクションの検出とカウントを、より大きなモデルにおける計算可能なレベルで実現し、特異な複雑さの解析を現実的なものにしている。