Measuring Dead Directions: Decomposing and Classifying Singular Structure off Canonical Alignment

技術要約：標準的なアライメントから外れた「デッド方向」の測定

問題提起
単一学習理論（Singular Learning Theory）は、学習済みのニューラルネットワークを、ワタナベの三つ組（学習係数 $\lambda$、多重度 $m$、特異変動 $\nu$）によって特徴付けます。これらの不変量は、ベイズ自由エネルギーと汎化誤差を支配します。しかし、実際のネットワーク上でこれらを測定することはコストが高く、多くの場合、確率的な事後分布サンプリング（例：SGLD）に依存しています。これは、構造を特定のネットワーク座標に局在化させることなく、単一のグローバルなスカラー値のみを算出します。さらに、特異性の「次数」（$k$）を読み取るための従来の決定論的手法には、標準的なアライメント（デッド方向がすべての層において座標軸と整列していること）および降下（読み取りが特異点に接近する学習軌跡に沿って行われること）という2つの制約的な前提条件がありました。実際の学習済みネットワークはしばしばこれらの条件に違反しており、デッド方向が軸から回転していたり、標準的な座標ごとのスキャンでは捉えきれない拡散した構造を形成したりしています。

手法
本論文は、単一の凍結されたチェックポイントで動作する、降下不要・アライメント不要の測定パイプラインを提案しています。この手法は、**検出（Detection）と読み取り（Reading）**の2段階で構成されます。

1. 検出（アーキテクチャ適応型）:

   • 検出器は、層の自然な二次のモーメント・オブジェクトの近傍カーネルを特定することで、「デッド方向」（$u$）を特定します。
   • 一般的な層に対しては、**K-FAC（クロネッカー因子近似曲率）**の因子ペア（$A \otimes G$）を利用し、A-G双対性を活用します。すなわち、入力共分散（$A$）が方向を孤立化できない場合、出力勾配共分散（$G$）が成功するという性質を利用します。
   • 畳み込み層については空間パッチ共分散を用い、LayerNormについては正規化スケールの閉形式のカーネルを用います。
   • 決定的なのは、この手法がフィッシャー・スペクトラムを探索するのではなく、これらの因子から結合モードを構築することであり、これにより「ゲージフロア」（平坦な対称方向）や、次数を担うモードよりも下のヌル空間をサンプリングしてしまうことを回避します。

2. 読み取り（降下不要のスキャン）:

   • 方向 $u$ がノミネートされた後、手法は合成スキャン $\theta(t) = \theta_0 + tu$ （ここで $\theta_0$ は凍結されたチェックポイント）を実行します。
   • このスキャンに沿って方向的フィッシャー $F(\theta(t))$ を測定します。
   • 次数 $k$ は、フィッシャーの成長率 $u^\top F(\theta(t)) u = \Theta(t^{2(k-1)})$ から回収されます。
   • 純度適合ウィンドウセレクターは、フィットの質（$r^2 > 0.95$）を最大化することで漸近領域（$t \to 0$）を分離し、回収された指数が低次の成分やゲージノイズによって汚染されないようにします。
   • 手法は、大きさ（magnitude）と傾き（slope）に基づいて方向を分類します。有限の傾きは真の特異性（例：ノード死、深さによる特異性）を示し、フロアにおける平坦な大きさはゲージ対称性（例：LayerNormカーネル、回転）を示します。

主な貢献

1. アライメントフリーな次数回収: 本手法は、デッド方向が座標軸と整列している必要なく、方向ごとの次数 $k$（およびそれによる局所的な学習係数 $\lambda_{dir} = 1/(2k)$）を回収します。これにより、標準的なスキャンが失敗する深層ネットワーク内の回転したノード死を正常に読み取ることができます。
2. デッド構造の分類学: デッド方向を、真の特異性（活性化関数の解析的次数またはネットワークの深さによって決定される有限の次数）と、平坦なゲージ（無限の次数を持ち、複雑性ではなく多重度に寄与する）に分類します。また、曲がったゲージ軌道（傾きによって有限の次数を模倣するもの）と真の特異性を区別するための、大きさに基づく基準を導入しています。
3. 決定論的な分解: 単一のグローバルな $\lambda$ を返す事後分布サンプラーとは異なり、本手法は複雑性を、方向ごとの次数とデッド部分空間の次元（支配的な次数にある方向の数）へと分解します。
4. オプティマイザ依存の幾何学: 学習の「次数」はアーキテクチャ（活性化関数や深さ）によって固定されますが、デッド構造の基底と鋭さはオプティマイザによって決定されることを示しています。直交化を行うオプティマイザはクリーンで読み取りやすい構造を生成しますが、標準的なオプティマイザは、構造を拡散させたり回転させたりして、標準的な手法では読み取りにくくする可能性があります。
5. ワタナベの三組へのマッピング:
   • 次数 ($k$): 普遍的な特異変動 $\nu(k)$ を決定します。
   • 多重度 ($m$): 正規交差（normal-crossing）の仮定の下で、デッド部分空間の次元から回収されます。
   • 変動 ($\nu$): 本論文は、次数が理論的な $\nu(k)$ を固定する一方で、学習済みネットワークの実現された $\nu$ は、デッド方向へ向かうはずのデータ変動を「ライブな構造」が吸収してしまうため、この普遍的な値よりも抑制されることを示しています。

結果

• 構築されたセルでの検証: 本手法は、予測された次数を正確に回収します（GELU/ReLUのノード死に対して $k=2$、squared-ReLUに対して $k=3$、深さ $L$ の線形ネットワークに対して $k=L$、$r^2 \approx 1.000$）。
• 実ネットワーク:
  • From-Scratch ViT: MLPブロックにおける回転したノード死に対して、活性化関数が予測する次数（$k \approx 2$ または $3$）を正常に回収しました。一方、座標ごとのスキャンでは偏差した値が得られました。
  • Fine-Tuned DINOv2: ノード死は特定されませんでしたが、デッド構造をアーキテクチャ上のゲージ（LayerNormカーネル、AttentionのQK回転）として分類しました。これは、手法が学習された特異性と対称性を区別できる能力を持つことを裏付けています。
  • オプティマイザの比較: バニラのMuonはデッド構造を読み取りにくいくらい拡散させてしまうことが多いですが、スケールド・ポーラー直交化器は、本手法が正確に読み取れるクリーンで軸に沿った、あるいは回転した構造を生成します。
  • グローバル係数: 解析的なモデルにおいて、組み立てられた方向ごとの次数は、機械精度で閉形式のグローバル $\lambda$ と一致しました。

意義と主張
本論文は、次数回収を、従来の「標準的なアライメント」および「降下」の前提条件を取り除いた、決定論的かつアーキテクチャ全般に適用可能な読み取りへと変えることを主張しています。これは、学習係数を分解するための、高価な事後分布サンプリングに代わる「安価な（単一の順伝播/逆伝播パスによる）」代替手段を提供します。

著者らは、その範囲について以下の通り謙虚な姿勢を示しています：

• 読み取りは、検出器が方向を正常にノミネートできた場合に条件的に成立します。ランダムな方向から構造を見つけるものではありません。
• 本手法は、オプティマイザによって残された構造を特徴付けます。もしオプティマイザが拡散した解（例：深いTransformerにおけるバニラMuon）を残した場合、回収すべき明確な次数は存在しません。
• 次数と局所的な係数は正確に回収できますが、学習済みネットワークにおける実現された特異変動は、ライブな構造による吸収のため、普遍的な $\nu(k)$ よりも小さくなります。つまり、普遍的な $\nu(k)$ は上限値であり、厳密な実現値ではありません。
• 本手法は現在「列挙可能」な構造を扱っています。複雑な行列決定多様体（例：幅の広い行列を用いた深層線形ネットワーク）の場合、グローバルな組み立てには依然として事後分布サンプリングや、より高度な代数的解決が必要となる可能性があります。

要約すると、本論文は、凍結されたチェックポイントにおける学習済みネットワークの特異幾何学を「読み取る」ための実用的なフレームワークを確立しており、グローバルなサンプリング手法を補完する、方向ごとの詳細な複雑性マップを提供しています。