技術的サマリー：学習の二つの速度：グロッキングとダブルデサントの表現 - 読み出し分解

問題定義

深層ニューラルネットワークの訓練を監視するための標準的な信号（訓練損失や精度など）は、一般化の複雑なダイナミクスを捉えられないことが多い。この状況を複雑にする 2 つの顕著な現象がある：

1. グロッキング：モデルがほぼ完璧な訓練性能を達成している間、テスト精度は長い期間にわたり偶然のレベルにとどまり、その後に突然一般化が現れる現象。
2. エポック単位のダブルデサント：訓練損失は単調に減少する一方、テスト損失または誤差は単調ではない上昇と下降を示す現象。

既存の説明は頻繁にタスク固有（例えば、モジュラ算術における代数的構造への依存）であり、あるいは「怠惰」から「豊か」への学習といった二項的なレジーム遷移に依存している。多様なアーキテクチャやタスクにわたってこれらの現象を診断し、標準的でない訓練レシピによって引き起こされる偽の学習アーティファクトと真の一般化を区別できる、統合されたタスク非依存のフレームワークは欠けている。

方法論：表現 - 読み出し分解

著者は、ニューラルネットワーク $f(x)$ を 2 つの異なる構成要素に分解するフレームワークを提案する：

1. エンコーダ（$\phi_\theta$）：入力空間から $N$ 次元の表現空間への非線形写像。
2. 読み出し（$W$）：表現空間から出力ロジットへの線形写像。

この分解により、表現学習（$\phi_\theta$ の変化）と読み出し較正（$W$ の変化）を個別に追跡することが可能となる。これらの構成要素間の相互作用を分析するために、著者は表現幾何学とニューラルタンジェントカーネル（NTK）理論から導出された 4 つのタスク非依存の診断指標を採用する：

1. 臨界次元（$N_{crit}$）：表現空間における線形分離性の頑健性を定量化する。これは、分離性を確率 $\geq 0.5$ で維持するために必要な最小の射影次元の期待値として定義される。低い $N_{crit}$ は、より良い「絡み解かれた」多様体と高い一般化可能性を示す。
2. タスク関連幾何学指標（GLUE）：絡み解き効率に関連する幾何学（Geometry Linked to Untangling Efficiency: GLUE）理論から導出された 4 つの指標（$D, R, \rho_c, \rho_a$）のセット。これらは、有効な多様体次元、半径、およびラベル条件付き多様体間の中心と軸の整列を特徴づける。
3. 線形プローブ精度：凍結された表現上で訓練された正則化線形分類器。プローブ精度とモデル精度のギャップは、エンコーダの能力に対する読み出しのミスマッチ（過学習または未学習）を診断する。
4. 最終層 NTK-ラベル整列：特徴グラム行列（最終層 NTK）とラベルカーネルとの間の整列を測定する。これは、現在の幾何学がラベル判別解への勾配流をどの程度支持するかを定量化し、訓練セットとテストセットで個別に評価される。

主要な貢献と結果

1. グロッキングにおける学習の二つの速度

MLP およびトランスフォーマーアーキテクチャにおける標準的なグロッキングタスク（モジュラ加算、置換合成、スパースパリティ）に分解を適用することで、著者は、表現学習がグロッキングの開始まで休眠状態にあるとする厳密な「怠惰から豊かへ」の説明を否定する。

• 連続的な表現学習：$N_{crit}$ は、グロッキング前の段階を含め、訓練全体を通じて徐々にかつ連続的に減少する。表現学習は遅いものの欠如しているわけではなく、突然の相転移としてではなく、連続的に進行する。
• 訓練バイアスされた読み出し：グロッキング開始前、読み出し学習の方向は体系的に訓練データへとバイアスされている。NTK 整列のギャップ（訓練からテストを引いた値）は大きく正であり、表現が一般化を支えるのに十分な頑健さを持つ前に、読み出しが訓練セットに過剰適合していることを示している。
• メカニズム：グロッキングは学習レジームの突然の切り替えから生じるのではなく、表現の質（$N_{crit}$）が最終的に読み出し較正の速度に追いつくにつれて、読み出し方向が徐々に均等化されることによって生じる。

2. 幾何学的メカニズムにおけるアーキテクチャの違い

このフレームワークは、異なるアーキテクチャが異なる幾何学的経路を通じて一般化を達成することを明らかにする。

• MLP とトランスフォーマー：モジュラ加算および置換合成タスクにおいて、MLP とトランスフォーマーは中心整列（$\rho_c$）および軸整列（$\rho_a$）において逆の傾向を示す。両方のアーキテクチャが多様体次元と半径を減少させる一方で、同じ表面レベルのグロッキング行動を達成するために、クラス間幾何を異なる方法で操作する。

3. 偽の学習の診断

このフレームワークは、標準的でない訓練レシピによって引き起こされるアーティファクトと真の一般化を成功裏に区別する。

• MNIST グロッキングアーティファクト：高い初期重みノルムと小さな訓練セットによって誘発された MNIST 上の以前に報告されたグロッキングの例は、偽物であると診断される。このフレームワークは、「グロッキング前」段階における表現の劣化（$N_{crit}$ の増加と線形プローブ精度の減少）および読み出しの過学習を明らかにする。見かけ上の遅れた一般化は、表現の劣化を最終的に修正する読み出しの結果というアーティファクトであり、特徴学習の真の改善ではない。
• エポック単位のダブルデサント：ラベルノイズによって誘発されたダブルデサントのシナリオにおいて、このフレームワークは 2 段階のプロセスを特定する：初期の表現劣化の段階に続き、その後に読み出し更新が偽の信号（ノイズのあるラベル）によって支配される段階。標準的でない要素（例えば、ラベルノイズ）を除去することで、ダブルデサントのパターンと診断的な特徴の両方が排除される。

4. トップダウン分析フレームワーク

著者は、この分解を「ボトムアップ」の機械的解釈可能性（例えば、回路の発見）に対する「トップダウン」の補完として位置づける。表現のグローバルな構造（多様体幾何、分離性、整列）を特徴づけることで、このフレームワークは訓練/テスト分割および多様なタスクにわたって一貫した観測量を提供し、標準的な損失曲線が失敗する場所で学習ダイナミクスを監視するための信頼できる信号を提供する。

重要性

本論文は、学習ダイナミクスを理解するための統合されたタスク非依存のフレームワークとして表現 - 読み出し分解を確立する。その主な重要性は以下の点にある：

• 理論的説明の洗練：「怠惰から豊かへ」という二項的な二極化を超え、表現学習は連続的であり、グロッキングは表現の改善速度と読み出し較正速度の相対的な速度によって駆動されることを実証する。
• 診断的有用性：標準的でない訓練設定において真の学習現象と誤解され得る偽の学習ダイナミクス（例えば、表現の劣化や読み出しのミスマッチ）を特定するための具体的な特徴を提供する。
• 一般化可能性：このフレームワークは、アルゴリズム的タスク、実世界のデータセット（MNIST）、およびアーキテクチャ（MLP、トランスフォーマー、ResNet）にわたって一貫して適用可能であり、解釈可能性研究および安全性が重要なモデル監視のための原理的なツールを提供する。

著者は、このフレームワークが現在最終線形層で適用されているが、中間層、タスク固有の構造、および継続的学習のシナリオに関する将来の研究のための堅固な基盤を提供すると結論づけている。