Learning reshapes power-law anisotropy in internal representations

技術的要約：学習による内部表現のべき乗則アニソトロピー（異方性）の再形成

問題提起
内部表現の固有値スペクトルにおけるべき乗則アニソトロピーは、マウスの大脳皮質から大規模言語モデルに至るまで、多様な神経系で観察される普遍的な幾何学的特性である。このアニソトロピー（固有値がランクに応じてべき乗則に従って減衰する現象）は、コーディングの効率性、堅牢性、および汎化性能に関連している。しかし、既存の理論的枠組みの多くは、べき乗則の指数を入力統計量から継承された固定値として扱うか、あるいは学習中も静的に保持されるものと仮定している。その結果、タスク駆動型の学習がどのようにこれらのスペクトルを再形成するのか、また、入力構造や教師信号に応じて指数がどのように動的に進化するのかというメカニズムは依然として不明である。具体的には、内部表現が単に入力のべき乗則を継承しているだけなのか、それとも非自明な変形を受けているのか、またそのような変化が学習レジーム（特徴量学習 vs 線形化レジーム）にどのように依存するのかが分かっていない。

手法
これらの問いに対処するため、著者らは教師・生徒設定における広範な2層線形ニューラルネットワークを分析する。モデルは、入力次元 $D$、隠れ層幅 $N$、出力次元 $P$ で定義され、$P=D \ll N$ かつ $N \to \infty$ とする。

• 入力および教師の構造: 入力共分散行列と教師グラム行列は、共に同一の直交基底において対角行列であり、その固有値は指数 $\alpha$（入力）および $\beta$（教師）を持つべき乗則に従うものと仮定する。
• ダイナミクス: ネットワークは、平均二乗誤差に対するポピュレーション勾配フローを用いて学習される。入出力写像は線形であるが、重みの共同学習は内部表現において非線形なダイナミクスを誘発する。
• 解析的手法: 著者らは、無限データおよび無限幅の極限における、内部表現カーネル（第一層の重みのグラム行列）の固有値の正確な時間進化を導出する。彼らはスペクトルを、初期化成分（入力から継承されたもの）と教師由来成分（学習を通じて形成されたもの）に分解する。
• レジーム分析: 本研究では、特徴量学習レジーム（feature-learning regime）（重みが大きく変化する場合）と、線形化レジーム（linearized regime）（重みが初期値に近い状態を維持する場合）を、パラメータ $\gamma_0$ によって区別して分析する。
• 検証: 理論的予測は、有限幅の線形ネットワークおよび非線形活性化関数を持つ非線形ネットワークの数値シミュレーションによって検証される。

主要な貢献と結果
本論文は、学習中に内部表現の局所的なべき乗則指数がどのように進化するかについて、正確な解析的特性付けを提供している。

1. スペクトル分解: 内部表現のスペクトル $\rho_k(t)$ は、二つの加法的な成分から構成されることが示されている。一つは入力共分散に由来するもの（初期化時に存在する）、もう一つは学習を通じて教師信号によって誘発されるものである。これら二つの成分の相対的な優位性が、スペクトルの形状を決定する。

2. 4つの漸近的指数レジーム: 特徴量学習レジームにおいて、局所的な有効べき乗則指数 $\alpha_{\text{eff}}(k, t)$ は静止したものではない。学習が進むにつれ、スペクトルはモード指数 $k$ と学習時間 $t$ に応じて、最大4つの異なる漸近的レジームを示す：

   • 領域 I (初期化支配型): $\alpha_{\text{eff}} \approx \alpha$。学習による変化が初期化と比較して無視できる場合に発生する。
   • 領域 II (初期学習、第一層支配型): $\alpha_{\text{eff}} \approx 3\alpha + \beta$。学習は始まっているが、モードがまだ完全に学習されておらず、第一層が更新を支配している場合に発生する。
   • 領域 IIIa (学習済み、第一層支配型): $\alpha_{\text{eff}} \approx \alpha + \beta$。モードが学習され、第一層が主要な学習信号を担っている場合に発生する。
   • 領域 IIIb (学習済み、両層関与型): $\alpha_{\text{eff}} \approx \alpha + \beta/2$。モードが学習され、学習が両方の層に分散されている場合に発生する。
     このレジーム間の遷移は非単調であり、固定されたモードに対して、指数はまず急峻になり（過渡的に）、その後、教師信号が組み込まれるにつれて減少する場合がある。

3. 線形化レジームの安定性: 線形化レジームでは、学習誘発成分が初期化成分を超えることは決してない。したがって、局所的な指数は学習を通じて実質的に変化せず（$\alpha_{\text{eff}} \approx \alpha$）、内部表現が入力の異方性を大きく再形成しないことを示している。

4. 非線形ネットワークへの汎用性: 非線形ネットワークを用いた数値実験により、予測されたスペクトルの遷移および特徴量学習と線形化レジームの区別が、線形モデルを超えても維持されることが示された。非線形な特徴量学習の設定においても、スペクトルは同様に、有限のモード範囲にわたって $\alpha$ から $\alpha + \beta$ へと遷移する。

意義
本論文は、べき乗則的な内部表現の形成を説明する一般的なメカニズムを提供すると主張している。結果は、これらの表現が単に入力統計量の静的な反映ではなく、入力のアニソトロピー、教師信号のアニソトロピー、およびモード依存的な学習タイムスケールの相互作用によって動的に再形成されるものであることを示唆している。

べき乗則の指数が複数の漸近的な値を取り得ること、および非単調に進化することを実証することで、本研究は理論的解析における「固定された指数」という仮定に挑戦している。これは、内部表現の幾何学的特性が、データ構造とタスク駆動型の学習ダイナミクスの間の特定の相互作用の結果であることを確立している。この解析的枠組みは、微視的なスペクトル幾何学が、いかにしてニューラルネットワークのマクロな性能やスケーリング則と関連しているかを理解するための出発点を提供するものである。