Inverse Depth Scaling From Most Layers Being Similar

技術要約：大部分の層が類似していることによる逆深度スケーリング

問題提起
ニューラルスケーリング則は、大規模言語モデル（LLM）の性能がモデルサイズやデータセットサイズの増加に伴って予測可能な形で向上すること（通常はべき乗則に従う）を確立してきました。しかし、これらの法則はモデルサイズを単一の量として扱うことが多く、幅（width）と深さ（depth）の明確な寄与を覆い隠してしまいます。理論的枠組みでは、深さは構成的アセンブリ（階層的抽象化）、手続き的アセンブリ（滑らかなダイナミクスの離散化）、またはアンサンブル平均化（冗長な推定）を通じて性能に寄与すると提案されていますが、LLMがその深さを利用する実際のメカニズムは依然として不明なままです。経験的な研究は、LLMの層がしばしば冗長であることを示唆していますが、この冗長性を特定のスケーリング則に結びつける定量的な枠組みは欠けていました。本論文は、LLMの深さと損失（loss）の間の定量的な関係を調査し、どの理論的レジームが支配的であるかを決定します。

手法
著者らは、実在するLLMの経験的分析、制御されたトイモデル実験、および理論的分析を組み合わせた3つのアプローチを採用しています。

1. LLM隠れ状態解析: 著者らは、様々なPythiaモデル（410Mから12Bパラメータまで）および他のファミリー（Qwen-2.5, OPT）における隠れ状態のダイナミクスを、FineWebデータセットを用いて分析しました。隣接する隠れ状態間の角度変化 $\theta(h_l, h_{l+1})$ と、増分更新間の相関 $\theta(\Delta h_l, \Delta h_{l+1})$ を測定しました。主成分分析（PCA）を用いて、トークン間の明確な行動クラスターを特定しました。
2. 経験的損失分解: 著者らは、幅 ($m$)、深さ ($\ell$)、およびデータセットサイズ ($D$) からの寄与を分離した、損失 ($L$) の分解されたスケーリング則を提案しました：
   $$L = \frac{c_m}{m^{\alpha_m}} + \frac{c_\ell}{\ell^{\alpha_\ell}} + \frac{c_D}{D^{\alpha_D}} + L_0$$
   彼らは、Chinchillaスケーリング実験から再構成されたデータ（約200個のデータポイント）にこのモデルを適合させ、深さのスケーリング指数 $\alpha_\ell$ を推定しました。
3. トイモデル実験: メカニズムを分離するために、より深い教師モデルを模倣するように学習する生徒ネットワークを用いた教師・生徒設定を設計しました。教師のダイナミクスは、重み共有（滑らかなダイナミクスを誘導して手続き的アセンブリを行う）または独立した重み（非平滑でランダムウォーク的なダイナミクスを誘導してアンサンブル平均化を行う）によって制御されました。生徒の深さを変化させ、収束とスケーリング挙動を観察するために、異なるターゲット分布温度の下でトレーニングが行われました。

主要な貢献と結果

• 逆深度スケーリング: 主要な発見は、LLMの損失がおよそ深さに反比例してスケールする（$\alpha_\ell \approx 1$）ことです。適合された深さ依存項の指数は $\alpha_\ell = 1.2 \pm 0.3$ であり、これは深さを2倍にすると、深さ制限による誤差成分がおよそ半分になるというべき乗則的な減衰を示唆しています。
• アンサンブル平均化の支配: 隠れ状態の分析により、大多数のトークン（99.6%）および層において、更新は増分的であり、ネットワークの中間部で一様であることが明らかになりました。決定的なことに、隣接する層間の更新の相関は弱く（角度は $\pi/2$ に近い）、これは手続き的アセンブリに必要な滑らかなダイナミクスとは矛盾します。代わりに、これらのシグネチャはアンサンブル平均化と一致しており、そこでは層は冗長でノイズの多い推定器として機能し、平均化を通じて誤差を減少させます。
• 構成的および手続き的支配の拒絶:
  • 構成的アセンブリ: データは、このレジームにおいて予測される「早期停止」や明確な階層的抽象化（例：構文 $\to$ 意味論 $\to$ 推論）のパターンを示していません。
  • 手続き的アセンブリ: 手続き的アセンブリ（滑らかな常微分方程式の離散化）は、特定の条件（例：低温度または不完全な学習）下では理論的に逆スケーリングをもたらすことができますが、著者らのトイモデル実験によれば、滑らかなダイナミクスを伴って学習が収束すると、スケーリング指数は $\alpha_\ell \approx 3$ へとシフトします。実在のLLMは $\alpha_\ell \approx 1$ を示すため、手続き的アセンブリが支配的なメカニズムである可能性は低いです。
• メカニズムの説明: 本論文は、LLMの深さの非効率性は、ほとんどの層が機能的に類似した変換を実行していることに起因すると結論付けています。深さを追加することは、これらの機能的グループのサイズを大きくすることであり、損失の減少は、より深い抽象化を構築することではなく、大数の法則（エラーの平均化）によって駆動されます。

意義と主張
著者らは、本研究が、先行する経験的研究で観察された「非効率な」深さの使用に対して、定量的な説明を提供するものであると主張しています。LLMが主にアンサンブル平均化レジームで動作していることを確立することで、本論文は以下を示唆しています：

1. アーキテクチャへの影響: 現在の残差ネットワーク（residual network）アーキテクチャは、構成的学習よりもアンサンブル平均化へとモデルを本質的にバイアスさせている可能性があります。効率を向上させるには、構成的な深さの使用を促進するアーキテクチャの革新が必要となるかもしれません。
2. スケーリング則: 観察された逆深度スケーリング（$\alpha_\ell \approx 1$）は、固定されたパラメータ予算の下で、幅のスケーリング（$\alpha_m \approx 1$）と組み合わさると、最適な幅と深さの関係 $m \propto \ell$ を意味します。これは、Chinchillaモデルで観察される経験的な $N^{-1/3}$ スケーリングと一致します。
3. 限界: 著者らは、彼らの損失分解が第一原理から導出されたものではなく、経験的なフィットに基づいていることを控えめに述べています。彼らは、構成的および手続き的アセンブリの支配的な役割を排除したものの、同様のスケーリング挙動を生み出す他のメカニズムを第一原理の導出なしに厳密に排除することはできないことも認めています。さらに、本研究は「バルク（中間層）」の層に焦点を当てており、最初の層と最後の層は、異なる、おそらく構成的な挙動を示す可能性があることを認めています。

要約すると、本論文は、現在のLLMのスケーリングの成功は、表現の階層を深化させることではなく、エラーを平均化する冗長な層を追加した結果であると断じており、将来のアーキテクチャの進歩は、このアンサンブル平均化へのバイアスを打破できるかどうかにかかっているとしています。