技術要約：反復学習による疎な言語モデルのスケーリング

問題提起

大規模言語モデル（LLM）の最近の進歩は、高品質な学習データの豊富さを前提としたスケーリング則に大きく依存してきました。しかし、一意で高品質な人間由来のデータの供給量は緩やかな成長率（年間約1.03倍）にとどまっているのに対し、事前学習におけるデータ消費量は加速（年間約4倍）しています。このミスマッチにより、モデルは限られた一意のトークンで学習する必要がある**データ制約レジーム（data-constrained regime）**へと突入しており、マルチエポック学習（データの反復）が必要となっています。

このレジームにおいて、標準的な密な（dense）スケーリング則は収穫逓減を示します。同じデータを繰り返すと、急速な飽和と過学習が起こります。これまでの研究では、データが十分にあるレジームにおける疎なスケーリング（例：Mixture-of-ExpertsやDynamic Sparse Training）や、密なレジームにおけるデータ制約下でのスケーリングが探索されてきましたが、疎性（sparsity）とデータの反復の相互作用については未解明のままです。具体的には、疎な最適化が、繰り返されるデータの飽和ダイナミクスを変化させることができるのか、あるいは、一意のデータが希少な状況において、モデル容量、データの再利用、および計算コストの間のトレードオフを改善できるのかが不明です。

メソドロジー

著者らは、データ制約条件下における**動的疎学習（Dynamic Sparse Training: DST）**の体系的な実証研究を行っています。その手法は以下の通りです。

1. 実験セットアップ:

   • モデル: C4データセットを用いて学習されたLLaMA-2ファミリーのアーキテクチャ。
   • スケール: アクティブなパラメータ数（$N$）は15Mから960Mまで（最大1.92Bの密な等価サイズまでカバーし、7.68Bまで外挿により検証）。
   • 疎性（Sparsity）: 0%（密）から93.75%（16倍圧縮）までのレベル。
   • データ予算: 一意のトークン予算（$U_d$）として、0.52B、1.3B、2.6Bトークン。
   • 反復: 1、2、4、8、16エポックの学習を行い、総学習トークン数は最大41.6Bに達する。
   • アルゴリズム: マグニチュード・プルーニング（magnitude pruning）とランダム・リグロース（random regrowth）を用いた、Sparse Evolutionary Training (SET) アルゴリズムによる動的疎学習。

2. スケーリング則の定式化:
   著者らは、ChinchillaおよびMuennighoff et al. (2023) の定式化を拡張した、新しい疎なデータ制約スケーリング則を提案しています。損失関数 $L$ は次のようにモデル化されます：
   $$L(N', D', S) = \frac{A}{(N')^\alpha} + \frac{B}{(D')^\beta} + E$$
   ここで：

   • $N'$ および $D'$ は、収穫逓減を考慮した実効的なパラメータ数およびデータ数です。
   • $S$ は疎性のレベルです。
   • 実効データサイズ $D'$ は、疎性に依存する飽和閾値 $R^*_d(S)$ を組み込んでいます：
     $$D' = U_d + U_d R^*_d(S) \left(1 - e^{-R_d/R^*_d(S)}\right)$$
   • 飽和閾値 $R^*_d(S)$ は、疎性の関数としてモデル化されます：$R^*_d(S) = R^*_d (1 + \lambda_1 S + \sigma_1 S^2)$。
   • 同様に、実効パラメータ数 $N'$ には、アクティブなパラメータと密な等価容量の間のトレードオフをモデル化するための疎性に依存する因子が含まれます。

3. 分析:
   本研究では、固定されたデータおよび計算量予算の下での最適なリソース配分（モデルサイズ vs 学習エポック数）を決定するために、Iso-Loss（等損失）およびIso-FLOPs（等計算量）曲線を分析しています。彼らは、計算量の定義として、Sparse FLOPs（非ゼロパラメータ上の演算）とDense FLOPs（等価な密モデルの学習コスト）の2つを区別しています。

主要な貢献と知見

1. 疎でデータ制約のある学習のための新しいスケーリング則

本論文は、損失をアクティブなパラメータ、一意のトークン、データの反復、および疎性の関数としてモデル化することにより、計算量およびデータ予算にわたって性能を正確に予測するスケーリング則を導入しています。

• 検証: このモデルは、保持された構成に対して0.914の検証 $R^2$ を達成しており、この定式化が過学習することなく、疎なスケーリングの根底にある構造を捉えていることを示しています。

2. データ飽和の遅延

最も重要な実証的知見は、疎性が繰り返されるデータの飽和を遅らせるということです。

• メカニズム: 密な学習では、限られたデータを繰り返してさらすことで、すぐに収穫逓減が生じます。疎な学習は、更新をより大きな重みのプールに分散させることで、同一のデータに対して単一のパラメータが更新される頻度を減少させます。
• 定量的影響: データ飽和閾値 $R^*_d$ は疎性とともに増加し、$S \approx 0.5$ 付近でピークに達します。$S=0$ のとき $R^*_d \approx 4.4$ ですが、$S=0.5$ のとき $R^*_d \approx 6.9$ となります。これは、疎なモデルは性能がプラトーに達する前に、より多くのデータ反復に耐えられることを意味しており、マルチエポック学習をより効果的にします。

3. リソース配分とトレードオフ

本研究は、データ制約下における疎な学習と密な学習の異なる最適戦略を特定しています。

• 配分のシフト: 密な学習では、追加の計算量はモデルサイズの増大に割り当てることが最善です。一方、疎な学習（特に中程度の疎性において）では、追加の計算量はパラメータ数の増加よりも、**より長い学習（より多くのエポック）**に割り当てる方が効果的です。
• パラメータ効率: 疎な学習は、より優れたパラメータ対トークンの比率を実現します。1.3Bトークンの予算において、疎な学習は密な学習と比較して、3倍小さいパラメータ対トークン比を実現でき、推論効率を向上させます。

4. 最適な疎性レベル

著者らは、2つの「最適」な疎性を定義しています。

• 損失最適（Loss-Optimal）な疎性: 固定されたデータ予算に対して検証損失を最小化する疎性。これは異なるデータスケール間でも比較的安定しており、中程度（$S \approx 0.45 - 0.5$）です。
• 計算量最適（Compute-Optimal）な疎性: 最適な密モデルの性能に一致させつつ、学習計算量を最小化する疎性。この値はデータスケールとともに増加し、1.3Bトークンのときは $S \approx 0.6$ ですが、より大きなスケール（13B–130Bトークン）では $S \approx 0.7 - 0.75$ へとシフトします。
• 効率性の向上: 計算量最適な疎性において、疎なモデルは密なモデルと同等の精度を実現しながら、約8倍から10倍少ない学習FLOPsを使用します。

重要性と主張

本論文は、データ制約下のスケーリングレジームにおける動的疎学習に関する初の体系的な実証的特性評価を提供すると主張しています。その主な意義は、疎性を単なる推論効率やモデル圧縮のツールとしてではなく、データが主要なボトルネックである場合のスケーリングのトレードオフを改善するためのメカニズムとして再定義している点にあります。

主な主張は以下の通りです：

• 疎性は、モデル容量とデータの反復の間の相互作用を根本的に変え、収穫逓減のポイントを遅らせる。
• データが不足している状況下では、最適な戦略は「より大きなモデル」から「疎なモデルへのより長い学習」へとシフトする。
• 提案されたスケーリング則は、将来のデータ制約のある事前学習シナリオにおいて、計算量とデータを割り当てるための予測的な枠組みを提供する。

著者らは限界についても認めており、実験がまだフロンティアLLM（7.68Bの密な等価パラメータを超える規模）に達していないことや、疎な実装におけるハードウェアレベルの非効率性が、実現されるスピードアップを減少させる可能性があることを指摘しています。しかし、彼らは、これらの知見が、データが限られた時代における効率的なLLMを訓練するための基礎的な理解を提供するものであると主張しています。