テクニカル・サマリー：計算量最適およびデータ最適な事前学習の架け橋

1. 問題提起

古典的な事前学習のスケーリング則（例：Kaplan et al., 2020; Hoffmann et al., 2022）は、新鮮な事前学習データが無限であり、計算量とともに自由にスケールするという仮定の下で動作している。しかし、分野は、計算能力が指数関数的に成長する一方で、高品質な事前学習データは有限であり、キュレーションにコストがかかるという「データ制約」のあるフェーズへと移行している。この「データ制約」下のレジームにおいて、実務家は、固定されたコーパス（$D$）から派生トークン（$D'$）を生成する戦略（マルチエポックの反復、パラフレーズ、蒸留など）を通じて、追加の計算量を投じる必要がある。

本研究が取り組む中心的な問いは、サイズ $N$ のモデルを固定されたコーパス $D$ で学習する場合、追加の計算量（派生トークン $D'$ に費やされるもの）によって、事前学習の損失をどの程度減少させることができるか？ ということである。既存の法則は、データ供給が限定されている場合の計算量とデータのトレードオフを十分に記述できていない。

2. 手法

計算量-データ（CD）スケーリング・フレームワーク

著者らは、以下の2つの間のギャップを埋める統一フレームワーク、CDスケーリング則を提案している：

1. 計算量最適スケーリング ($L_{Chin}$): データが無制限である場合（$D' = 0$）。
2. データ最適スケーリング ($L_D$): 固定されたコーパスに対して計算量が無制限である場合（$D' \to \infty$）。

このフレームワークの核となるのは、トークン有効性関数 $\eta_{strat} \in [0, 1]$ であり、これは派生トークンの新鮮なトークンに対する価値を定量化する。提案されるスケーリング則は以下の通りである：

$$L(N, D, D') = E + \frac{A}{N^\alpha} + \frac{B}{(D + \eta_{strat} \cdot D')^\beta}$$

ここで：

• $N$: モデルパラメータ数。
• $D$: 新鮮なトークン（1回目）。
• $D'$: 派生トークン。
• $\eta_{strat}$: 拡張戦略（反復またはパラフレーズ）に依存する有効性係数。

実験設定

• アーキテクチャ: OLMo3 (Olmo et al., 2025)。
• モデルサイズ: 14M から 600M パラメータ。
• データ: Dolma-3 コーパス (150B トークン)。
• 戦略:
  1. マルチエポック反復: コーパスを複数のエポックで繰り返す。
  2. パラフレーズ: 特定のスタイル混合（質問、数学、FAQ、テーブル）を用いて、SmolLM2-1.7B-Instruct を使用して文書を言い換える。
• フィッティング: 著者らは、新鮮なデータサイズ（$D$）、派生トークン予算（$D'$）、およびハイパーパラメータ（学習率、ウェイトディケイ）をスイープすることで、スケーリング則のパラメータを適合させている。彼らは、1エポックのスケーリング定数が与えられた条件下で観測された損失を再現する値を見つけることにより、$\eta_{emp}$ を経験的に導出している。

$\eta$ のパラメータ形式

経験的な分析により、$\eta$ は一定ではなく、以下の関数として減衰することが明らかになった：

1. 拡張比率 ($r = D'/D$): 派生データが増えるにつれて $\eta$ は減少する。
2. **パラメータあたりのトークン数 ($TPP = D/N$):** モデルサイズに対して新鮮なデータが少ない場合、$\eta$ はより速く減衰する。
3. モデルサイズ ($N$): より大きなモデルほど、より早く飽和する。

著者らは、有効な派生データ（$\eta \cdot D'$）が天井 $R^*$ に向かって飽和するとモデル化している。採用された関数形式は以下の通りである：
$$\eta = \frac{R^*}{r} \left(1 - e^{-r/R^*}\right)$$
ここで、飽和の天井 $R^*$ は、$N$ と $TPP$ に依存する冪乗則に従う：
$$R^*(D, N) = K \cdot (D/N)^\rho \cdot N^\sigma$$

3. 主な結果

1. 非定数的な有効性

派生トークンの有効性は一定ではない。それはモデルサイズ、 $TPP$比、および派生データの量に共同で依存する。コーパスが拡大するにつれ（$D' \to \infty$）、有効なトークン数$D_{eff} = D + \eta D'$ は飽和する。

2. 3つの運用レジーム

CDスケーリング則は、制約となる要素に基づいて、学習を3つの異なるレジームに分割する：

• 計算量制約 (Compute-bound): 計算量最適のフロンティア ($L_{Chin}$) とデータ最適のフロンティア ($L_D$) の間。ここでは、$D'$ に対する追加の計算量が損失を大幅に減少させる。
• データ制約 (Data-bound): $L_D$ とモデル制約のフロア ($L_N$) の間。派生トークンは飽和しており、新鮮なデータのみがさらなる損失減少をもたらす。
• モデル制約 (Model-bound): 計算量とデータの両方が飽和した漸近限界。$N$ を増やすことのみが有効である。

「計算量制約」領域は、モデルサイズ ($N$) と $TPP$ が増加するにつれて縮小し、これは、より大きなモデルや豊富なデータを持つモデルにおいて、追加の計算量に対する収益が逓減することを示している。

3. 戦略の選択と最適化

• 小規模モデル ($N \lesssim 600M$) かつ 低データ予算: パラフレーズが反復よりも大幅に効果的である。
• 大規模モデル ($N \gtrsim 190M$) かつ 高データ予算: 反復がパラフレーズを上回る。
• エポックの推奨事項: 「4エポック・ルール」（Chinchillaでよく引用される）は、Chinchillaのデータスケールの $1\times$ 付近にある中規模モデル（$\sim 3B$）においてのみ成立する。より大きなモデルや高い $TPP$ の場合、推奨されるエポック数は減少する。
• パレート・フロンティア: このフレームワークは、Chinchillaの計算量のみの最適化を、結合された計算量-データのパレート・フロンティアへと一般化し、最適な計算量-データの割り当てを特定する。

4. ダウンストリーム転移

検証損失は、モデルが1エポック、反復、またはパラフレーズのいずれかで学習されたかにかかわらず、ダウンストリームの能力（LMタスクにおけるBPBおよびLAMBADAやSQuADなどのベンチマークの精度で測定）の十分統計量であり続ける。すべての戦略は、検証損失に対してプロットされたとき、単一の曲線上に収束する。

4. 意義と主張

本論文は、既存の法則を特殊なケースとして回収する統一フレームワークを提供すると主張している：

• 計算量最適スケーリングは、$D' = 0$ のときに回収される。
• データ制約スキーリング (Muennighoff et al., 2025) は、$R^*$ が一定である特殊なケースとして回収される。
• データ最適スケーリング (Kim et al., 2025) は、$D' \to \infty$ の極限として回収される。

実用的な示唆:

1. リソースの特定: 実務家は、自身のトレーニング実行が計算量、データ、またはモデル容量のどれによって制限されているかを判断できる。
2. 割り当て戦略: 法則は、Chinchillaのヒューリスティックを超えて、新鮮なデータと派生データの間の最適な計算量の分割を規定する。
3. 戦略のガイダンス: 反復からパラフレーズへいつ切り替えるべきか、あるいは収益が飽和する前に何回のエポックやパラフレース・パスが最適であるかについて、データに基づいた推奨事項を提供する。

5. 限界

著者らはいくつかの限界を指摘している：

• 経験的なフィッティング: 関数 $\eta$ は1エポックのフィットからの残差を吸収するため、$\eta_{emp} > 1$ となる可能性がある。
• ハイパーパラメータの感度: 学習率とウェイトディケイのみがスイープされており、その他のハイパーパラメータ（バッチサイズ、シーケンス長）は固定されている。
• 計算コスト: これらの法則を確立するには、25万H100時間以上の計算が必要であった。
• 範囲: 本研究は反復とパラフレーズに焦点を当てており、自己蒸留や合成構造化データなどの他の戦略は未探索である。
• スケール: 実験は小〜中規模モデル（最大600M）で行われたが、この法則はより大きなサイズへの外挿が可能であることが検証されている。