技術的サマリー：データ制約下でのトレーニングに対する処方的スケーリング則

問題定義

大規模言語モデル（LLM）のトレーニングは、計算リソースよりも高品質なデータの可用性によって制約されるようになっています。生テキストは豊富に存在しますが、最先端のパイプラインは、積極的な品質フィルタリング、キュレーションされたサブセット、ドメイン固有のコーパスに依存しており、計算予算が利用可能な一意のデータ量を上回るボトルネックが生じています。このレジームにおいて、実務家は頻繁に、同一データに対して複数エポックにわたってモデルをトレーニングする手段に頼ります。

既存のスケーリング則、特に広く採用されているチンチラ則（Hoffmann et al., 2022）は、すべてのトレーニングトークンが一意であると仮定しています。データ反復を扱うための拡張、例えば Muennighoff et al. (2023) による有効データ定式化は、逓減するリターンをモデル化しますが、過学習に起因する損失の増加が生じるレジームを捉えきれていません。決定的なことに、これらの既存モデルは、モデルサイズと反復の間の相互作用を明示的に考慮していません。より大きなモデルは、より小さなモデルよりも反復データ上で急速に過学習します。この相互作用をモデル化しなければ、スケーリング則はデータ制約下の設定において、挙動を正確に予測したり、計算最適化された割り当てを導いたりすることはできません。

手法

著者は、加法的過学習ペナルティを通じてデータ反復のコストを明示的にモデル化する新しいスケーリング則の定式化を提案します。

実験設定

• モデル: Llama 2 アーキテクチャに基づくデコーダのみの言語モデル 300 以上。パラメータ数は 15M から 1B の範囲。
• データ: FineWeb データセット（Penedo et al., 2024）でトレーニング。
• グリッド: 一意のデータ予算（$U_D$）を 50M から 6B トークン、反復回数（$R_D$）を 0 から 15 エポックまで網羅的に調査。
• 正則化: 2 つの重み減衰強度をテスト：標準（$\lambda = 0.1$）と強力（$\lambda = 1.0$）。他のすべてのハイパーパラメータは一定に保たれた。
• 評価: 最終検証損失、パープレキシティ、および OLMES 評価スイート（Gu et al., 2025）を用いた 19 タスクにおける下流タスクのパフォーマンス。

提案されたスケーリング則

著者は、チンチラ形式に加法的ペナルティ項を追加したスケーリング則のファミリーを導出しました。一般的な形式は以下の通りです：
$$L(N, U_D, R_D) = E + \frac{A}{N^\alpha} + \frac{B}{(U_D \cdot (1 + R_D))^\beta} + \text{Penalty}(N, U_D, R_D)$$

ここで、ペナルティ項は反復に起因する過剰損失を捉えます。著者は、形式の「複雑性のラダー」を提示します：

1. 1 パラメータ形式: モデルサイズと一意データの比率でスケーリングされた反復回数に対する線形ペナルティ：$P \cdot R_D \cdot \frac{N}{U_D}$。
2. 2 パラメータ形式: キャパシティ比率に対する非線形指数 $\kappa$ を導入：$P \cdot R_D \cdot (\frac{N}{U_D})^\kappa$。
3. 4 パラメータ形式: 反復回数に対する超線形指数 $\delta$ を追加し、データ予算指数 $\gamma$ を分離：$P \cdot R_D^\delta \cdot (\frac{N}{U_D^\gamma})^\kappa$。

この定式化は、反復トークンが二重の役割を果たすことを示唆しています。すなわち、それらはデータ充足性項を減少させ続ける（有用なデータとして機能する）一方で、モデルサイズとデータ希少性に依存して増大する過学習コストを同時に負うという役割です。

主要な結果

1. 優れた適合品質

提案された加法的ペナルティ則は、反復下での検証損失の予測において、既存の定式化（チンチラベースラインおよび Muennighoff et al., 2023）を大幅に上回ります。

• 記述的適合: 最も単純な 1 パラメータ加法的形式でさえ、標準研究におけるベースラインの指数減衰（$R^2_{multi} \approx 0.58$）を大幅に上回る（$R^2_{multi} \approx 0.95$）性能を示します。4 パラメータ形式は、ほぼ完璧な適合（$R^2 \approx 0.997$）を達成します。
• 一般化: 加法的ペナルティ形式は、保持された Muennighoff et al. (2023) の C4 データセットにも一般化し、そのデータ上で彼ら自身の有効データ定式化を上回りました。これは、改善が特定のトレーニング設定のアーティファクトではないことを確認させます。

2. 計算最適化された割り当て

新しいスケーリング則は、データ制約レジームにおける計算の割り当てについて、先行研究とは質的に異なる助言をもたらします。

• 先行研究: 過学習を無視したチンチラ則は、計算が増加するにつれて常により多くの反復を推奨します。Muennighoff et al. (2023) の則は逓減するリターンを推奨しますが、反復を停止することを提案することはありません。
• 本研究: 提案された則は、それ以上の反復が逆効果となる計算閾値を特定します。この点を越えると、最適な戦略は、追加の計算をモデル容量（より大きな $N$）に割り当て、エポック数（$R_D$）を削減することです。これにより、割り当てフロンティアの「折り返し」が生じます。

3. 処方的検証

著者は、固定された計算およびデータ予算に対して各則が推奨する特定の構成（モデルサイズとエポック数）をトレーニングすることにより、則の推奨事項を検証しました。

• 提案された則が推奨する構成は、テストされたすべての予算において、一貫して最低のパープレキシティと最良の下流タスクパフォーマンス（OLMES BPB）を達成しました。
• 例えば、計算予算が $2 \times 10^{19}$ FLOPs で一意トークンが 500M の場合、提案された則は 3 エポックでトレーニングされた 22 億パラメータのモデルを推奨し、チンチラの推奨（6.7 億パラメータ、10 エポック）および Muennighoff の推奨（9.5 億パラメータ、7 エポック）を上回りました。

4. ケーススタディ：重み減衰

ペナルティ項内の単一の係数 $P$ は、データ反復に対する構成の堅牢性を定量化します。

• 過学習の削減: 強力な重み減衰（$\lambda = 1.0$）は、標準的な重み減衰（$\lambda = 0.1$）と比較して、過学習係数 $P$ を約**70%**削減します。
• 交差点: 強力な重み減衰は単一エポックレジームにおいて「損失プレミアム」を課しますが、削減された過学習ペナルティにより、高計算予算（$U_D=250M$ の場合 $C \approx 3.2 \times 10^{18}$ FLOPs）で交差点が生じます。この点を越えると、強力な重み減衰は追加の計算を生産的に利用することを可能にし、標準的な設定を上回ります。これは、データ制約レジームにおける最適な重み減衰が標準的な慣行よりも桁違いに大きいという最近の実証的発見（Kim et al., 2026）に対するスケーリング則による説明を提供します。

意義と主張

本論文は、チンチラの「無限データ」の仮定を超えた、データ制約下でのトレーニングに対する処方的フレームワークを提供すると主張しています。

• 新しい割り当て助言: 主な貢献は、反復が有害となるレジームの特定であり、最適な戦略を「より多くのエポック」から「より大きなモデル」へとシフトさせることです。
• 定量化可能な堅牢性: 過学習を単一の係数に分離することで、則は、網羅的なハイパーパラメータスイープなしにトレーニング構成（例えば、異なる正則化強度）を直接比較することを可能にします。
• 実用的なガイダンス: 著者は、固定されたデータ予算を持つ実務家にとって、データの反復が逆効果となる特定の計算レベルが存在すると主張しています。彼らは、この閾値とそれに対応する最適なモデルサイズを決定するための具体的な方法を提供します。
• 謙虚さ: 著者は限界を認め、適合された指数は 10 億パラメータおよび 16 エポックまで検証されていること、また則はダブルディスセントのような現象を包含していないことを指摘しています。また、Muennighoff et al. (2023) の再分析は、彼らの割り当て戦略に関する不一致が、スケーリングの物理における根本的な矛盾ではなく、先行研究における誤指定されたベースラインに起因することを示唆していると述べています。