技術要約：データ制約のある言語モデルの事前学習

問題提起

Chinchillaに代表される大規模言語モデル（LLM）の事前学習における古典的なスケーリング則は、計算資源とともにユニークな学習データが自由にスケールできる「データ豊富」なレジームを前提として動作しています。これらの法則は、固定された計算予算をモデルパラメータと学習トークンの間に最適に配分することを目的としており、通常、コーパスへの単一パス（1エポック）を想定しています。

しかし、本論文は、分野がデータ制約のある、計算資源豊富なレジームへと移行していると主張しています。この設定では、高品質な自然言語データの供給は固定または限定されている一方で、学習計算量は増え続けます。その結果、学習戦略は、より大きなモデルを使用し、有限のデータセットに対して複数回のエポック（反復パス）を実行できるように適応しなければなりません。著者らは、このレジームにおける現在の理解には、以下の2つの決定的なギャップがあると指摘しています。

1. 正則化： 計算量が増加してもユニークなデータが固定されている場合、モデルはどうすれば過学習を回避できるのか？ 強力な重み減衰（weight decay）が有効であることは知られていますが、拡散言語モデル（dLLM）で使用されるようなランダム・マスキングが、補完的な利益をもたらすかどうかは不明です。
2. スケーリング則： 古典的な加法的なスケーリング則（モデルサイズとデータサイズを分離するもの）は、このレジームにおける損失曲面を正確に記述できるのか？ 著者らは、これらの法則はモデルの容量と限定されたユニークなデータとの相互作用を捉えきれていないため、誤設定されていると仮定しています。

手法

1. 正則化：マスク入力正則化 (Masked-Input Regularization: MIR)

正則化を調査するために、著者らは**マスク入力正則化（MIR）**を導入しています。これは、モデルのアーキテクチャや推論手順を変更しない、標準的な自己回帰（AR）事前学習への最小限の修正です。

• メカニズム： クリーンな入力シーケンス $x$ に対し、サンプリングされたマスク比率に基づいてトークンを [MASK] トークンに置き換えることで、ランダムにマスクされたバージョン $\hat{x}$ を生成します。
• 目的： 学習損失は、マスクされたシーケンスに対する補助的な次トークン予測損失を含むように拡張されます。
  $$L = L_{NTP}(x) + \lambda L_{NTP}(\hat{x})$$
• 根拠： 著者らは、ランダム・マスキングが正則化として機能し、モデルにコンテキスト固有のノイズを記憶させるのではなく、汎用的な予測特徴を学習させることを仮定しています。これは、強力に正則化されたARモデルのベースラインと比較され、また拡散言語モデル（dLLM）と比較して検証されます。

2. スケーリング：SoftQ則

スケーリングの問題に対処するため、著者らはモデルサイズ ($N \in \{72M, \dots, 1.4B\}$) とユニークなデータ予算 ($U \in \{100M, \dots, 400M\}$) を変化させた実験グリッドを構築しました。彼らは以下のスケーリング則を評価しています。

• Chinchilla： 加法形式 $L = E + A N^{-\alpha} + B U^{-\beta}$。これは、データ予算間の損失差がモデルサイズに依存しないことを前提としています。
• Muennighoffスタイル： 反復によって飽和する実効リソースを使用します。
• Quanta： スキル学習の観点から導出された結合された法則。
• SoftQ（提案）： モデルサイズとデータサイズを「ソフト・ボトルネック」を通じて結合する5パラメータのスケーリング則：
  $$L_{SoftQ}(N, U) = E + \left( \frac{A}{N^\rho} + \frac{B}{U^{\rho/(1+\alpha)}} \right)^{\alpha/\rho}$$
  ここで、$\rho$ はパラメータ制限レジームとデータ制限レジームの間の遷移の鋭さを制御します。$U \to \infty$ のとき、パラメータ・スケーリングを回復し、$N \to \infty$ のとき、データ・スケーリングを回復します。

主な貢献と結果

1. 正則化に関する知見

• 重み減衰の転移： 著者らは、強力な重み減衰（AR向けに最適化されたもの）がdLLMの性能を大幅に向上させ、ARモデルとdLLMの間の検証損失の差を縮小させることを示しました。両者が強力に正則化されている場合、その性能は同等になります。
• MIRの有効性： MIRは、強力な重み減衰の上に補完的な正則化を提供します。DCLMデータセット（100Mユニークトークン）で72Mから1.4Bまでのモデルサイズを対象とした実験において、MIRは一貫して、強力な重み減衰のみのベースラインよりも検証損失を低減させました。
  • この利得はモデルサイズとともに増加し（72Mでの約0.006の損失減少から、1.4Bでの約0.03へ）、これは過剰パラメータ化されたモデルほどマスキングベースの正則化の恩恵を受けるという理論的直感と一致しています。
  • ダウンストリームでの利得： 1.4Bパラメータにおいて、MIRはBoolQで+10.2ポイント、SciQで+2.2ポイントという顕著なダウンストリームの改善をもたらしました。
  • 汎用性： ハイパーパラメータを自然言語データのみで調整した場合でも、コード主体のデータ（Stack-V2）に対して恩恵が転移します。
• メカニズム分析： トークンレベルの分析により、MIRはコンテキストがノイズを含んでいたり、混合スクリプトであったり、あるいは稀な名前が含まれていたりする「困難な」トークンにおいて最も効果的であることが明らかになりました。これは、MIRが単なる頻度ベースの予測ではなく、ローカルなプレフィックス・コンテキストに対する堅牢性を向上させていることを示唆しています。

2. スケーリング則に関する知見

• Chinchillaは誤設定されている： 実験結果は、異なるユニークなデータ予算間の検証損失の差が、モデルサイズとともに増大することを示しています。モデルサイズに対して不変の差を予測する加法的なChinchilla則は、この「ファンアウト（扇状の広がり）」挙動を捉えることに失敗しています。
• SoftQの優位性： モデルサイズとデータサイズを明示的に結合した提案手法であるSoftQ則は、Chinchilla、Quanta、およびMuennighoffスタイルの法則よりも、データ制約のある実験に対して有意に適合しています。SoftQは、インサンプル・フィットおよびホールドアウト外挿（より小さな予算から400M予算の性能を予測すること）の両方において、より低いRMSEおよびMAEを達成しました。
• データ効率の定量化： SoftQをベースラインとして使用することで、著者らはMIRの性能向上が、およそ1.3倍のユニークな学習データ量（具体的には200M–400Mトークンの予算範囲において）に相当することを推定しています。

意義と主張

本論文は、計算資源がデータの可用性よりも速くスケールしている現在、ますます重要となっているデータ制約のある、計算資源豊富なレジームに関する基礎的な理解を提供すると主張しています。

• 実践的なレシピ： 著者らは、アーキテクチャの変更や推論時のオーバーヘッドなしに、自己回帰事前学習のデータ効率を向上させる、実用的で低オーバーヘッドなレシピ（MIR）を提案しています。
• 理論的修正： 著者らは、古典的な加法的なスケーリング則はデータ制約のあるレジームには不十分であることを示し、ユニークなデータが制約となる場合に損失曲面をより正確に予測するモデルとしてSoftQを提案しています。
• 正則化とスケーリングの相互作用： 本研究は、正則化戦略（重み減衰やマスキングなど）とスケーリング則が、このレジームにおいて深く結びついていることを強調しています。効果的なスケーリングには、繰り返されるデータに対する過学習を防ぐために、適切に正則化されたモデルが必要です。

著者らは、実験が1.4Bパラメータおよび400Mユニークトークンに限定されていることを認め、これらはフロンティア規模の事前学習と比較すると小さいものであると謙虚に述べています。彼らは、今後の課題として、ハイパーパラメータの転移レシピの探索や、様々なモデルアーキテクチャの検討を挙げています。