Internal Data Repetition Destroys Language Models

技術要約：内部データの反復は言語モデルを破壊する

問題提起
言語モデル（LM）の事前学習がデータ制約のある領域に入り、高品質な公開コーパスが枯渇するにつれ、マルチエポック学習や、不完全に重複除去されたデータセットの使用が必要となっている。積極的な重複除去は標準的であるが、残存する完全な重複、パラフレーズされたテンプレート、および意味的に冗長なページが存在する。Hernandezら[11]によるデータの反復に関する従来の制御研究は、Chinchilla型の計算最適化スケーリング則以前のものであった。その結果、それらは「有効パラメータ数」の減少を通じて間接的に反復のコストを測定しており、大規模モデルに対しては学習不足、小規模モデルに対しては過学習となる固定されたトークン予算を用いていた。本論文は、性能がパラメータ数ではなくFLOPsで測定され、訓練予算が計算効率のために最適化されている現代のChinchillaパラダイムにおいて、文書レベルの完全な重複によるコストを定量化する必要性に対処するものである。

手法
著者らは、総計算予算と反復トークンの割合を一定に保ちながら、反復構造の影響を分離した制御実験を行う。

• 実験設定: 著者らは、FineWeb-Edu-Dedupコーパスを用いて、パラメータ数 $N \in \{34, 48, 63, 93, 153, 344\}$M のQwen3スタイルのデコーダーのみのトランスフォーマーを訓練する。
• 反復プロトコル: 各実行において、訓練トークンの10% ($f=0.1$) は特定のドキュメントプールから抽出され、残りの90%はユニークなドキュメントから抽出される。反復の構造は、リピート回数 $R$（プールの各ドキュメントが何回再生されるか）とプールサイズ $D_r$ を変化させることで変化させる。これにより、総計算量 $C = 6NT$ が一定に保たれるアイソFLOP（iso-FLOP）曲線が作成されるが、反復データの濃度は変化する。
• 指標: 著者らは Compute-Equivalent Gain (CEG) および Compute-Equivalent Loss (CEL) を導入する。CEGは、反復データを用いた実行と同じ損失を達成するために、反復のない実行が必要とする計算量と、実際に費やされた計算量の比として定義される。$CEL = 1 - CEG$である。$CEG < 1$ は、反復によって計算効率の損失が生じたことを示す。
• ベースライン: 評価損失を等価な計算コストに変換するために、6つの $OT=1$（Chinchilla最適）のベースラインから適合された、反復のないChinchillaスケーリング則 $L(C) = E + KC^{-\gamma}$ を導出する。
• 理論的分析: メカニズムを理解するために、著者らは逐語的な重複が存在する誤設定された線形回帰モデルにおける訓練損失とテスト損失の閉形式の式を導出し、繰り返されたサンプルによって導入されるブロック対角ノイズ共分散を分析する。

主な結果

1. 非単調なダメージのピーク: 評価損失は、リピート回数 $R$ に対して単調ではない。代わりに、ダメージはある中間的なリピート回数でピークに達する。中規模のサブセットを中程度の回数繰り返すことは、非常に小さなサブセットを何度も繰り返す場合や、大きなサブセットを数回繰り返す場合よりも大きな害をもたらす。
2. ピーク位置のスケーリング則: このピークの位置 ($R_{peak}$) は、モデルサイズ $N$ および総計算量 $C$ に関するべき乗則に従う。具体的には、$R_{peak} \propto N^{-0.96}$ および $R_{peak} \propto C^{-0.25}$ である。これは、モデルがスケールアップするにつれて、最も有害な反復構造は、より大きなドキュメントプールのより少ないリピートになることを示唆している。
3. 重大な計算等価損失: テストされた最大のスケール（344Mパラメータ、$OT=1$）において、最悪のケースの反復構造は、約0.67のCEG、すなわち0.33のCELをもたらす。これは、その実行が、その3分の2のFLOPsのみで訓練された反復のない実行と同じ損失を達成することを意味する。
4. 統計的メカニズム: 非単調なピークは、単純な誤設定線形回帰モデルにおいても再現される。著者らは、この現象が重複したサンプルの存在下における記憶（memorization）と汎化（generalization）の間の統計的なトレードオフから生じることを示しており、この効果がトランスフォーマーのアーキテクチャ、アテンション機構、またはオプティマイザに特有のものではないことを示唆している。

意義と主張
本論文は、指標を「有効パラメータ」から「計算等価単位」へとシフトさせることで、データの反復研究を現代化することを主張している。これは現在の業界慣行と一致している。

• コスト定量化の精度: これらの知見により、実務家は、重複データの量だけでなく、重複の具体的な構造によって生じる無駄な計算量を定量化することが可能になる。
• 予測可能性: 特定されたべき乗則 ($R_{peak} \propto N^{-0.96}$) は、与えられたモデルサイズに対する最も有害な反復構成を予測するためのヒューリスティックを提供し、より優れたデータキュレーション戦略を可能にする。
• 汎用性: 単純な線形回帰モデルにおいても同様の定性的な損失ピークが発生することを示すことで、著者らは、反復によるダメージは、特定のディープラーニング・コンポーネントのアーティファクトではなく、重複したサンプルにおける根本的な統計的特性であると主張している。

著者らは、CEGおよびCELの絶対値については、限られた数のベースラインへの3パラメータのスケーリング則の適合に依存していることを指摘し、控えめな姿勢を維持している。しかし、定性的な非単調性と最悪のケースの反復構造の存在は堅牢な発見であると主張している。結論として、単に重複データの割合を報告するだけでは不十分であり、それらの重複の濃度と反復回数が、訓練効率の決定的な要因であると述べている。