技術的概要：データフィルタリングに対する苦い教訓

問題定義

大規模言語モデル（LLM）の事前学習における標準的なパラダイムは、Common Crawl（CC）などのソースからのテキストを「高品質」な部分集合のみを残すようキュレーションする、厳格なデータフィルタリングを伴う。このアプローチは、特に計算リソースが制約される環境において不可欠であると広く受け入れられているが、データ量の増大に伴って性能が向上することを示すスケーリング則とは矛盾する。フィルタリングは利用可能なトークン予算を劇的に削減する（例：DCLM-Baseline は CC の約 1% のみを保持する）ため、高計算・データ不足条件下で学習されたモデルの性能を制限する可能性がある。

本論文は、大規模な計算の限界においてデータフィルタリングが必要であるという仮説を検証する。具体的には、モデルが十分に大きく、十分に長い期間学習された場合、慎重にキュレーションされフィルタリングされた部分集合で学習するよりも、未フィルタの Common Crawl プール全体で直接学習した方が最終的に性能が上回るかどうかを問う。

手法

著者らは、計算制約なしにモデルサイズ（$M$）と学習ステップ数（$N$）を変化させることで達成可能な最小損失として定義される、異なるデータセット上で達成可能な最適性能（$L^\star$）を評価するための体系的なスケーリング研究を採用した。

1. 実験設定:

   • データセット: 主要なデータセットは、240 兆トークンの Common Crawl 部分集合（DCLM-Pool）である。著者らは 6.7 億から 100 億トークンに及ぶ部分集合を作成した。
   • フィルタ: 彼らは、未フィルタのプールを 5 つのフィルタリング変種と比較する:
     • 英語フィルタ: 英語以外のテキストを除去する。
     • 反復フィルタ: 過度な反復を含むドキュメントを除去する。
     • ストップワードフィルタ: 一般的な英語のストップワードの存在を保証する。
     • RefinedWeb: 上記に加え、類似のフィルタを組み合わせたもの。
     • DCLM-Baseline: 元のデータの約 2.1% を保持する、厳重にフィルタリングされたパイプライン。
   • モデル: 1500 万から 70 億パラメータまでの、Dense な Llama 型トランスフォーマー。
   • 指標: 主要指標は、C4、Fineweb-Edu、Cosmopedia における平均負対数尤度（NLL）である。また、下流ベンチマーク（ARC-Easy、PIQA、SocialIQA）も評価される。

2. スケーリング戦略:

   • 本研究は、モデルサイズと学習ステップ数（複数のエポックを含む）の両方をスケーリングし、未フィルタのプールがフィルタリングされたデータセットを上回る「交差点」を観察する。
   • 彼らは、モデルのノイズに対する頑健性をテストするために、ランダムに生成された文字列や単語をシャッフルしたドキュメントを学習プールに注入する「ジャンクデータ」実験を導入する。
   • 特定のプールサイズに対して未フィルタのプールが最適となるために必要な計算閾値（FLOPs）を予測するスケーリング則を導出した。

3. 理論的解析:

   • 本論文は、直交入力に基づく低ランク行列分解の理論モデルを提示する。このモデルは、モデルのランク（容量）が異なるタスク（またはデータ分布）の数をカバーするのに十分であれば、モデルは「ノイズ」タスクからの干渉なしに予測問題を最適に表現できることを示している。逆に、小規模なモデルは干渉の影響を受ける。

主要な結果

1. スケールにおける「フィルタなし」の優位性

中心的な発見は、モデルが十分に大きく、十分なステップ数で学習された場合、完全な未フィルタの Common Crawl プールが最終的にすべてのフィルタリング変種を上回るということである。

• 小規模モデル: 低計算環境（小規模モデル、少ないステップ数）では、フィルタリングされたデータセット（DCLM-Baseline など）がしばしば低い損失をもたらす。
• 大規模モデル: モデルサイズが増加するにつれて（例：3.3 億から 10 億パラメータ）、性能の差は縮小し、逆転する。未フィルタのプールは最低の損失を達成し（例：10 億パラメータモデルで 3.37 NLL）、最も過激なフィルタさえも凌駕する。
• パレートフロンティア: 損失を計算量（FLOPs）に対してプロットすると、未フィルタのプールは、計算量が増加するにつれて、最悪のパフォーマンスを示すデータセットから最良のものへと移行する。注目すべきは、反復のみをフィルタリングしたような一部のフィルタリングデータセットは、パレートフロンティアに決して現れないということである。いかなる計算量レベルにおいても、常にそれよりも優れたデータセットが存在する。

2. 「ジャンク」データに対する頑健性

本研究は、低品質なデータを注入することでモデルの頑健性の限界をテストする:

• ランダム文字列: CC とランダムに生成された文字列の混合（プールのサイズ最大 200% まで）で学習されたモデルは、モデルサイズが増加するにつれて、最終的にクリーンなプールの性能と同等になる。
• シャッフルされた単語: 驚くべきことに、単語順序をシャッフルした（ユニグラム分布のみを保持した）ドキュメントで学習されたモデルは、性能を回復するだけでなく、いくつかの場合（3.3 億パラメータ以上のモデル）、十分な学習ステップの後、未フィルタのプールを上回る。これは、大規模モデルが高度に劣化したデータ構造からさえも（共起統計などの）有用なシグナルを抽出できることを示唆している。

3. スケーリング則と計算閾値

著者らは、完全な 240 兆トークンの DCLM-Pool に対して未フィルタのプールが最適となる時期を予測するスケーリング則を導出した。

• 未フィルタのプールが RefinedWeb を上回るために必要な学習ステップ数（エポック数）は、プールサイズに対して超線形的に増加する。
• しかし、この交差点に必要な計算量は非常に線形的である。著者らは、完全な 240 兆トークンプールの場合、未フィルタのアプローチが約$10^{30}$ FLOPsで最適になると推定している。これは現在の最先端の推定（約$5 \times 10^{26}$ FLOPs）を超えているが、近い将来の予測（例：2030 年までに$10^{29}$ FLOPs）の範囲内にある。

4. モデルの劣化と事実性

• 分布シフト: モデルは平均損失の観点からシャッフルされた単語に対して頑健であるが、分布シフトが最も顕著なドキュメントの最初のトークンでは劣化を示す。しかし、著者らはこれがより長いコンテキストを扱うほとんどのユースケースでは無視できるほど小さいと主張する。
• 事実性: CC 内の MMLU 関連ドキュメントの予備的分析は、確立された事実を否定する陰謀論など、実際に有害で非事実的なコンテンツが、支持または中立的なコンテンツと比較して比較的稀であることを示唆している。理論的解析によれば、フィルタリングが有益となるのは、「ノイズ」が非常に蔓延しており、フィルタが真陽性対偽陽性の高い比率を持つ場合に限られるが、CC の広範な分布においてはこれが成り立たない可能性がある。

意義と主張

本論文は、データフィルタリングが「苦い教訓」（Sutton, 2019）に苦しんでいると論じている。すなわち、小規模スケールではよく機能する人間が設計したヒューリスティックは、最終的に、増大する計算を活用する単純でスケーラブルなアプローチによって凌駕されるというものである。

• フィルタリングの必要性の否定: 著者らは、データフィルタリングが厳密に必要であるという仮説を否定する。十分な計算量とモデル容量があれば、Common Crawl 上で直接学習するよりも改善する既存のフィルタは存在しない可能性が高いという証拠を提供する。
• 大規模モデルの頑健性: 十分に大規模なモデルは、無関係なデータや「ジャンク」データに対して非常に頑健であり、シャッフルされたテキストを含むノイズの多いソースからも有用な情報を抽出できる。
• 将来への示唆: 現在の計算リソース制約のある環境ではフィルタリングが依然として重要であるが、計算予算が$10^{30}$ FLOPs に向かってスケーリングするにつれて、最適な戦略は完全な未フィルタのデータプールを使用する方向へシフトし、複雑なキュレーションパイプラインを不要にする可能性がある。

著者らは結論として、非事実的なコンテンツが高品質なテキストを模倣するなど、有害なデータが理論上存在し得るが、Common Crawl においてそれが過激なフィルタリングによって引き起こされる莫大なデータ損失を正当化するほど蔓延しているわけではないと述べている。特に、代替案が単にモデルを大きくして長く学習することである場合、その損失は正当化されない。