Rewriting Pre-Training Data Boosts LLM Performance in Math and Code

公開データを体系的に書き換えて作成した「SwallowCode」と「SwallowMath」という 2 つのオープンライセンスデータセットにより、Llama-3.1-8B モデルの数学およびコード生成能力が大幅に向上し、その有効性と再現性が実証されました。

要約

この論文は、**「AI（大規模言語モデル）を賢くするためには、ただ大量のデータを食べさせるだけでなく、そのデータを『高品質な料理』に変えることが重要だ」**というアイデアを提案した研究です。

タイトルにある「SwallowCode（スワロウコード）」と「SwallowMath（スワロウ数学）」は、この研究で作られた**「AI 用の高品質な教材セット」**の名前です。

以下に、専門用語を排して、身近な例え話を使って解説します。

---

1. 問題：AI は「生ゴミ」を食べている？

これまで、AI を勉強させるためのデータ（テキストやコード）は、インターネットからひたすら集められた「山のようなデータ」でした。
しかし、この山の中には以下のような「ゴミ」が混ざっていました。

• コードの場合： 文法がおかしい、変な書き方、必要なものが抜けている、無駄なコメントばかり。
• 数学の場合： 問題文が不完全、答えの途中が飛んでいる、余計な広告やヘッダーが混じっている。

これらをそのまま AI に食べさせると、**「生ゴミを食べているようなもの」**で、AI は混乱したり、間違ったことを学んだりしてしまいます。
これまでの研究では、「ゴミを捨てる（フィルタリング）」ことしかしていませんでした。でも、捨てるだけでは「もったいない」し、残ったものもまだ汚れています。

2. 解決策：「リメイク（リメイク）」という魔法

この研究チームは、**「捨てるのではなく、リメイクして美味しくする」という新しいアプローチを取りました。
彼らは、「AI 自身（より賢い AI）」**を料理人として雇い、粗悪なデータを高品質な教材に作り変えるプロセスを開発しました。

🍳 SwallowCode（コード料理のシェフ）

Python というプログラミング言語のデータを対象に、4 つの工程で「リメイク」を行いました。

1. 下処理（文法チェック）： 壊れたコード（文法エラー）を排除。
2. 味付け（スタイルチェック）： 「Pylint」という道具で、コードの書き方が整っているかチェック。
3. リメイク①（スタイル指導）： 賢い AI が「変数名を分かりやすく」「関数を整理して」という指示を出し、コードを美しく書き直します。
4. リメイク②（完全な料理）： さらに AI が「外部の道具に依存しないように」「計算を効率化して」「初心者にもわかる例題にする」という指示を出し、**「それ単体で完結し、かつ最高に効率的なコード」**に変えます。

結果：
この「リメイクされたコード」で AI を訓練すると、「人間が書いたテスト問題（HumanEval）」を解く正解率が、従来の方法より 17% も向上しました。
これは、**「粗悪な食材を捨てて、同じ量の食材でも『高級料理』に変えたら、味（性能）が劇的に良くなった」**という現象です。

📐 SwallowMath（数学の家庭教師）

数学の問題集も同様にリメイクしました。

• 余計な広告や日付を消す。
• 欠けている問題文を補う。
• 答えの導き方を「ステップバイステップ」で分かりやすく書き直す。

結果：
これにより、数学のテスト（GSM8K や MATH）の正解率が大幅に向上しました。

3. なぜこれがすごいのか？（重要なポイント）

• 「捨てる」ではなく「直す」：
  従来の方法は「質の低いデータは捨てて、良いデータだけ残す」でしたが、この方法は「質の低いデータも、AI によって高品質に変えて、すべて有効活用する」ことができます。データの有効利用率が格段に上がります。
• 誰でも使える「レシピ」：
  この研究チームは、使ったデータ、リメイクの指示（プロンプト）、そして完成した教材セットをすべて無料で公開しました。
  これは、**「美味しい料理のレシピと食材を、世界中の誰にでも配った」**ようなものです。これにより、他の研究者も同じように高性能な AI を作れるようになります。
• コスト対効果：
  確かに、データをリメイクするには計算コスト（電気代や時間）がかかります。しかし、リメイクしたデータで訓練した AI は、**「同じ学習時間（トークン数）でも、はるかに高い性能」を出します。つまり、「少量の高級食材で、大量の粗食よりも美味しい料理が作れる」**のです。

4. まとめ：AI 教育の新しい常識

この論文が伝えたいことはシンプルです。

「AI を賢くしたいなら、ただ『量』を増やすだけではダメだ。『質』を高めるために、データを丁寧に『リメイク』しよう。」

彼らが作った「SwallowCode」と「SwallowMath」は、AI 教育界に**「高品質な教科書」**を提供したと言えます。これにより、オープンソース（誰でも使える）の AI であっても、最先端の AI に負けない、あるいはそれ以上の能力を持つことができるようになりました。

まるで、**「粗末な材料を、天才シェフ（AI）の手で、世界最高級の料理に変える魔法のレシピ」**を公開したような、画期的な研究なのです。

技術概要

論文「REWRITING PRE-TRAINING DATA BOOSTS LLM PERFORMANCE IN MATH AND CODE」の技術的サマリー

この論文は、大規模言語モデル（LLM）の数学的推論とプログラム合成の性能が、事前学習コーパスの品質によって制限されているという課題に焦点を当てています。著者らは、公開データを体系的に「書き換える（Rewriting）」ことで、単なるフィルタリングを超えた高品質なデータセットを構築し、LLM の性能を大幅に向上させる手法を提案しました。

以下に、問題定義、手法、主要な貢献、結果、および意義について詳細をまとめます。

1. 問題定義

• データの品質限界: 既存の公開データセット（The-Stack-v1/v2, Finemath-4+ など）は、ウェブクローリングからのルールベース抽出やモデルスコアリングによるフィルタリングに依存しています。これらはノイズ、冗長性、スタイルの不一致を含んだまま残存し、特に多段階事前学習（Mid-training）の文脈において性能向上のボトルネックとなっています。
• 「データ品質ギャップ」: 最先端のオープンウェイトモデル（Qwen3, DeepSeek-V3 など）は事前学習コーパスを公開していないため、オープンコミュニティは同等の高品質なコードや数学データにアクセスできず、研究開発の格差が生まれています。
• フィルタリングの限界: 従来の「排除的フィルタリング（低品質なデータを捨てる）」では、コンテキスト欠如や命名規則の不一致などの根本的な欠陥が解消されず、データの有効性が最大化されません。

2. 提案手法：Transform-and-Retain（変換と保持）

著者らは、低品質なデータを捨てるのではなく、LLM を活用して書き換えることで高品質化し、保持するというアプローチを提案しました。これにより、2 つのオープンライセンスデータセットを構築しました。

A. SwallowCode（コード領域）

The-Stack-v2 の Python スニペットを基に、4 段階のパイプラインで約 161 億トークンのデータセットを構築しました。

1. 構文エラーフィルタリング: Python 3.10 仕様に基づき、コンパイルできないコードを除去。
2. リンターベースフィルタリング: pylint を使用し、スコア 7.0 未満のコードや過剰なコメントを含むコードを除去。
3. スタイルガイド付きコード書き換え（SGCR）: Google Python Style Guide に準拠し、変数名、ドキュメント文字列、型注釈、モジュール化などを統一して可読性を向上。
4. 自己完結型最適化書き換え（SCOR）: 外部依存の解決（インライン化）、非効率なアルゴリズムの最適化、単なる定数出力などの無意味なスニペットを教育的な実行可能コードへ変換。

B. SwallowMath（数学領域）

Finemath-4+ を基に、約 23 億トークンのデータセットを構築しました。

• 書き換えプロセス: 不要なヘッダー/フッターの削除、欠落した文脈の復元、解答のステップバイステップ化、簡潔かつ包括的な説明への再フォーマットを行います。

実験プロトコル

• ベースモデル: Llama-3.1-8B（Qwen2-7B での検証も実施）。
• 学習条件: 固定の 500 億トークンの予算内で、継続的事前学習（Continual Pre-training）を実施。
• 評価: HumanEval, HumanEval+, GSM8K, MATH などのベンチマークで評価。データ汚染（Contamination）の厳密なチェックを実施。

3. 主要な貢献

1. 高品質なオープンデータセットの公開: Llama 3.3 Community License 下で、SwallowCode と SwallowMath を公開。これらは書き換えプロセスを含む完全なパイプラインコード、プロンプト、チェックポイントと共に提供され、再現性が保証されています。
2. 「変換と保持」パラダイムの確立: 単なるフィルタリングではなく、LLM による書き換えを通じて低品質データを高品質データへ変換する手法の有効性を実証。
3. 段階的アブレーション研究: 各パイプライン段階（構文フィルタ、リンタ、SGCR、SCOR）が性能に与える影響を定量的に評価し、書き換え工程が最大の性能向上をもたらすことを示しました。
4. 一般性の証明: Llama-3 系列だけでなく、Qwen2-7B に対しても同様の性能向上が確認され、手法の汎用性を示唆しました。

4. 実験結果

固定の 500 億トークン学習予算において、既存のデータセット（Stack-Edu など）と比較して以下のような劇的な改善が見られました。

• コード生成性能（Llama-3.1-8B 継続学習）:
  • HumanEval: +17.0 ポイントの向上（Stack-Edu 対比）。
  • HumanEval+: +16.1 ポイントの向上。
  • 既存のオープンデータセット（The-Stack-v2, Stack-Edu など）をすべて上回る性能を達成。
• 数学推論性能:
  • GSM8K: +12.4 ポイントの精度向上。
  • MATH: +7.6 ポイントの精度向上。
• アブレーション結果:
  • フィルタリング段階で 1〜2 ポイントの向上。
  • **SGCR（スタイル書き換え）**で 7〜9 ポイントの追加向上。
  • **SCOR（意味的最適化書き換え）**でさらに 5〜6 ポイントの追加向上。
  • 書き換え工程全体で合計 14 ポイント以上の改善が見られ、データ品質の重要性が浮き彫りになりました。

5. 意義と結論

• データ中心 AI の推進: モデルアーキテクチャの工夫ではなく、データ品質の向上が LLM の能力限界を押し上げることを実証しました。
• コスト対効果: 書き換えには計算コストがかかりますが、同じトークン数でより高い性能が得られるため、学習効率（Data Efficiency）が向上します。また、一度作成した高品質コーパスはコミュニティ全体で再利用可能であり、長期的な資産となります。
• 再現性と透明性: 全てのデータ、プロンプト、コードを公開することで、オープンコミュニティにおける研究の透明性と再現性を高めています。

この研究は、LLM の開発において「より良いデータ」が「より良いモデル」を生むという原則を再確認し、オープンソースコミュニティが最先端モデルと競争するための具体的な道筋を示した点で非常に重要です。