テクニカル・サマリー：FineInstructions：合成指示文の事前学習スケールへのスケーリング

問題提起

大規模言語モデル（LLM）は通常、膨大な非構造化テキストコーパスを用いた自己教師あり次トークン予測によって事前学習される。この段階でモデルの知識の大部分が付与されるが、その後に、ユーザーの意図にモデルを適合させるための、比較的少量の教師あり指示回答データを用いた別途の「指示チューニング（instruction-tuning）」フェーズが続くことが多い。既存の指示チューニング用データセットには限界がある。それらは規模が小さい（数千の例）、範囲が狭い（学術的なNLPタスクに特化している）、あるいは最先端モデルからの蒸留に依存しており、それらは能力を表面的なレベルで模倣しているに過ぎない場合がある。その結果、事前学習段階は知識の符号化を担い続け、指示チューニング段階は主にレスポンススタイルの学習に限定されてしまう。さらに、標準的な事前学習は、低品質なノイズ（ヘッダー、フッターなど）に対して計算資源を浪費することが多く、ダウンストリームのユーザープロンプトの分布ともうまく一致しない。

メソドロジー：FineInstructions パイプライン

著者らは、インターネット規模の事前学習ドキュメントを数十億規模の合成指示回答ペアへと変換し、実質的に事前学習スケールでの教師あり指示チューニングを可能にする手法として、FineInstructionsを提案する。このパイプラインは、以下の8つの主要なステージで構成される：

1. 指示テンプレート生成 (Instruction Template Generation):

   • ソース: 著者らは、多様なソース（WildChat、LMSys、StackExchange、Reddit QA、GooAQなど）から約2,150万件の実在するユーザー記述クエリを収集した。
   • 汎用化 (Genericization): 「クエリ汎用化モデル」（蒸留されたLlama-3.2 1Bモデル）を用い、これらのクエリを約1,800万件の汎用的な指示テンプレートに変換する。クエリ内の特定のエンティティやシナリオは、必要なコンテンツの自然言語による説明を含む<fi>タグ（例：<fi>Entity A</fi>）に置き換えられる。
   • フィルタリング: 有害なクエリは削除され、一般的なベンチマークからのデータ汚染（decontamination）が行われる。

2. ドキュメントのマッチング (Document Matching):

   • 埋め込み (Embedding): テンプレートと事前学習ドキュメント自体の「互換性のあるドキュメント記述」を埋め込むために、意味類似性モデル（BGE-M3）が使用される。
   • ガウス・プーリング (Gaussian Pooling): テンプレートがドキュメントの特定セクションと一致することを保証するため、著者らはカスタムの「ガウス・プーリング」レイヤーを導入している。単一のグローバルな埋め込みではなく、モデルはドキュメントの明確に異なるチャンクを表す$K=5$個のローカル埋め込みと、1つのグローバル埋め込みを生成する。
   • 検索 (Retrieval): 各ドキュメントに対し、コサイン類似度（閾値0.865）に基づいて互換性のある指示テンプレートを検索する。重み付きランダムサンプリング戦略により、テンプレートの複雑さの多様性を確保する。

3. インスタンス化と回答生成 (Instantiation and Answer Generation):

   • インスタンシエーター・モデル (Instantiator Model): 取得されたテンプレートをドキュメントの内容を用いてインスタンス化し、回答を生成するように訓練された、蒸留されたLlama-3.2 3Bモデルを使用する。
   • グラウンディング (Grounding): ハルシネーションやモデル崩壊を避けるため、回答は主にソースドキュメントに基づいている。モデルはソースから抜粋を直接コピーするように指示される。特殊なタグ付けメカニズム（<excerpt>...</excerpt>）を使用することで、長いスパンに対して省略記法を用いたタグ生成を可能にし、トークン生成コストを削減し、長いスパンは後にプログラムによって展開される。
   • 制約 (Constraints): 生成された回答における抜粋テキストの比率が$\ge 0.80$となるよう強制される。

4. 判定とフィルタリング (Judging and Filtering):

   • 「Flow Judge」モデル（3.8Bパラメータの蒸留モデル）が、生成された指示回答ペアを5段階のリッカート尺度で評価する。
   • スコアが4以上（余計な内容を含まずにクエリに対処している）のペアが保持される。この段階では、不正なインスタンス化や、ソースに基づかない回答もフィルタリングされる。

5. トレーニング (Training):

   • 得られたデータセットであるFineInstructionsは、10億件を超える合成指示回答ペアを含んでいる。
   • モデルは、標準的な次トークン予測ではなく、この指示チューニング目的（指示：{{instruction}} \n\n 回答：{{answer}}）のみを用いてゼロから事前学習される。

主な貢献

1. 大規模なテンプレート作成: 実在するユーザーのクエリに由来する約1,800万件の指示テンプレートの作成により、極めて多様でイン・ディストリビューションな合成データの生成を可能にした。
2. FineInstructions プロシージャ: 効率的な蒸留モデルを用いて、非構造化事前学習ドキュメントを教師あり指示回答ペアへと変換する、スケーラブルなパイプライン。
3. 実証的検証: FineInstructionsが、レスポンスの品質に関する人間の判断と相関のあるベンチマークにおいて、標準的な事前学習および他の合成変換ベースライン（Instruction Pre-Training, Nemotron-CC, WRAP）を上回ることを示した。
4. オープンリソース: コード、学習済みモデル、およびFineInstructionsデータセット（10億件以上のペア）を公開。

結果

著者らは、2つのコーパススケール（IPT ~23BトークンおよびNemotron-CC ~300Bトークン）において、1.8Bパラメータのモデルを用いた制御されたトークン対トークンの実験を行った。

• パフォーマンスの向上: FineInstructionsは、MixEval（人間の判断と相関するベンチマーク）、MT-Bench-101（マルチターン主観クエリ）、およびAlpacaEval（ヘッド・トゥ・ヘッドの勝率）において、ベースラインを大幅に上回った。
  • IPTコーパスにおいて、FineInstructionsは標準的な事前学習と比較して、MixEvalで約69%の相対的な改善を示した。
  • Nemotron-CCコーパスにおいて、MixEvalで約39%の改善を示した。
  • AlpacaEvalにおいて、FineInstructionsからの出力は、他のすべてのパイプラインよりも一貫して好まれた。
• 汎化性能: 改善は、知識重視のタスク（MixEval）と、オープンエンドな現実世界のタスク（MT-Bench-101, AlpacaEval）の両方において一貫していた。
• 効率性: さまざまなモデルスケール（300M, 1.8B, 7B）での実験により、同等のトークンおよび計算予算が与えられた場合、FineInstructionsは、標準的なベースラインで学習されたより大きなモデルと同等またはそれを上回る性能レベルに、より小さなモデルを到達させられることが示された。

意義と主張

本論文は、事前学習データを指示回答形式に再構成することで、知識吸収効率が向上し、事前学習の分布がダウンストリームのユーザー利用により密接に適合することを主張している。学習目的を「次の単語を予測する」から「指示に従って応答する」へと変えることで、モデルは別途のデータ不足な指示チューニング段階に頼ることなく、事前学習フェーズ自体の中で指示に従い、タスクを汎化することを学習する。

著者らは、彼らのアプローチが、中間的な言語モデリングのプロキシであるパープレキシティ（perplexity）ではなく、ダウンストリームのユーザー有用性（有用なレスポンスを生成すること）に最適化されていることを明示している。彼らは、FineInstructionsは生のドキュメントに対する次トークン予測を学習していないため、標準的な事前学習がパープレキシティに基づく指標においておそらく上回るであろうことを認めている。しかし、提案された手法は、高品質な指示遂行および推論が可能なモデルを訓練するための、より効果的な経路を提供している。

また、生成された指示の多様性（実在するユーザーのクエリに由来する）が、狭い学術的タスク形式に焦点を当てがちな従来の合成手法との重要な差別化要因であることも強調している。パイプラインは、回答をソースドキュメントにグラウンド（接地）させ、品質によるフィルタリングを行うことでモデル崩壊のリスクを効果的に軽減しており、蒸留モデルの使用により、事前学習スケールでの計算可能性を確保している。