From Instance Selection to Fixed-Pool Data Recipe Search for Supervised Fine-Tuning

技術的サマリー：インスタンス選択から固定プールデータレシピ探索へ

問題定式化

現在の教師ありファインチューニング（SFT）データ選択へのアプローチは、主にインスタンスレベルのランキングとして定式化されている。ヒューリスティクス、影響度推定、または学習された表現に基づいて個々のサンプルにスコアを付け、上位 k 個のサブセットを保持するものである。これは効果的ではあるが、この視点は、フィルタリング、ソースの混合、重複排除、クリーニングなどを含む多段階のキュレーションワークフローを伴うことが多い、SFT データセット構築の実際的な現実を抽象化してしまっている。

本論文では、この問題を固定プールデータレシピ探索として再定義する。この設定において：

• 生指示プール（$D_0$）は固定されている。
• 根拠のある演算子のライブラリ（$O$）が存在する（例：難易度によるフィルタリング、重複排除、混合）。
• 候補となる「レシピ」は、これらの演算子の順序付けられた系列である。
• 目標は、すべてのインスタンスに最終スコアを割り当てることではなく、限られたフル SFT 評価の予算の下で高品質な選択サブセットを構築する実行可能なレシピを発見することである。
• 重要なのは、この手法はトレーニングサンプルを生成、書き換え、または拡張しないことである。既存のデータを選択し、構成するのみである。

この定式化は、単一演算子のトップ k 選択（長さ 1 の退化したレシピとみなされる）を含みつつも、演算子の構成、順序付け、および結果として生じる中間サブセットの状態を明示的に最適化する。

手法：AutoSelection

著者は、高価な検証制約下で効率的に構成的レシピ空間を探索するための 2 層ソルバーAutoSelectionを導入する。

1. 固定プール具体化層（安価な探索側推論）
すべての候補に対して高価な信号を再計算するのを避けるため、AutoSelection は正規化された生プール（$D'_0$）上の根拠ある信号をキャッシュする：

• タスク側信号： モニャ（MONA）に従う、ベンチマーク条件付きの活性化類似度。
• データ側信号： 語彙的多様性（N-gram エントロピー）や動作 - 対象の分岐などの内在的性質。
• モデル側信号： インストラクション追従の難易度（IFD）、分散エントロピー、スパース活性化統計などを含む、キャッシュされたベースモデル応答。
• 状態ベクトル： 具体化された任意のレシピについて、状態ベクトル $z(r)$ は実現されたサブセットの性質（保持トークン比率、分布のドリフト、タスク関連性など）を要約する。これにより、探索制御器はフル SFT 評価にコミットする前に候補サブセットを比較できる。

2. 探索制御層（予算配分）
制御器は、$B$ 回のフル評価の予算を用いて探索と活用のトレードオフを管理する：

• ウォームアッププローブ： 探索は、低、中、高の保持率という 3 つの異なるデータスケール領域をプローブすることで始まり、初期のシードアンカーを確立し、有望な保持レベルを特定する。
• 局所改良： サマライザを使用して、評価済みの履歴をデータに基づく仮説に変換する。プロポーザは、現在のシードの周りで局所的な編集（ステップの挿入、削除、交換、または再チューニング）を実行することにより、兄弟となる候補レシピを生成する。
• ランキング： ランカーが、フル評価のための単一の最良候補を選択する。これは以下の要素を組み合わせる：
  • レシピ構造。
  • 実現された状態ベクトル（サブセットの性質）。
  • レシピエンコーディングに基づくガウス過程（GP）サロゲート事前分布。
  • 過去の探索データ。
• 停滞トリガー再シード： 探索が $P$ 連続ステップにわたって incumbent 最良スコアを改善できない場合、リシーダーは過去から有望なモチーフを選択してシードアンカーを更新し、探索が飽和した局所領域に留まるのを防ぐ。

言語モデル（具体的には DeepSeek-R1）は、履歴の要約、根拠ある編集の提案、候補のランキング、再シードを行う探索側アシスタントとして厳密に使用される。これらはトレーニングデータを書き換えたり生成したりしない。

主要な貢献

1. 問題定式化： 著者は、実行可能なレシピ上の固定生プールにおける予算付きブラックボックス最適化問題として SFT データキュレーションを形式化し、演算子の構成と順序付けを明示的な最適化目標とした。
2. 手法（AutoSelection）： キャッシュされた候補具体化と高価なフル SFT 評価を分離する 2 層ソルバー。ウォームアッププローブ、状態認識型局所編集、GP 支援ランキング、停滞トリガー再シードを利用する。
3. 実証的証拠： 9 万件の指示プールにおいて、3 つのベースモデル（Qwen2.5-1.5B/3B、Llama3.2-1B）で包括的な評価を実施。

実験結果

9 万サンプルの指示プールで、15 回のフル SFT 評価の予算を用いて評価：

• 性能： AutoSelection は、すべての 3 つのベースモデルにおいて、最も強力な分布内推論平均を達成し、フルデータトレーニング、ランダムレシピ探索、ランダムトップ k、単一演算子セレクタを上回った。
  • フルデータトレーニングに対する改善：Llama3.2-1B で +1.82、Qwen2.5-1.5B で +3.40、Qwen2.5-3B で +3.72 ポイント。
  • 最強力な非 AutoSelection ベースラインに対する改善：+0.90 から +2.89 ポイント。
• OOD 汎化： 保持されたグラフ推論ベンチマーク（GraphWiz、NLGraph）において、AutoSelection は競争力があり、Qwen2.5-1.5B では 1 位、Qwen2.5-3B では最良のベースラインとほぼ同率であった。
• 安定性： 1.5B モデルでの 3 回の独立した実行は、狭いスコア範囲（0.59 ポイント）を示し、この改善が単一の幸運な実行によるものではないことを示している。
• アブレーション：
  • ウォームアップを除去すると、探索は初期評価を低スコア領域で費やすことになった。
  • サマライザを除去すると、軌道は滑らかになったが、最終的な最良レシピは弱くなった。
  • 再シードを除去すると、これまでに最良の曲線が平坦化し、局所最適から脱出するのが困難であることを示した。
  • 状態ベクトルを除去すると、有望な形式を持つが実現されたサブセット状態が弱い候補に探索が晒された。
• 構造的感受性： 一致したシードの構造的アブレーションは、特定の演算子の存在だけでなく、演算子の順序付けと構成が性能に大きく影響することを確認した。
• 転移性： 1.5B から 7B への転移チェックは、正のスパーマン順位相関（$\rho=0.82$）を示し、小規模モデルで発見された高品質なデータモチーフは、大規模モデルにも有用であることを示唆したが、正確な順位保持は保証されない。

意義と主張

本論文は、AutoSelection の価値が、普遍的に最良の単一のセレクタを発見することではなく、限られた数のフル評価を割り当てて、根拠あるキュレーション決定のより強力な構成を見つけることにあると主張する。

著者は以下を論じる：

1. レシピ構造の重要性： 演算子の順序付けと相互作用（例：重複排除の前か後のフィルタリング）は、下流の SFT 性能に測定可能な影響を与え、データレシピを第一級の最適化対象とする見解を支持する。
2. 固定プールの制御： 生成や書き換えなしに探索を固定生プールに制限することで、この手法は、データ合成やプロンプトエンジニアリングによって導入される交絡因子から、演算子選択の影響を分離する。
3. 効率性： このアプローチは、厳格な評価予算内で、ウォームアップ、状態認識型ランキング、再シードなどの効率的な探索戦略が、フルデータトレーニングやランダム探索よりも優れたサブセットを生み出すことを実証する。

この研究は、LLM 駆動のデータ生成システムに対する制御された代替案として位置づけられ、新しいデータの合成ではなく、既存のデータワークフローの最適化に焦点を当てている。