Learning from Synthetic Data without Model Collapse in Iterative Instruction Tuning

技術要約：反復的な指示チューニングにおけるモデル崩壊を回避した合成データからの学習

問題提起

本論文は、合成データを用いた反復的な指示チューニング（Instruction Tuning）におけるモデル崩壊（Model Collapse）の課題に取り組んでいる。大規模言語モデル（LLM）が訓練のためにモデル生成データへの依存度を高めるにつれ、その後の世代では、データのカバレッジの縮小やバイアスの蓄積によって性能が低下するリスクがある。既存の文献は主に、この劣化を抑制すること（例：テスト誤差が発散しないようにすること）に焦点を当てているが、著者らは、反復的なモデル進化におけるより意味のある目的は、各次世代のモデルが前世代のモデルを上回るような持続的な改善を保証することであると主張している。

特定された重要なギャップは、既存の分析が、崩壊を全体的な精度の一様な低下、あるいはロングテール分布の狭まりとして扱っている点である。このような粗粒度な視点は、実行可能なデータキュレーションを行うには不十分である。著者らは、指示チューニングにおける崩壊が、一様な性能低下ではなく、**能力の極性化（Polarization of Competence）**として現れることを実証している。すなわち、合成データによる訓練は、モデルが既に持っているスキルを強化する一方で、モデルが既に弱いスキルをさらに悪化させる傾向がある。

手法：KITEフレームワーク

これに対処するため、著者らは、モデルを不安定化させることなく有用な学習シグナルを提供する合成データを生成するために設計された2段階のフレームワーク、KITE（Knowledge-boundary Instruction Tuning via Exploration）を提案している。

1. ステージ1：失敗ガイド型の候補バンク構築（Failure-Guided Candidate Bank Construction）
このステージの目的は、モデルの支配的な高確率モードを超えてカバレッジを拡大し、現在の弱点に焦点を当てて生成を行うことである。

• 弱点のプロファイリング（Weakness Profiling）： 単なる失敗回数を使用する代わりに、認知科学のDINAモデル（Deterministic Inputs Noisy And gate）を採用する。このモデルは、訓練セットにおける正解および不正解のパターンを分析することで、潜在的なスキル習得レベルを推論する。低習得スキルの特性は、特定の欠陥を標的とした新しい指示を生成するための自然言語記述へと変換される。
• ランクベースのノイズ注入（Rank-Based Noise Injection）： 標準的なデコーディングでは、条件付けが弱点に基づいている場合でも、定型的な、あるいは容易すぎる指示が生成されることが多い。これに対抗するため、KITEはトークンの確率分布に対するランクベースの摂動を導入する。ロジットの順序に基づいて低ランクのトークンの重みを上げることで（$q^{(\alpha)}_t(v|c) \propto q_t(v|c) \cdot r_t(v|c)^\alpha$）、ハードな切り捨てを行うことなく、モデルの内部の高確率モードを超えた探索を促進する。

2. ステージ2：不確実性に基づくデータキュレーション（Uncertainty-Based Data Curation）
ステージ1で生成された大規模な候補バンクから、ラベル付けと訓練のためのサブセットを選択する。選択基準は、モデルの**意味的知識境界（Semantic Knowledge Boundary）**付近の例を優先する。

• 意味的不確実性（Semantic Uncertainty）： トークンレベルの不確実性（表面的なバリエーションによって増幅される可能性がある）に依存するのではなく、候補となる指示に対して複数の回答をサンプリングし、放射基底関数（RBF）カーネルを用いて意味的埋め込み空間におけるそれらの分散を測定する。
• 尤度重み付け（Likelihood Weighting）： 単に不確実に見えるだけの、低確率でオフマニホールドな生成物を選択することを避けるため、各サンプリングされた回答をモデルの下での尤度によって重み付けする。
• カーネル境界不確実性（Kernel Boundary Uncertainty: KBU）： 最終的なキュレーションスコアは、尤度重み付きカーネル行列のレニー・エントロピー（Rényi-2 entropy）である。本フレームワークは、複数の「妥当な」回答間の不一致を示す中間的な不確実性スコアを持つ候補を選択し、一方で、容易すぎるもの（低不確実性）や、モデルが対処可能な知識を逸脱しすぎているもの（過度に高い不確実性）をフィルタリングする。

主な貢献

1. 崩壊の診断： 本論文は、反復的な指示チューニングにおけるモデル崩壊が、一様な性能低下ではなく、能力の極性化（強いスキルを強化する一方で、弱いスキルを弱体化させる）によって特徴付けられることを特定した。
2. KITEフレームワーク： 著者らは、この極性化を直接的に逆転させる2段階の手法を提案している。
   • 失敗ガイド型の生成は、認知診断を通じて特定された特定の弱点を標的とする。
   • 境界認識型のキュレーションは、選択されたデータが意味的知識境界付近に位置するようにし、安定した学習シグナルを提供する。
3. 実証的検証： 本フレームワークは、複数のオープンソースLLM（Qwen、Llama、Gemmaファミリーを含む）および多様な推論データセット（GSM8K、MMLU-Pro、MATH、GPQA）にわたって検証されている。

実験結果

• 性能： 5回の累積自己改善の反復において、KITEはSelf-Instruct、Few-shot synthesis、Cognitive Diagnosis-based Synthesis (CDS)、Token-Level Editing (ToEdit) を含む強力なベースラインを一貫して上回った。例えば、Qwen-3-4B-Instructにおいて、KITEは平均精度72.86%を達成し、これは最良のベースラインであるToEditの71.98%を上回っている。
• 安定性： 長期的な実験（最大9世代）において、KITEはモデル崩壊に典型的な「劣化とその後の反転」というシグネチャを示すことなく、単調な性能向上を可能にしている。
• 汎化性能：
  • 非推論タスク： wikitextを用いた再帰的自己訓練において、KITEは安定したパープレキシティを維持したが、標準的な高温（high-temperature）合成訓練は、単調なパープレキシティの上昇（崩壊）を招いた。
  • 分布外（OOD）タスク： KITEで訓練されたモデルは、未知のより困難な数学ベンチマーク（OlymMATH、AIME）において向上した性能を示しており、これは単なるベンチマークへの過学習ではなく、基礎となる推論能力の強化を示唆している。
• アブレーション解析： 弱点プロファイリングまたはKBUキュレーションのいずれかのステージを削除すると、大幅な性能低下を招き、ターゲットを絞った生成と境界認識型の選択の両方が必要であることが確認された。

意義と主張

本論文は、KITEが合成データを用いたLLMの持続的な自己改善のための実用的な経路を提供すると主張している。単に劣化を抑えることから、能力の極性化を能動的に診断し修正することへと焦ichを移すことで、本フレームワークは、自身の分布から生成されたデータで訓練される場合でも、モデルが効果的に進化することを可能にする。著者らは、回答の正規化のために強力な外部検証器（gpt-5-mini）を使用しているものの、核心的な貢献は訓練分布自体の構築にあるとし、本研究を自己生成された指示分布に関する研究として位置づけている。

著者らが指摘する限界事項：

• 外部検証器への依存は蒸留の側面を導入するため、結果は純粋なクローズドループシステムではなく、自己生成された分布を反映している。
• DINAベースの弱点プロファイリングは、固定された事前分布を持つLLMタグ付きのQ行列を使用しており、較正された測定値というよりは構造化されたヒューリスティックとして機能している。
• 現在の評価は推論タスクおよび1.7B〜8Bパラメータのモデルに限定されており、より大規模なモデルやRLスタイルのポストトレーニングへのスケールアップは今後の課題である。