SkillFactory: 推論モデルにおける認知行動の学習のための自己蒸留

技術的サマリー（日本語）

本論文「SKILLFACTORY: SELF-DISTILLATION FOR LEARNING COGNITIVE BEHAVIORS」は、大規模言語モデル（LLM）が推論タスクにおいて「検証（verification）」や「やり直し（retrying）」といった高度な認知スキルを効果的に習得・活用するための新しいフレームワーク「SkillFactory」を提案しています。既存の手法がより強力な教師モデルからの蒸留に依存するのに対し、SkillFactory はモデル自身の出力を再構成することで、強化学習（RL）前の教師あり微調整（SFT）段階でこれらのスキルをモデルに「刷り込む（prime）」ことを可能にします。

以下に、問題定義、手法、貢献、結果、および意義について詳細に解説します。

---

1. 背景と問題定義

近年の推論特化型 LLM は、答えの検証、バックトラック（行き詰まった場合の戻り）、代替戦略による再試行などの「認知スキル」を活用することで性能を向上させています。しかし、これらのスキルをベースモデルが自然に持っていない場合、強化学習（RL）のみでそれらを学習させることは困難です。

既存のアプローチには以下の課題があります：

• RL 単独: ベースモデルにスキルが内在していない場合、RL だけでは汎用的な推論スキルが定着しない。
• 強力なモデルからの蒸留: 高性能なモデル（例：DeepSeek-R1 や Claude など）の推論痕跡（trace）を SFT 用データとして使用するが、これには高価な教師モデルへのアクセスが必要であり、ドメイン外（OOD）への汎化が制限される場合がある。
• SFT 後の RL 性能の乖離: 強力なモデルからの蒸留で SFT 段階のタスク精度を上げても、その後の RL 段階での汎化性能が必ずしも向上するとは限らない。

本研究は、**「より強力な教師モデルを必要とせず、ベースモデル自身の出力を再構成することで、RL 前の SFT 段階で認知スキルの構造を学習させ、RL によるさらなる能力向上の土台を作る」**というアプローチを提案します。

2. 手法：SkillFactory

SkillFactory は、ベースモデルの出力を「銀の痕跡（silver traces）」として再構成し、明示的な認知行動（試行、検証、再試行）を含む構造を持つデータセットを生成する 3 つのステップで構成されます。

2.1 データ収集と再構成（Data Curation）

1. 解のサンプリング: 各質問に対してベースモデルから複数の解（試行）をサンプリングします。
2. 反射（Reflection）の生成: 各解に対して、モデル自身がその解の正誤を評価する「反射」を生成させます。正解・不正解の両方に対して、モデルが「なぜ正解/不正解なのか」を論理的に検証するプロセスを生成します。
3. 構造化された痕跡の構築:
   • 正解と不正解のペアをランダムに混合し、最終的に正解に到達するまでのプロセスを模倣したシーケンスを作成します。
   • 各ステップを <sample>（試行）、<reflect>（検証）、<verdict>（判定）などのタグで明示的に区切り、失敗した場合は「やり直す（Retry）」という遷移フレーズを挿入します。
   • これにより、モデルは「試行→検証→失敗→再試行→成功」という認知プロセスの構造を学習します。

2.2 2 段階トレーニング

1. SFT 段階（SkillFactory 初期化）: 上記で生成した構造化データでモデルを教師あり微調整します。この段階での目的はタスク精度の最大化ではなく、認知スキルの構造（検証や再試行の癖）をモデルに内化させることです。
2. RL 段階（GRPO など）: SFT で初期化されたモデルに対して、正解/不正解に基づくスパースな報酬を用いた強化学習（GRPO）を適用します。これにより、学習されたスキルの使い方が洗練され、タスク解決能力が飛躍的に向上します。

3. 主要な貢献

1. 教師モデル不要のスキル学習: 強力な教師モデルへの依存なしに、ベースモデル自身の出力から複雑な推論スキル（再試行、検証）を学習させることに成功しました。
2. 困難なタスク変種への汎化: Countdown（数値パズル）などのタスクで、SFT 段階では RL 単独モデルより低い精度であっても、RL 後の評価では、より難しい変種（例：入力数が増えた Countdown）に対して既存の手法（RL 単独、STaR、外部モデル蒸留など）を上回る性能を発揮しました。
3. ドメイン外（OOD）タスクへの頑健性: 学習タスクとは異なるタスク（英単語作成、乗算、常識 QA など）において、SkillFactory 初期化モデルは RL 後の性能低下（回帰）が少なく、より安定した推論能力を維持しました。
4. 構造的バイアスの重要性: 単に正解を教えるのではなく、「検証と再試行」という構造を SFT 段階で学習させることが、RL によるスキル習得の鍵であることを示しました。

4. 実験結果

• Countdown タスク（3 引数→4-6 引数）:
  • 強力なモデル（R1）からの蒸留（R1 Distill）は SFT 段階で高い精度を示しましたが、RL 後の 4-6 引数の難易度上昇に対する汎化性能は SkillFactory に劣りました。
  • SkillFactory → GRPO は、RL 単独モデルや STaR 手法を大きく上回る精度（例：Qwen2.5-1.5B で 25.1%）を達成しました。
• ドメイン外タスク（OOD）:
  • 乗算やアクリニム生成などの未学習タスクにおいて、SkillFactory 初期化モデルは RL 単独モデルに比べて性能の崩壊が少なく、高い安定性を示しました。
• 予算強制（Budget Forcing）:
  • 推論時にトークン数の制限を緩和し、追加の思考を促す「予算強制」を行った際、SkillFactory モデルは RL 単独モデルよりも効果的に追加の思考時間を活用し、精度をさらに向上させました（例：Countdown で +5.3 ポイント）。これは、モデルが「検証と再試行」のスキルを既に習得しているためです。
• 分析:
  • SkillFactory モデルは、正解・不正解の両方に対して高い検証精度（F1 スコア）を示し、特に不正解を適切に検知して再試行する能力が強化されていることが確認されました。

5. 意義と結論

SkillFactory は、LLM の推論能力向上において「教師モデルからの知識転移」に頼らず、「モデル自身の出力構造を再編成して認知行動を学習させる」という新たなパラダイムを示しました。

• コスト効率: 高価な教師モデルが不要であり、オープンソースのベースモデルからでも高性能な推論モデルを構築可能です。
• 汎用性と頑健性: 特定のタスクに特化しすぎず、未知のタスクや困難な変種に対しても柔軟に対応できる推論能力を育成します。
• 将来展望: このアプローチは、LLM が「過剰思考（Overthinking）」や「思考放棄（Underthinking）」を防ぎ、適切な推論戦略を自律的に選択するための基盤技術として、より広範な応用が期待されます。

要約すれば、SkillFactory は「正解そのもの」ではなく「正解に至るための思考プロセス（検証と再試行の構造）」を SFT 段階で学習させることで、強化学習による推論能力の最大化を可能にする画期的な手法です。