Towards On-Policy SFT: Distribution Discriminant Theory and its Applications in LLM Training

1. 問題：AI の「育て方」には 2 つの極端がある

AI を育てる（学習させる）方法には、主に 2 つの流派があります。

1. SFT（教師あり微調整）：「教科書通りの暗記」

   • 仕組み: 人間が作った「正解の教科書」をひたすら読ませて、「この問題にはこの答え」と覚えさせます。
   • メリット: 計算が速く、コストが安い。
   • デメリット: 教科書に載っていないような「新しい問題」や「応用」が苦手。また、間違った情報や難しすぎる情報を無理やり覚えさせると、**「既存の知識を忘れる（忘れたことまで忘れる）」**という悲劇が起きます。
   • 例え: 暗記が得意な学生。教科書の内容は完璧だが、応用問題が出るとパニックになる。

2. RL（強化学習）：「試行錯誤による成長」

   • 仕組み: AI 自身に問題を解かせて、正解したら「ご褒美」、間違ったら「お仕置き」を与えて、自分で正解を探させます。
   • メリット: 応用力が強く、教科書にない解決策も考え出せる（汎用性が高い）。
   • デメリット: 非常に時間とコストがかかる。また、正解がすぐにわからない問題（創造性が必要な問題など）では育てにくい。
   • 例え: 経験豊富な職人。失敗を繰り返しながら、自分なりの「コツ」や「直感」を身につける。

この論文の主張：
「実は、『教科書（SFT）』をただ読むのではなく、AI 自身の『感覚（分布）』に合った教科書を選んで読ませることで、SFT の『速さ』と RL の『賢さ』の両方を手に入れられる！」というものです。

---

2. 核心となる理論：「分布判別理論（DDT）」

ここで登場するのが、この論文の最大の特徴である**「分布判別理論（DDT）」**です。

• 何をするもの？
  AI が「これは自分の得意分野（馴染みのある話）」なのか、「これは自分の苦手分野（無理やり覚えさせられる話）」なのかを、数値でジャッジするルールです。

• 例え話：「料理の味見」

  • AI は「自分の舌（学習済みの知識）」を持っています。
  • 教科書（学習データ）に載っている料理のレシピが、AI の舌に「しっくりくる味（馴染みのある味）」なら、それは**「在来（In-Distribution）」**です。
  • 逆に、AI の舌に「強烈に違和感がある味（無理やり覚えさせられる味）」なら、それは**「外来（Out-of-Distribution）」**です。
  • この論文は、「どのレシピが『しっくりくる味』か」を、「香りの強さ（エントロピー）」と「味の濃さ（対数尤度）」を組み合わせた指標で正確に測る方法を発見しました。

---

3. 2 つの新しい技術

この「味見理論」を使って、2 つの新しい育て方を提案しています。

① IDFT（在来微調整）：「無理やり覚えさせない学習」

• 従来の SFT の問題点: 教科書に「AI が苦手な難問」や「間違った情報」が混じっていても、AI は「正解だ！」と信じて必死に覚えようとします。すると、脳（パラメータ）が混乱して、以前知っていたことを忘れてしまいます（忘却）。
• IDFT の解決策:
  • AI が「これは自分の得意分野だ（馴染みがある）」と感じるデータには、**「しっかり勉強しなさい！」**と強く指導します。
  • AI が「これは自分の苦手分野だ（馴染みがない）」と感じるデータには、**「無理に覚えなくていいよ、そっとしておこう」**と指導を弱めます。
• 効果: 無理な暗記を避けつつ、得意分野をさらに強化できるため、**「忘れないまま、賢くなる」**ことができます。

② ヒント付きデコーディング（Hinted Decoding）：「AI のスタイルに合わせた教科書の書き換え」

• 問題点: 人間が作った「正解の教科書」は、AI にとって「他人の書き方（スタイル）」で書かれていることが多いです。AI がそれをそのまま真似すると、AI 自身の「話し方」が崩れてしまいます。
• 解決策:
  • 正解の答えはそのままに、「AI 自身がその答えを導き出したような文章（思考プロセス）」に書き換える技術です。
  • 例え話：「正解は『1+1=2』ですが、AI 自身が『えーと、1 に 1 を足すと…あ、2 だ！』と自然に思いつくような文章に書き換えてから、AI に読ませる」感じです。
• 効果: 正解を保ちつつ、AI の「自然な話し方（分布）」を維持できるため、AI の個性を壊さずに学習できます。

---

4. 結果：何がすごいのか？

この新しい育て方（IDFT ＋ ヒント付きデコーディング）を実験したところ、以下のような素晴らしい結果が出ました。

• RL（強化学習）に負けない賢さ: 従来の「試行錯誤（RL）」を使わなくても、同じデータで「教科書読み（SFT）」をするだけで、RL に匹敵する、あるいはそれ以上の応用力を発揮しました。
• コストは SFT のまま: 高価で時間のかかる RL のような計算資源は必要なく、SFT のような安価で速い方法で実現できました。
• 忘れない: 無理な学習による「知識の消失（忘却）」が防げました。

まとめ

この論文は、**「AI を育てる際、無理やり『他人の教科書』を覚えさせるのではなく、『AI 自身の感覚』に合った形で教科書を選び、書き換えてあげれば、安く速く、かつ賢く育てられる」**ということを証明しました。

これにより、お金や計算資源が限られている場面でも、高性能な AI を作れる道が開けたと言えます。まるで、**「子供に無理やり暗記させるのではなく、子供の得意な分野を伸ばし、苦手な分野は優しく教えることで、天才を育てる」**ようなアプローチです。