Each language version is independently generated for its own context, not a direct translation.

🧩 物語の舞台：AI と「ジグソーパズル」

まず、この研究では AI に**「ジグソーパズル」という新しいゲームをやらせました。
画像を 9 つに切り取り、バラバラにして並べ替えるゲームです。
最新の AI でも、このゲームは「初見」**で、全く解けません（ランダムに並べるのと変わらないレベルです）。

ここで、AI にこのパズルを解く方法を教えるために、2 つの異なる学習方法を実験しました。

SFT（教師あり学習）：
- 方法： 人間が「正解の答え」をそのまま教えてあげる方法。
- イメージ： 先生が「答えはこれ！」と黒板に書いて、生徒に「これを暗記しなさい」と言う感じ。
RFT（強化学習）：
- 方法： AI 自身に試行錯誤させ、正解したら「おめでとう（報酬）」、間違ったら「残念（報酬なし）」とフィードバックする方法。
- イメージ： 先生が「自分で考えて解いてごらん。解けたらご褒美！」と言う感じ。AI は何度も失敗しながら、自分で正解の道筋を見つけ出します。

📉 驚きの結果：「速さ」と「記憶」のトレードオフ

実験の結果、面白いことがわかりました。

SFT（暗記学習）：
- メリット： パズルを超高速でマスターします。数回教えるだけで完璧に解けるようになります。
- デメリット： 大惨事（忘却）が起きます。パズルを解けるようになった瞬間、AI は「以前できていたこと（例えば、写真の中の人物を指差したり、文章を読んだりする能力）」を完全に忘れてしまいました。
- 原因： 無理やり新しい答えを「暗記」させすぎたため、脳の記憶領域が新しい情報で上書きされ、古いデータが吹き飛んでしまったのです。
RFT（試行錯誤学習）：
- メリット： パズルをマスターするのに時間がかかります（何万回も試行錯誤が必要）。
- デメリット： ほぼありません。
- 結果： パズルを解けるようになった後も、「以前できていた他の能力」をほとんど失わずに維持できました。

「なぜ、RFT は古い記憶を消さずに済むのか？」 これがこの論文の核心です。

🔍 正体は「データの性質」だった！

研究チームは、この現象を**「学習のダイナミクス（動き）」**という視点から分析しました。ここが最も面白い部分です。

1. 無理やり押し付けるか、自然に受け入れるか

SFT の問題点：
人間が作った「正解データ」は、AI の頭の中（既存の知識）とはあまりにも遠い場所にありました。
- 例え： 普段「日本語」しか話さない人に、いきなり「宇宙語」の正解を暗記させようとするようなものです。脳が混乱し、既存の「日本語」の記憶まで壊してしまいました。
- 結果： 古い知識と新しい知識が激しく衝突し、古い知識が吹き飛ぶ（忘却）のです。
RFT の秘密：
RFT は、AI 自身が「試行錯誤」して見つけた正解を使います。
- 例え： AI は「宇宙語」をいきなり覚えるのではなく、**「自分の持っている日本語の知識の延長線上」**で、少しずつ新しい言葉を見つけ出しました。
- 結果： 新しい知識が、古い知識と**「馴染みやすい場所」**に定着したため、古い記憶を壊さずに済んだのです。

2. 「低確率の領域」vs「高確率の領域」

論文では、AI が「どれくらい確信を持って答えを出しているか（Perplexity：混乱度）」を測りました。

SFT（人間が作ったデータ）： AI にとって**「意外すぎる答え」**でした。AI は「えっ、そうなの？」という状態なので、学習すると脳がパニックになり、他の記憶を消してしまいました。
RFT（AI が見つけたデータ）： AI にとって**「なんとなく合っていそうな答え」**でした。AI は「あ、これならありそう」という感覚で学習できたため、脳への負担が少なく、既存の記憶を守れたのです。

💡 結論：「教え方」ではなく「教材」が重要

この研究が示した最大の教訓は以下の通りです。

「AI に新しいことを教える際、重要なのは『アルゴリズム（学習方法）』そのものではなく、『どんな教材（データ）』を使うか」

SFT で RFT の成果を再現できた：
研究チームは、RFT で AI が「自分で見つけた正解（試行錯誤の結果）」を、SFT の教材として使ってみました。
- 結果： SFT でも、RFT 並みに「古い記憶を守りながら」新しいパズルを解けるようになりました！

つまり、**「AI 自身が試行錯誤して見つけた、自然な答え（低混乱度のデータ）」**を教材にすれば、SFT という速い学習方法でも、記憶を失わずに済むことがわかりました。

🌟 まとめ

**SFT（暗記）は速いけど、「無理やり押し付ける」**ので、古い記憶を壊しやすい。
**RFT（試行錯誤）は遅いけど、「自然な流れ」**で学ぶので、古い記憶を守れる。
解決策： RFT で AI に「自分で考えさせた答え」を教材として SFT に使えば、「速さ」と「記憶の保持」の両方を手に入れることができる。

これは、AI 開発の未来において、**「どう教えるか（アルゴリズム）」よりも「何を教えるか（データの選び方）」**が重要であることを示す、非常に重要な発見です。

Each language version is independently generated for its own context, not a direct translation.

論文「WHY REINFORCEMENT FINE-TUNING PRESERVES PRIOR KNOWLEDGE BETTER: A DATA PERSPECTIVE」の技術的サマリー

この論文は、大規模言語モデル（LLM）やマルチモーダル大規模言語モデル（MLLM）のポストトレーニング（微調整）において、**強化学習微調整（RFT: Reinforcement Fine-Tuning）が教師あり微調整（SFT: Supervised Fine-Tuning）**と比較して、なぜ既存の知識の保持（忘却の防止）において優れているのかを、データ分布の観点から体系的に解明した研究です。

以下に、問題設定、手法、主要な貢献、結果、および意義について詳細をまとめます。

1. 研究背景と問題設定

背景

大規模モデルのドメイン適応には、SFT と RFT（GRPO などのアルゴリズム）が広く用いられています。これらは特定のタスクでの性能向上に効果的ですが、微調整プロセスがモデルの事前学習で獲得した既存の知識（Prior Knowledge）に与える影響は不明確でした。

課題

忘却（Forgetting）: 従来の SFT は新しいタスクを素早く習得できる一方で、既存の知識に対する「破滅的忘却（Catastrophic Forgetting）」を引き起こす傾向があります。
RFT の謎: 一方、RFT は学習に時間がかかるものの、既存の知識を保持しつつ新しいタスクを習得できることが観察されています。なぜこの違いが生じるのか、そのメカニズムは十分に理解されていませんでした。
既存タスクの限界: 既存のベンチマークタスクは、モデルがすでに何らかの知識を持っている可能性があり、真に「未知のタスク」を評価するには不十分でした。

2. 手法と実験設計

新規タスク：ジグソーパズル

既存のコーパスに含まれていない真に新しいタスクとして、**画像のジグソーパズル（3x3 パッチの順序付け）**を導入しました。

現状の最先端モデル（GPT-4o, Qwen2.5-VL など）は、ゼロショットではこのタスクを解けず（正解率 0%）、学習前の知識が全く適用できないことを確認しました。
これにより、ポストトレーニングによる「新しい知識の獲得」と「既存知識の保持」のトレードオフを公平に評価できます。

実験設定

モデル: Qwen2.5-VL-3B/7B（マルチモーダル）、Qwen2.5-3B/7B-Instruct（言語モデル）。
比較対象:
1. RFT (GRPO): 報酬に基づいてロールアウト（試行）を生成し、正解を強化する。
2. SFT (Non-Rea): 正解のみを教える（推論プロセスなし）。
3. SFT (Rea-4o-Rollout): GPT-4o が生成した推論プロセス付きの正解データで学習。
4. SFT (Rea-GRPO-Rollout): RFT で学習したモデル自身が生成した正解のロールアウト（推論プロセス付き）を SFT データとして使用。

理論的アプローチ：学習ダイナミクス（Learning Dynamics）

忘却のメカニズムを解明するため、Ren & Sutherland (2024) の学習ダイナミクス理論を適用しました。

訓練データ $x_u$ によるパラメータ更新が、既存知識 $x_v$ の確率に与える影響を、勾配の大きさ（Magnitude）と方向（Direction）、および**経験的ニューラルタンジェントカーネル（eNTK）**を用いて分析します。
具体的には、 $x_u$ と $x_v$ の間の干渉度を示す指標として、eNTK のノルム（ $LBK_{uv}$ ）を推定しました。

3. 主要な発見と結果

3.1 忘却のトレードオフとデータ分布の重要性

SFT の結果: 非推論データ（Non-Rea）での SFT は、ジグソーパズルなどの新規タスクを数ステップで習得しますが、Grounding（物体位置特定）や OCR、一般 VQA などの既存タスクで劇的な性能低下を招きます。
RFT の結果: RFT は学習に多くのステップを要しますが、新規タスクの習得と既存知識の保持を両立し、忘却が最小限に抑えられます。
重要な発見: RFT で生成された正解ロールアウト（Rea-GRPO-Rollout）を SFT データとして使用した場合、SFT でも RFT と同等の性能を維持しつつ、忘却を大幅に軽減できました。
- 結論: 忘却の原因はアルゴリズム（SFT vs RFT）そのものではなく、微調整データの分布にあることが示されました。

3.2 学習ダイナミクスによるメカニズムの解明

干渉の大きさ（Magnitude）: 非推論データ（Non-Rea）は、既存知識との eNTK ノルム（干渉度）が大きく、既存知識を強く破壊します。一方、推論プロセスを含むデータは干渉度が小さくなります。
干渉の方向（Direction）と低パープレキシティ:
- GPT-4o 生成データ（Rea-4o-Rollout）は、ベースモデルにとって高パープレキシティ（低確率）領域に位置し、モデルの既存分布と整合性が取れていません。
- RFT 生成データ（Rea-GRPO-Rollout）は、ベースモデルが中程度の確率（低パープレキシティ）を既に持っている領域から自然に生成されます。
- 対称性の定理: 学習ダイナミクスの対称性により、ベースモデルが既に確信を持っている（低 PPL の）データで学習することは、既存知識への干渉が小さくなります。RFT はこの「モデルに適合した低 PPL 領域」を能動的に探索・発見するため、忘却が起きにくいのです。

3.3 他タスクでの検証

数学推論（Math Reasoning）: 数式推論タスクにおいても、同様の傾向（Non-Rea > Rea-4o > Rea-GRPO の忘却の順序）が確認されました。
科学 QA: 科学分野の多肢選択問題でも、RFT 生成データによる SFT が既存知識を最もよく保持しました。

4. 主要な貢献

データ分布の重要性の提示: ポストトレーニングにおける忘却は、アルゴリズムの違いではなく、**トレーニングデータの分布（特にモデルの既存分布との整合性）**によって決定されることを実証しました。
学習ダイナミクスに基づく解釈の提案: 忘却を「干渉の大きさ」と「方向」に分解し、推論プロセス（CoT）と低パープレキシティデータが既存知識への干渉を軽減する理論的根拠を提供しました。
実用的な戦略の提案: 完全な RFT 学習を行わずとも、RFT の初期段階で生成されたロールアウト（CoT）を SFT データとして利用することで、RFT と同等の性能を維持しつつ、SFT の高速性と RFT の安定性を両立できることを示しました。

5. 意義と結論

この研究は、ポストトレーニングの設計において「アルゴリズムの選択」だけでなく、「データの質と分布」が極めて重要であることを浮き彫りにしました。

RFT の役割: RFT は単に性能を上げるだけでなく、モデルの潜在的な能力領域（低パープレキシティ領域）を探索し、既存知識と衝突しない新しい知識の獲得経路を見つける「データ生成器」として機能します。
将来の展望: 効率的な SFT と RFT の連携（例：RFT で少量のデータ生成を行い、それを SFT で微調整する）は、継続的な学習（Continual Learning）において、安定した知識獲得を実現する有望なアプローチとなります。

要約すれば、**「RFT が忘却を防ぐのは、アルゴリズムの魔法ではなく、RFT がモデルの既存の知識分布と親和性の高い（低パープレキシティな）高品質なデータを自然に発見・生成するためである」**という洞察が、この論文の核心です。

Why Reinforcement Fine-Tuning Enables MLLMs Preserve Prior Knowledge Better: A Data Perspective