🤖 machine learning

RAFT: Data Refinement and Adaptive Distillation for Domain Fine-Tuning with Alleviated Forgetting

RAFTは、モデルに適合した書き換えによる学習データの精緻化と、モデル本来の汎用的な能力を維持しつつドメイン特化型の性能を向上させるための回答条件付きオンポリシー蒸留を用いることで、ドメイン特化型のファインチューニングにおける破滅的忘却を軽減する2段階のフレームワークである。

原著者： Yuduo Li, Xiaofeng Shi, Qian Kou, Longbin Yu, Hua Zhou

公開日 2026-06-02

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Yuduo Li, Xiaofeng Shi, Qian Kou, Longbin Yu, Hua Zhou

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

想像してみてください。あなたは、歴史、料理、コーディング、詩など、あらゆることに精通した、博識で優秀な司書（AIモデル）を所有しています。この司書は、一般的な質問に答えるのが得意です。

さて、この司書を、特に「法律」の専門家に育てたいとしましょう。あなたは彼らに法律の教科書を積み上げ、「これを学びなさい！」と命じます。

問題点：「スペシャリストの罠」
もし、単に司書にこれらの法律書を暗記させるだけ（これは論文では Standard SFT と呼ばれるプロセスです）だと、彼らは優れた弁護士になるでしょう。しかし、落とし穴があります。彼らは、優れた「一般的な司書」であることを忘れてしまうのです。詩の書き方や、単純な指示に従うこと、あるいは天気の話題についてチャットすることさえ忘れてしまうかもしれません。新しいルールに集中しすぎるあまり、元の個性や幅広い知識を失ってしまうのです。これは 「破滅的忘却（Catastrophic Forgetting）」 と呼ばれます。

論文では、これには主に2つの理由があると述べています。

「スタイルの衝突」： 法律の教科書は、司書が普段話すスタイルとは一致しない、硬くて形式的なスタイルで書かれています。司書に教科書のような話し方を強制すると、自然な流れが壊れ、ぎこちなくなってしまいます。
「一方通行」： このトレーニングは、本の「正解」だけを見ています。司書が自力で答えようとして混乱したとしても、そこには関心がありません。それは、先生が学生の思考プロセスを一度も観察せず、選択式のテストの正解のみを採点しているようなものです。

解決策：RAFT（「洗練された適応型」コーチ）
著者らは、RAFT と呼ばれる新しい手法を提案しています。RAFTは、司書が人間らしさを忘れることなく法律を学べるように設計された、2段階のコーチング・プログラムだと考えてください。

ステップ1：「翻訳者」（データの洗練）

司書が学習を始める前に、RAFTは「翻訳者」として機能します。

問題： 法律の本は硬すぎます。
解決策： 司書は、事実関係を正確に保ったまま、自分自身の自然な言葉遣いで法律の回答を書き換えるよう求められます。
フィルター： スマートなエディターが、「スタイルを変える過程で意味が変わっていないか？」をチェックします。もし内容が依然として正確であれば、書き換えられたバージョンが採用されます。もし意味不明な内容であれば、元のバージョンが保持されます。
融合： 最終的に、非常に賢い「融合モデル（シニアエディターのようなもの）」が、元の法律の回答と司書が書き換えたバージョンを組み合わせ、事実として正確でありながら、司書にとっても理解しやすい、高品質な一つの回答へと作り上げます。

比喩： 司書に乾燥した法的契約書を無理やり読ませる代わりに、すべての法的事実を含みつつも、平易な英語で書かれた「カンニングペーパー」を渡すようなものです。

ステップ2：「シャドウ・コーチ」（適応型蒸留）

今、司書はこれらの新しい、親しみやすいカンニングペーパーを使って学習を開始します。しかし、ここからが魔法の部分です。

シナリオ： 司書は、自分自身で答えを出そうと試みます（これは「軌跡（trajectory）」または思考のプロセスを生成することになります）。
コーチ： 「元々の司書」（法律だけでなく、世界のあらゆることを知っている元の姿）が、このプロセスを見守ります。
秘密兵器： コーチには、参照用として「完璧なカンニングペーパー（ステップ1で作られたもの）」が与えられています。学生である司書が詰まったり、脱線したりしたとき、コーチは「事実に基づくと、このように表現するのがより良いですよ」と、優しく教えます。
バランス： コーチは単に「間違い」と言うだけではありません。彼らは Top-K Temperature と呼ばれる特殊なテクニックを使い、単一の答えを強制するのではなく、いくつかの優れた選択肢を提案します。これにより、学生の創造性と多様性が保たれ、ロボットのようにならずに済みます。
オートパイロット： システムは、「法律」の指示にどれだけ従うか、それとも「一般知識」のコーチにどれだけ従うかのバランスを自動的に調整します。もし学生が法律に集中しすぎて一般常識を忘れているようであれば、コーチは自動的に一般知識のボリュームを上げます。

比喩： レースカー（法律）の運転を学んでいる学生を想像してください。標準的な教師は、ただ「赤信号で左に曲がれ！」と叫ぶだけです（特定の動きを強制する）。RAFTは、地図（洗練されたデータ）を手に、助手席に座っている教官のようなものです。教官は優しく導きます。「曲がり方が速すぎますよ。曲がる間も、バックミラーを確認することを忘れないで（一般スキル）」と。

結果

論文では、この手法を3種類の異なる「司書（AIモデル）」と、5つの異なるトピック（法律、科学、文化など）でテストしました。

仕事の精度向上： RAFTでトレーニングされた司書は、従来の方法でトレーニングされた司書よりも、法律の質問への回答において 23% 高い精度 を示しました。
他の知識を忘れない： 極めて重要なことに、彼らは一般知識を失いませんでした。一般的な推論や指示への追従に関するテストにおいて、通常失われるはずのスキルを 18% および 10% 回復 しました。

まとめ：
RAFTは、まず難しい新しい情報をAIが理解できる言語へと翻訳し、次にスマートで適応型のコーチを用いてAIの学習プロセスを導くトレーニング手法です。これにより、AIはジェネラリストとしての能力を失うことなく、スペシャリストになることができます。これは、ある職業の技術を教える際に、人間としてのあり方を忘れさせないための方法なのです。

技術要約: RAFT (忘却を軽減したドメイン・ファインチューニングのためのデータ精製および適応的蒸留)

問題提起

ドメイン特化型の教師ありファインチューニング（SFT）は、大規模言語モデル（LLM）を専門的なタスクに適応させるために不可欠であるが、モデルの汎用的な能力が著しく低下する「破滅的忘却（catastrophic forgetting）」を頻繁に引き起こす。著者らは、この劣化を駆動する2つの実用的なギャップを特定している：

監督適合性ギャップ（Supervision-Compatibility Gap）: ドメイン固有の正解（ground-truth）の回答は、モデル本来の応答スタイルや推論形式とは異なる場合が多い。モデルにこれらの乖離したターゲットを強制することで、急激なパラメータの変化が生じ、事前学習された知識が上書きされてしまう。
軌跡保存ギャップ（Trajectory-Preservation Gap）: 標準的なSFTは、モデル自身の生成したプレフィックス（接頭辞）に対する振る舞いを制約することなく、固定されたターゲット・トークンに対して最適化を行う。この制約の欠如により、最適化の過程でモデル本来の行動パターンが保持されない。

既存の手法は通常、これらの一方の側面（例：自己蒸留によるデータの精製、あるいは正則化やKLダイバージェンスによる学習制約）のみに対処しており、両方を同時に解決することは稀であるため、ドメイン適応と汎用能力の維持との間で最適なトレードオフを得ることができていない。

メソドロジー

RAFTは、両方のギャップを同時に解決するために、データ精製と適応的オンポリシー蒸留を組み合わせた2段階のフレームワークを提案する。

1. オフライン蒸留（データ精製）

この段階では、正解とモデルの出力分布との間の分布の不一致を軽減するために、モデルと互換性のある監督データを作成する。

自己条件付き書き換え（Self-Conditioned Rewriting）: 元の指示チューニング済みモデルが、元の回答自体を条件として（ $\tilde{y}_i \sim p_\theta(\cdot | x_i, y_i)$ ）、正解（ $y_i$ ）を書き換える。これにより、事実的内容を保持しつつ、表現スタイルをモデル自身の分布に適応させる。
意味的フィルタリング（Semantic Filtering）: 意味的なドリフトを防ぐため、元の回答と書き換えられた回答との間でコサイン類似度を計算する。書き換えられた回答が閾値 $\tau$ を超える場合にのみ受理され、そうでなければ元の回答が保持される。
マルチエキスパート最適選択（Multi-Expert Optimal Selection）: 受理された書き換えに対し、より強力な融合モデル（例：Qwen3-3B）が元の回答と書き換えられた回答を結合する。複数の判定モデルが、融合された出力が元の回答と一貫しているかを評価し、最もスコアの高い結果が最終的な精製回答（ $\hat{y}_i$ ）として選択される。

2. 適応的オンポリシー蒸馏（学習の最適化）

この段階では、精製されたデータセットを用いてモデルを訓練すると同時に、蒸留制約を通じて汎用的な能力を明示的に保持する。

回答条件付きオンポリシー蒸留（Answer-Conditioned On-Policy Distillation）: 学生モデルは自己回帰的に軌跡（ $z_i$ ）を生成する。元の指示チューニング済みモデルが教師として機能し、ソフトターゲットを提供する。重要な点は、教師が融合された回答（ $\hat{y}_i$ ）を追加のコンテキストとして条件付けていることであり、これにより、学生が生成した軌跡に対してより情報量の多いガイダンスを提供することが可能になる。
Top-K 温度蒸留（Top-K Temperature Distillation）: 過度な平滑化を防ぎ、出力の多様性を維持するために、温度パラメータ $T$ でスケーリングされた教師の分布のトップ- $K$ トークンに対してのみKLダイバージェンスを計算する。
EMAベースの適応的バランシング（EMA-Based Adaptive Balancing）: 固定されたハイパーパラメータの代わりに、指数移動平均（EMA）メカニメントを用いて、SFT損失（クロスエントロピー）と蒸留損失（KLダイバージェンス）の間の重み（ $\lambda$ ）を動的に調整する。これにより、手動のチューニングなしに、学習全体を通じてこれら2つの目的がバランスを保つようにする。

主な貢献

問題の特定: 本論文は、ドメインSFTにおける忘却の根本原因として、監督分布の不一致と、軌跡レベルの保存制約の欠如の結合を指摘している。
オフライン蒸留戦略: コサイン類似度によるフィルタリングとマルチモデル融合を用いたパイプラインを導入し、分布として一貫した高品質な監督データを生成する手法を提示した。
適応的オンポリシー蒸留: 「回答条件付きオンポリシー蒸留」、「Top-K 温度スケーリング」、および「EMAベースの損失バランシング」を組み合わせた新しい学習目的関数を提案した。
実証的検証: データ精製と軌跡レベルの保存制約を組み合わせることが、忘却を効果的に軽減しながらドメイン性能を向上させることを示した。

実験結果

RAFTは、3つの指示チューニング済みバックボーン（SmolLM3-3B, Llama-3.2-3B-Instruct, Phi-4-mini-instruct）を用い、5つのドメイン（ビジネス、法律、科学、文化、ウェブ）において評価された。

ドメイン性能: RAFTは、標準的なSFTと比較して、平均ドメイン精度（D-Acc）を**23.2%**向上させた。
汎用能力の保持: RAFTは、SFTによって引き起こされた劣化の大部分を回復させた：
- MS-Bench（主観的QA）: SFTに対して**18.2%**向上。
- IFEval（指示遂行）: SFTに対して**10.2%**向上。
アブレーション研究:
- データ融合: 融合データのみを使用した場合、元のデータよりもD-Accおよび汎用指標が向上しており、スタイル適応の価値が確認された。
- 蒸留: 融合データを用いたSFTに適応的オンポリシー蒸留を加えることで、ドメイン精度と汎用能力の両方において大幅なさらなる利得が得られた。
- 適応的バランシング: EMAベースの戦略は、固定されたKL係数よりも優れた性能を示した。固定された係数は、ドメイン適応を抑制するか、あるいは汎用能力の保持に失敗するかのいずれかであった。
パラメータ分析: 最適な性能は、コサイン類似度の閾値 $\tau=0.8$ 、温度 $T=1.5$ 、および Top- $K=512$ で見出された。

意義と主張

本論文は、RAFTが忘却を軽減したドメイン・ファインチューニングのための効果的な「レシピ」を提供すると主張している。データ精製と学習制約を独立した問題ではなく、結合された問題として扱うことで、モデルが事前学習された汎用的な能力を上書きすることなく、ドメイン固有の知識を獲得することを可能にする。

著者らは、自身のアプローチが教師モデルを「保守的なアンカー（錨）」から「ターゲットを認識したガイド」へと変えるものであると強調している。結果は、互換性のある監督（supervision）と軌跡レベルの保存を組み合わせることが、LLMにおける専門化と汎用化のトレードオフに対する実用的な解決策であることを示唆している。なお、本論文はスケーラビリティに関しては控えめであり、評価が小規模なモデルと特定のドメインに限定されていること、また、より大きなモデルや特殊なタスク（例：コード生成）における性能についてはさらなる調査が必要であると述べている。